eduardweb.
RAG & EmbeddingsAvansat#rag#postgres#pgvector#sql#embeddings

RAG hibrid în Postgres: cum am combinat pgvector cu BM25 la 450k chunks

De Elisabeta Stan, 18 nov. 2026 · 9 vizualizări · 3 like-uri

Postat acum 3 zile
sql
WITH semantic_search AS (
    SELECT id, RANK() OVER (ORDER BY embedding <=> $1) as rank
    FROM documents
    ORDER BY embedding <=> $1
    LIMIT 20
),
keyword_search AS (
    SELECT id, RANK() OVER (ORDER BY ts_rank_cd(content_tsv, plainto_tsquery('romanian', $2)) DESC) as rank
    FROM documents
    WHERE content_tsv @@ plainto_tsquery('romanian', $2)
    ORDER BY rank
    LIMIT 20
)
SELECT 
    COALESCE(s.id, k.id) AS id,
    d.content,
    COALESCE(1.0 / (60 + s.rank), 0.0) + 
    COALESCE(1.0 / (60 + k.rank), 0.0) AS rrf_score
FROM semantic_search s
FULL OUTER JOIN keyword_search k ON s.id = k.id
JOIN documents d ON d.id = COALESCE(s.id, k.id)
ORDER BY rrf_score DESC
LIMIT 5;

La un proiect de documentație tehnică cu vreo 450k chunks, managementul trăgea să luăm direct un cluster de Pinecone sau Qdrant. Am refuzat, am băgat extensia pgvector direct în instanța existentă de Postgres 16 și am economisit lejer 350$/lună, dar mai ales am scăpat de coșmarul de a sincroniza datele între două baze diferite.

Postgres duce lejer volumul ăsta dacă știi unde crapă.

Problema cu vector search chior

Toată lumea laudă căutarea semantică, dar în producție am pățit rapid scenariul clasic: un dev caută codul exact ERR_HTTP2_SESSION_REFUSED sau un ID de ticket precum TICK-8921.

Vector search-ul dă chix grav aici. Embeddings-urile (fie ele OpenAI text-embedding-3-small sau bge-m3) comprimă tokenii rari într-o reprezentare generală. Pentru model, codul ăla de eroare seamănă vag cu orice altă eroare de rețea. Rezultatul? Returna primele 5 chunks despre configurarea generală de HTTP/2, ratând complet paragraful care conținea fix string-ul căutat.

Soluția sănătoasă este căutarea hibridă: un pic de semantică, un pic de lexical (keyword search).

HNSW + tsvector cu Reciprocal Rank Fusion (RRF)

Pentru vectori folosim indexul hnsw din pgvector. ivfflat e mai rapid la build și consumă mai puțină memorie, dar dacă ai trafic concurent și datele se modifică, recall-ul scade urât fără reindexări periodice. La 450k vectori de 1536 dimensiuni, indexul HNSW ocupă cam 3.2 GB de RAM. Asigură-te că maintenance_work_mem e măcar 2 GB când îl construiești, altfel Postgres va scrie pe disc și aștepți o veșnicie.

Pentru partea lexicală, Postgres are nativ tsvector și tsquery. Nu e chiar implementarea pură BM25 din Elasticsearch (Postgres folosește o variantă simplificată bazată pe TF-IDF prin ts_rank_cd), dar cu puțin tuning e mai mult decât suficientă.

Trucul e cum combini cele două liste de rezultate. În loc să normalizezi scoruri arbitrare de distanță cosinus și scoruri de rank text (care nu sunt direct comparabile), aplici Reciprocal Rank Fusion (RRF). Ideea e simplă: iei poziția din fiecare top și calculezi scorul final ca 1.0 / (60 + rank).

Trade-off-uri fără menajamente

Merge brici pentru seturi de date mici și medii (sub 2-3 milioane de rânduri) unde vrei tranzacții ACID, backup unic prin pg_dump și zero dependințe externe.

Unde devine nasol? La RAM și scalare orizontală. Când treci de 5 milioane de vectori mari, HNSW începe să ceară servere obscene cu 64-128 GB RAM doar ca să țină indexul cald în memorie. În plus, un search hibrid cu CTE-uri execută practic două query-uri paralele destul de scumpe pe CPU. La peste 150 de căutări concurente pe secundă, Postgres începe să sufoce procesorul, moment în care un Qdrant sau Vespa pe instanțe optimizate devine mai ieftin per query.

Voi ați rămas pe Postgres cu pgvector în producție sau v-a forțat volumul să migrați spre o bază dedicată de vectori?

Răspunsuri 0

Se încarcă răspunsurile…

Loghează-te pentru a răspunde

Doar membrii comunității pot lăsa comentarii.