eduardweb.
RAG & EmbeddingsAvansat#rag#postgres#pgvector#sql#embeddings

RAG hibrid în Postgres: vectori cu pgvector și BM25 fără Elasticsearch

De Alexandru Matei, 19 oct. 2026 · 37 vizualizări · 2 like-uri

Postat 19 oct. 2026
sql
WITH semantic_search AS (
    SELECT id, RANK() OVER (ORDER BY embedding <=> $1) as rank
    FROM document_chunks
    ORDER BY embedding <=> $1
    LIMIT 30
),
lexical_search AS (
    SELECT id, RANK() OVER (ORDER BY ts_rank_cd(tsv, plainto_tsquery('simple', $2)) DESC) as rank
    FROM document_chunks
    WHERE tsv @@ plainto_tsquery('simple', $2)
    ORDER BY rank
    LIMIT 30
)
SELECT 
    COALESCE(s.id, l.id) AS id,
    COALESCE(1.0 / (60 + s.rank), 0.0) + 
    COALESCE(1.0 / (60 + l.rank), 0.0) AS score
FROM semantic_search s
FULL OUTER JOIN lexical_search l ON s.id = l.id
ORDER BY score DESC
LIMIT 10;

Dacă faci RAG bazat exclusiv pe vector cosine similarity, o să te lovești rapid de un zid. La primul user care caută un SKU exact, un cod de eroare de tipul ERR_AUTH_401 sau un nume de brand ciudat, embeddings-urile clasice de la OpenAI ratează complet chunk-ul relevant.

Am pățit asta anul trecut pe un proiect cu 450.000 de documente tehnice. Am început prin a evalua o clonă cu Elasticsearch alături de Postgres, dar gândul de a menține CDC prin Debezium sau joburi cron de sincronizare doar pentru un search decent m-a îngrozit. Așa că am rămas 100% în Postgres, forțând pgvector împreună cu căutarea full-text nativă.

Problema cu vectorii puri în producție

Modelele gen text-embedding-3-small comprimă sensul general al frazei impecabil. Înțeleg sinonime, parafrazări, intenții subtile.

Totuși, dacă pui întrebarea: „Ce parametru primește funcția X_129 în config?”, vectorul e atras de „configurații similare”, nu neapărat de X_129. BM25 (sau tsvector/tsquery pe engleză/română în Postgres) rezolvă exact problema asta: potrivire lexicală strictă cu penalizare pentru termeni comuni (IDF).

Soluția pragmatică este Hybrid Search: iei top 30 din vector search, iei top 30 din keyword search, le normalizezi și le combini cu Reciprocal Rank Fusion (RRF).

Cum legi HNSW cu tsvector

Pentru vectori am folosit index HNSW (hnsw (embedding vector_cosine_ops)). Față de IVFFlat, nu necesită recalculare când bagi date noi, iar latența a coborât de la 140ms la vreo 18ms la căutare.

În aceeași tabelă ai o coloană generată pentru căutare text: tsv tsvector GENERATED ALWAYS AS (to_tsvector('simple', title || ' ' || content)) STORED;

Am lăsat dicționarul 'simple' în loc de 'romanian' sau 'english' pentru că textul tehnic conține simboluri, camelCase și termeni inventați pe care stemmerul standard îi măcelărește aiurea.

Algoritmul RRF direct în query

Nu vrei să aduci rezultatele brute în Node sau Python ca să le combini manual în memorie dacă poți evita network roundtrip-ul. Folosind două CTE-uri (Common Table Expressions) și o formulă simplă RRF cu factorul k = 60, scoți direct top-ul rerankat direct din Postgres.

Trade-off-ul e că dacă tabelele sunt masive, query-ul ăsta face două scanări de index în paralel, ceea ce pune presiune pe CPU dacă ai trafic de peste 50 qps concurenți.

Unde crapă schema: trade-off-ul de memorie

Nu e totul lapte și miere. HNSW în pgvector este un devorator absurd de memorie. La cele 450k chunks cu vectori de 1536 dimensiuni, doar indexul HNSW a ocupat în jur de 3.2 GB de RAM. Ca indexul să fie rapid, trebuie să stea complet în shared_buffers.

Dacă instanța ta Postgres are doar 4 GB RAM total, query-ul va începe să citească de pe disk, iar latența sare din 20ms direct în 1.5 secunde. Pinecone sau Qdrant gestionează mult mai agresiv compresia prin scalar quantization out-of-the-box.

Câștigi masiv la simplitate operațională (ai tranzacționalitate ACID pe embeddings și documente în același loc), dar plătești în RAM pe instanța de DB.

Merită pgvector pentru voi sau preferați să delegați căutarea către un vector DB dedicat când săriți de un milion de rânduri?

Răspunsuri 0

Se încarcă răspunsurile…

Loghează-te pentru a răspunde

Doar membrii comunității pot lăsa comentarii.