WITH semantic_search AS (
SELECT id, ROW_NUMBER() OVER (ORDER BY embedding <=> $1) as rank
FROM documents
ORDER BY embedding <=> $1
LIMIT 30
),
keyword_search AS (
SELECT id, ROW_NUMBER() OVER (ORDER BY ts_rank_cd(fts_vector, plainto_tsquery('romanian', $2)) DESC) as rank
FROM documents
WHERE fts_vector @@ plainto_tsquery('romanian', $2)
LIMIT 30
)
SELECT
COALESCE(s.id, k.id) AS id,
(COALESCE(1.0 / (60 + s.rank), 0.0) +
COALESCE(1.0 / (60 + k.rank), 0.0)) AS rrf_score
FROM semantic_search s
FULL OUTER JOIN keyword_search k ON s.id = k.id
ORDER BY rrf_score DESC
LIMIT 5;Am renunțat la serviciile dedicate de vector DB anul trecut, după ce ne-am săturat de sincronizări eșuate între baza relațională și un cluster extern. Dacă ai deja PostgreSQL în stack, extensia pgvector e probabil tot ce-ți trebuie până la câteva milioane de înregistrări. Doar că vector search-ul pur are o problemă masivă pe care documentațiile o cam ignoră.
Unde crapă embeddings-urile chioare
Modelele dense de embedding (fie că vorbim de text-embedding-3-small sau un model local BGE) sunt spectaculoase când cauți concepte abstracte. Dacă userul întreabă „cum resetez parola”, găsesc imediat bucata de text relevantă.
Problema apare când utilizatorii caută termeni exacți: numere de factură, acronime obscure, coduri de eroare precum ERR_SOCKET_TIMEOUT sau SKU-uri. Acolo cosinusul se pierde în spațiul vectorial și-ți returnează texte vag similare filosofic, dar complet inutile tehnic. La un proiect de suport tehnic cu vreo 420.000 de fragmente de manuale, acuratețea primelor 3 rezultate era jalnică: undeva la 64%.
Soluția sănătoasă nu e să schimbi modelul de embedding, ci să adaugi clasicul BM25 (full-text search bazat pe frecvența termenilor) peste căutarea vectorială. Asta înseamnă căutare hibridă.
Implementarea: Reciprocal Rank Fusion în Postgres
Cea mai curată metodă să îmbini două lumi diferite (scorul BM25 care e nelimitat superior și distanța cosinus care e între 0 și 2) este Reciprocal Rank Fusion (RRF). Nu încerci să aduni mere cu pere; iei doar poziția (rangul) fiecărui document din cele două căutări paralele și calculezi un scor agregat.
Formula clasică de RRF este: score = 1 / (60 + rank).
Constanta 60 este standardul din lucrarea originală Cormack & Clarke și funcționează surprinzător de bine fără tuning.
În Postgres, rezolvi totul elegant folosind două Common Table Expressions (CTE) cu window functions, urmate de un FULL OUTER JOIN. Astfel, tragi datele într-un singur query, într-o singură tranzacție, fără să plimbi payload-uri grele prin backend.
HNSW vs IVFFlat: compromisul memoriei
Pentru bucata vectorială, indexul face toată diferența. Nu folosi IVFFlat decât dacă ești extrem de constrâns de memorie.
Noi am mers pe index HNSW (hnsw (embedding vector_cosine_ops)). Pe cele 420.000 de rânduri cu vectori de 1536 dimensiuni, indexul HNSW a ocupat cam 1.6 GB de RAM. Trade-off-ul e cinstit: indexarea durează cu 40% mai mult la bulk insert și consumă memorie, dar latența la query a scăzut de la 120ms la 18ms per interogare.
Dacă memoria din server e limitată și indexul nu mai încape în shared_buffers, Postgres începe să citească de pe disc, iar latența sare direct în sute de milisecunde. Asigură-te că mașina are suficient RAM înainte să ridici m și ef_construction.
Rezultate reale din producție
După ce am pus schema hibridă pe picioare, acuratețea retrieval-ului a urcat de la 64% la 91% fără să adăugăm vreun cross-encoder costisitor de re-ranking în Python. Latența totală a rămas sub 35ms pe query, procesat direct pe baza primară.
Câștigi simplitate operațională uriașă: backup-ul include vectorii, consistența ACID rămâne intactă și nu plătești o altă factură de SaaS pentru vector search separat.
Voi cum abordați re-ranking-ul în RAG: vă bazați pe RRF direct în SQL sau aruncați un reranker neural dedicat (gen Cohere/BGE-Reranker) pe primele rezultate?