async function handleAgentTurn(messages: ChatCompletionMessageParam[]) {
const response = await openai.chat.completions.create({
model: "gpt-4o-mini",
messages,
tools: dbToolsDefinitions,
tool_choice: "auto",
});
const choice = response.choices[0].message;
messages.push(choice);
if (!choice.tool_calls?.length) return choice.content;
for (const call of choice.tool_calls) {
const args = JSON.parse(call.function.arguments);
const result = await executeSafeQuery(call.function.name, args);
messages.push({
role: "tool",
tool_call_id: call.id,
content: JSON.stringify(result),
});
}
const final = await openai.chat.completions.create({ model: "gpt-4o-mini", messages });
return final.choices[0].message.content;
}Am implementat recent un agent intern pentru echipa de operațiuni la un magazin cu peste 45k comenzi active. Scopul era simplu: oamenii din support voiau să întrebe în Slack „câte comenzi nelivrate avem în Cluj pe Fan Courier?” și să primească răspunsul pe loc, fără să mai deschidă cinci dashboard-uri de Metabase sau să ceară rapoarte de la dev.
Dacă lași modelul să scrie direct SQL arbitrar prin vreun tool generic de tip execute_sql, ești la o singură eroare sau prompt injection distanță de downtime. Am văzut cazuri unde un LLM a decis că un SELECT * fără limită pe un tabel de evenimente cu 12 milioane de rânduri e o idee excelentă. Pattern-ul sănătos este complet diferit.
Unelte determinate, nu SQL liber
În loc să expui capabilitatea de a rula cod SQL arbitrar, îi dai modelului un set restrâns de funcții puternic tipizate prin JSON Schema. LLM-ul acționează strict ca un router semantic de parametri.
De exemplu, definești o funcție get_orders_summary care primește doar parametri sanitizați: status (un enum clar), city (string opțional) și un interval de date date_from / date_to. În codul tău de TypeScript sau Python, funcția apelează un query scris de tine cu parametri bindings, pe un utilizator de Postgres cu drepturi doar de SELECT și timeout agresiv (maxim 3 secunde per query).
În felul ăsta, elimini din start riscul de SQL injection sau join-uri nebunești pe tabele neindexate.
Bucla clasică de tool call
Pattern-ul tehnic constă într-o buclă while controlată (cu un safety limit de 3-4 iterații):
- Trimiți istoricul conversației și lista de
toolslagpt-4osaugpt-4o-mini. - Dacă modelul returnează
tool_calls, iei fiecare apel, extragi argumentele validate, rulezi funcția internă în DB și obții rezultatul. - Împingi rezultatul înapoi în array-ul de mesaje cu rolul
toolșitool_call_id-ul aferent. - Re-trimiți istoricul complet către model pentru a genera răspunsul final în limbaj natural.
La un volum de câteva sute de interogări pe zi, gpt-4o-mini s-a dovedit mai mult decât capabil să extragă corect entitățile din întrebările colegilor, iar costurile au scăzut cu aproape 80% comparativ cu gpt-4 inițial.
Trade-off-uri reale din producție
Pattern-ul ăsta merge impecabil când datele cerute intră în scenarii predictibile. Reduci timpul de răspuns pentru support cu 40% și eviți tickete inutile la echipa de date.
Partea nasoală e latența. Pentru fiecare răspuns care atinge baza de date ai două apeluri externe către OpenAI (unul pentru a decide tool-ul, altul pentru a formula răspunsul final) plus timpul interogării SQL. Vorbim de 1.8 - 3 secunde în medie. Dacă ai nevoie de streaming sau de răspuns sub 500ms, nu e abordarea potrivită.
Un alt bug amuzant întâlnit: modelele au tendința să hallucineze datele curente dacă nu le injectezi explicit un prompt de sistem cu timestamp-ul exact de pe server (Current server time is 2025-03-29 14:00:00 UTC). Fără asta, „săptămâna trecută” devine o loterie în funcție de data de training a modelului.
Voi cum gestionați raportarea ad-hoc: ați mers pe funcții predefinite sau ați riscat cu readonly replica și Text-to-SQL generat dinamic?