{
"messages": [
{
"role": "system",
"content": "Clasificator tichete v1. Returnează doar JSON valid."
},
{
"role": "user",
"content": "Nu pot descărca factura pe luna mai din dashboard."
},
{
"role": "assistant",
"content": "{\"category\": \"billing\", \"priority\": \"medium\", \"routing\": \"finance_ops\"}"
}
]
}Dacă ai în cap ideea că fine-tuning-ul e metoda prin care „îi bagi LLM-ului documentația ta în cap”, oprește-te puțin. Pentru cunoștințe noi folosești RAG, punct. Fine-tuning-ul nu e despre fapte, ci despre formă, ton, clasificare precisă și optimizare masivă de cost.
Am văzut echipe care au ars bugete de mii de dolari antrenând modele mari doar ca să obțină rezultate pe care le-ar fi rezolvat cu trei exemple bine puse într-un system prompt. Înainte să scrii primul script de antrenare, trebuie să știi exact unde tragi linia.
Când prompt engineering-ul e mai mult decât suficient
În 90% din cazuri, dacă nu ai un volum de cel puțin câteva zeci de mii de cereri zilnice, un prompt bine gândit e tot ce-ți trebuie. Când spun prompt bun, nu mă refer la două rânduri aruncate în grabă, ci la tehnici clare: few-shot learning (2-3 exemple de intrare/ieșire), chain-of-thought și structură forțată prin JSON Schema.
Prompt engineering-ul are un avantaj uriaș pe care mulți îl ignoră: viteza de iterație. Schimbi o regulă de business în 30 de secunde, rulezi testele și ai dat deploy. Dacă descoperi că modelul halucinează pe un caz particular, adaugi un contra-exemplu în prompt și ai rezolvat.
Trade-off-ul e evident: plătești latență și bani pe context. Dacă system prompt-ul tău are 1.500 de tokeni doar ca să explice regulile și formatele dorite, vei plăti acei 1.500 de tokeni la absolut fiecare request.
Când merită să deschizi portofelul pentru fine-tuning
Fine-tuning-ul începe să aibă sens în două scenarii clare: economie de scală și comportament pe care promptul refuză să-l respecte consecvent.
La un proiect de clasificare de tichete de suport, procesam undeva la 60.000 de tichete pe lună. Foloseam GPT-4o cu un prompt stufos, cu multe cazuri particulare. Factura lunară sărea lejer de 750$. Am luat 800 de exemple curate, am făcut fine-tuning pe un model mic (GPT-4o-mini la vremea aia, sau poți merge pe un Llama 3 8B self-hosted) și am redus system prompt-ul la o singură frază.
Rezultatul? Factura a scăzut la sub 90$ pe lună, iar latența per răspuns a scăzut de la 1.8 secunde la sub 400ms. Modelul știa deja din greutăți (weights) cum arată categoriile noastre, fără să i le mai explicăm de fiecare dată.
Fine-tuning-ul merită când:
- Ai nevoie de un format de ieșire ultra-strict (de exemplu, un limbaj proprietar de interogare sau un dialect JSON bizar) unde modelele generale crapă frecvent.
- Vrei să distilezi capacitatea unui model masiv și scump într-un model mic și ieftin pe care îl poți rula pe infrastructura ta.
- Ai minim 500-1.000 de exemple impecabile, validate manual de oameni.
Mentenanța ascunsă de care nu-ți spune nimeni
Un model cu fine-tuning e ca un snapshot înghețat în timp. În secunda în care business-ul schimbă o regulă sau adaugă o categorie nouă, modelul tău devine depășit. Nu poți doar să „editezi un fișier”; trebuie să actualizezi dataset-ul, să reantrenezi, să rulezi evaluările și să redeploiezi.
Pentru mine, regula de aur e simplă: începe mereu cu prompt engineering până când produsul e stabil și validat de utilizatori. Treci la fine-tuning doar când factura pe tokeni începe să doară sau când latența îți omoară conversia.
Voi cum ați împărțit balanța asta în proiectele voastre — ați rămas pe prompturi complexe sau v-ați asumat mentenanța unui model antrenat?