import { openai } from '@ai-sdk/openai';
import { streamText } from 'ai';
export const maxDuration = 30; // Evită timeout-ul serverless pe răspunsuri lungi
export async function POST(req: Request) {
const { messages } = await req.json();
const result = streamText({
model: openai('gpt-4o-mini'),
system: 'Ești un asistent tehnic concis. Răspunzi direct la obiect.',
messages,
async onFinish({ text }) {
// Salvăm în DB doar când stream-ul s-a încheiat complet
// await db.messages.create({ data: { content: text, role: 'assistant' } });
},
});
return result.toDataStreamResponse();
}Dacă arunci un apel către OpenAI într-un API route clasic din Next.js fără streaming, utilizatorul se uită 8-12 secunde la un spinner chior până se generează tot textul. Trecerea la Server-Sent Events (SSE) coboară time-to-first-token (TTFT) sub 400ms și schimbă complet senzația aplicației, chiar dacă timpul total de generare rămâne identic.
La un dashboard intern unde procesăm cam 1.400 de rezumate tehnice pe zi, utilizatorii raportau că „se blochează platforma” pe GPT-4o. Nu se bloca nimic, doar că așteptau tot payload-ul dintr-o bucată. Când am rescris endpoint-ul pe streaming cu Vercel AI SDK, tichetele de suport pe tema asta au dispărut instant.
Cum funcționează de fapt sub capotă
Mulți cred că streaming-ul presupune WebSockets. Nu e cazul aici și ar fi un overhead inutil. Server-Sent Events folosește o conexiune HTTP standard peste care serverul trimite bucăți de text (chunk-uri) pe măsură ce le scuipă modelul, păstrând conexiunea deschisă (Transfer-Encoding: chunked).
Vercel AI SDK (npm i ai @ai-sdk/openai) simplifică masiv treaba asta în Next.js App Router. În loc să gestionezi manual un ReadableStream, transformatoare de text și parsarea protocolului SSE, funcția streamText combinată cu toDataStreamResponse() face tot plumbing-ul de headere și protocol.
Pe client, hook-ul useChat din pachetul @ai-sdk/react se ocupă de restul: menține array-ul de mesaje, leagă input-ul din formular, gestionează erorile de rețea și montează automat un AbortController dacă userul dă click pe butonul de stop.
Unde se complică lucrurile: trade-off-uri reale
Sună idilic, dar streaming-ul vine cu bătăi de cap specifice de care te lovești rapid în producție:
- Gestiunea erorilor la mijlocul stream-ului. Odată ce serverul a trimis statusul
200 OKși primele 5 cuvinte, conexiunea HTTP e considerată reușită. Dacă LLM-ul crapă la token-ul 120 din cauza unui context limit sau rate limit, clientul tău nu primește un cod500. Primește o conexiune întreruptă brusc. Trebuie să ai logică pe client care detectează payload-ul incomplet. - Timeout-ul din serverless. Dacă ești pe Vercel (plan Hobby) ai timeout de 10-15 secunde pe execuție. Un răspuns mai stufos de la un model lent va tăia stream-ul în două. Pe Pro ai 60s (sau 300s configurabil), dar pe infrastructură proprie trebuie să fii atent la proxy-uri precum Nginx — dacă
proxy_bufferinge setat peon, Nginx va aduna chunk-urile în buffer și va distruge efectul de streaming până nu umple 4KB. - Cacharea devine aproape imposibilă. Nu poți pune un Redis simplu peste un stream activ fără să-ți complici viața. Dacă răspunsul trebuie salvat în baza de date, folosești callback-ul
onFinishdirect pe server pentru persistență, după ce ultimul chunk a plecat spre client.
Soluția e excelentă pentru interfețe conversaționale și asistenți, dar dacă ai nevoie de răspunsuri structurate (JSON rigid pe care să-l parsezi în frontend), streaming-ul de text brut mai mult te încurcă decât te ajută.
Voi cum gestionați salvarea mesajelor în DB când folosiți streaming: pe onFinish în backend sau așteptați confirmarea clientului?