eduardweb.
AI & LLMsIntermediar#nextjs#react#streaming#ai-sdk#llm

Streaming de LLM în Next.js: dincolo de demo-urile clasice cu useChat

De Cristian Barbu, 24 oct. 2026 · 25 vizualizări · 2 like-uri

Postat 24 oct. 2026
typescript
import { openai } from '@ai-sdk/openai';
import { streamText } from 'ai';

export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages } = await req.json();

  const result = streamText({
    model: openai('gpt-4o-mini'),
    system: 'Ești un asistent tehnic concis.',
    messages,
    onError({ error }) {
      console.error('Eroare stream LLM:', error);
    },
  });

  return result.toDataStreamResponse();
}

Dacă ai trimis vreodată o cerere clasică la OpenAI fără streaming, știi sentimentul: utilizatorul se uită la un spinner 7 secunde și dă refresh crezând că s-a blocat aplicația. Streaming-ul prin Server-Sent Events (SSE) rezolvă fix problema asta de percepție a latenței. În rândurile de mai jos povestesc cum legi corect Vercel AI SDK în Next.js și unde încep bătăile de cap în producție.

De ce SSE și nu WebSocket-uri

Mulți juniori sar direct la WebSocket-uri de îndată ce aud cuvântul „stream”. La un proiect cu suport automatizat unde gestionăm cam 12.000 de conversații pe zi, WebSockets ar fi însemnat costuri aiurea de infrastructură și gestionare de conexiuni persistente.

La un LLM ai o comunicare unidirecțională după interogare: clientul trimite un JSON cu istoricul, iar serverul varsă jetoane timp de 5-15 secunde. Server-Sent Events (SSE) folosește o conexiune HTTP standard cu header-ul Transfer-Encoding: chunked. Merge impecabil peste HTTP/2, trece prin orice reverse proxy fără bătăi de cap și se închide automat când modelul termină de generat textul.

Buba din producție: erorile la mijlocul stream-ului

Totul pare magic până dai de primul rate_limit_exceeded după ce serverul a apucat deja să trimită primele trei cuvinte. În momentul în care ai apelat streamText, Next.js a trimis deja clientului un status 200 OK împreună cu primele headere de streaming.

Dacă OpenAI crapă la secunda 4, nu mai poți trimite un cod HTTP 429 sau 500 curat. Conexiunea e deja deschisă. Clientul tău pur și simplu nu mai primește jetoane noi sau primește un chunk corupt.

Pentru asta, cel mai sănătos este să folosești callback-ul onError din configurarea serverului și să configurezi un mecanism pe client care detectează când stream-ul se întrerupe brusc fără token-ul de finalizare (finish-reason: stop). useChat are proprietatea onError, dar ea prinde doar erorile inițiale de rețea, nu neapărat crash-urile din timpul generării.

Trade-off-ul cu hook-ul useChat

useChat din pachetul @ai-sdk/react îți scutește vreo 150 de linii de cod de citit ReadableStream și parsare manuală de text. Îți dă messages, input, handleInputChange și handleSubmit de-a gata.

Unde devine rigid? În momentul în care vrei date structurate suplimentare în afară de textul brut: citări de documente pentru RAG, ID-uri de tracking sau costul cererii în tokeni. Ca să trimiți metadata alături de stream trebuie să treci la createDataStreamResponse și să injectezi mesaje custom de tip data. Nu e complicat, dar demo-urile oficiale omit detaliul ăsta și te trezești rescriind jumătate din logica de UI când clientul cere „arată-mi și link-urile din care a citat botul”.

Un alt pont: setează neapărat maxDuration = 30 (sau mai mult, dacă ești pe Pro) în fișierul de rută. Serverless functions din Next.js au timeout implicit scurt, iar un model precum Claude 3.5 Sonnet pe un prompt masiv poate depăși ușor 15 secunde pe stream lung.

Voi cum gestionați în interfață când stream-ul se rupe la jumătatea frazei? Trageți un retry automat sau îi lăsați userului un buton manual de regenerare?

Răspunsuri 0

Se încarcă răspunsurile…

Loghează-te pentru a răspunde

Doar membrii comunității pot lăsa comentarii.