eduardweb.
AI & LLMsIntermediar#nextjs#typescript#vercel-ai-sdk#llm#sse

Streaming de la LLM în Next.js: De ce useChat îți salvează nervii (și unde crapă)

De Delia Petre, 25 oct. 2026 · 38 vizualizări · 3 like-uri

Postat 25 oct. 2026
typescript
import { openai } from '@ai-sdk/openai';
import { streamText } from 'ai';

export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages } = await req.json();

  const result = streamText({
    model: openai('gpt-4o-mini'),
    messages,
    headers: {
      'X-Accel-Buffering': 'no', // Oprește buffering-ul agresiv în Nginx/proxies
    },
  });

  return result.toDataStreamResponse();
}

Să aștepți un LLM să termine de generat 600 de tokeni pe un request HTTP clasic e moartea UX-ului. La o aplicație internă de document analysis cu vreo 1.400 de utilizatori, aveam un TTFB mizerabil de 4-5 secunde; utilizatorii dădeau refresh crezând că s-a blocat browserul. Trecerea pe streaming a redus timpul perceput până la primul caracter la vreo 320ms.

În teorie, Server-Sent Events (SSE) sună simplu: deschizi o conexiune HTTP, ții conexiunea deschisă și trimiți bucăți text cu prefixul data:. În practică, dacă încerci să scrii tu manual parserul de stream pe client, gestionarea reîncercărilor, tokenilor parțiali de markdown și anularea request-ului când userul apasă „Stop”, îți blestemi zilele. Aici intervine Vercel AI SDK.

Cum funcționează fără să reinventezi roata

Pachetul ai împarte problema în două: pe server ai streamText (care știe să vorbească cu OpenAI, Anthropic sau ce provider vrei), iar pe client ai hook-ul useChat. Nu mai configurezi manual headers de Content-Type: text/event-stream, nici TransformStream în Route Handler. Totul vine pre-cablat.

Backend-ul devine o funcție simplă în App Router (app/api/chat/route.ts). Pe client, useChat se ocupă de starea mesajelor (messages), input-ul controlat (input, handleInputChange), trimiterea automată la submit și, cel mai important, auto-append-ul bucăților de text pe măsură ce sosesc prin SSE.

Unde apar problemele în producție

Sună idilic, dar am dat de trei ziduri serioase când am împins totul pe infrastructură reală:

  1. Buffering la nivel de proxy: Dacă ai Cloudflare sau un Nginx pus în față pe post de reverse proxy, s-ar putea să observi că stream-ul nu curge lin, ci vine în calupuri mari la fiecare 2 secunde. Asta se întâmplă pentru că proxy-ul încearcă să fie „inteligent” și ține datele în buffer. Soluția e să te asiguri că trimiți header-ul X-Accel-Buffering: no către Nginx sau să dezactivezi buffering-ul din Cloudflare Transform Rules.

  2. Node runtime vs Edge runtime: Pe Vercel sau AWS Lambda, funcțiile serverless au timeout strict. Pe runtime-ul clasic de Node, dacă LLM-ul are o zi proastă și răspunde lent, lovești rapid limita de execuție. Trecerea pe Edge Runtime (export const runtime = 'edge') te scapă de unele limite de memorie și pornește stream-ul instant, dar pierzi accesul la module Node-native (cum ar fi librării mai vechi de PDF parsing pe care poate le folosești înainte de prompt).

  3. Schimbările dese de API: Echipa de la Vercel rupe backward compatibility destul de des. De la v2 la v3 și acum v4, au rescris protocolul intern de streaming de vreo două ori. Dacă ai un client mobil care consumă același endpoint, ești blocat pe formatele lor specifice de mesaje dacă nu folosești direct SSE pur.

Trade-off sincer

Pentru un chat rapid de suport sau asistent integrat în dashboard, useChat cu Vercel AI SDK e imbatabil: scrii 30 de linii de cod și ai UI reactiv cu stop, reload și markdown rendering instant.

În schimb, dacă construiești ceva ce implică streaming complex non-text (de exemplu, trimiți simultan bucăți de text, statusuri de RAG din baza de date și payload-uri JSON de grafice), abstractizarea SDK-ului devine o piedică. La arhitecturi multi-agent am ajuns să renunțăm parțial la useChat și să trimitem JSONLines peste SSE clasic.

Voi cum gestionați stream-urile lungi când LLM-ul generează mult text? Ați rămas pe SDK-ul celor de la Vercel sau ați scris wrappers proprii peste SSE?

Răspunsuri 0

Se încarcă răspunsurile…

Loghează-te pentru a răspunde

Doar membrii comunității pot lăsa comentarii.