import { openai } from '@ai-sdk/openai';
import { streamText } from 'ai';
export const maxDuration = 30;
export async function POST(req: Request) {
const { messages } = await req.json();
const result = streamText({
model: openai('gpt-4o-mini'),
messages,
async onFinish({ text }) {
// Salvăm asincron în DB fără să blocăm stream-ul către client
// await db.message.create({ data: { content: text, role: 'assistant' } });
},
});
return result.toDataStreamResponse();
}Am refăcut acum două luni un modul de asistență internă pentru o echipă de suport cu 40 de operatori. Trecerea de la un endpoint clasic blocant la streaming prin Server-Sent Events (SSE) le-a tăiat timpul perceput de răspuns de la 6 secunde la undeva pe la 600-700ms. Dacă încă aștepți un JSON complet dintr-un API call de OpenAI într-un Route Handler, îți frustrezi utilizatorii fără niciun motiv real.
De ce SSE și nu clasicul WebSocket
Când zici „comunicare în timp real”, reflexul multora e să sară direct la WebSocket-uri. Pentru chat-uri cu AI, asta e de multe ori o complicare inutilă a infrastructurii.
WebSocket-urile sunt excelente pentru fluxuri bidirecționale, dar presupun conexiuni de durată, servere stateful și bătăi de cap dacă faci deploy pe o arhitectură serverless (Vercel, AWS Lambda, Cloudflare Workers). Trebuie să gestionezi reconectări, heartbeat-uri și servere separate de WebSockets sau servicii terțe gen Pusher.
La un LLM, fluxul e asimetric: utilizatorul trimite un prompt o singură dată (un HTTP POST normal), iar serverul scuipă înapoi text pe măsură ce modelul generează tokeni. Server-Sent Events (SSE) rulează peste HTTP standard, folosește header-ul Content-Type: text/event-stream și e complet compatibil cu orice proxy modern sau HTTP/2 multiplexing.
Trade-off-ul sincer: SSE merge brici pentru text progresiv de la server la client, dar e complet unidirecțional. Dacă ai nevoie de colaborare multiplayer live sau prezență (typing indicators de la alți utilizatori simultan), SSE nu te mai ajută și ajungi tot la socket-uri.
Cum simplifică Vercel AI SDK toată povestea
Prin Next.js 13, când am implementat primul streaming manual, a trebuit să mă cert cu ReadableStream, TextEncoder, gestionarea backpressure-ului și parsarea bucăților de text în React. Era mult cod boilerplate pe care nu voia nimeni să-l țină în viață.
Pachetul ai abstractizează toată ciorba asta prin două unelte cheie: funcția streamText pe backend și hook-ul useChat pe frontend. Backend-ul devine o simplă funcție care întoarce un toDataStreamResponse(), iar în frontend primești messages, input, handleInputChange și handleSubmit direct din cutie.
Trei probleme reale pe care le-am rezolvat după deploy
În demo-uri totul arată impecabil, dar în producție apar rapid colțurile ascuțite:
-
Auto-scroll agresiv: Când vin tokenii pe rând, ai tendința să pui un
scrollIntoView()la fiecare render. Dacă operatorul vrea să dea scroll în sus să recitească începutul mesajului în timp ce AI-ul încă generează, ecranul îi sare sacadat în jos. A trebuit să adaug o verificare de scroll position: fac auto-scroll doar dacă utilizatorul este deja la maxim 50px de baza paginii. -
Persistența stării: Hook-ul
useChatține conversația doar în memoria browserului. Dacă omul dă F5, discuția dispare. Am rezolvat asta salvând mesajul utilizatorului imediat înainte de trimitere, iar pentru răspunsul asistentului am folosit callback-ulonFinishdirect în Route Handler pentru a scrie asincron în Postgres, fără să blochez stream-ul către client. -
Timeout-uri pe serverless: Pe planurile gratuite sau de bază din Vercel ai limite de execuție scurte (10-15 secunde). Deși streaming-ul trimite primul byte aproape instant și fentează parțial timeout-ul inițial de gateway, dacă modelul generează un răspuns mamut de 2 minute, conexiunea poate fi tăiată brusc. Limitează mereu
maxTokensla ce ai nevoie cu adevărat.
Voi ați rămas pe abstracția oferită de AI SDK sau ați preferat să vă construiți propriul parser de stream-uri ca să evitați dependența de ecosistemul lor?