流式生成技术实现：SSE vs WebSocket vs Streaming JSON

流式生成技术实现：SSE vs WebSocket vs Streaming JSON

LLM生成一个500字的回答需要3-8秒，如果等全部生成完再返回给用户，体验极差。流式生成的本质是LLM每生成一个token就立即发送给前端，用户看到文字逐字出现。

三种传输方案对比：SSE（Server-Sent Events）是单向的HTTP流，浏览器原生支持EventSource API，部署最简单——适合95%的场景。WebSocket支持双向通信，适合需要用户中途打断生成的场景。Streaming JSON逐token返回JSON结构，前端需要做增量解析（如react-json-view）。后端实现注意点：Node.js中用res.flushHeaders()立即发送HTTP头，Python中用StreamingResponse配合async generator。