stream: true y el Gateway envía la salida como eventos enviados por el servidor (SSE) mientras el modelo la escribe. Un stream solo ha terminado cuando llega su evento de final correcto. Pulsa Reproducir para ver uno y después cambia a Falla a mitad para ver cómo termina un stream que se rompe.
Enviar una solicitud en streaming
Leer los eventos
Cada endpoint usa su propio formato de eventos:
Los eventos se separan con líneas en blanco, pero un fragmento de red puede contener medio evento o varios. Acumula los datos hasta que cada evento esté completo antes de analizarlo como JSON, o usa un asistente del SDK, que lo hace por ti:
- TypeScript:
streamResponses(),streamChat(),streamMessages(); Python:stream_responses(),stream_chat(),stream_message()(guía de uso) - Vercel AI SDK:
streamText()con@phaseo/ai-sdk-provider
[DONE]. No lo esperes en los demás endpoints.
Transmitir llamadas a herramientas
Las llamadas a herramientas llegan como deltas de argumentos, igual que el texto. Que un modelo las transmita depende del modelo y del proveedor. Acumula los deltas hasta que la llamada esté completa y después analiza, valida y autoriza los argumentos. Nunca ejecutes una herramienta con argumentos parciales. Consulta los patrones de llamadas a herramientas para devolver los resultados y la seguridad de herramientas para la validación y la aprobación.Cancelar un stream
Pasa unAbortSignal (o el equivalente de tu cliente HTTP) y cancela cuando el usuario se detenga o se desconecte. Fija un plazo adecuado para la carga de trabajo. Cancelar no garantiza que el proveedor se detenga al instante ni que la salida que ya generó sea gratuita.
Recuperarse de un stream interrumpido
Si un stream falla después de que empiece el texto, termina con el evento de fallo de la tabla anterior en lugar del de final correcto. Una conexión cerrada por sí sola no significa que la respuesta esté completa. Phaseo no cobra la salida parcial de un stream que falla. Cuando ocurra:- Mantén el texto parcial en pantalla, marcado como interrumpido.
- Registra el ID de la solicitud o de la generación, el endpoint y el modelo.
- Ofrece un reintento. Una nueva solicitud puede producir otro texto y se cobra de nuevo.
- No repitas herramientas que ya se ejecutaron ni añadas la respuesta reintentada a la parcial.