stream: true e o Gateway envia a saída como server-sent events (SSE) enquanto o modelo a escreve. Um stream só termina quando chega o evento final de sucesso. Pressione Reproduzir para assistir a um e depois mude para Falha no meio para ver como termina um stream interrompido.
Enviar uma solicitação com streaming
Ler os eventos
Cada endpoint usa o próprio formato de evento:
Os eventos são separados por linhas em branco, mas um bloco recebido pela rede pode conter meio evento ou vários. Acumule os dados até cada evento ficar completo antes de interpretá-lo como JSON, ou use um helper do SDK, que faz isso por você:
- TypeScript:
streamResponses(),streamChat(),streamMessages(); Python:stream_responses(),stream_chat(),stream_message()(guia de uso) - Vercel AI SDK:
streamText()com@phaseo/ai-sdk-provider
[DONE]. Não espere por ele nos outros endpoints.
Transmitir chamadas de ferramenta
As chamadas de ferramenta chegam como deltas de argumentos, do mesmo jeito que o texto. Se um modelo as transmite ou não depende do modelo e do provedor. Junte os deltas até a chamada ficar completa e depois interprete, valide e autorize os argumentos. Nunca execute uma ferramenta com argumentos parciais. Veja os padrões de chamadas de ferramentas para enviar os resultados de volta e a segurança de ferramentas para validação e aprovação.Cancelar um stream
Passe umAbortSignal (ou o equivalente do seu cliente HTTP) e cancele quando o usuário parar ou se desconectar. Defina um prazo adequado à carga de trabalho. Cancelar não garante que o provedor pare na hora, nem que a saída que ele já gerou seja gratuita.
Recuperar-se de um stream interrompido
Se um stream falhar depois que o texto começou, ele termina com o evento de falha da tabela acima em vez do evento de sucesso. Uma conexão fechada, por si só, não significa que a resposta está completa. O Phaseo não cobra pela saída parcial de um stream que falha. Quando isso acontecer:- Mantenha o texto parcial na tela, marcado como interrompido.
- Registre o ID da solicitação ou da geração, o endpoint e o modelo.
- Ofereça uma nova tentativa. Uma nova solicitação pode produzir outro texto e é cobrada de novo.
- Não repita ferramentas que já foram executadas e não acrescente a resposta da nova tentativa à parcial.