stream: true para receber a saída como eventos enviados pelo servidor (SSE). Mantenha a chave de API Phaseo no servidor e encaminhe a saída à interface.
Envie uma solicitação em streaming
Leia os eventos
Use o formato de eventos do endpoint chamado:
Eventos SSE são separados por linhas em branco. Um fragmento de rede pode conter parte de um evento ou vários eventos; não analise cada fragmento como JSON independente. Armazene quadros incompletos ou use um auxiliar de streaming do SDK. Não presuma que todo endpoint envia
[DONE].
Os auxiliares do SDK tratam o transporte do fluxo:
- TypeScript:
streamResponses(),streamChat(),streamMessages(). - Python:
stream_responses(),stream_chat(),stream_message(). - Vercel AI SDK:
streamText()com@phaseo/ai-sdk-provider.
Transmita chamadas de ferramentas
O Gateway aceita streaming com ferramentas, mas o suporte depende do modelo e provedor escolhidos. Acumule os fragmentos de argumentos até concluir a chamada e depois analise, valide e autorize os argumentos antes de executar. Nunca execute argumentos parciais. Siga os padrões de chamadas de ferramentas para solicitações de continuação e a segurança de ferramentas para validação e aprovação.Cancele e recupere
Passe umAbortSignal ao cliente HTTP do servidor e cancele quando o usuário parar ou desconectar. Defina um prazo adequado. Cancelar não garante que o provedor pare imediatamente nem que a saída gerada seja gratuita.
Exiba o texto parcial progressivamente, mas marque a resposta como concluída só após o evento final bem-sucedido do endpoint. Uma conexão fechada não comprova conclusão.
Se o fluxo falhar após começar a saída:
- Marque a resposta parcial como interrompida.
- Mantenha ID da solicitação ou geração, endpoint e modelo nos logs.
- Ofereça uma nova tentativa explícita. Uma nova solicitação pode gerar outra saída e nova cobrança.
- Não execute novamente ferramentas já executadas nem acrescente automaticamente a resposta repetida à saída parcial.