stream: true et le Gateway envoie la sortie sous forme d’événements envoyés par le serveur (SSE) pendant que le modèle l’écrit. Un flux n’est terminé qu’à l’arrivée de son événement de fin réussie. Appuyez sur Lecture pour en regarder un, puis passez à Échoue en cours pour voir comment se termine un flux interrompu.
Envoyer une requête en streaming
Lire les événements
Chaque point de terminaison utilise son propre format d’événements :
Les événements sont séparés par des lignes vides, mais un fragment réseau peut contenir la moitié d’un événement ou plusieurs événements. Mettez en tampon jusqu’à ce que chaque événement soit complet avant de l’analyser comme du JSON, ou utilisez un outil du SDK, qui le fait pour vous :
- TypeScript :
streamResponses(),streamChat(),streamMessages(); Python :stream_responses(),stream_chat(),stream_message()(guide d’utilisation) - Vercel AI SDK :
streamText()avec@phaseo/ai-sdk-provider
[DONE]. Ne l’attendez pas sur les autres points de terminaison.
Diffuser les appels d’outils
Les appels d’outils arrivent sous forme de fragments d’arguments, comme le texte. Le fait qu’un modèle les diffuse dépend du modèle et du fournisseur. Rassemblez les fragments jusqu’à ce que l’appel soit complet, puis analysez, validez et autorisez les arguments. N’exécutez jamais un outil sur des arguments partiels. Consultez les modèles d’appel d’outils pour renvoyer les résultats et la sécurité des outils pour la validation et l’approbation.Annuler un flux
Passez unAbortSignal (ou l’équivalent de votre client HTTP) et annulez quand l’utilisateur arrête ou se déconnecte. Fixez une échéance adaptée à la charge de travail. L’annulation ne garantit ni que le fournisseur s’arrête immédiatement, ni que la sortie déjà générée est gratuite.
Récupérer un flux interrompu
Si un flux échoue après le début du texte, il se termine par l’événement d’échec du tableau ci-dessus au lieu de l’événement de fin réussie. Une connexion fermée ne signifie pas à elle seule que la réponse est complète. Phaseo ne facture pas la sortie partielle d’un flux en échec. Dans ce cas :- Laissez le texte partiel à l’écran, marqué comme interrompu.
- Journalisez l’ID de requête ou de génération, le point de terminaison et le modèle.
- Proposez une nouvelle tentative. Une nouvelle requête peut produire un autre texte et est facturée de nouveau.
- Ne relancez pas les outils déjà exécutés, et n’ajoutez pas la réponse de la nouvelle tentative à la réponse partielle.