Passer au contenu principal
Définissez stream: true et le Gateway envoie la sortie sous forme d’événements envoyés par le serveur (SSE) pendant que le modèle l’écrit. Un flux n’est terminé qu’à l’arrivée de son événement de fin réussie. Appuyez sur Lecture pour en regarder un, puis passez à Échoue en cours pour voir comment se termine un flux interrompu.

Envoyer une requête en streaming

Vérifiez le statut HTTP avant de lire le corps. Une requête qui échoue avant le début du streaming reçoit la réponse d’erreur JSON habituelle, pas un flux. Gardez votre clé API Phaseo sur votre serveur et transmettez le texte à votre interface depuis celui-ci.

Lire les événements

Chaque point de terminaison utilise son propre format d’événements : Les événements sont séparés par des lignes vides, mais un fragment réseau peut contenir la moitié d’un événement ou plusieurs événements. Mettez en tampon jusqu’à ce que chaque événement soit complet avant de l’analyser comme du JSON, ou utilisez un outil du SDK, qui le fait pour vous :
  • TypeScript : streamResponses(), streamChat(), streamMessages() ; Python : stream_responses(), stream_chat(), stream_message() (guide d’utilisation)
  • Vercel AI SDK : streamText() avec @phaseo/ai-sdk-provider
Seul Chat Completions envoie [DONE]. Ne l’attendez pas sur les autres points de terminaison.

Diffuser les appels d’outils

Les appels d’outils arrivent sous forme de fragments d’arguments, comme le texte. Le fait qu’un modèle les diffuse dépend du modèle et du fournisseur. Rassemblez les fragments jusqu’à ce que l’appel soit complet, puis analysez, validez et autorisez les arguments. N’exécutez jamais un outil sur des arguments partiels. Consultez les modèles d’appel d’outils pour renvoyer les résultats et la sécurité des outils pour la validation et l’approbation.

Annuler un flux

Passez un AbortSignal (ou l’équivalent de votre client HTTP) et annulez quand l’utilisateur arrête ou se déconnecte. Fixez une échéance adaptée à la charge de travail. L’annulation ne garantit ni que le fournisseur s’arrête immédiatement, ni que la sortie déjà générée est gratuite.

Récupérer un flux interrompu

Si un flux échoue après le début du texte, il se termine par l’événement d’échec du tableau ci-dessus au lieu de l’événement de fin réussie. Une connexion fermée ne signifie pas à elle seule que la réponse est complète. Phaseo ne facture pas la sortie partielle d’un flux en échec. Dans ce cas :
  1. Laissez le texte partiel à l’écran, marqué comme interrompu.
  2. Journalisez l’ID de requête ou de génération, le point de terminaison et le modèle.
  3. Proposez une nouvelle tentative. Une nouvelle requête peut produire un autre texte et est facturée de nouveau.
  4. Ne relancez pas les outils déjà exécutés, et n’ajoutez pas la réponse de la nouvelle tentative à la réponse partielle.
Pour les échecs survenus avant l’arrivée du moindre texte, réessayez avec un délai croissant et respectez les en-têtes de limitation de débit. Si vous devez valider toute la réponse avant que quiconque la voie, utilisez une requête sans streaming ou mettez le flux en tampon sur votre serveur.
Dernière modification le 5 novembre 2026