stream: true, und das Gateway sendet die Ausgabe als Server-Sent Events (SSE), während das Modell sie schreibt. Ein Stream ist erst abgeschlossen, wenn sein erfolgreiches Abschlussereignis eintrifft. Drücke Abspielen, um einen Stream zu verfolgen, und wechsle dann zu Bricht mittendrin ab, um zu sehen, wie ein abgebrochener Stream endet.
Eine Streaming-Anfrage senden
Die Ereignisse lesen
Jeder Endpunkt hat sein eigenes Ereignisformat:
Ereignisse sind durch Leerzeilen getrennt, aber ein Netzwerkfragment kann ein halbes Ereignis oder mehrere enthalten. Puffere, bis jedes Ereignis vollständig ist, bevor du es als JSON parst, oder nutze einen SDK-Helfer, der das für dich erledigt:
- TypeScript:
streamResponses(),streamChat(),streamMessages(); Python:stream_responses(),stream_chat(),stream_message()(Nutzungsanleitung) - Vercel AI SDK:
streamText()mit@phaseo/ai-sdk-provider
[DONE]. Warte bei den anderen Endpunkten nicht darauf.
Tool-Aufrufe streamen
Tool-Aufrufe kommen genau wie Text als Argument-Deltas an. Ob ein Modell sie streamt, hängt vom Modell und vom Anbieter ab. Sammle die Deltas, bis der Aufruf vollständig ist, und parse, validiere und autorisiere dann die Argumente. Führe ein Tool nie mit unvollständigen Argumenten aus. Siehe Tool-Aufrufmuster zum Zurücksenden von Ergebnissen und Toolsicherheit zu Validierung und Freigabe.Einen Stream abbrechen
Übergib einAbortSignal (oder das Gegenstück deines HTTP-Clients) und brich ab, wenn die Person stoppt oder die Verbindung trennt. Setze eine Frist, die zur Arbeitslast passt. Ein Abbruch garantiert nicht, dass der Anbieter sofort aufhört oder dass bereits generierte Ausgabe kostenlos ist.
Einen unterbrochenen Stream wiederherstellen
Schlägt ein Stream fehl, nachdem bereits Text angekommen ist, endet er mit dem Fehlerereignis aus der Tabelle oben statt mit dem erfolgreichen. Eine geschlossene Verbindung allein bedeutet nicht, dass die Antwort vollständig ist. Phaseo berechnet die Teilausgabe eines fehlgeschlagenen Streams nicht. Wenn das passiert:- Lass den Teiltext sichtbar und markiere ihn als unterbrochen.
- Protokolliere die Anfrage- oder Generierungs-ID, den Endpunkt und das Modell.
- Biete einen erneuten Versuch an. Eine neue Anfrage kann anderen Text erzeugen und wird erneut berechnet.
- Führe bereits ausgeführte Tools nicht erneut aus und hänge die wiederholte Antwort nicht an die Teilantwort an.