Zum Hauptinhalt springen
Setze stream: true, und das Gateway sendet die Ausgabe als Server-Sent Events (SSE), während das Modell sie schreibt. Ein Stream ist erst abgeschlossen, wenn sein erfolgreiches Abschlussereignis eintrifft. Drücke Abspielen, um einen Stream zu verfolgen, und wechsle dann zu Bricht mittendrin ab, um zu sehen, wie ein abgebrochener Stream endet.

Eine Streaming-Anfrage senden

Prüfe den HTTP-Status, bevor du den Body liest. Eine Anfrage, die vor Beginn des Streamings fehlschlägt, bekommt die normale JSON-Fehlerantwort, keinen Stream. Bewahre deinen Phaseo-API-Schlüssel auf deinem Server auf und leite den Text von dort an deine Oberfläche weiter.

Die Ereignisse lesen

Jeder Endpunkt hat sein eigenes Ereignisformat: Ereignisse sind durch Leerzeilen getrennt, aber ein Netzwerkfragment kann ein halbes Ereignis oder mehrere enthalten. Puffere, bis jedes Ereignis vollständig ist, bevor du es als JSON parst, oder nutze einen SDK-Helfer, der das für dich erledigt:
  • TypeScript: streamResponses(), streamChat(), streamMessages(); Python: stream_responses(), stream_chat(), stream_message() (Nutzungsanleitung)
  • Vercel AI SDK: streamText() mit @phaseo/ai-sdk-provider
Nur Chat Completions sendet [DONE]. Warte bei den anderen Endpunkten nicht darauf.

Tool-Aufrufe streamen

Tool-Aufrufe kommen genau wie Text als Argument-Deltas an. Ob ein Modell sie streamt, hängt vom Modell und vom Anbieter ab. Sammle die Deltas, bis der Aufruf vollständig ist, und parse, validiere und autorisiere dann die Argumente. Führe ein Tool nie mit unvollständigen Argumenten aus. Siehe Tool-Aufrufmuster zum Zurücksenden von Ergebnissen und Toolsicherheit zu Validierung und Freigabe.

Einen Stream abbrechen

Übergib ein AbortSignal (oder das Gegenstück deines HTTP-Clients) und brich ab, wenn die Person stoppt oder die Verbindung trennt. Setze eine Frist, die zur Arbeitslast passt. Ein Abbruch garantiert nicht, dass der Anbieter sofort aufhört oder dass bereits generierte Ausgabe kostenlos ist.

Einen unterbrochenen Stream wiederherstellen

Schlägt ein Stream fehl, nachdem bereits Text angekommen ist, endet er mit dem Fehlerereignis aus der Tabelle oben statt mit dem erfolgreichen. Eine geschlossene Verbindung allein bedeutet nicht, dass die Antwort vollständig ist. Phaseo berechnet die Teilausgabe eines fehlgeschlagenen Streams nicht. Wenn das passiert:
  1. Lass den Teiltext sichtbar und markiere ihn als unterbrochen.
  2. Protokolliere die Anfrage- oder Generierungs-ID, den Endpunkt und das Modell.
  3. Biete einen erneuten Versuch an. Eine neue Anfrage kann anderen Text erzeugen und wird erneut berechnet.
  4. Führe bereits ausgeführte Tools nicht erneut aus und hänge die wiederholte Antwort nicht an die Teilantwort an.
Bei Fehlern, bevor Text ankommt, versuche es mit Backoff erneut und beachte die Rate-Limit-Header. Musst du die gesamte Antwort validieren, bevor jemand sie sieht, nutze eine Anfrage ohne Streaming oder puffere den Stream auf deinem Server.
Zuletzt geändert am 5. November 2026