Lektion 4 von 4 · 9 Minuten

Streamen

Zeige die Antwort, während sie geschrieben wird, und unterscheide einen fertigen Stream von einem abgebrochenen.

Setze "stream": true, dann sendet Phaseo die Ausgabe als Server-Sent Events (SSE), während das Modell sie schreibt:

curl --no-buffer https://api.phaseo.app/v1/responses \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "input": "Say hello in one sentence.",
    "stream": true
  }'

Prüfe zuerst den HTTP-Status. Eine Anfrage, die vor dem Start des Streams fehlschlägt, bekommt den normalen JSON-Fehler, keinen Stream. Lies dann die Events. Jeder Endpunkt hat sein eigenes Format:

EndpunktText kommt inErfolgreiches EndeEnde bei Fehler
Responsesresponse.output_text.deltaresponse.completedresponse.failed oder error
Chat Completionschoices[].deltaein finish_reason, dann [DONE]ein error-Frame ohne finish_reason

Bei Chat Completions trägt vor [DONE] ein letzter Chunk mit leerem choices die usage, einschließlich cost für den ganzen Stream. Nur Chat Completions sendet [DONE]. Ein Netzwerk-Chunk kann ein halbes Event oder mehrere enthalten. Puffere also, bis ein Event vollständig ist, bevor du es parst, oder nutze einen Stream-Helper eines SDK.

Ein Stream ist erst fertig, wenn sein erfolgreiches End-Event ankommt. Eine geschlossene Verbindung allein heißt nicht, dass die Antwort vollständig ist. Bricht er mittendrin ab, behalte den Teiltext als unterbrochen markiert und biete eine Wiederholung an; Phaseo berechnet die Teilausgabe eines fehlgeschlagenen Streams nicht.

Zum Abbrechen übergibst du ein AbortSignal (oder das Gegenstück deines HTTP-Clients) und brichst ab, wenn die Person stoppt. Ein Abbruch garantiert nicht, dass der Anbieter sofort aufhört oder dass bereits generierte Ausgabe kostenlos ist.

Prüfe dein Verständnis

Dein Chat-Completions-Stream hat Text geliefert, dann schließt sich die Verbindung. Du hast weder ein finish_reason noch [DONE] gesehen. Was tust du?

Wende es an

In deiner Chat-Oberfläche können Nutzer auf Stopp drücken. Deine Produktmanagerin nimmt an, dass gestoppte Antworten nichts kosten. Stimmt das?

Antwort anzeigen

Nein. Brich die Anfrage mit einem AbortSignal ab, damit deine App aufhört zu lesen. Laut Dokumentation garantiert ein Abbruch aber nicht, dass der Anbieter sofort aufhört oder dass bereits generierte Ausgabe kostenlos ist. Rechne damit, dass für gestoppte Antworten die bereits geleistete Arbeit berechnet wird.

Das Wichtigste

Warte auf das erfolgreiche End-Event des Endpunkts, behandle alles andere als unterbrochen und geh nicht davon aus, dass ein abgebrochener Stream kostenlos ist.

Weiterführende Links

Dein Fortschritt wird in diesem Browser gespeichert.

Zuletzt geprüft am 17. November 2026