stream: true, um Ausgaben als Server-Sent Events (SSE) zu empfangen. Bewahre den Phaseo-API-Schlüssel auf deinem Server auf und leite die Ausgabe an die Oberfläche weiter.
Streaming-Anfrage senden
Ereignisse lesen
Nutze das Ereignisformat des aufgerufenen Endpunkts:
SSE-Ereignisse sind durch Leerzeilen getrennt. Ein Netzwerkfragment kann einen Teil eines Ereignisses oder mehrere Ereignisse enthalten; parse es nicht als eigenständiges JSON. Puffere unvollständige Frames oder nutze einen SDK-Streaminghelfer. Nicht jeder Endpunkt sendet
[DONE].
Die SDK-Helfer übernehmen den Streamtransport:
- TypeScript:
streamResponses(),streamChat(),streamMessages(). - Python:
stream_responses(),stream_chat(),stream_message(). - Vercel AI SDK:
streamText()mit@phaseo/ai-sdk-provider.
Tool-Aufrufe streamen
Das Gateway akzeptiert Streaming mit Tools; die Unterstützung hängt vom Modell und Anbieter ab. Sammle Argumentfragmente bis zum vollständigen Tool-Aufruf und parse, validiere und autorisiere sie vor der Ausführung. Führe niemals unvollständige Argumente aus. Nutze Tool-Aufrufmuster für Fortsetzungsanfragen und Toolsicherheit für Validierung und Freigabe.Abbrechen und wiederherstellen
Übergib dem serverseitigen HTTP-Client einAbortSignal und brich ab, wenn der Nutzer stoppt oder die Verbindung trennt. Setze eine passende Frist. Ein Abbruch garantiert weder einen sofortigen Anbieterstop noch kostenlose generierte Ausgaben.
Zeige Teiltexte schrittweise an, aber markiere eine Antwort erst nach dem erfolgreichen Abschlussereignis als vollständig. Eine geschlossene Verbindung allein belegt keinen Abschluss.
Wenn ein Stream nach Ausgabebeginn fehlschlägt:
- Markiere die Teilantwort als unterbrochen.
- Speichere Anfrage- oder Generierungs-ID, Endpunkt und Modell in deinen Logs.
- Biete einen ausdrücklichen Wiederholungsversuch an. Eine neue Anfrage kann andere Ausgaben und zusätzliche Kosten erzeugen.
- Führe ausgeführte Tools nicht erneut aus und hänge Wiederholungsantworten nicht automatisch an die Teilausgabe an.