streamText, wenn du Tokens direkt nach ihrem Eintreffen erhalten möchtest.
Streaming mit Nachrichten
Tipps für den Produktionseinsatz
- Bevorzuge Streaming für lange Antworten und interaktive Oberflächen.
- Behandle Abbruch und Timeouts in deiner Laufzeitumgebung für nicht mehr genutzte Streams.
- Halte Modell-IDs über
/v1/modelsaktuell, damit keine veralteten Aliase verwendet werden.