stream: true を設定すると、Gateway はモデルが書いている間、出力を Server-Sent Events(SSE)として送ります。ストリームが完了したといえるのは、正常な終了イベントが届いたときだけです。再生 を押してストリームを見てから、途中で失敗 に切り替えると、壊れたストリームがどう終わるかを確認できます。
ストリーミングリクエストを送る
イベントを読む
エンドポイントごとにイベントの形式が異なります。
イベントは空行で区切られますが、1 つのネットワークチャンクにはイベントの半分や複数のイベントが含まれることがあります。各イベントが揃うまでバッファリングしてから JSON として解析するか、これを自動で行う SDK のヘルパーを使ってください。
- TypeScript:
streamResponses()、streamChat()、streamMessages();Python:stream_responses()、stream_chat()、stream_message()(使用ガイド) - Vercel AI SDK:
@phaseo/ai-sdk-providerとstreamText()
[DONE] を送るのは Chat Completions だけです。ほかのエンドポイントではこれを待たないでください。
ツール呼び出しをストリーミングする
ツール呼び出しは、テキストと同じように引数の差分として届きます。モデルがそれをストリーミングするかどうかは、モデルとプロバイダーによって異なります。呼び出しが完了するまで差分を集めてから、引数を解析、検証、認可してください。部分的な引数でツールを実行してはいけません。 結果を返す方法はツール呼び出しのパターンを、検証と承認はツールの安全性を参照してください。ストリームをキャンセルする
AbortSignal(または HTTP クライアントの同等の仕組み)を渡し、ユーザーが停止したり切断したりしたときに中止します。処理に合った期限を設定してください。キャンセルしても、プロバイダーがすぐに止まることや、すでに生成された出力が無料になることは保証されません。
中断したストリームから復旧する
テキストが始まった後にストリームが失敗すると、正常な終了イベントではなく、上の表にある失敗のイベントで終わります。接続が閉じただけでは、回答が完了したことにはなりません。失敗したストリームの部分的な出力は、Phaseo では課金されません。 その場合は次のようにします。- 部分的なテキストは画面に残し、中断されたことを示します。
- リクエスト ID または生成 ID、エンドポイント、モデルをログに残します。
- 再試行を提示します。新しいリクエストは異なるテキストを返すことがあり、改めて課金されます。
- すでに実行したツールを再実行したり、再試行した回答を部分的な回答に付け足したりしないでください。