画像と音声を送る
リクエストに画像、ファイル、音声を加え、欲しい出力に合ったエンドポイントを選び、各入力を受け付けるモデルを見つけます。
テキストのエンドポイントでは、メッセージの content を文字列ではなくパーツのリストにできます。画像のパーツには、HTTP(S) の URL か base64 の data: URI を指定します。
{
"model": "anthropic/claude-sonnet-5.5",
"messages": [
{
"role": "user",
"content": [
{ "type": "text", "text": "What does this chart show?" },
{ "type": "image_url", "image_url": { "url": "https://example.com/chart.png" } }
]
}
]
}
ほかの入力パーツも同じパターンです。input_audio は、base64 の音声 data を wav や mp3 などの format とともに送ります。file パーツは PDF などのドキュメントを、file_data の base64 データ URL か file_id として送ります。file_id を読めるのは発行したプロバイダーのアカウントだけなので、そのプロバイダーに固定するか、データそのものを送ってください。
ほかの種類の出力には、専用のエンドポイントを使います。
| 欲しいもの | エンドポイント |
|---|---|
| テキストから音声 | /v1/audio/speech |
| 音声からテキスト | /v1/audio/transcriptions(英語への翻訳は /v1/audio/translations) |
| 画像 | /v1/images/generations、/v1/images/edits |
| ドキュメント画像からテキストとレイアウト | /v1/ocr、/v1/parse |
/v1/parse はリクエストごとに画像を 1 枚受け付け、PDF には対応していないので、先に各ページを画像に変換してください。
すべてのモデルがすべての入力を受け付けるわけではありません。Phaseo は、リクエストの入力を受け付けるプロバイダーにだけルーティングし、該当するものがなければ 400 unsupported_modalities を返します。先に確認しましょう。GET /v1/models の各モデルには modalities.input が含まれ、input_types=image で絞り込めます。モデル ページでは、入力と出力のモダリティのフィルターを使います。
理解度チェック
画像入力を受け付けるモデルの一覧が必要です。最も手早く確実な確認方法はどれですか?
実践してみる
レシート機能がテキスト専用のモデルに写真を送り、400 unsupported_modalities が返ってきます。プロダクトマネージャーに Phaseo が落ちているのかと聞かれました。どう答え、何を変えますか?
答えを表示答えを隠す
Phaseo は落ちていません。そのモデルには画像入力を受け付けるルートがないだけです。modalities.input に image を含むモデルを選び(GET /v1/models を input_types=image で絞り込むか、モデルページのフィルターを使います)、同じリクエストをそのモデルに送ります。
ポイント
関連リンク
最終確認日:2026年11月17日