レッスン 3/3 · 9 分

画像と音声を送る

リクエストに画像、ファイル、音声を加え、欲しい出力に合ったエンドポイントを選び、各入力を受け付けるモデルを見つけます。

テキストのエンドポイントでは、メッセージの content を文字列ではなくパーツのリストにできます。画像のパーツには、HTTP(S) の URL か base64 の data: URI を指定します。

{
  "model": "anthropic/claude-sonnet-5.5",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "What does this chart show?" },
        { "type": "image_url", "image_url": { "url": "https://example.com/chart.png" } }
      ]
    }
  ]
}

ほかの入力パーツも同じパターンです。input_audio は、base64 の音声 data を wav や mp3 などの format とともに送ります。file パーツは PDF などのドキュメントを、file_data の base64 データ URL か file_id として送ります。file_id を読めるのは発行したプロバイダーのアカウントだけなので、そのプロバイダーに固定するか、データそのものを送ってください。

ほかの種類の出力には、専用のエンドポイントを使います。

欲しいものエンドポイント
テキストから音声/v1/audio/speech
音声からテキスト/v1/audio/transcriptions(英語への翻訳は /v1/audio/translations)
画像/v1/images/generations、/v1/images/edits
ドキュメント画像からテキストとレイアウト/v1/ocr、/v1/parse

/v1/parse はリクエストごとに画像を 1 枚受け付け、PDF には対応していないので、先に各ページを画像に変換してください。

すべてのモデルがすべての入力を受け付けるわけではありません。Phaseo は、リクエストの入力を受け付けるプロバイダーにだけルーティングし、該当するものがなければ 400 unsupported_modalities を返します。先に確認しましょう。GET /v1/models の各モデルには modalities.input が含まれ、input_types=image で絞り込めます。モデル ページでは、入力と出力のモダリティのフィルターを使います。

理解度チェック

画像入力を受け付けるモデルの一覧が必要です。最も手早く確実な確認方法はどれですか?

実践してみる

レシート機能がテキスト専用のモデルに写真を送り、400 unsupported_modalities が返ってきます。プロダクトマネージャーに Phaseo が落ちているのかと聞かれました。どう答え、何を変えますか?

答えを表示

Phaseo は落ちていません。そのモデルには画像入力を受け付けるルートがないだけです。modalities.input に image を含むモデルを選び(GET /v1/models を input_types=image で絞り込むか、モデルページのフィルターを使います)、同じリクエストをそのモデルに送ります。

ポイント

画像、音声、ファイルはコンテンツのパーツとして送り、音声合成、文字起こし、画像には専用のエンドポイントを使い、モデルに頼る前に入力のモダリティを確認します。

関連リンク

進捗はこのブラウザーに保存されます。

最終確認日:2026年11月17日