第 3/3 节课 · 9 分钟

发送图像和音频

在请求中加入图像、文件和音频,为想要的输出选择合适的端点,并找到接受各类输入的模型。

在文本端点上,消息的 content 可以是一个由多个部分组成的列表,而不是一个字符串。图像部分接受 HTTP(S) URL 或 base64 data: URI:

{
  "model": "anthropic/claude-sonnet-5.5",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "What does this chart show?" },
        { "type": "image_url", "image_url": { "url": "https://example.com/chart.png" } }
      ]
    }
  ]
}

其他输入部分遵循同样的模式。input_audio 发送 base64 音频 data,并带有 wav 或 mp3 等 format。file 部分用于发送 PDF 等文档,可以是 file_data 中的 base64 data URL,也可以是一个 file_id。file_id 只能被签发它的提供商账户读取,所以要么固定使用那个提供商,要么改为直接发送数据。

对于其他类型的输出,请使用对应的端点:

你想要端点
从文本生成语音/v1/audio/speech
从语音转写文本/v1/audio/transcriptions(翻译成英文用 /v1/audio/translations)
图像/v1/images/generations、/v1/images/edits
从文档图像中提取文本和版式/v1/ocr、/v1/parse

/v1/parse 每个请求只接受一张图像,并且不接受 PDF,所以要先把每一页转换成图像。

并不是每个模型都接受所有输入。Phaseo 只会路由到能接受你请求中输入的提供商;如果没有这样的提供商,你会收到 400 unsupported_modalities。请先检查:GET /v1/models 中的每个模型都列出了 modalities.input,你可以用 input_types=image 进行筛选。在 模型 页面上,使用输入和输出模态筛选器。

检验你的理解

你需要一份接受图像输入的模型列表。最快且可靠的检查方法是什么?

学以致用

你的收据功能把一张照片发送给一个纯文本模型,收到了 400 unsupported_modalities。产品经理问是不是 Phaseo 宕机了。你怎么回答,又要改什么?

显示答案

Phaseo 没有宕机:该模型没有任何路由接受图像输入。选择一个 modalities.input 包含 image 的模型(用 input_types=image 筛选 GET /v1/models,或使用模型页面的筛选器),然后把同样的请求发送给它。

要点

把图像、音频和文件作为内容部分发送,语音、转写和图像使用专用端点,在依赖某个模型之前先检查它的输入模态。

相关链接

进度保存在此浏览器中。

最后核对于 2026年11月17日