发送图像和音频
在请求中加入图像、文件和音频,为想要的输出选择合适的端点,并找到接受各类输入的模型。
在文本端点上,消息的 content 可以是一个由多个部分组成的列表,而不是一个字符串。图像部分接受 HTTP(S) URL 或 base64 data: URI:
{
"model": "anthropic/claude-sonnet-5.5",
"messages": [
{
"role": "user",
"content": [
{ "type": "text", "text": "What does this chart show?" },
{ "type": "image_url", "image_url": { "url": "https://example.com/chart.png" } }
]
}
]
}
其他输入部分遵循同样的模式。input_audio 发送 base64 音频 data,并带有 wav 或 mp3 等 format。file 部分用于发送 PDF 等文档,可以是 file_data 中的 base64 data URL,也可以是一个 file_id。file_id 只能被签发它的提供商账户读取,所以要么固定使用那个提供商,要么改为直接发送数据。
对于其他类型的输出,请使用对应的端点:
| 你想要 | 端点 |
|---|---|
| 从文本生成语音 | /v1/audio/speech |
| 从语音转写文本 | /v1/audio/transcriptions(翻译成英文用 /v1/audio/translations) |
| 图像 | /v1/images/generations、/v1/images/edits |
| 从文档图像中提取文本和版式 | /v1/ocr、/v1/parse |
/v1/parse 每个请求只接受一张图像,并且不接受 PDF,所以要先把每一页转换成图像。
并不是每个模型都接受所有输入。Phaseo 只会路由到能接受你请求中输入的提供商;如果没有这样的提供商,你会收到 400 unsupported_modalities。请先检查:GET /v1/models 中的每个模型都列出了 modalities.input,你可以用 input_types=image 进行筛选。在 模型 页面上,使用输入和输出模态筛选器。
检验你的理解
你需要一份接受图像输入的模型列表。最快且可靠的检查方法是什么?
学以致用
你的收据功能把一张照片发送给一个纯文本模型,收到了 400 unsupported_modalities。产品经理问是不是 Phaseo 宕机了。你怎么回答,又要改什么?
显示答案隐藏答案
Phaseo 没有宕机:该模型没有任何路由接受图像输入。选择一个 modalities.input 包含 image 的模型(用 input_types=image 筛选 GET /v1/models,或使用模型页面的筛选器),然后把同样的请求发送给它。
要点
相关链接
最后核对于 2026年11月17日