Lição 3 de 3 · 9 minutos

Envie imagens e áudio

Adicione imagens, arquivos e áudio a uma solicitação, escolha o endpoint para a saída que você quer e encontre modelos que aceitam cada entrada.

Nos endpoints de texto, o content de uma mensagem pode ser uma lista de partes em vez de uma string. Uma parte de imagem aceita uma URL HTTP(S) ou uma URI data: em base64:

{
  "model": "anthropic/claude-sonnet-5.5",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "What does this chart show?" },
        { "type": "image_url", "image_url": { "url": "https://example.com/chart.png" } }
      ]
    }
  ]
}

As outras partes de entrada seguem o mesmo padrão. input_audio envia data de áudio em base64 com um format como wav ou mp3. Uma parte file envia um documento, como um PDF, seja como data URL em base64 em file_data, seja como file_id. Um file_id só pode ser lido pela conta de provedor que o emitiu, então fixe esse provedor ou envie os dados.

Para outros tipos de saída, use o endpoint próprio:

Você querEndpoint
Fala a partir de texto/v1/audio/speech
Texto a partir de fala/v1/audio/transcriptions (/v1/audio/translations para inglês)
Imagens/v1/images/generations, /v1/images/edits
Texto e layout a partir da imagem de um documento/v1/ocr, /v1/parse

/v1/parse aceita uma imagem por solicitação e não aceita PDFs, então converta cada página em imagem antes.

Nem todo modelo aceita todo tipo de entrada. O Phaseo só roteia para provedores que aceitam as entradas da sua solicitação; se nenhum aceitar, você recebe 400 unsupported_modalities. Confira antes: cada modelo em GET /v1/models lista modalities.input, e você pode filtrar com input_types=image. Na página Modelos, use os filtros de modalidades de entrada e saída.

Confira o que você aprendeu

Você precisa de uma lista de modelos que aceitam imagens como entrada. Qual é a verificação confiável mais rápida?

Aplique

O seu recurso de recibos envia uma foto para um modelo só de texto e recebe 400 unsupported_modalities. O gerente de produto pergunta se o Phaseo está fora do ar. O que você responde, e o que você muda?

Mostrar a resposta

O Phaseo não está fora do ar: nenhuma rota desse modelo aceita imagens como entrada. Escolha um modelo cujo modalities.input inclua image (filtre GET /v1/models com input_types=image ou use o filtro da página Modelos) e envie a mesma solicitação para ele.

Resumo

Envie imagens, áudio e arquivos como partes do conteúdo, use os endpoints próprios para fala, transcrição e imagens e confira as modalidades de entrada de um modelo antes de depender dele.

Links relacionados

O progresso fica salvo neste navegador.

Verificado em 17 de novembro de 2026