Zwischenspeicherung von Prompts

Nutze Prompt-Caching, wenn derselbe umfangreiche Kontext in vielen Anfragen vorkommt. Markiere stabile Anweisungen, Dokumente, Beispiele, Tool-Ergebnisse oder Tool-Definitionen als cachefähig, damit unterstützte Provider sie bei späteren Aufrufen wiederverwenden können. Prompt-Caching unterscheidet sich vom Response-Caching. Die Inferenz wird weiterhin ausgeführt, aber Prompt-Caching kann Kosten und Latenz bei wiederholter Eingabeverarbeitung reduzieren. Response-Caching gibt eine zuvor generierte Antwort für eine identische Anfrage zurück.

Prompt-Caching hängt vom Provider und Modell ab. Nicht unterstützte Provider ignorieren Cache-Hinweise oder routen ohne Cache-Abrechnung. Die Modellseite zeigt in der Preistabelle die Preise für Cache-Lese- und Schreibvorgänge.

Was gecacht werden soll

Cach Inhalte, die über mehrere Anfragen hinweg stabil bleiben:

lange Systemanweisungen
wiederverwendete RAG-Dokumente
Few-Shot-Beispiele
Tool-Definitionen
umfangreiche Tool-Ergebnisse, die im nächsten Zug wiederverwendet werden

Cach keine Inhalte, die sich mit jeder Anfrage ändern, kurze einmalige Nutzereingaben enthalten oder sensible Daten umfassen, die laut Richtlinie nicht beim ausgewählten Provider gespeichert werden dürfen.

Cache-Steuerung

Phaseo akzeptiert bei Chat-Completions-, Responses- und Anthropic-Messages-Anfragen einen Kompatibilitätshinweis cache_control auf oberster Ebene:

{
  "cache_control": {
    "type": "ephemeral",
    "ttl": "5m"
  }
}

Verwende ttl: "5m" für kurzlebigen gemeinsamen Kontext und ttl: "1h", wenn Provider und Modell länger gültige Prompt-Cache-Einträge unterstützen. Unterstützte Provider behandeln die Cache-Steuerung auf oberster Ebene als automatische Standardrichtlinie. Du kannst cache_control auch direkt in unterstützten Text-, Bild-, Tool-Ergebnis- und Tool-Definitionsblöcken platzieren, um explizite Cache-Grenzen festzulegen:

{
  "type": "text",
  "text": "Large stable reference text...",
  "cache_control": {
    "type": "ephemeral",
    "ttl": "1h"
  }
}

Providerspezifische Aliase werden weiterhin unterstützt. Beispielsweise kannst du über provider_options eine standardmäßige Anthropic-Cache-Richtlinie festlegen:

{
  "provider_options": {
    "anthropic": {
      "cache_control": {
        "type": "ephemeral",
        "ttl": "5m",
        "scope": "last_user_message"
      }
    }
  }
}

Unterstützte Werte für scope:

Geltungsbereich	Verhalten
`all_text`	Fügt dem Systemtext sowie Nutzer-Text- und Bildblöcken eine Cache-Steuerung hinzu, sofern sie noch keine haben.
`last_user_message`	Fügt nur der letzten Nutzernachricht eine Cache-Steuerung hinzu.
`none`	Wende keine standardmäßige Cache-Richtlinie an.

cache_control auf Blockebene hat Vorrang vor der Standardrichtlinie.

Chat Completions

Nutze /v1/chat/completions mit OpenAI-kompatiblen Chat-Clients.

curl https://api.phaseo.app/v1/chat/completions \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic/claude-sonnet-4",
    "messages": [
      {
        "role": "system",
        "content": [
          {
            "type": "text",
            "text": "You are a support assistant. Follow the company policy exactly.",
            "cache_control": { "type": "ephemeral", "ttl": "1h" }
          }
        ]
      },
      {
        "role": "user",
        "content": "Summarise the latest ticket."
      }
    ]
  }'

Übermittle bei OpenAI-gerouteten Anfragen die Cache-Aufbewahrungsoptionen von OpenAI über das kompatible Feld auf oberster Ebene:

{
  "prompt_cache_retention": "24h"
}

Der providerspezifische Alias wird ebenfalls akzeptiert:

{
  "provider_options": {
    "openai": {
      "prompt_cache_retention": "24h"
    }
  }
}

Responses

Nutze /v1/responses für neue OpenAI-kompatible Textintegrationen und Agentenabläufe.

curl https://api.phaseo.app/v1/responses \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic/claude-sonnet-4",
    "input": [
      {
        "role": "user",
        "content": [
          {
            "type": "input_text",
            "text": "Reference document: Refunds are available for 30 days when...",
            "cache_control": { "type": "ephemeral", "ttl": "5m" }
          },
          {
            "type": "input_text",
            "text": "Answer this customer: Can I return an item after 20 days?"
          }
        ]
      }
    ]
  }'

Wenn du bereits eine gecachte Inhaltsressource von Google Gemini hast, übermittle sie über provider_options.google.cached_content:

{
  "provider_options": {
    "google": {
      "cached_content": "cachedContents/abc123"
    }
  }
}

Anthropic Messages

Nutze /v1/messages, wenn dein Client Anthropic-kompatibel ist.

curl https://api.phaseo.app/v1/messages \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic/claude-sonnet-4",
    "max_tokens": 512,
    "system": [
      {
        "type": "text",
        "text": "You are a careful support assistant. Use the policy below.",
        "cache_control": { "type": "ephemeral", "ttl": "1h" }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "Policy: refunds are available for 30 days when...",
            "cache_control": { "type": "ephemeral", "ttl": "5m" }
          },
          {
            "type": "text",
            "text": "Can this customer return an item after 20 days?"
          }
        ]
      }
    ],
    "tools": [
      {
        "name": "lookup_order",
        "description": "Look up order status.",
        "input_schema": {
          "type": "object",
          "properties": {
            "order_id": { "type": "string" }
          },
          "required": ["order_id"]
        },
        "cache_control": { "type": "ephemeral", "ttl": "5m" }
      }
    ]
  }'

Anthropic Messages unterstützt Cache-Steuerung für:

system-Textblöcke
Text- und Bildblöcke von Nachrichten
Tool-Ergebnisblöcke
Tool-Definitionen

Nutzungs- und Abrechnungsfelder

Wenn ein Provider Cache-Nutzungsdaten zurückgibt, vereinheitlicht Phaseo sie in gemeinsamen Nutzungsfeldern.

Feld	Bedeutung
`input_tokens_details.cached_tokens`	Aus einem Provider-Prompt-Cache gelesene Eingabetoken.
`output_tokens_details.cached_tokens`	In einen Provider-Prompt-Cache geschriebene Eingabetoken.
`cached_read_text_tokens`	Abrechnungs-Meter für Cache-Lesevorgänge. Dabei wird zwischengespeicherter Eingabetext aus einem Provider-Cache wiederverwendet.
`cached_write_text_tokens`	Abrechnungs-Meter für Cache-Schreibvorgänge, wenn der Provider einen einheitlichen Schreibpreis hat.
`cached_write_text_tokens_5m`	Cache-Schreibtoken für eine TTL von fünf Minuten, wenn der Provider TTL-spezifische Schreibvorgänge meldet.
`cached_write_text_tokens_1h`	Cache-Schreibtoken für eine TTL von einer Stunde, wenn der Provider TTL-spezifische Schreibvorgänge meldet.

Cache-Schreibvorgänge sind meist teurer als normale Eingabetoken, Lesevorgänge meist günstiger. Die genauen Preise hängen vom Provider, Modell und TTL ab.

Praktische Prüfungen

Nach dem Einrichten von Prompt-Caching:

Sende eine Anfrage, um den Cache zu erstellen oder aufzuwärmen.
Sende eine zweite Anfrage mit denselben cachefähigen Inhalten.
Prüfe in den Nutzungsdaten der Antwort und den Anfragedetails die Cache-Lese- und Schreibfelder.
Vergleiche Latenz und Kosten über mehrere Aufrufe hinweg, nicht nur beim ersten.

Provider-Affinität

Phaseo verwendet den Prompt-Cache-Verbrauch des Providers standardmäßig als Routing-Signal. Sobald ein Provider gecachte Eingabetoken zurückgibt, werden Anfragen mit demselben Cache-Schlüssel oder stabilem Anfangskontext 15 Minuten lang bevorzugt an diesen Provider geleitet. So muss kein anderer Provider für den erneuten Aufbau desselben Prompt-Caches bezahlt werden. Wenn du session_id angibst, sorgt ein erkanntes Cache-Lesen zusätzlich für Session-Affinität. Phaseo behält diese Affinität während des aktiven Sitzungsfensters bei und ermöglicht weiterhin Failover, wenn der Provider gestört ist oder nicht mehr den Richtlinien entspricht. Setze provider.cache_aware_routing auf false, um es für eine Anfrage zu deaktivieren. Setze routing.session_affinity auf false, wenn die Anfrage eine session_id enthält aber weiterhin nur normales kontextbasiertes Routing verwenden soll.

Übersicht

Modelle und Routing

Funktionen

Integrationen

Arbeitsbereiche und Zugriff

Zuverlässigkeit und Betrieb

Plattform und Forschung

Migrationsleitfäden

Community

Zwischenspeicherung von Prompts

Was gecacht werden soll

Cache-Steuerung

Chat Completions

Responses

Anthropic Messages

Nutzungs- und Abrechnungsfelder

Praktische Prüfungen

Provider-Affinität

Verwandte Seiten

​Was gecacht werden soll

​Cache-Steuerung

​Chat Completions

​Responses

​Anthropic Messages

​Nutzungs- und Abrechnungsfelder

​Praktische Prüfungen

​Provider-Affinität

​Verwandte Seiten

Was gecacht werden soll

Cache-Steuerung

Chat Completions

Responses

Anthropic Messages

Nutzungs- und Abrechnungsfelder

Praktische Prüfungen

Provider-Affinität

Verwandte Seiten