cache_control markierst.
Auch mit Prompt-Caching läuft bei jeder Anfrage eine Inferenz. Es gibt keine frühere Antwort auf eine identische Anfrage zurück.
Einen Prompt cachen
Markiere den letzten Block des stabilen Teils. Alles bis einschließlich dieses Blocks wird gecacht.- Sende die Anfrage einmal, um den Cache zu schreiben.
- Sende sie erneut mit denselben cachefähigen Inhalten.
- Prüfe
cached_tokensundcache_write_tokensin den Nutzungsdaten der Antwort (siehe Nutzungs- und Abrechnungsfelder) sowie die Cache-Meter in den Anfragedetails. - Vergleiche Latenz und Kosten über mehrere Aufrufe hinweg, nicht nur beim ersten.
Phaseo sendet jedem Anbieter nur die Cache-Steuerungen, die er dokumentiert, und entfernt die übrigen. Cache-Steuerungen schließen nie einen Anbieter vom Routing aus. Jede Modellseite listet ihre Preise für Cache-Lese- und -Schreibvorgänge auf.
Welche Anbieter automatisch cachen
Andere OpenAI-kompatible Anbieter erhalten
prompt_cache_key, wenn ihre API das Feld akzeptiert, und keine weiteren Cache-Steuerungen. Phaseo sendet immer einen Hash aus deinem Arbeitsbereich und dem Schlüssel statt des Schlüssels selbst; siehe Anbieter-Affinität.
Cache-Steuerung
Claude-Breakpoints von Phaseo setzen lassen
Eincache_control auf oberster Ebene bei Chat Completions, Responses oder Anthropic Messages aktiviert Caching für Claude-Routen, und Phaseo setzt die Breakpoints für dich. Andere Anbieter ignorieren es.
ttl: "5m" (Standard) für kurzlebigen gemeinsamen Kontext und ttl: "1h", wenn das Modell länger lebende Cache-Einträge unterstützt. Ein cache_control auf oberster Ebene hält die Unterhaltung außerdem bei einem Anbieter; siehe Anbieter-Affinität.
provider_options.anthropic.cache_control ist dieselbe Einstellung und akzeptiert zusätzlich einen scope. Sendet eine Anfrage beides, gewinnt der Wert in provider_options:
Verwende
agent für mehrstufige Tool-Schleifen. all_text und last_user_message markieren keine Nachrichten, die nur Tool-Ergebnisse enthalten, sodass das gecachte Präfix nicht weiterwächst. Nicht erkannte scope-Werte werden als agent behandelt.
Breakpoints, die du selbst an Blöcken setzt, haben Vorrang vor der Standardrichtlinie und zählen zu Anthropics Grenze von vier pro Anfrage: Die Standardrichtlinie setzt ab vier keine weiteren Markierungen. Tragen deine eigenen Blöcke mehr als vier Markierungen, behält Phaseo die erste und die drei neuesten und entfernt die übrigen, damit die Anfrage nicht abgelehnt wird.
Cache-Breakpoints an Blöcken
Eine Cache-Markierung an einem Inhaltsblock cacht alles bis einschließlich dieses Blocks. Phaseo akzeptiert zwei Schreibweisen:cache_control:{"type": "ephemeral"}, mit einer optionalenttlvon5moder1h.prompt_cache_breakpoint: OpenAIs{"mode": "explicit"}, mit einer optionalenttlvon30moder12h(siehe 12-Stunden-Cache bei OpenAI). Trägt ein Block beides, gewinntprompt_cache_breakpoint.
cache_control überall dort, wo Anthropic es akzeptiert: an system-Textblöcken, an Text- und Bildblöcken in Nachrichten, an Tool-Ergebnisblöcken und an Tool-Definitionen. Hat eine Anfrage mehrere TTLs, verlangt Anthropic, dass die 1h-Breakpoints vor den 5m-Breakpoints stehen.
Jeder Anbieter erhält die Markierung in seiner eigenen Form:
Markierungen an Tool-Definitionen erreichen nur Claude-Routen, Alibaba Model Studio, Venice sowie die Claude- und Gemini-2.5-Modelle von Inference.net; OpenAI akzeptiert keine Breakpoints an Tools. Das Entfernen einer Markierung lässt den Rest des Prompts unverändert, sodass das gecachte Präfix zu einer Anfrage ohne Markierung passt.
Amazon Bedrock und Google Vertex AI cachen Claude 3.7 Sonnet, 3.5 Sonnet und 3 Opus nur für 5 Minuten, und Bedrock kann eine
ttl bei diesen Modellen ablehnen. Auf diesen Routen sendet Phaseo deine Breakpoints ohne ttl, sodass sie 5 Minuten lang cachen, und meldet ein entferntes 1h als cache_control.ttl im Header X-Phaseo-Dropped-Params und in meta.routing.dropped_params. Inference.net dokumentiert Breakpoints ohne ttl, daher entfernt und meldet Phaseo dort eine ttl auf dieselbe Weise, und die Schreibvorgänge werden als 5-Minuten-Schreibvorgänge abgerechnet.
Aufbewahrung und Optionen bei OpenAI
Die Cache-Steuerungen von OpenAI hängen von der Modellgeneration ab. Phaseo sendet jede nur dorthin, wo sie akzeptiert wird:
Der Modus
explicit cacht nur die Breakpoints, die du setzt. DeepInfra braucht außerdem prompt_cache_key bei jeder Anfrage der Sitzung. Phaseo sendet ein 1h für Moonshot AI nur an Kimi-K3-Routen mit einem Schreibpreis für 1 Stunde, sodass diese Schreibvorgänge zu diesem Preis abgerechnet werden; anderswo entfernt es die ttl und meldet sie als prompt_cache_options.ttl im Header X-Phaseo-Dropped-Params. Andere Anbieter erhalten keines der beiden Felder.
Sende eines der Felder auf oberster Ebene oder unter provider_options.openai. Sind beide vorhanden, gewinnt der Wert auf oberster Ebene:
24h.
12-Stunden-Cache bei OpenAI
Ab GPT-5.6 behält OpenAI einen Cache-Eintrag mindestens 12 Stunden, wenn duttl: "12h" setzt, entweder für die ganze Anfrage in prompt_cache_options oder für einen Breakpoint in prompt_cache_breakpoint. Ein Breakpoint ohne eigene ttl übernimmt die der Anfrage. OpenAI berechnet einen 12-Stunden-Schreibvorgang mit dem 2,5-Fachen des Eingabepreises und einen 30-Minuten-Schreibvorgang mit dem 1,25-Fachen; Cache-Lesevorgänge kosten in beiden Fällen gleich viel.
- OpenAI dokumentiert die Lebensdauer von 12 Stunden nur für seine Responses API. Eine Chat-Completions-Anfrage, die sie anfordert, läuft über OpenAIs Responses API, und die Antwort behält das Chat-Completions-Format.
- Routen, die einen 12-Stunden-Cache akzeptieren, werden zuerst versucht: OpenAIs eigene API (
openaiundopenai-eu) bei einem Modell ab GPT-5.6, dessen Preiskarte einen Schreibpreis für 12 Stunden hat. Jede andere Route, etwa Azure OpenAI, ein anderer Anbieter oder ein Modell vor GPT-5.6, erhält die Anfrage ohne ihn, sodass der Standard von 30 Minuten gilt. Die Anfrage läuft trotzdem, und das entfernte Feld wird alsprompt_cache_options.ttloderprompt_cache_breakpoint.ttlim HeaderX-Phaseo-Dropped-Paramsund inmeta.routing.dropped_paramsgemeldet.
Einen expliziten Gemini-Cache nutzen
Gemini 2.5 und neuer cachen implizit, ohne dass du etwas senden musst. Um einen expliziten Cache zu nutzen, den du mit Googles Caching-API angelegt hast, übergib seinen Namen inprovider_options.google.cached_content:
- Bei Google AI Studio funktioniert
cached_contentnur mit deinem eigenen Google-API-Schlüssel (BYOK). Mit dem Schlüssel von Phaseo gibt die Anfrage400zurück, weil der Cache zu dem Konto gehört, das ihn angelegt hat. - Bei Vertex AI funktioniert
cached_contentnur mit deinen eigenen Vertex-AI-Zugangsdaten; mit den Zugangsdaten von Phaseo gibt die Anfrage400zurück. Sende den vollständigen Namen des Caches,projects/{project}/locations/{location}/cachedContents/{id}, dann sendet Phaseo die Anfrage an dieses Projekt und diesen Standort. Ein Kurzname wiecachedContents/abc123verwendetproject_idundregionaus deinem Dienstkonto-JSON und gibt400zurück, wenn eines davon fehlt. - Google unterstützt keine expliziten Caches bei Gemini 4 Argon und neuer.
provider_options.google.cache_control und provider_options.google.cache_ttl werden akzeptiert, aber nicht an Google gesendet.
Responses: die ganze Unterhaltung senden
Phaseo speichert keine Antworten. Anfragen, dieprevious_response_id oder conversation setzen, geben 400 unsupported_param zurück. Sende daher bei jedem Schritt die ganze Unterhaltung in input. Ihr stabiler Anfang ist das Präfix, das gecacht wird. Sende in Tool-Schleifen auch die reasoning-Ausgabeelemente zurück; siehe Reasoning in Tool-Schleifen.
Reasoning-Aufwand mitten in der Unterhaltung ändern
Änderereasoning_effort (Chat Completions) oder reasoning.effort (Responses) zwischen Anfragen, und Phaseo erhält Claudes Prompt-Cache: Es sendet die Änderung als Aufwandsmarkierung innerhalb von messages statt als neuen Aufwand auf oberster Ebene. Das funktioniert, solange du Claudes Reasoning unverändert zurücksendest. Bei Anthropic Messages sendest du die Markierung selbst. Siehe Reasoning-Aufwand mitten in der Unterhaltung ändern.
Nutzungs- und Abrechnungsfelder
Jeder Text-Endpunkt meldet Cache-Lese- und -Schreibvorgänge. Chat Completions und Responses folgen der Semantik von OpenAI: Die Eingabezahl enthält Cache-Lese- und -Schreibvorgänge. Anthropic Messages folgt der von Anthropic:input_tokens schließt sie aus.
Bei Chat Completions und Responses ist die ungecachte Eingabe die gesamte Eingabe minus Cache-Lesevorgänge minus Cache-Schreibvorgänge. Gestreamte Anthropic-Messages-Antworten tragen die Cache-Felder in
message_delta. Die Nutzungsdaten von Chat Completions haben keine Aufteilung nach Lebensdauer, weil OpenAI dort keine dokumentiert; die Anfragedetails erfassen sie trotzdem.
Frühere Antworten meldeten Cache-Schreibvorgänge als
output_tokens_details.cached_tokens (completion_tokens_details.cached_tokens bei Chat Completions), und Claude-Routen ließen Cache-Lese- und -Schreibvorgänge bei Chat Completions und Responses aus input_tokens heraus. Beides gilt nicht mehr: Lies Schreibvorgänge aus cache_write_tokens. Nicht gestreamte Anthropic-Messages-Antworten gaben früher cache_creation_input_tokens: null zurück; jetzt geben sie die echten Werte zurück.Wie gecachte Token abgerechnet werden
Phaseo rechnet jedes Eingabetoken genau einmal zu genau einem Preis ab: ungecachte Eingabe zum Eingabepreis, Cache-Lesevorgänge zum Cache-Lesepreis und Cache-Schreibvorgänge zum Cache-Schreibpreis oder, wenn der Anbieter sie getrennt berechnet, zu den Preisen für 5 Minuten und 1 Stunde (Claude) bzw. 30 Minuten und 12 Stunden (OpenAI). Manche Anbieter zählen Cache-Schreibvorgänge in die Eingabesumme, andere melden sie zusätzlich; in beiden Fällen wird ein geschriebenes Token nie zusätzlich als normale Eingabe berechnet. Bei beispielhaften Preisen von $5.00 pro 1 Mio. Eingabetoken, $0.50 für Cache-Lesevorgänge, $6.25 für 30-Minuten-Cache-Schreibvorgänge und $30.00 für Ausgabe kostet eine Anfrage mit 53.100 Eingabetoken, davon 48.000 Cache-Lesevorgänge und 3.000 Cache-Schreibvorgänge, sowie 850 Ausgabetoken:
Hätten 2.000 dieser Schreibvorgänge eine Lebensdauer von 12 Stunden, kosteten sie $12.50 statt $6.25 pro 1 Mio., und die Anfrage würde $0.09125 kosten.
Manche Anbieter gewähren bei einigen Modellen keinen Rabatt auf gecachte Token. Deren Modellseiten zeigen denselben Preis für Eingabe und Cache-Lesevorgänge.
Wenn eine Route noch keinen Cache-Preis hat
Meldet ein Anbieter gecachte Token auf einer Route, für die der Katalog noch keinen Cache-Preis hat, schlägt die Anfrage nicht fehl:- Cache-Lesevorgänge werden zum Eingabepreis der Route abgerechnet.
- Cache-Schreibvorgänge werden zum Eingabepreis mal dem dokumentierten Schreibfaktor des Anbieters abgerechnet.
- Die Preiszeile ist mit
pricing_fallback: "input_rate"gekennzeichnet.
Auf einer Claude-Route, deren Katalog nur einen Cache-Schreibpreis hat, ist dieser Preis der 5-Minuten-Preis. Schreibvorgänge, die der Anbieter als 1-Stunden-Schreibvorgänge meldet, werden zum doppelten Eingabepreis abgerechnet, in einer Zeile
cached_write_text_tokens_1h mit der Kennzeichnung pricing_fallback: "input_rate".
Das letzte message_delta einer gestreamten Claude-Antwort meldet die gesamten Cache-Schreibvorgänge ohne Aufteilung nach TTL. Schreibvorgänge über diese Aufteilung hinaus werden als 5-Minuten-Schreibvorgänge abgerechnet, weil Schreibvorgänge von Server-Tools auch dann 5 Minuten nutzen können, wenn die Anfrage 1 Stunde anfordert.
Anbieter-Affinität
Ein Prompt-Cache liegt bei einem Anbieter und oft bei einer Region oder einem Deployment dieses Anbieters. Phaseo hält zusammengehörige Anfragen beim Anbieter und bei der Route, die sie bedient haben, damit eine Agentenschleife nicht dafür bezahlt, ihren Cache anderswo neu aufzubauen. Sendeprompt_cache_key oder session_id oder aktiviere Caching mit cache_control (auf oberster Ebene, als provider_options.anthropic.cache_control oder als cache_control- bzw. prompt_cache_breakpoint-Markierung an einem Nachrichtenblock oder Tool), um eine Unterhaltung festzulegen. Phaseo legt sie auf den Anbieter und die Route fest, die die erste erfolgreiche Anfrage bedient haben, und spätere Anfragen mit demselben Schlüssel gehen ebenfalls dorthin. Festlegungen gelten pro Arbeitsbereich, Endpunkt und Modell.
Wie lange eine Festlegung gilt, hängt von der Cache-Aufbewahrung des Anbieters ab:
Eine Festlegung wechselt nur, wenn ihr Anbieter ausfällt (ein offener Circuit Breaker oder eine hohe aktuelle Fehlerquote), wenn das von Phaseo verwaltete Kontingent bei diesem Anbieter aufgebraucht ist oder wenn die aktive Route, Voreinstellung, Guardrail oder Anfragerichtlinie ihn nicht mehr zulässt. Die Anfrage wechselt dann per Failover, und die Festlegung geht auf den Anbieter über, der sie bedient hat. Die Anfragedetails vermerken dies als
sticky_routing.demotionReason in der Routing-Diagnose. Festgelegte Anfragen werden nicht genutzt, um sich erholende Anbieter zu testen.
Ohne Schlüssel, session_id oder Cache-Markierung legt Phaseo den Anfangskontext trotzdem 15 Minuten lang auf einen Anbieter fest, der dafür einen Cache-Lese- oder -Schreibvorgang gemeldet hat, sofern gecachte Eingabe bei diesem Anbieter günstiger ist als normale Eingabe.
Phaseo sendet Anbietern einen Hash aus deinem Arbeitsbereich und prompt_cache_key, nie den Rohschlüssel, sodass derselbe Schlüssel in zwei Arbeitsbereichen nie einen Anbieter-Cache teilt. Gibt es nur eine session_id, leitet Phaseo diesen Hash für OpenAI, xAI, Fireworks und Cerebras aus der Sitzung ab. Fireworks, Cloudflare Workers AI und Baseten erhalten ihn zusätzlich im Header x-session-affinity, Morph im Header x-session-id und xAI als x-grok-conv-id, sofern du nicht provider_options.xai.conversation_id setzt. Antworten geben weiterhin deinen eigenen prompt_cache_key zurück.
Setze provider.cache_aware_routing auf false, um für eine Anfrage darauf zu verzichten. Setze routing.session_affinity auf false, wenn die Anfrage eine session_id enthält, aber nur normales kontextbasiertes Routing nutzen soll; Phaseo leitet dann auch keinen Anbieter-Cache-Schlüssel mehr aus der Sitzung ab. Wie Affinität mit Anbieterreihenfolge und Fallbacks zusammenspielt, steht unter Routing und Fallbacks. Jedes Cache-Feld ist außerdem in der Parameterreferenz aufgeführt.