float8 für FP8 und bfloat16 für BF16 werden unterstützt. Angebote ohne Quantisierungsmetadaten sind nicht zulässig. Gibt es kein passendes zulässiges Angebot, schlägt die Anfrage mit Routing-Diagnose fehl; Phaseo weicht nicht auf eine ungeprüfte Quantisierung aus. Die entsprechende Struktur routing.quantizations wird ebenfalls unterstützt.
Schritt 1: Erfolgskriterien festlegen
Vor der Wahl einer Quantisierung:- Lege Qualitätsschwellen fest (Aufgabengenauigkeit, Erfolgsraten und Gültigkeit strukturierter Ausgaben).
- Lege Ziele für Latenz und Kosten fest.
- Definiere inakzeptable Fehlerarten.
Schritt 2: Eine hochwertige Basis auswählen
Beginne mit einer genaueren Basis (häufigBF16 oder FP16) und miss:
- Ausgabequalität
- Median- und Tail-Latenz
- Token- und Kostenprofil
Schritt 3: Präzision schrittweise verringern
Bewerte schrittweise Varianten mit geringerer Präzision:FP8orINT8- Nutze
FP4oderINT4nur, wenn du Kosten senken oder den Durchsatz erhöhen musst.
Schritt 4: Reale Workloads bewerten
Verwende Prompts, die dem Produktionseinsatz entsprechen:- Lange Prompts
- Mehrstufiges Schlussfolgern
- Tool-Aufrufe
- Grenzfälle aus Support-Tickets
Schritt 5: Pro Endpunkt oder Anwendungsfall entscheiden
Eine Quantisierung muss nicht für alle Anwendungsfälle passen. Beispiele:- Kundensupport und kritische Entscheidungen: hohe Präzision.
- Klassifizierung oder Zusammenfassung großer Datenmengen: Eine geringere Präzision kann ausreichen.
Empfohlene Ausgangspunkte
Deployment-Richtlinie
- Richte ein Ausweichmodell oder eine Ersatzquantisierung ein.
- Überwache Qualitätsabweichungen nach der Einführung.
- Teste erneut, wenn sich die Laufzeitumgebung des Providers oder die Modellversion ändert.