Quantisierungsmethoden

Das Zahlenformat (FP8, INT8, INT4) gibt die Genauigkeit an. Die Quantisierungsmethode beschreibt, wie diese Genauigkeit erreicht wurde.

Warum Methoden wichtig sind

Zwei INT4-Varianten können sich sehr unterschiedlich verhalten, weil die Wahl der Methode Folgendes beeinflusst:

Methodenfamilie	Typischer Zweck	Hinweise
`AWQ`	Erhält Gewichte, die besonders empfindlich auf Aktivierungen reagieren	Häufig für ein ausgewogenes Verhältnis von Inferenzqualität und Effizienz
`GPTQ`	Quantisierung nach dem Training mit Fehlerminimierung	Beliebt für kompakte Varianten zur lokalen Inferenz
`GGUF`	Paketformat im llama.cpp-Ökosystem	Wird oft mit verschiedenen Quantisierungsstufen (`Q4`, `Q5` usw.) kombiniert
`EXL2`	Aggressive Varianten mit niedriger Bitzahl im ExLlama-Ökosystem	Hoher Durchsatz, jedoch mit Einschränkungen bei Architektur und Laufzeitumgebung

INT4 ist das angestrebte Genauigkeitsniveau.
AWQ INT4 und GPTQ INT4 setzen dieses Ziel auf unterschiedliche Weise um.

Wähle zuerst eine Laufzeitumgebung, die du zuverlässig bereitstellen kannst.
Grenze die Methodenfamilien auf diejenigen ein, die diese Laufzeitumgebung unterstützt.
Vergleiche mehrere Quantisierungsmethoden mit demselben Genauigkeitsziel.
Erfasse Fehlermuster und nicht nur durchschnittliche Benchmarkwerte.

Zuletzt geändert am 2. Oktober 2026