Zum Hauptinhalt springen
Setze temperature, top_p und ein Ausgabelimit bei jeder Anfrage, um Vielfalt gegen Wiederholbarkeit und Länge gegen Kosten abzuwägen. Die Quantisierung des Modells legt die Qualitätsobergrenze fest; diese Parameter entscheiden, wie das Modell innerhalb dieser Grenze jedes nächste Token wählt.
Diese Seite erklärt, was jede Steuerung bewirkt und wo du anfängst. Typ, zulässige Werte und Standardwert jedes Felds auf jedem Endpunkt findest du in der Parameterreferenz.

Zufälligkeit steuern

temperature und top_p verändern beide die Zufälligkeit, also stimme jeweils nur einen ab. Ein mit wenigen Bits quantisiertes Modell mit hoher Zufälligkeit kann die Ausgabe merklich instabiler machen.

Wiederholungen reduzieren

Die Ausgabe begrenzen und beenden

Das Ausgabelimit ist max_tokens bei Chat Completions und Anthropic Messages und max_output_tokens bei Responses. Es begrenzt Kosten und Latenz; ist es zu niedrig, wird die Antwort abgeschnitten. Eine Antwort, die vorzeitig mit finish_reason: "length" endet, hat das Ausgabelimit erreicht; das ist kein Modellfehler. stop nimmt Sequenzen an, die die Ausgabe beenden, wodurch sich die Ausgabe leichter eingrenzen und auswerten lässt. Die Felder jedes Endpunkts findest du unter Ausgabelänge und Stoppen.

Wenn ein Anbieter einen Parameter nicht unterstützt

Nicht jeder Anbieter unterstützt top_k, seed, stop oder die Strafen. Unterstützt der Anbieter, der die Anfrage bedient, einen davon nicht, verwirft Phaseo diesen Parameter, statt die Anfrage abzulehnen, und listet ihn im Antwort-Header X-Phaseo-Dropped-Params auf. Ausgabelimits werden nie verworfen. Die vollständige Liste findest du unter Nicht unterstützte Parameter.

Mit diesen Werten beginnen

Bemiss max_tokens an der Ausgabe, die du für jede Aufgabe erwartest, statt einen großen Wert für alles zu nutzen. Stimme jede Aufgabe einzeln ab, statt ein Profil für alles zu verwenden. Erhöhe bei kreativen Aufgaben die Zufälligkeit schrittweise und prüfe die Ausgabe von Hand.

Eine schlechte Einstellung erkennen

Parameter abstimmen

1

Zuerst Modell und Quantisierung wählen

2

Einen Evaluierungssatz festlegen

Verwende für jeden Durchlauf dieselben Prompts, damit die Ergebnisse vergleichbar sind.
3

Jeweils nur einen Parameter ändern

Vergleiche Qualität, Latenz und Token-Nutzung für jeden Wert.
4

Das Ergebnis pro Aufgabe speichern

Behalte getrennte Voreinstellungen für jeden Endpunkt oder Anwendungsfall, damit Aufrufer die abgestimmten Standardwerte übernehmen.
Zuletzt geändert am 5. November 2026