temperature, top_p und ein Ausgabelimit bei jeder Anfrage, um Vielfalt gegen Wiederholbarkeit und Länge gegen Kosten abzuwägen. Die Quantisierung des Modells legt die Qualitätsobergrenze fest; diese Parameter entscheiden, wie das Modell innerhalb dieser Grenze jedes nächste Token wählt.
Zufälligkeit steuern
temperature und top_p verändern beide die Zufälligkeit, also stimme jeweils nur einen ab. Ein mit wenigen Bits quantisiertes Modell mit hoher Zufälligkeit kann die Ausgabe merklich instabiler machen.
Wiederholungen reduzieren
Die Ausgabe begrenzen und beenden
Das Ausgabelimit istmax_tokens bei Chat Completions und Anthropic Messages und max_output_tokens bei Responses. Es begrenzt Kosten und Latenz; ist es zu niedrig, wird die Antwort abgeschnitten. Eine Antwort, die vorzeitig mit finish_reason: "length" endet, hat das Ausgabelimit erreicht; das ist kein Modellfehler.
stop nimmt Sequenzen an, die die Ausgabe beenden, wodurch sich die Ausgabe leichter eingrenzen und auswerten lässt. Die Felder jedes Endpunkts findest du unter Ausgabelänge und Stoppen.
Wenn ein Anbieter einen Parameter nicht unterstützt
Nicht jeder Anbieter unterstützttop_k, seed, stop oder die Strafen. Unterstützt der Anbieter, der die Anfrage bedient, einen davon nicht, verwirft Phaseo diesen Parameter, statt die Anfrage abzulehnen, und listet ihn im Antwort-Header X-Phaseo-Dropped-Params auf. Ausgabelimits werden nie verworfen. Die vollständige Liste findest du unter Nicht unterstützte Parameter.
Mit diesen Werten beginnen
Bemiss
max_tokens an der Ausgabe, die du für jede Aufgabe erwartest, statt einen großen Wert für alles zu nutzen. Stimme jede Aufgabe einzeln ab, statt ein Profil für alles zu verwenden. Erhöhe bei kreativen Aufgaben die Zufälligkeit schrittweise und prüfe die Ausgabe von Hand.
Eine schlechte Einstellung erkennen
Parameter abstimmen
1
Zuerst Modell und Quantisierung wählen
Siehe Quantisierung.
2
Einen Evaluierungssatz festlegen
Verwende für jeden Durchlauf dieselben Prompts, damit die Ergebnisse vergleichbar sind.
3
Jeweils nur einen Parameter ändern
Vergleiche Qualität, Latenz und Token-Nutzung für jeden Wert.
4
Das Ergebnis pro Aufgabe speichern
Behalte getrennte Voreinstellungen für jeden Endpunkt oder Anwendungsfall, damit Aufrufer die abgestimmten Standardwerte übernehmen.