Methoden: client.generate_text(...), client.create_chat_completion(...).
Beispiel
Wichtige Parameter
model (erforderlich): ID des Zielmodells.
messages (erforderlich): geordnete Nachrichten mit den Rollen user/system/assistant/tool; der Inhalt besteht aus Text.
- Sampling:
temperature (0–2), top_p (0–1), top_k (>=1), seed (Ganzzahl, optional).
- Länge und Strafwerte:
max_output_tokens (Ganzzahl), presence_penalty und frequency_penalty (-2 bis 2), stop (String oder String-Array).
- Tools:
tools (Definitionen), tool_choice (automatisch/keine/bestimmtes Tool), max_tool_calls (Ganzzahl), parallel_tool_calls (boolesch).
- Log-Wahrscheinlichkeiten:
logprobs (boolesch), top_logprobs (0–20).
- Ausgabe:
response_format (json/text), metadata (unverändert weitergegebenes Objekt), stream (boolesch), service_tier.
- Gateway-Zusatzoptionen:
usage (boolesch, um Nutzungsdaten anzufordern), meta (boolesch, um den Meta-Block einzuschließen).
Rückgabewert
ChatCompletionsResponse Zuletzt geändert am 2. Oktober 2026