Skip to main content
Methoden: client.generate_text(...), client.create_chat_completion(...).

Beispiel

Wichtige Parameter

  • model (erforderlich): ID des Zielmodells.
  • messages (erforderlich): geordnete Nachrichten mit den Rollen user/system/assistant/tool; der Inhalt besteht aus Text.
  • Sampling: temperature (0–2), top_p (0–1), top_k (>=1), seed (Ganzzahl, optional).
  • Länge und Strafwerte: max_output_tokens (Ganzzahl), presence_penalty und frequency_penalty (-2 bis 2), stop (String oder String-Array).
  • Tools: tools (Definitionen), tool_choice (automatisch/keine/bestimmtes Tool), max_tool_calls (Ganzzahl), parallel_tool_calls (boolesch).
  • Log-Wahrscheinlichkeiten: logprobs (boolesch), top_logprobs (0–20).
  • Ausgabe: response_format (json/text), metadata (unverändert weitergegebenes Objekt), stream (boolesch), service_tier.
  • Gateway-Zusatzoptionen: usage (boolesch, um Nutzungsdaten anzufordern), meta (boolesch, um den Meta-Block einzuschließen).

Rückgabewert

ChatCompletionsResponse
Zuletzt geändert am 2. Oktober 2026