Skip to main content
Methode: client.generate_response() (übertrage verarbeitete Chunks mit client.stream_responses()).

Beispiel

Datenstrom

Wichtige Parameter

  • model (erforderlich): ID des Zielmodells.
  • input (erforderlich): geordnetes Array mit Eingabeelementen (Nachrichten, Tool-Aufrufen usw.).
  • temperature (0–2): Je höher der Wert, desto zufälliger das Ergebnis.
  • top_p (0–1) / top_k (>=1): Sampling-Steuerung für Nucleus und die k besten Kandidaten.
  • max_output_tokens (Ganzzahl): Obergrenze der pro Antwort generierten Tokens.
  • Tools: tools (Definitionen), tool_choice (auto/none/bestimmtes Tool), max_tool_calls (Ganzzahl), parallel_tool_calls (boolesch).
  • Logprobs: logprobs (boolesch), top_logprobs (0–20), um Logprobs pro Token zurückzugeben.
  • Ausgabe: response_format (json/text), service_tier, store (boolesch), stream (boolesch).
  • Metadaten: metadata (durchgereichtes Objekt), reasoning (Objekt mit Hinweisen zum Aufwand).
  • Gateway-Erweiterungen: usage (boolesch, um Nutzungsdaten anzufordern), meta (boolesch, um den Meta-Block einzuschließen).

Rückgabe

ResponsesResponse
Oder durch Zeilenumbrüche getrennte SSE-Frames bei stream: true:
Zuletzt geändert am 2. Oktober 2026