/v1/chat/completions), Responses (/v1/responses) और Anthropic Messages (/v1/messages) पर किसी अनुरोध फ़ील्ड का प्रकार, स्वीकार्य मान और डिफ़ॉल्ट देखें। समर्थन फिर भी मॉडल और प्रदाता के अनुसार बदलता है: हर मॉडल पेज की क्विकस्टार्ट तालिका दिखाती है कि उसके सक्रिय प्रदाता हर एंडपॉइंट के लिए कौन-से पैरामीटर समर्थित करते हैं। ट्यूनिंग की सलाह के लिए इन्फ़रेंस पैरामीटर देखें।
असमर्थित पैरामीटर
अगर अनुरोध देने वाला प्रदाता उसके किसी वैकल्पिक सैंपलिंग पैरामीटर का समर्थन नहीं करता, तो Phaseo वह पैरामीटर हटा देता है: वह अपस्ट्रीम नहीं भेजा जाता और अनुरोध अस्वीकार नहीं होता, इसलिए हमेशा OpenAI डिफ़ॉल्ट भेजने वाले क्लाइंट काम करते रहते हैं। Phaseo हर प्रदाता के लिए तय करता है, पहले उसकी प्रदाता प्रोफ़ाइल से और फिर रूट के कैटलॉग पैरामीटर से। अगर कोई रूट कोई पैरामीटर घोषित नहीं करता, तो सिर्फ़ कैटलॉग जांच छोड़ी जाती है; प्रदाता प्रोफ़ाइल जिन पैरामीटर को असमर्थित बताती है, वे फिर भी हटाए जाते हैं, जैसे Cohere परtop_k या Reflection पर stop।
12h का प्रॉम्प्ट-कैश ttl भी उन रूट पर हटा दिया जाता है जो OpenAI का 12-घंटे का कैश नहीं ले सकते, और उसे prompt_cache_options.ttl या prompt_cache_breakpoint.ttl के रूप में बताया जाता है; प्रॉम्प्ट कैशिंग देखें।
सफल प्रतिक्रियाएं उन हटाए गए पैरामीटर की सूची देती हैं जो अनुरोध बॉडी ने भेजे थे:
X-Phaseo-Dropped-Paramsहेडर में, जैसेX-Phaseo-Dropped-Params: top_k, min_p;- जब अनुरोध
meta: trueसेट करता है, तोmeta.routing.dropped_paramsमें, जैसे[{"param": "top_k", "reason": "unsupported_by_provider"}]।
मॉडल चुनें
model
चलाने के लिए Phaseo मॉडल ID, जैसे openai/gpt-6-astra। आवश्यक। मॉडल पेज के क्विकस्टार्ट में दिखाया गया ID इस्तेमाल करें; ऑटोमेशन और लंबे समय तक चलने वाले इंटीग्रेशन के लिए यह सबसे सुरक्षित विकल्प है। @support-triage जैसा प्रीसेट नाम भी यहां काम करता है।
models
फ़ॉलबैक मॉडल, जिन्हें model के बाद क्रम से आज़माया जाता है। model फिर भी आवश्यक है और हमेशा पहले चलता है। अगली प्रविष्टि सिर्फ़ तब आज़माई जाती है जब कोई प्रयास 429, 500, 502, 503 या 504 के साथ विफल होता है।
प्रकार string[] · प्रविष्टियां 1 से 25; दोहराई गई और model के बराबर प्रविष्टियां अनदेखी की जाती हैं · उदाहरण ["anthropic/claude-sonnet-5.5", "google/gemini-4-argon"]
- हर प्रयास का सत्यापन, लॉगिंग और बिलिंग एक अलग अनुरोध के रूप में होता है। प्रतिक्रिया का
modelफ़ील्ड और रूटिंग ट्रेस उत्तर देने वाला मॉडल दिखाते हैं। - स्ट्रीमिंग अनुरोध सिर्फ़ पहले बाइट से पहले फ़ॉलबैक करते हैं; वीडियो और संगीत जॉब सिर्फ़ सबमिशन के समय।
- जुड़े हुए डायनामिक रूट के फ़ॉलबैक को प्राथमिकता मिलती है। प्रीसेट प्रविष्टियों के रूप में स्वीकार्य हैं।
phaseo/autoकोmodelsके साथ नहीं मिलाया जा सकता। - बैच, रियलटाइम और council अनुरोध
modelsको400के साथ अस्वीकार करते हैं। - मल्टीपार्ट एंडपॉइंट दोहराए गए
modelsफ़ील्ड,models[]फ़ील्ड या एक JSON array स्वीकार करते हैं।
stream
आउटपुट को एक प्रतिक्रिया बॉडी के बजाय, बनते ही Server-Sent Events से लौटाता है।
प्रकार boolean · डिफ़ॉल्ट false
चैट UI और लंबी प्रतिक्रियाओं के लिए इसका उपयोग करें। जब आप एक JSON प्रतिक्रिया चाहते हैं जिसे दोबारा आज़माना और पार्स करना आसान हो, तो इसे बंद रखें। टूल कॉल और संरचित आउटपुट प्रदाता के अनुसार अलग तरह से स्ट्रीम हो सकते हैं। स्ट्रीमिंग देखें।
सैंपलिंग
temperature
टोकन चयन कितना यादृच्छिक है। कम मान ज़्यादा संयमित, दोहराने योग्य आउटपुट देते हैं; ऊंचे मान ज़्यादा विविधता देते हैं लेकिन स्थिरता और स्कीमा पालन कम होता है।
प्रकार number · सीमा Chat Completions और Responses पर 0–2, Messages पर 0–1 · डिफ़ॉल्ट प्रदाता का (सेट न होने पर Phaseo कुछ नहीं भेजता)
0.2–0.7 से शुरू करें, और एक्सट्रैक्शन, वर्गीकरण और JSON के लिए कम रखें। temperature या top_p में से एक ट्यून करें, दोनों एक साथ नहीं। भारी रूप से quantized मॉडल पर ऊंचा temperature आउटपुट को अस्थिर बना सकता है।
top_p
Nucleus sampling: मॉडल टोकन के उस सबसे छोटे समूह में से चुनता है जिसकी कुल संभावना top_p तक पहुंचती है। कम मान ज़्यादा सीमित, केंद्रित आउटपुट देते हैं।
प्रकार number · सीमा 0–1 · डिफ़ॉल्ट प्रदाता का
मध्यम temperature के साथ 0.9–1.0 एक उचित आधार है।
top_k
हर चरण पर सैंपलिंग को k सबसे संभावित टोकन तक सीमित करता है। कम मान आउटपुट को ज़्यादा अनुमान योग्य बनाते हैं। हर प्रदाता इसका समर्थन नहीं करता।
प्रकार integer · सीमा Chat Completions पर -1 या अधिक, Messages पर 0 या अधिक · डिफ़ॉल्ट प्रदाता का
min_p
न्यूनतम संभावना सीमा से नीचे के टोकन हटाकर सैंपलिंग को सीमित करता है।
प्रकार number · सीमा 0–1 · डिफ़ॉल्ट प्रदाता का
frequency_penalty
टोकन को इस अनुपात में दंडित करता है कि वे पहले कितनी बार आ चुके हैं। जब मॉडल लूप करे या वाक्यांश दोहराए, तो इसे बढ़ाएं।
प्रकार number · सीमा -2–2 · डिफ़ॉल्ट प्रदाता का, आमतौर पर 0
presence_penalty
पहले आ चुके किसी भी टोकन को दंडित करता है, जिससे मॉडल नए विषयों और शब्दों की ओर जाता है।
प्रकार number · सीमा -2–2 · डिफ़ॉल्ट प्रदाता का, आमतौर पर 0
repetition_penalty
प्रदाता-विशिष्ट दोहराव-रोधी नियंत्रण, ऊपर के दोनों दंडों से अलग। इसका सटीक असर प्रदाता के अनुसार ज़्यादा बदलता है।
प्रकार number · सीमा 0 से अधिक; प्रदाता अक्सर 2 तक लेते हैं · डिफ़ॉल्ट प्रदाता का
logit_bias
खास टोकन की संभावना बढ़ाता या घटाता है। कुंजियां मॉडल के टोकनाइज़र के टोकन ID हैं; मान जोड़ा जाने वाला bias है।
प्रकार object (टोकन ID से संख्या) · डिफ़ॉल्ट सेट नहीं
seed
डीबगिंग और रिग्रेशन टेस्ट के लिए seeded सैंपलिंग मांगता है। प्रदाताओं के बीच या प्रदाता के इन्फ़्रास्ट्रक्चर में बदलाव के बाद एक जैसे आउटपुट की गारंटी नहीं है।
प्रकार integer · डिफ़ॉल्ट सेट नहीं
आउटपुट की लंबाई और रोकना
max_tokens
Chat Completions पर आउटपुट टोकन की सीमा तय करता है, और Messages पर आवश्यक है। लागत और लेटेंसी नियंत्रित करने के लिए इसका उपयोग करें; बहुत छोटा मान आउटपुट को काट देता है।
प्रकार integer · सीमा 1 या अधिक (Messages पर 0 या अधिक) · डिफ़ॉल्ट Chat Completions पर प्रदाता का
max_output_tokens
Responses पर आउटपुट टोकन की सीमा तय करता है। उद्देश्य max_tokens जैसा ही है; वह नाम भेजें जो आपका एंडपॉइंट इस्तेमाल करता है।
प्रकार integer · सीमा 1 या अधिक · डिफ़ॉल्ट प्रदाता का
max_completion_tokens
Chat Completions पर आउटपुट टोकन की सीमा तय करता है; यह max_tokens का नया OpenAI नाम है। दोनों को एक अनुरोध में न मिलाएं।
प्रकार integer · सीमा 1 या अधिक · डिफ़ॉल्ट प्रदाता का
stop
एक या अधिक sequences जो जनरेशन खत्म करती हैं, जैसे किसी टेम्पलेट का अंत या प्रोटोकॉल मार्कर। Messages पर फ़ील्ड stop_sequences है और array लेता है।
प्रकार string या string[] · डिफ़ॉल्ट सेट नहीं
टोकन संभावनाएं
logprobs
मूल्यांकन, रैंकिंग और confidence स्कोरिंग के लिए हर आउटपुट टोकन की log probability लौटाता है।
प्रकार boolean · डिफ़ॉल्ट false
top_logprobs
हर स्थिति पर सबसे संभावित वैकल्पिक टोकन, उनकी log probabilities के साथ लौटाता है। इसके लिए logprobs: true चाहिए।
प्रकार integer · सीमा 0–20
टूल
tools
वे टूल जिन्हें मॉडल कॉल कर सकता है। जब तक एंडपॉइंट का संदर्भ कुछ और न कहे, OpenAI टूल स्कीमा इस्तेमाल करें; Messages Anthropic की स्कीमा लेता है। टूल घोषित करने से मॉडल उसे कॉल करने के लिए बाध्य नहीं होता।
प्रकार array · डिफ़ॉल्ट सेट नहीं
tool_choice
मॉडल टूल कॉल कर सकता है या नहीं: सिर्फ़ टेक्स्ट के लिए none, मॉडल को तय करने देने के लिए auto, कॉल को बाध्य करने के लिए required, या एक टूल का नाम बताने वाला ऑब्जेक्ट।
प्रकार string या object
parallel_tool_calls
एक टर्न में कई टूल कॉल की अनुमति देता है। जब आपके टूल एक-एक करके चलने चाहिए, जैसे जब उनके साइड इफ़ेक्ट क्रम से होते हों, तो इसे false पर सेट करें।
प्रकार boolean · डिफ़ॉल्ट प्रदाता का (सेट न होने पर Phaseo कुछ नहीं भेजता)
max_tool_calls
तय करता है कि मॉडल अनुरोध के लिए अधिकतम कितनी टूल कॉल करे।
प्रकार integer · सीमा 1 या अधिक · डिफ़ॉल्ट सेट नहीं
संरचित आउटपुट
response_format
सादा टेक्स्ट, JSON, या किसी JSON स्कीमा से मेल खाने वाला आउटपुट मांगता है। स्वीकार्य रूप एंडपॉइंट और प्रदाता पर निर्भर करते हैं।
प्रकार string या object · डिफ़ॉल्ट एंडपॉइंट और प्रदाता का
json_schema
वह JSON स्कीमा जिससे आउटपुट का मेल खाना ज़रूरी है, जिसे response_format के अंदर सेट किया जाता है ({"type": "json_schema", "json_schema": {...}})। बेहतर पालन के लिए स्कीमा सीमित और काम-विशिष्ट रखें।
प्रकार object
structured_outputs
यह अनुरोध फ़ील्ड नहीं है। मॉडल पेज पर यह उन एंडपॉइंट को चिह्नित करता है जिनके सक्रिय प्रदाता स्कीमा से बंधे आउटपुट का समर्थन करते हैं। इसे response_format से मांगें।
रीज़निंग
reasoning
समर्थन करने वाले मॉडलों पर रीज़निंग कॉन्फ़िगर करता है।
सेट न किए गए फ़ील्ड मॉडल का डिफ़ॉल्ट बनाए रखते हैं। ज़्यादा प्रयास कठिन समस्याओं में मदद करता है, लेकिन लेटेंसी और टोकन ज़्यादा लगते हैं।
reasoning_effort
reasoning.effort का Chat Completions वाला छोटा रूप।
प्रकार string · मान none, instant, minimal, low, medium, high, xhigh, max · डिफ़ॉल्ट मॉडल का
reasoning_tokens
यह अनुरोध फ़ील्ड नहीं है। मॉडल पेज पर यह उन रूट को चिह्नित करता है जो रीज़निंग टोकन बताते हैं या रीज़निंग बजट स्वीकार करते हैं। बजट reasoning.max_tokens से सेट करें।
include_reasoning
Chat Completions पर संगतता के लिए स्वीकार्य है, और इसका कोई असर नहीं होता: जब भी मॉडल रीज़निंग सामग्री और सारांश बनाता है, वे लौटाए जाते हैं। रीज़निंग आउटपुट बड़ा हो सकता है और हर मॉडल इसे नहीं लौटाता। इसे कम करने के लिए reasoning.effort घटाएं या reasoning.enabled को false पर सेट करें।
प्रकार boolean
सर्विस टियर और प्रॉम्प्ट कैशिंग
service_tier
जब मॉडल और प्रदाता समर्थन करते हैं, तो Chat Completions, Responses और Messages पर गति और कीमत का टियर चुनता है। Phaseo हर मान को प्रदाता के अपने नियंत्रण से मैप करता है।
प्रकार string · डिफ़ॉल्ट standard
batch कोई टियर नहीं है और अस्वीकार किया जाता है; Batch API इस्तेमाल करें। Phaseo की ओर इंगित आधिकारिक Anthropic SDK के साथ, /v1/messages पर Anthropic के auto और standard_only को प्राथमिकता दें; ultrafast, priority, flex या fast के लिए raw HTTP या Chat Completions और Responses इस्तेमाल करें। सर्विस टियर देखें।
prompt_cache_key
एक जैसे प्रॉम्प्ट प्रीफ़िक्स वाले अनुरोधों, जैसे किसी एजेंट लूप के चरणों, को उसी प्रदाता पर रखता है जिसके पास उनका कैश है।
प्रकार string · डिफ़ॉल्ट सेट नहीं · एंडपॉइंट Chat Completions, Responses, Messages
Phaseo कुंजी को उस प्रदाता और रूट (डिप्लॉयमेंट या क्षेत्र) से पिन करता है जिसने पहला सफल अनुरोध दिया, और उसी कुंजी वाले बाद के अनुरोधों को वहीं रखता है, जब तक वह प्रदाता विफल न हो, उस पर Phaseo का प्रबंधित कोटा खत्म न हो, या आपकी रूटिंग नीति उसकी अनुमति देना बंद न कर दे। पिन हर वर्कस्पेस के लिए अलग होते हैं और प्रदाता के कैश प्रतिधारण जितने समय तक रहते हैं। प्रदाता एफ़िनिटी देखें।
Phaseo अपस्ट्रीम में आपके वर्कस्पेस ID और कुंजी का हैश भेजता है, कभी असली कुंजी नहीं, इसलिए एक ही कुंजी चुनने वाले दो वर्कस्पेस प्रदाता कैश साझा नहीं करते। प्रतिक्रियाएं आपकी भेजी कुंजी लौटाती हैं। जिन प्रदाताओं का API इस फ़ील्ड को अस्वीकार करता है, उन्हें यह नहीं भेजा जाता, और इसे भेजने से कोई प्रदाता रूटिंग से कभी बाहर नहीं होता। कुंजी के बिना Phaseo अनुरोध से एफ़िनिटी निकालता है, लेकिन लंबी बातचीत और एजेंट सत्रों के लिए स्पष्ट कुंजी बेहतर काम करती है।
prompt_cache_options
OpenAI और Azure OpenAI GPT-5.6 और बाद के मॉडलों (GPT-6 Astra सहित), DeepInfra और Moonshot AI के लिए प्रॉम्प्ट-कैश मोड और अवधि।
प्रकार object · फ़ील्ड mode (implicit या explicit), ttl
OpenAI से सिर्फ़ आपके रखे ब्रेकपॉइंट कैश करवाने के लिए
{"mode": "explicit", "ttl": "30m"} इस्तेमाल करें। जो अवधि रूट नहीं ले सकता, जैसे Azure OpenAI पर 12h या 1-घंटे की कीमत के बिना Moonshot AI मॉडल पर 1h, उसे हटा दिया जाता है और X-Phaseo-Dropped-Params में सूचीबद्ध किया जाता है। हर दूसरे प्रदाता को, और GPT-5.6 से पहले के OpenAI मॉडलों को, कोई prompt_cache_options नहीं मिलता; वे OpenAI मॉडल prompt_cache_retention इस्तेमाल करते हैं। provider_options.openai.prompt_cache_options भी स्वीकार्य है; शीर्ष-स्तर का मान प्रभावी होता है।
cache_control
शीर्ष स्तर पर, यह Claude प्रॉम्प्ट-कैश नीति सेट करता है। किसी content block, टूल परिभाषा या टूल परिणाम पर, यह कैश ब्रेकपॉइंट चिह्नित करता है।
प्रकार object · फ़ील्ड type, ttl, scope
शीर्ष स्तर। Chat Completions, Responses और Messages पर स्वीकार्य। यह Anthropic पर Claude, AWS पर Claude, Amazon Bedrock और Google Vertex AI पर लागू होता है: Phaseo scope (all_text, last_user_message, agent या none) के अनुसार अधिकतम चार ब्रेकपॉइंट रखता है। दूसरे प्रदाता इसे अनदेखा करते हैं। provider_options.anthropic.cache_control यही सेटिंग है और दोनों भेजे जाने पर वही प्रभावी होती है।
किसी block पर। Phaseo ब्रेकपॉइंट को Claude रूट, Alibaba Model Studio और Venice को भेजता है, OpenAI और Azure OpenAI GPT-5.6 और बाद के मॉडलों के लिए उसे prompt_cache_breakpoint में बदलता है, और दूसरे प्रदाताओं के लिए हटा देता है। OpenAI का अपना prompt_cache_breakpoint: {"mode": "explicit"} भी उन्हीं blocks पर स्वीकार्य है और जब किसी block में दोनों हों, तो वही प्रभावी होता है।
5m (डिफ़ॉल्ट) या 1h के ttl के साथ type: "ephemeral" इस्तेमाल करें। Anthropic प्रति अनुरोध अधिकतम चार ब्रेकपॉइंट स्वीकार करता है; जब आप ज़्यादा चिह्नित करते हैं, तो Phaseo पहला और आखिरी तीन रखता है। प्रॉम्प्ट कैशिंग देखें।
prompt_cache_retention
GPT-5.6 से पहले के OpenAI और Azure OpenAI मॉडलों पर प्रॉम्प्ट-कैश प्रतिधारण।
प्रकार string · मान in_memory, 24h
Phaseo इसे सिर्फ़ उन्हीं मॉडलों को भेजता है, और सिर्फ़ OpenAI द्वारा सूचीबद्ध मॉडल 24h स्वीकार करते हैं। GPT-5.6 और बाद के मॉडल prompt_cache_options.ttl इस्तेमाल करते हैं, और दूसरे प्रदाताओं को यह फ़ील्ड नहीं मिलता। provider_options.openai.prompt_cache_retention भी स्वीकार्य है; शीर्ष-स्तर का मान प्रभावी होता है।
रूटिंग और प्रदाता सेटिंग
provider
सीमित करता है कि कौन-से प्रदाता अनुरोध दे सकते हैं और उन्हें कैसे रैंक किया जाता है। routing उपनाम के रूप में स्वीकार्य है। रूटिंग और फ़ॉलबैक देखें।
quantizations का मिलान केस, स्पेस, हाइफ़न और अंडरस्कोर को अनदेखा करता है, और स्पष्ट नामों को उपनाम मानता है, जैसे float8 और FP8, या bfloat16 और BF16। फ़िल्टर सेट होने पर quantization डेटा के बिना वाले ऑफ़र बाहर रखे जाते हैं। अगर कोई ऑफ़र मेल नहीं खाता, तो अनुरोध किसी दूसरे वेरिएंट पर रूट होने के बजाय ऐसी त्रुटि के साथ विफल होता है जिसमें मांगे गए और उपलब्ध quantization सूचीबद्ध होते हैं।
provider_options
प्रदाता की अपनी सेटिंग, जिन्हें Phaseo प्रदाता के अनुसार कुंजीबद्ध करके आगे भेजता है, जबकि अनुरोध का बाकी हिस्सा साझा स्कीमा पर रहता है।
प्रकार object
google.cached_content एक स्पष्ट Gemini कैश का नाम बताता है और सिर्फ़ आपके अपने क्रेडेंशियल से काम करता है: Google AI Studio पर Google API कुंजी, या Vertex AI पर Vertex AI क्रेडेंशियल। Vertex AI पर, Phaseo अनुरोध को कैश के पूरे नाम (projects/{project}/locations/{location}/cachedContents/{id}) में दिए प्रोजेक्ट और स्थान पर भेजता है; छोटा नाम आपके service-account JSON के project_id और region का उपयोग करता है। Phaseo के क्रेडेंशियल के साथ अनुरोध 400 लौटाता है। google.cache_control और google.cache_ttl स्वीकार्य हैं लेकिन Google को नहीं भेजे जाते।
Claude के लिए शीर्ष-स्तर का cache_control, OpenAI GPT-5.6 और बाद के मॉडलों के लिए prompt_cache_options, और पहले के OpenAI मॉडलों के लिए prompt_cache_retention को प्राथमिकता दें। प्रॉम्प्ट कैशिंग देखें।
प्रतिक्रिया की अतिरिक्त जानकारी और डीबगिंग
meta
प्रतिक्रिया में रूटिंग विवरण वाला एक meta ऑब्जेक्ट जोड़ता है, जैसे meta.routing.dropped_params।
प्रकार boolean · डिफ़ॉल्ट false
usage
हेडर या डैशबोर्ड पर निर्भर रहने के बजाय, प्रतिक्रिया बॉडी में उपयोग का हिसाब मांगता है।
प्रकार boolean · डिफ़ॉल्ट सेट नहीं