يعتمد دعم تخزين المطالبات مؤقتًا على المزوّد والنموذج. يتجاهل المزوّد غير المدعوم تلميحات التخزين أو يوجّه الطلب دون تسعير التخزين المؤقت. راجع جدول الأسعار في صفحة النموذج لمعرفة أسعار القراءة والكتابة.
ما الذي ينبغي تخزينه مؤقتًا
خزّن المحتوى الذي يظل ثابتًا بين الطلبات:- تعليمات النظام الطويلة
- مستندات RAG المعاد استخدامها
- أمثلة few-shot
- تعريفات الأدوات
- نتائج الأدوات الكبيرة التي يعاد استخدامها في الدور التالي
عناصر التحكم في التخزين المؤقت
تقبل Phaseo تلميح التوافقcache_control على المستوى الأعلى في طلبات Chat Completions وResponses وAnthropic Messages:
ttl: "5m" للسياق المشترك قصير الأجل، وttl: "1h" عندما يدعم المزوّد والنموذج إدخالات تخزين أطول. يتعامل المزوّدون المدعومون مع التحكم الأعلى مستوى كسياسة تلقائية أو افتراضية.
يمكنك أيضًا وضع cache_control مباشرةً على كتل النصوص والصور ونتائج الأدوات وتعريفاتها المدعومة لتحديد نقاط توقف صريحة للتخزين المؤقت:
provider_options:
scope المدعومة:
يتقدّم
cache_control المحدد لكل كتلة على السياسة الافتراضية.
Chat Completions
استخدم/v1/chat/completions مع عملاء الدردشة المتوافقين مع OpenAI.
Responses
استخدم/v1/responses للتكاملات النصية الجديدة المتوافقة مع OpenAI وتدفقات الوكلاء.
provider_options.google.cached_content:
Anthropic Messages
استخدم/v1/messages عندما يكون العميل متوافقًا مع Anthropic.
- كتل النص
system - كتل نصوص الرسائل والصور
- كتل نتائج الأدوات
- تعريفات الأدوات
حقول الاستخدام والتسعير
عندما يعيد المزوّد بيانات استخدام التخزين المؤقت، توحّدها Phaseo في حقول الاستخدام المشتركة.
تكون كتابة المحتوى في التخزين المؤقت أغلى عادةً من رموز الإدخال العادية، وتكون القراءة أرخص. يعتمد السعر الدقيق على المزوّد والنموذج ومدة الصلاحية.
فحوصات عملية
بعد إضافة تخزين المطالبات مؤقتًا:- أرسل طلبًا لإنشاء التخزين المؤقت أو تهيئته.
- أرسل طلبًا ثانيًا يتضمن المحتوى نفسه القابل للتخزين المؤقت.
- تحقق من حقول القراءة والكتابة في بيانات الاستخدام وتفاصيل الطلب.
- قارن زمن الاستجابة والتكلفة عبر استدعاءات متكررة، لا الاستدعاء الأول فقط.
ارتباط بالمزوّد
تستخدم Phaseo افتراضيًا استخدام ذاكرة المطالبات المؤقتة لدى المزوّد كإشارة للتوجيه. عندما يعيد مزوّد رموز إدخال مخزّنة، تُفضّل الطلبات التي تحمل مفتاح التخزين نفسه أو سياقًا افتتاحيًا ثابتًا المزوّد نفسه لمدة 15 دقيقة. وهذا يجنبك الدفع لمزوّد آخر لإعادة بناء ذاكرة المطالبات المؤقتة نفسها. إذا أدرجتsession_id، ينشئ رصد قراءة للتخزين المؤقت ارتباطًا بالجلسة أيضًا.
وتحتفظ Phaseo بهذا الارتباط طوال نافذة الجلسة النشطة مع السماح
بالتحويل عند تعطل المزوّد أو خروجه من نطاق السياسات المسموح بها.
لإيقافه في طلب واحد، اضبط provider.cache_aware_routing على false. واضبط
routing.session_affinity على false عندما يتضمن الطلب session_id
مع استخدام التوجيه المعتاد المستند إلى السياق فقط.