1. ابدأ بـ preset بدلًا من طلبات منفصلة
أنشئ preset إذا أردت تثبيت ما يلي:- النموذج المستهدف
- تفضيلات المزوّد
- temperature ومعاملات التوليد الأخرى
- إعدادات الاستدلال
- مطالبة النظام
2. فعّل تخزين الاستجابات مؤقتًا على مستوى preset
اضبط:response_caching.enabled = true- قيمة مناسبة لـ
ttl_seconds
- مدة TTL قصيرة للمطالبات الواقعية سريعة التغير
- مدة TTL أطول للمخرجات المنظمة الثابتة
3. اجعل الطلب حتميًا
يكون التخزين المؤقت للاستجابات أكثر فاعلية عندما تتجنب تغييرات الطلب غير الضرورية. تجنب تغيير:- صياغة مطالبة النظام
- temperature
- تجاوزات المزوّد
- إعداد الاستدلال
- قوائم الأدوات
4. تحقق من سلوك التخزين المؤقت في تفاصيل الطلب
ينبغي أن تعرض تفاصيل الطلبات التي تمر عبر مسار التخزين المؤقت معلومات عنه. تحقق من:- إصابة التخزين المؤقت أو عدمها
- سلوك TTL
- سياق المزوّد عند تقديم استجابة مخزنة مؤقتًا
5. اجمع التخزين المؤقت والتوجيه عن قصد
أنماط مقترحة:- استخدم preset واحدًا للمخرجات المنظمة الحتمية مع تفعيل التخزين المؤقت.
- استخدم preset ثانيًا بلا تخزين مؤقت للطلبات الاستكشافية أو ذات temperature الأعلى.
6. افحص حالات عدم الإصابة قبل إطالة TTL
إذا توقعت إصابات لكنك تلاحظ حالات عدم إصابة باستمرار، فقارن ما يلي:- نص المطالبة
- معرّف النموذج
- خيارات المزوّد
- تنسيق الاستجابة
- الأدوات واختيار الأداة
- slug وتهيئة preset
7. متى تتجنب التخزين المؤقت
لا تفعّل تخزين الاستجابات مؤقتًا افتراضيًا للطلبات التالية:- المطالبات التي تعتمد على حالة خارجية مباشرة
- الإجابات الخاصة بالمستخدم التي يتغير سياقها بسرعة
- الطلبات ذات مخرجات الأدوات المتغيرة
- عمليات التوليد العشوائية جدًا عندما لا تكون الإعادة المطابقة مرغوبة