Changer de client
LLM_GATEWAY_*, y compris dans la CI et les paramètres d’hébergement. Si l’application utilise @llmgateway/ai-sdk-provider, passez à @phaseo/ai-sdk-provider comme dans Migrer depuis Vercel AI Gateway.
Faire correspondre les identifiants de modèle
Listez les identifiants Phaseo et vérifiez chaque modèle de production par rapport à cette liste :alibaba/<model> sur LLM Gateway n’est pas un identifiant Phaseo. Faites correspondre chaque identifiant au format <org>/<model> de Phaseo, et conservez un épinglage de fournisseur avec provider.only ou un identifiant provider:org/model. Traduisez les alias sans préfixe comme gpt-4o dans une seule fonction à la frontière du client plutôt qu’à chaque point d’appel.
Faire correspondre les fonctionnalités de la passerelle
Tester et déployer
Exécutez vos prompts de référence sur les deux passerelles et comparez la qualité, la latence et le coût. Vérifiez d’abord les endpoints :PHASEO_API_KEYest défini dans chaque environnement ;- chaque identifiant de modèle de production est mis en correspondance et listé ;
- une requête sans streaming et une requête en streaming passent en préproduction ;
- les erreurs de clé invalide et de modèle invalide sont gérées ; leurs corps peuvent différer de ceux de LLM Gateway ;
- une requête de préproduction en échec peut être récupérée depuis
GET /v1/generations; - les valeurs par défaut partagées de prompt et de routage se trouvent dans des préréglages, là où elles ont leur place.