temperature, top_p y un límite de salida en cada solicitud para equilibrar variedad y repetibilidad, y longitud y coste. La cuantización del modelo fija el techo de calidad; estos parámetros deciden cómo elige el modelo cada token siguiente dentro de ese techo.
Controla la aleatoriedad
temperature y top_p cambian ambos la aleatoriedad, así que ajústalos de uno en uno. Un modelo cuantizado con pocos bits y mucha aleatoriedad puede dar una salida bastante menos estable.
Reduce la repetición
Limita y detén la salida
El límite de salida esmax_tokens en Chat Completions y Anthropic Messages, y max_output_tokens en Responses. Limita el coste y la latencia; si es demasiado bajo, la respuesta se trunca. Una respuesta que se detiene antes de tiempo con finish_reason: "length" ha alcanzado el límite de salida; no es un fallo del modelo.
stop admite secuencias que terminan la salida, lo que facilita delimitarla y analizarla. Consulta Longitud de la salida y parada para ver los campos de cada endpoint.
Cuando un proveedor no admite un parámetro
No todos los proveedores admitentop_k, seed, stop ni las penalizaciones. Si el proveedor que atiende la solicitud no lo admite, Phaseo descarta ese parámetro en lugar de rechazar la solicitud y lo indica en el encabezado de respuesta X-Phaseo-Dropped-Params. Los límites de salida nunca se descartan. Consulta Parámetros no admitidos para ver la lista completa.
Empieza con estos valores
Ajusta
max_tokens a la salida que esperas para cada tarea, no un único valor grande para todo. Ajusta cada tarea por separado en lugar de usar un perfil para todo. En las tareas creativas, aumenta la aleatoriedad poco a poco y revisa la salida a mano.
Reconoce un ajuste incorrecto
Ajusta los parámetros
1
Elige primero el modelo y la cuantización
Consulta Cuantización.
2
Fija un conjunto de evaluación
Usa los mismos prompts en todas las ejecuciones para que los resultados sean comparables.
3
Cambia un parámetro cada vez
Compara la calidad, la latencia y el uso de tokens con cada valor.
4
Guarda el resultado por tarea
Mantén preajustes distintos para cada endpoint o caso de uso, de modo que quienes llamen hereden los valores predeterminados ajustados.