Diseñar un agente de IA que sobreviva a un fallo de una API gratuita
Separa el estado del agente, el enrutamiento de modelos, los permisos de herramientas y las claves API para que un fallo o cambio de cuota no detenga todo el flujo.
Separa responsabilidades: desacopla el contrato del agente de una API de modelo
Mantén por separado el estado de la tarea, el esquema de herramientas, las reglas de revisión y el adaptador del proveedor. Un contrato interno de petición bien acotado permite mover la misma tarea entre rutas compatibles sin dar al modelo acceso directo al planificador ni al almacén de credenciales.
Usa rutas preferidas y alternativas distintas para las funciones de descubrimiento y revisión. Si ambas dependen del mismo proveedor, un único fallo de autenticación o de cuota puede eliminar también la comprobación independiente sin que se note.
Enruta según el fallo: no trates igual todas las peticiones fallidas
Un fallo de autenticación debe poner en cuarentena la credencial; la limitación de velocidad requiere una pausa acotada; agotar la cuota puede exigir cambiar de ruta durante más tiempo; y los tiempos de espera repetidos solo deberían abrir un circuit breaker tras superar un umbral. Una respuesta mal formada necesita un nuevo intento con esquema o un auditor distinto, no rotar automáticamente la clave.
Mide la salud de cada ruta por función. Un proveedor puede superar una Canary pequeña y rendir mal al auditar JSON estricto; una puntuación única y combinada puede ocultar ese modo de fallo.
Protege las credenciales: automatiza la selección de rutas, no la propiedad de los secretos
Los modelos nunca deberían leer, copiar ni crear secretos de proveedores. El runtime inyecta la credencial en la petición saliente y devuelve solo el resultado. Mantén separadas las claves operativas de la plataforma y los datos del Vault del usuario; una clave por proveedor permite revocaciones más acotadas.
Después de un fallback, ejecuta una Canary limitada antes de restaurar toda la cola. Conserva el trabajo fallido y la evidencia para que el operador distinga un incidente del proveedor de un problema de la fuente o del prompt.
Preguntas frecuentes
- P. ¿Puede un agente cambiar de proveedor automáticamente? / R. Sí, si el disparador es determinista, el contrato de la tarea es portable y la ruta alternativa se verifica antes de reanudar todo el tráfico.
- P. ¿Debe el modelo elegir o rotar claves API? / R. No. La selección de credenciales pertenece al runtime de confianza y queda fuera del contexto del modelo.
- P. ¿Por qué separar las rutas de Scout y Auditor? / R. Reduce la posibilidad de que un fallo de proveedor o un sesgo compartido invalide tanto la recopilación como la revisión.
Divulgación editorial
Esta guía utiliza la documentación enlazada de proveedores para contextualizar la inferencia multi-proveedor y las herramientas conectadas por API. Las recomendaciones sobre enrutamiento, aislamiento y recuperación son un diseño operativo original de FreeToken, revisado por una persona y no copiado de esas fuentes.