AI Agent
AI Agent 不应只绑一个免费模型:多供应商降级与 Key 隔离怎么设计
把 Agent 的任务、模型路由、工具权限和 API Key 分开,免费额度变化时才能安全切换而不是整套停摆。
先分离 Agent 逻辑与模型供应商
Agent 的任务状态、工具定义、审核规则和模型调用不应写在同一个不可替换模块里。建立统一的内部请求结构,再为不同供应商做窄适配,可以在某个免费 API 限流或失效时切换,而不丢失任务状态。
切换条件必须由可观测信号触发
不要因为一次慢响应就永久换模型。至少区分认证失败、额度耗尽、速率限制、超时、供应商 5xx 和输出格式失败;对 429 使用冷却,对认证失败隔离 Key,对连续超时再打开熔断。FreeToken 后台的 Scout 与 Auditor 也应使用不同路由,避免同一故障同时影响采集和审核。
- 每个角色配置首选和备用模型。
- 按角色分别统计成功率,不用一个总健康分掩盖问题。
- 切换后用小型 Canary 验证,不直接恢复全部任务。
- 任何供应商都不能获得不需要的工具或数据库权限。
Key 隔离比自动换 Key 更重要
平台可以自动换路由,但不应让模型自行读取、复制或创建供应商密钥。密钥由运行环境注入,模型只收到调用结果;每个供应商使用独立 Secret,用户 Vault 与平台运维 Key 也必须隔离。