AI Agent

AI Agent 不应只绑一个免费模型:多供应商降级与 Key 隔离怎么设计

把 Agent 的任务、模型路由、工具权限和 API Key 分开,免费额度变化时才能安全切换而不是整套停摆。

先分离 Agent 逻辑与模型供应商

Agent 的任务状态、工具定义、审核规则和模型调用不应写在同一个不可替换模块里。建立统一的内部请求结构,再为不同供应商做窄适配,可以在某个免费 API 限流或失效时切换,而不丢失任务状态。

切换条件必须由可观测信号触发

不要因为一次慢响应就永久换模型。至少区分认证失败、额度耗尽、速率限制、超时、供应商 5xx 和输出格式失败;对 429 使用冷却,对认证失败隔离 Key,对连续超时再打开熔断。FreeToken 后台的 Scout 与 Auditor 也应使用不同路由,避免同一故障同时影响采集和审核。

  • 每个角色配置首选和备用模型。
  • 按角色分别统计成功率,不用一个总健康分掩盖问题。
  • 切换后用小型 Canary 验证,不直接恢复全部任务。
  • 任何供应商都不能获得不需要的工具或数据库权限。

Key 隔离比自动换 Key 更重要

平台可以自动换路由,但不应让模型自行读取、复制或创建供应商密钥。密钥由运行环境注入,模型只收到调用结果;每个供应商使用独立 Secret,用户 Vault 与平台运维 Key 也必须隔离。

一手来源

核对原始资料

下一步

把阅读结果变成一次实际操作