模型供应商
📖 适合谁:AI 产品经理 / 开发者 / 平台管理员 —— 想统一接入 60+ 家大模型厂商、做负载均衡/路由策略/成本统计/安全合规的人
📖 阅读时长:4 分钟
📖 一句话:YingCore 的模型路由器,把 OpenAI、Anthropic、智谱 GLM、通义千问、DeepSeek、商汤、MiniMax、Ollama、vLLM 等 60+ 家大模型厂商统一抽象成一致的接口,平台所有 AI 能力(对话、检索、识别、语音、知识库)都依赖这里接入的模型。顶部导航「模型提供商」(路由
/model-provider) 即可进入,全员可访问,这里管理「怎么连」,数字员工管理「怎么用」。
一、核心价值
YingCore 把「接入一家新模型」从「改代码 + 联调 + 上线」压缩到「填一个 API Key + 批量勾选模型」,并在此之上提供生产级的调度与治理能力:
- 统一接入——上层调用方只关心模型能力(对话 / Embedding / 重排 / 图像 / 语音 / OCR),不关心具体供应商,新模型上线零代码
- 稳定可靠——同一能力可配多模型做主备,主模型失败自动切到备用,业务无感知
- 成本可控——按能力、成本、延迟路由,简单任务用小模型省成本,复杂任务用大模型保质量
- 安全合规——API Key 加密存储,支持 VPC 内网调用与全链路审计
你可以把它想成手机的「信号塔」——不管你用的是哪家运营商的网络,拨出去的号码、走的数据,对你来说都是同一套体验。YingCore 把这件事搬到了 AI 模型上。
二、主要能力(8 项)
| # | 能力 | 说明 |
|---|---|---|
| 1 | 多供应商开箱即用 | 内置 OpenAI、Azure OpenAI、Anthropic Claude、Google Gemini、智谱 GLM、通义千问、DeepSeek、商汤、百度、字节、MiniMax、Moonshot 等 60+ 厂商,无需开发即可接入 |
| 2 | 统一接口与 7 类模型 | 抽象 chat / embedding / rerank / image2text / speech2text / tts / ocr 7 类模型能力,上层只调用能力,不绑定厂商;模型卡片按类型着色,标注能力标签(视觉、工具调用、上下文窗口等) |
| 3 | 私有化与自部署 | 对接 Ollama、vLLM、TGI、LM-Studio、Xinference、GPUStack 等本地推理服务,数据不出内网 |
| 4 | OpenAI 兼容自定义 | 任意兼容 OpenAI 协议的服务,填一个 base_url 即可接入,免开发 |
| 5 | 批量添加与目录刷新 | 一键拉取厂商 /v1/models 目录,按类型分组勾选,已添加自动跳过;「刷新目录」可强制同步厂商最新模型 |
| 6 | 负载均衡与故障兜底 | 同一能力可配置多个模型作为备份,主模型超时/失败自动切换到备用,业务无感知 |
| 7 | 智能路由与成本统计 | 按能力、成本、延迟、合规等维度路由;按模型、调用方、时间维度统计 Token 消耗与费用,支持预算告警 |
| 8 | 安全合规 | API Key 加密存储;支持 VPC 内网调用;全过程审计日志可追溯 |
三、典型应用场景(5 个)
场景 1:多模型 A/B 对比与降本增效
同一功能同时调用 GPT-4o 与 Claude 3.5,对比效果与成本;在客服场景把 80% 简单问题路由到 GLM-4-Flash,复杂问题才升级到 GPT-4,综合成本下降 70%。
场景 2:故障兜底与高可用
主供应商(OpenAI)宕机时自动切到备用供应商(DeepSeek / Claude),业务完全无感知,SLA 更有保障——不要把鸡蛋放在一个篮子里。
场景 3:新模型 5 分钟接入
DeepSeek 一发布,5 分钟内即可在平台启用——只需添加 API Key + 批量添加模型,不用改一行代码,新模型立即对所有上层功能可用。
场景 4:国产化 / 私有化替代
金融、政务客户要求私有化部署时,把模型供应商切换为本地 vLLM 推理集群,数据不出内网;同时保留云端模型做能力备份,满足合规与灵活性的双重需求。
场景 5:多模态能力扩展
给数字员工加视觉/语音能力,只需在模型供应商加一个 GPT-4o / Qwen-VL / Whisper,助手立即具备新能力——无需修改智能体编排逻辑。
四、使用指南
1. 界面布局(/model-provider)
- 左侧栏(宽度可拖拽):分为 「已添加」 与 「可添加」 两组厂商列表,支持搜索
- 右侧主区:选中厂商后显示厂商信息卡 + 该厂商的模型卡片列表
- 顶部操作:搜索、批量添加、刷新模型目录
2. 添加厂商 API Key
- 在左侧「可添加」列表中找到目标厂商
- 点击厂商卡片上的 「API-Key」 按钮,在弹窗中填入 API Key
- 部分厂商可填 base_url;MiniMax 等厂商另有特殊配置项(如
group_id) - 特殊厂商(Azure、Bedrock、火山引擎、混元、星火、YiYan、FishAudio、腾讯云、Google Cloud、MinerU、PaddleOCR、OpenDataLoader 等)使用各自独立的配置弹窗
- 部分厂商可填 base_url;MiniMax 等厂商另有特殊配置项(如
- 保存后,该厂商移到「已添加」列表,右侧展示其模型列表
- (可选)点击 「刷新模型目录」,强制拉取该厂商的最新模型
3. 批量添加模型
- 点击 「批量添加」
- 系统实时拉取厂商模型目录(
/v1/models) - 按类型分组勾选需要的模型,一次性批量添加(已添加的模型自动跳过)
4. 接入自定义 / OpenAI 兼容服务
- 选择 OpenAI-API-Compatible 供应商
- 填写 base_url,并可选填写 API Key(免密接口可留空)
- 可自定义「供应商显示名称」(如「我的 Kimi」)
- 保存后,系统自动请求
/models同步全部可用模型,无需手填模型名
5. 删除 / 更换
- 在「已添加」列表删除厂商,或删除单个模型即可移除
- 若某个模型失效,重新填 Key 或刷新模型目录后再试
6. 默认模型配置建议
很多功能(知识库 检索测试、万象图谱 AI 辅助、数字员工、营销方案 AI 助手等)会使用你在模型供应商中配置的对话模型。建议:
- 至少配置一家厂商的
chat模型作为主用——平台所有 AI 功能都依赖它 - 需要语义检索时,配置
embedding模型(知识库默认可用时无需单独操作) - 需要更高检索精度时,配置
rerank模型
五、最佳实践
- 至少两家供应商做主备——主供应商配 GPT-4o,备用配 Claude 3.5 或 DeepSeek,主模型故障时自动切换,SLA 更有保障
- 按任务难度分层路由——简单任务(分类、提取、简短回复)路由到 GLM-4-Flash / GPT-4o-mini,复杂任务(推理、长文创作)才升级到 GPT-4 / Claude 3.5 Opus,成本直降 50% 以上
- 先选能力再选品牌——选模型时先看能力标签(工具调用 / 视觉 / 推理 / 上下文窗口),能不能干你想干的活比「哪家大牌」更重要
- 本地模型做隐私兜底——敏感数据(金融、医疗、政务)优先用 Ollama / vLLM 本地模型,数据不出内网;通用任务才用云端
- Embedding 与 Rerank 单独配置——对话模型和 embedding 模型是不同能力,RAG 场景务必单独配 bge / bce 等专用 embedding,不要用对话模型做向量化(效果差 10x)
- Key 的轮换与隔离——为不同业务线(生产 / 预发 / 测试)使用专用 Key,定期轮换;YingCore 默认加密存储 Key,但仍需避免泄露到代码仓库
- 新模型先用「刷新目录」再用「批量添加」——新厂商接入时,先刷新模型目录再批量添加,这样能一次性拉齐所有可用模型,比一个个手动添加快 10 倍
- API Key 失效要快速回切——单个模型异常时先「刷新模型目录」再「重填 Key」——90% 的「模型挂了」都是 Key 过期或权限回收,重填即可恢复