Hugging Face 把模型推理路由切给 OpenRouter 了
陆陆开源 · 2026-11-18T09:00:19
Hugging Face 官方把 Inference Providers 的底层路由直接切到了 OpenRouter。以前要是选中的供应商挂了,直接把报错扔给调用方;现在走 OpenRouter,会按实时价格、响应速度和稳定性选服务商,第一家失败了就自动切到另一家重试。调用的代码和 Endpoint 不用改,用的也还是原来的 Hugging Face token。 接口层直接兼容了 OpenAI 的 Chat Completions、Responses API,以及 Anthropic 的 Messages API,不管背后接的是哪家服务商都能按统一格式调。官方博客顺便贴了一组数据:OpenRouter 上开源权重模型的 token 消耗占比,已经从一年前的 26.8% 涨到了今年 9 月底的 71.7%;当周跑得最多的模型也是开源的 DeepSeek V4.1 Flash 1017,单周消耗了 59.2 万亿 token。开源模型在输入输出成本上平均只有闭源的四分之一左右,配合能自动容灾的聚合路由,拿来搭 Agent 跑批处理确实省心不少。