OmniRoute:一个接口接上 394 家模型,这家限流就自动换下一家

一、这个项目解决的是什么问题

现在做开发的人手里基本都有好几个模型账号。一家订阅、两三个按量付费的密钥、再加上一堆免费额度,散在十几个后台里。麻烦不在于没模型可用,而在于每换一个工具就要重配一遍地址和密钥,某一家限流了得手动去改配置,月底想知道钱花在哪也说不清。更常见的是:你明明还有额度,只是不在当前这个工具正在用的那个账号上。

OmniRoute 的做法是在本机起一个网关。它默认占 20128 端口,仪表盘挂在根路径,接口在 /v1。你把 Claude Code、Codex、Cursor、Cline 这些工具的地址统一指向本地这个 20128 的 /v1,剩下的由它去挑。它自己管着三百多家 provider 的连接,一家不行就换下一家。

它不做模型,也不替你去绕过谁的限额。它做的是把「你手上已经有的这些入口」排成一个队列,然后按规则发牌。

二、核心设计机制

最核心的一条是四层回退。请求进来之后,它按订阅、API 密钥、便宜档、免费档这个顺序往下找:先用你已经在付月费的订阅额度,用完看你自己的付费密钥,再往下的便宜模型,最后才是免费池。只要还有一个合格的健康目标,它就不会把请求摔回给你。

具体挑谁,看路由策略。项目里有 22 种,从最简单的优先级、轮询、加权随机,到按剩余配额、按配额重置时间、按上下文长度匹配、按提示缓存亲和性,再到把一次请求同时发给一组模型、再让裁判合成一个答案的 fusion。不想配也行,模型名写 auto 就用默认的实时打分,它按健康度、配额、成本、延迟、任务匹配等十六个因子给每个连接打分。auto 还有变体:auto/coding 偏代码质量,auto/cheap 偏便宜,auto/subscription 只用你已经付费的订阅额度、绝不回退到会产生账单的档位。

再往下一层是韧性。它把失败分成三级:整个 provider 挂了就熔断,只对 408 和 5xx 触发,恢复时先进半开状态探一下;单个账号被限流就冷却,指数退避,429 会尊重对方给的等待时间;单个模型不可用只锁那个模型,不牵连整条连接。三层独立生效,一个账号在冷却时,同一个 provider 的其它账号照常出活。

免费额度那部分要说直白些。首页写的是每月约十六点二亿免费 token,但这个数字是算出来的:它把四百多条免费条目归到 34 个可复用的池子里,只统计其中 17 个公布了正数月度预算的池,再按共享池去重,每两周对着线上目录重算一次。所以它会涨也会跌,一家关掉免费档数字就掉,新开一家就爬上来。这是估算,不是承诺,也不是它发给你的额度。

还有一条容易被忽略:标了 tos: avoid 的 provider,文档里点名的是 Kiro,默认不进自动路由。你手动连了账号也不改变这个设定。这是作者主动划的线。

三、功能拆解

压缩是第二大块。每个请求都会过一次压缩流水线,客户端不用改。现在是 12 个可以单独开关的引擎,默认叠的是 RTK 加 Caveman 两档,文档里给的叠算例是省 89% 左右,区间 15% 到 95%。代码块、链接、JSON 和结构化数据由保护机制兜住,不会被改写。预设从 Lite 的约 15% 一路到 Ultra 的约 75%,按工作量选。

集成这块它做得比较重。文档说有 39 个命令行工具与 agent 的接法,一条命令能把 Claude Code、Codex、Aider、Goose、OpenCode、Qwen Code、Gemini CLI 拉起来,参数里直接指定模型;也能反过来把配置写进工具自己的配置文件。除此之外它自己就是一个 MCP 服务,HTTP 传输下暴露 110 个工具,还支持 A2A 的 JSON RPC,也就是说 agent 可以反过来操控这个网关本身:改路由、加 provider、清缓存。

安全侧:密钥在本地用 AES 256 位的 GCM 模式加密存着,遥测默认关闭,网关和控制面都跑在你自己机器上。仪表盘有用量、配额、省钱、p95 延迟这几张图,还有一个免费额度的实时页。

四、适合谁,不适合谁

适合手上同时有两三个订阅、又攒了一堆免费额度的人。适合团队里几个人共用一份订阅、需要按密钥分账和限速的场景。也适合那种只想配一次的人:所有工具都指向同一个地址,换模型只改一个字符串。

不适合只用一家、一个密钥的人。多一层网关就多一个要维护的进程,收益抵不过麻烦。不适合拿免费额度当生产依赖的人,池子里的数字会变,某家改条款你也拦不住。不适合不愿意在本机常驻一个服务的人,它的设计前提就是这个进程一直在跑。也不适合想用它来规避某家服务条款的人,作者已经把这类 provider 排除在自动路由之外了。

五、几个需要提前知道的限制

第一,auto 需要至少一个合格路由。全新安装可能一个能用的目标都没有,因为无密钥的 provider 未必接受第三方客户端,这时候写 auto 会直接失败。

第二,npm 11 之后会拦包的安装脚本。这个项目的安装后脚本要准备原生运行文件,不放行的话装完是起不来的。官方给的写法是安装时带上放行参数,把 omniroute、keytar、onnxruntime-node 这几个包名列进去。

第三,容器镜像默认只给 1024MB 内存。仪表盘和轻量聊天够用,跑 coding agent 会直接内存溢出退出。官方建议单个 agent 给到 8192,两个并发长上下文要给到 10240 到 12288,容器本身还要再留出原生缓冲的空间。

第四,命令行和仪表盘是同一个进程、同一个端口,没有单独的纯命令行包。想要无界面就跑无头模式,它只留 /v1 那部分。

第五,免费档不等于无条件。有些要注册、有些要审批、有些要绑卡,能不能用取决于对方当时的政策。

第六,压缩不是无损的。代码和结构化数据有保护,但散文类内容会被改写,Ultra 和 OmniGlyph 这类更是明确标了实验性。

六、项目现状

版本 v3.8.54,星标 89.3k,MIT 许可。安装包覆盖 macOS 的 arm64 与 x64、Windows 的安装版与便携版,另外还有 npm、Docker、pnpm、Bun、Arch、Nix 这些路子。界面支持 67 种语言。项目在往 v3.9.0 的 LTS 走,路线图公开。要注意它迭代很快,provider 数量和免费额度数字两周就会动一次,具体以项目文档和仪表盘上的实时页为准。

七、常见问题

问:装完打开是空的,一个模型都没有,正常吗?

答:正常。它不会替你注册任何服务,得先去仪表盘的 Providers 里挑一家、填密钥或者走完账号流程。全新安装时 auto 可能没有任何合格目标,这时候不是坏了。

问:那十六亿免费 token 我能直接用吗?

答:不能当额度用。那是把几十个免费池按共享关系去重之后算出来的总量估算,每两周复算,会涨会跌。你能用多少,取决于你自己连了哪几家、每家当时给多少。

问:为什么有的 provider 明明连上了,auto 却不用它?

答:大概率它被标了 tos: avoid。这类 provider 默认被排除在自动路由之外,手动连账号也不解除。要用就得在路由配置里显式指定。

问:装了但命令起不来?

答:先看是不是 npm 11 拦了安装脚本。用带放行参数的那条命令重装一遍,把警告里列出的包名都放行,再跑一遍自检命令看原生依赖和端口。

问:能装在服务器上,本机只留命令行吗?

答:能。远程模式就是为这个做的:连上主机地址、登录一次拿到受限令牌,之后查模型、写配置这些命令都打到远端,本机不跑网关。

问:压缩会不会把代码改坏?

答:代码块、链接和结构化数据在保护范围内,按字节保留。会被改写的是散文和工具输出那类内容,而且默认档位比较保守,激进的档位要自己开。

下载地址

夸克网盘(永久有效):https://pan.quark.cn/s/28499e017a32

本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。

本站全部免费,如果觉得内容有用,可打赏支持服务器续费打赏支持
固定文章缩略图

新人必看的入站详细说明指南

解决的你的各种疑难杂症以及各种相关教程

前往查看 »
© 版权声明
THE END
喜欢就支持一下吧
点赞27 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容