FreeLLMAPI:八十几家免费大模型额度,收成一个本地接口

FreeLLMAPI:八十几家免费大模型额度,收成一个本地接口

一、问题是什么

免费大模型的额度这件事,难受的地方不在「有没有」,在「散」。

你手上可能有五六家平台的免费额度:这家送每天若干次、那家送每月多少 token、还有几家给的是某个小模型的无限量。想用起来,得挨个注册、挨个申请 key、挨个读文档确认 base_url 和参数格式,然后在代码里维护一套「哪个任务走哪家」的分支。用上几天你会发现更烦的事:某一家今天限流了,你的脚本直接报错停下;换一家,返回格式又不一样,得改适配层。

于是大部分人最后只用一家。剩下的额度就躺在那里过期。

FreeLLMAPI 干的事是把这件事收拢:它在你本机起一个服务,对外暴露一个 OpenAI 兼容的接口,背后挂着一批免费提供方的额度。你的代码只认这一个地址,具体落到谁家、谁家当前可用,它自己调度。

二、核心设计:一个端点,一层降级队列

它的核心机制是「聚合 + 降级」。

聚合好理解:把几十家提供方的免费额度统一成一个模型目录,你用同一把密钥、同一个地址调用。降级是它更关键的一半——当某一家返回限流或报错,请求不会直接失败,而是自动转到下一家可用的。这就是为什么它敢说「一直在可用状态」这类话:不是某一家不挂,是挂了会自动换。

这层调度带来一个必须接受的代价:同一个请求可能由不同厂商执行。同一段提示词,今天由 A 家跑、明天由 B 家跑,输出风格会有差异。如果你需要「结果必须由某一家出」,这套东西就不适合你。

三、功能拆解

本机服务是它的形态。装完之后在 localhost 起一个端口(默认 3001),配一把统一密钥,之后任何支持自定义 base_url 的客户端都能接进来:聊天客户端、编辑器插件、命令行工具、自己写的脚本,全用同一套配置。

模型目录会按提供方分组展示,每个模型标着它当前是不是可用、免费额度还剩多少的量级。这件事比听起来重要——免费额度的可用性是每天在变的,有个地方能看见「现在哪家活着」,比挨个去试省太多时间。

请求统计可在本地查看:谁被调了多少次、失败率多少、降级触发了多少次。排查「为什么今天特别慢」的时候,这张表是第一手材料。

部署形态有两条路:一条是装桌面应用,macOS 和 Windows 都有安装包;另一条是跑一个安装脚本,背后是容器化部署。前者适合只想用的人,后者适合想把它挂在自己服务器或 NAS 上、让局域网里几台设备共用一个端点的场景。

四、适合谁、不适合谁

适合的:个人开发者和小团队,想在不花钱的前提下把手里那些免费额度用起来;做原型、写脚本、跑批量小任务,对响应速度和输出一致性要求不高的场景;以及已经有一堆客户端、懒得为每家平台各配一次的人。

不适合的:要上生产、要可用性承诺、要 SLA 的场景——它自己就明说了没有;需要前沿模型能力的任务,免费额度里的模型基本都在中档;完全不想装容器也不想装桌面应用的人,两种形态都绕不开其中一个;以及有合规要求「请求必须只走一家供应商」的场景,它的降级队列跟这条要求直接冲突。

五、诚实提醒

第一,它的「智能程度」是随时间波动的。项目文档里写得很直白:随着头部模型在当天用满每日额度,端点的有效智能水平会在一天的后半段下滑,到协调世界时零点重置。这句话的含金量很高——意味着你早上用它和晚上用它,拿到的可能是两种质量的回答。做重要的事之前,先自己想清楚这一点。

第二,模型目录有延迟。免费额度那一侧的模型列表,滞后三十天;要当天就看到的目录,得走付费档。所以你在界面里看到的清单,不一定是今天最新的。

第三,本机实测时它要求容器环境。我在这台机器上直接跑了它的安装脚本,输出的是一行「需要 Docker 或 Podman,装好再来」然后退出,退出码 1。这不是它坏了,是它的前置条件——想用脚本这条路线,先得有容器运行时。

第四,Windows 上它推荐的是应用商店那份(已签名),发布页上的 exe 是同一个东西但没签名,会有安全提示。这是它自己文档里就写明的事。

第五,别把它当「免费的 GPT」用。免费额度的模型能力、上下文长度、并发数都受限,跑长文分析、复杂代码改造这类任务,效果跟付费的前沿模型差得明显。

六、项目现状

实测版本 v0.16.31,MIT 许可。项目自己宣称的口径是:每月一百亿 token 的免费额度池、八十七家免费提供方、一千三百一十三个免费模型端点,收成一个 OpenAI 兼容接口。这几个数字是它自己的宣传口径,会随时间变化,以你装好之后界面里看到的为准。

安装脚本六千多字节,逻辑很直白:检查容器环境、建安装目录(默认在用户主目录下)、写编排文件与含加密密钥的环境文件、拉镜像起容器、等健康检查通过。支持改安装目录、改端口、改绑定地址三个环境变量。

七、常见问题

问:它安全吗,会不会把我填的 key 传出去

答:它跑在你自己机器上,各家平台的 key 存在本地。但要注意,你的请求确实会发到各个提供方那里——这是它的工作原理,不是漏洞。敏感内容不要往这里送。

问:接进自己的代码要改多少

答:改两处环境变量。把接口地址指向本机的那个端口并带上 /v1,密钥填它给你的统一密钥。之后所有标准 OpenAI 客户端的调用都会自动走它,业务逻辑一行不用动。

问:报 401、404、502 分别是什么意思

答:401 是密钥填错;404 一般是地址少了 /v1;502 是它转过去的那家上游当刻不可用。这三种错误它分得清楚,看报错就能定位,不用瞎猜。

问:能挂到服务器上给多人用吗

答:能。把绑定地址从本机改成对外的地址,端口自己定。但要清楚这是把免费额度开放给一群人用,配额消耗会快很多,也可能触发各家的风控。

问:为什么同一个问题两次回答风格不一样

答:因为降级队列。两次请求可能落到了不同厂商的模型上。要稳定就固定指定某一个模型名,代价是那家挂了就直接失败。

问:完全不想装容器,只用桌面应用行不行

答:行。桌面应用是独立的安装包,不依赖容器。容器那条路线是给想部署到服务器的人准备的。

下载地址

夸克网盘(永久有效):https://pan.quark.cn/s/ca8b5b39e52e

本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。

本站全部免费,如果觉得内容有用,可打赏支持服务器续费打赏支持
固定文章缩略图

新人必看的入站详细说明指南

解决的你的各种疑难杂症以及各种相关教程

前往查看 »
© 版权声明
THE END
喜欢就支持一下吧
点赞50 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容