colibri:把 744B 的模型放进 8G 内存的电脑,专家按需从硬盘读

一、这个项目解决的是什么问题

大模型的参数越来越多,普通电脑越来越追不上。想在本机跑一个几百亿参数的开源模型,常规答案是买一张显存够大的显卡,或者干脆租云。可大多数人手上只有一台笔记本,内存十六个 G,显卡还是集成的。

colibri 赌的是另一条路:MoE 模型虽然总参数巨大,但每生成一个 token 只用得上一小部分。GLM-5.2 是 744B 参数,每个 token 大约用到 40B,其中真正逐 token 变化的只有约 11GB,也就是被路由选中的那些专家。既然如此,模型不必整个塞进快内存,它可以被摆放。

它把稠密部分留在内存,把路由专家留在硬盘,需要谁读谁。这样一台八 G 内存的机器也能把模型跑起来,代价是速度。

二、核心设计机制

分层是它的全部。稠密部分指注意力、共享专家、嵌入层,这些每个 token 都要用,留在内存。路由专家留在硬盘上,router 决定用哪几个,就去读哪几个,中间隔一层会学习的缓存。有显卡的话,最热的专家和稠密层放显存。

它把这个设计比作给权重做 JIT:编译器不会编译整个程序,它看什么在跑就编译热路径。colibri 用实测的路由热度决定哪个专家配进显存、哪个留在内存、哪个待在硬盘。缓存是每层一个 LRU,外加一份从你自己对话里学出来的固定热集,存在 .coli_usage 里,每一轮更新。所以它越用越快,这是有前提的:路由确实有可测的结构。

第二个关键是不让硬盘读两遍。一个专家的三个矩阵一次 pread 读完;一组加载线程在常驻专家计算的同时去读缺的那些;同一批位置里每个专家只读一次;还有一个 router 前瞻线程能预取下一层,文档说 GLM-5.2 的下一层路由有 71.6% 可以预测。

第三个是保真。项目明确写了:摆放在哪只影响速度,不影响 router 的决策和权重的精度。默认策略不会偷偷降精度,也不会悄悄改路由语义。这条是它和很多"能跑就行"的方案的分界线。

三、功能拆解

跑起来之后是一个本地服务,浏览器打开 127.0.0.1:8000 就是仪表盘,OpenAI 兼容地址是 /v1,Anthropic 兼容地址是根路径。所以 Claude Code、各类 OpenAI 兼容的编辑器和 SDK 都能直接指过来。

模型覆盖面按 README 是 13 个引擎在跑:10 个语言模型,涵盖 GLM-5.2/5.3、GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash 与 V4.1 Flash、MiMo-V2.6 系列、Qwen3.8-Flash-Next、Qwen3.6 系(顺带跑 Qwen3-Coder、稠密的 Qwen3.8-27B、Flint、Muse Spark Open、LFM3-VL)、OLMoE;1 个画图的 Qwen-Image-2.1;2 个做决策的 Laya 和 GLiNER2.5-Decide。已经发布的 GGUF 也能直接读,不重新量化。

System One 是它比较特别的一块。多数人问模型的其实是个选择题:该不该合、风险高不高、走哪条队列。这个接口不收一段生成的文字,而是给一个状态加若干带选项的问题,返回每个选项的概率和一个置信度。因为不生成,答案不可能跑到你给的选项之外,"不确定"也变成了一个能设阈值的数字。

仪表盘里有聊天界面、专家图、实时监控和 Profiling 页。专家图是一格一个专家,当前这步被选中的亮白,这次回答里用过的标琥珀色,能直接看见 router 在干什么。

四、适合谁,不适合谁

适合手上只有普通机器、但想真跑一次大模型的人。适合想看清 MoE 内部怎么工作的人,专家图这个东西在别处不常见。适合做推理系统研究的人,它的每个优化都要求可复现的端到端测量。也适合已经有一堆 GGUF、不想再转一遍格式的人。

不适合追求速度的人。这是最要紧的一句:它是拿内存换可能性,不是拿内存换速度。744B 的模型在 25GB 的笔记本上冷启动是 0.05 到 0.1 token 每秒,一个 token 十几秒,这不是故障,是它自己写在文档里的诚实下限。

不适合指望插上集成显卡就变快的人。集成显卡和 CPU 共用内存,它省下的是专家那部分计算和磁盘读,所以只在特定几个模型上划算,OLMoE 这种专家本来就在内存里的小模型,开 Vulkan 反而更慢。

也不适合要开箱即用的人。它要编译、要下几十上百 G 的模型、要调参数,本质是个研究平台。

五、几个需要提前知道的限制

第一,八 G 是最低不是舒服。八 G 能启动最小的模型,官方建议十六 G 以上。RAM 那一栏写的是两个数,低于第一个跑不起来,到第二个才是实测的那个速度。

第二,磁盘要留够。最小模型要 22GB 空闲,GLM-5.2 的容器是 429GB,Kimi K3 是 1.56TB。大模型的专家在硬盘上,硬盘速度直接决定出字速度,NVMe 明显好过机械盘。

第三,速度差距极大。同一个模型,六张 RTX 5090 全常驻能到 9 token 每秒,128GB 纯 CPU 是 1.83,25GB 笔记本是 0.05 到 0.1。买之前先看它的基准表,找一台和你机器接近的。

第四,集成显卡的加速是有条件的。setup 只对 Qwen3.6、Qwen3-Coder、Qwen3.8-Flash-Next 这三个在集成显卡上开 Vulkan,因为只有这几个测出来更快。

第五,WSL 上模型别放 /mnt/c。文档写得很直白,那个路径慢好几倍,放 Linux 自己的盘上。

第六,模型许可各自独立。引擎是 Apache-2.0,但每个模型保留作者给的许可,Qwen-Image-2.1 明确只能非商用。

六、项目现状

版本 v2.1.0,星标 52.6k,Apache-2.0。官方站点在线。安装包有 macOS arm64 的 tar.gz、Windows x86_64 的 zip,以及一个带 CUDA 的 Windows 包。源码是纯 C,一个模型家族一个 .c 文件,共用头文件,运行时不需要 Python,Python 只负责安装器、启动器和 API 网关。项目在招基准数据,README 里明说别人机器上的数字比什么都重要。

七、常见问题

问:八 G 内存真能跑吗?

答:能启动最小的那几个,比如 OLMoE 转换后七 G、Qwen3-Coder 三十B 那个八 G 起。但这是下限,实际用起来十六 G 以上才不难受。RAM 那一栏的两个数就是干这个用的。

问:为什么我的速度只有零点几 token 每秒?

答:看你跑的是哪个模型。大模型的专家在硬盘上,速度由磁盘决定,不是由 CPU 决定。文档里 25GB 笔记本跑 GLM-5.2 冷启动就是 0.05 到 0.1,这是它自己承认的下限。

问:装了显卡驱动,为什么没快?

答:集成显卡只在三个模型上被 setup 自动开启,其余的要手动指定后端。另外引擎编译时带了 Vulkan,运行时还得有环境变量打开,不然还是走 CPU。

问:下载到一半断了怎么办?

答:重跑同一条命令,它从硬盘上已有的字节继续,不会从头下。模型目录可以用参数指到别的盘,空间不够时先换目录。

问:能在 WSL 里跑吗?

答:能,但模型目录别放在 /mnt/c 下面。那个路径比 Linux 自己的文件系统慢很多倍,专家又是从硬盘现读的,放那儿基本没法用。

问:它是量化过的模型吗,会不会变傻?

答:它读的是已经发布的容器或 GGUF,不重新量化,块按文件里存的跑。默认策略也不会偷偷改精度或 router 语义。质量有单独的基准页,可以自己看。

下载地址

夸克网盘(永久有效):https://pan.quark.cn/s/d17e3e3bf613

本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。

本站全部免费,如果觉得内容有用,可打赏支持服务器续费打赏支持
固定文章缩略图

新人必看的入站详细说明指南

解决的你的各种疑难杂症以及各种相关教程

前往查看 »
© 版权声明
THE END
喜欢就支持一下吧
点赞46 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容