MiniMind:两小时从零训出 64M 小模型,单卡 3090 就够

一、这个项目解决的是什么问题

想搞懂大模型,最直接的路径是自己训一个。但现实是,动辄几百亿参数的模型,个人设备连加载都费劲,更别说训练。于是绝大多数人的探索停在用 LoRA 给现成大模型微调一下,学会了几个新指令,但对模型内部怎么运作还是一团雾。

MiniMind 把这件事的规模压到了能看见底的程度。主线模型 64M 参数,八层,隐藏维度 768,词表 6400,最大位置 32768。整套代码用 PyTorch 原生写,不套 transformers、trl、peft 这些高层封装。从分词器、预训练、监督微调、LoRA、DPO、PPO、GRPO、CISPO,到工具调用、多轮 Agent 强化学习、自适应思考、知识蒸馏,每一段都有对应脚本。

它同时是一门课。作者把每个阶段在干什么、为什么这么设计、踩过什么坑都写进了 README,篇幅比一般项目的文档长得多。

二、核心设计机制

第一层是结构对齐。minimind-3 采用 Decoder-Only 的 Transformer,预标准化加 RMSNorm,SwiGLU 激活,RoPE 位置编码并支持 YaRN 外推,q_heads 8、kv_heads 4,配置向 Qwen3 生态靠。这么做的好处是训完能直接转成 transformers 格式,塞进 llama.cpp、ollama、vllm 这些推理引擎,不用自己写适配层。MoE 版本在同一结构上换掉前馈层,四个专家、top-1 路由,去掉 shared expert。

第二层是数据分层。同一个阶段给两套数据:mini 版和主线版。轻量预训练数据 1.2GB,轻量 SFT 数据 1.6GB;主线预训练 10GB,主线 SFT 14GB。想快速跑通就用 mini 组合,想要效果就用主线。这个设计把「先跑通再谈效果」变成了一个可以勾选的选项。

第三层是模板统一。思考能力不再单独训一个模型,而是下沉到 chat_template:open_thinking 为 0 时注入空的思考标签,模型倾向直接回答;为 1 时预置起始标签,模型继续输出显式推理。工具调用也一样,tools 挂在 system 消息上,tool_calls 挂在 assistant 消息上,训练时由模板展开成工具调用与工具返回两种标记。

三、功能拆解

推理侧给了四条路。命令行直接跑,加载 transformers 格式或者本地 PyTorch 权重都行;Streamlit 起一个极简网页界面;ollama 一行拉起;vllm 起 OpenAI 兼容服务。项目自己还带一个兼容 OpenAI 协议的轻量服务端,额外支持 reasoning_content、tool_calls、open_thinking 三个字段,能直接接 FastGPT、Open WebUI、Dify 这类第三方界面。

训练侧是主线。预训练和全参微调是必须的两步,跑完得到两个权重文件。之后是可选的:知识蒸馏分黑盒白盒两种,白盒那份实现了教师学生双模型加载、交叉熵加 KL 的混合损失、温度缩放;LoRA 只更新低秩增量分支,作者说在 CPU 上通常也能比较轻快地跑完;DPO 用静态偏好对做偏好对齐;PPO 带 Critic 和 GAE;GRPO 去掉 Critic 改用组内归一化;CISPO 只改一行损失类型配置就能切过去;Agentic RL 做多轮工具调用,支持用 sglang 当采样引擎,把训练和采样拆开。

工程上还有几个实用件:断点续训,加一个参数就自动从检查点恢复,支持跨不同显卡数量恢复,也支持可视化记录连续;单机多卡用 torchrun 起;可视化默认走 SwanLab,因为国内网络直连 WandB 通常不通。

四、适合谁,不适合谁

适合想真正理解 LLM 内部的人,尤其是受不了「十几行代码完成全流程」那种封装、想看清每一行在算什么的人;适合教学,一个班的学生各自训一个 64M 模型,两小时出结果,成本几块钱;适合要做小模型落地的人,拿它当骨架改结构、试数据配比。

不适合想训一个能干活的大模型的人。64M 的模型事实知识和泛化能力都很有限,README 里作者自己贴了一段早期 Zero 模型的对话样例,回答里会出现明显跑偏的内容,他写得很直白:具备基础对话能力,但事实知识与泛化效果仍较有限。也不适合只有核显或者纯 CPU 的机器指望两小时跑完,官方那个两小时是单张 3090 的量级,CPU 和 MPS 能跑但速度差得非常远。

五、几个需要提前知道的限制

算力门槛要摆明。作者自己的机器是 i9-10980XE、128GB 内存、八张 RTX 3090 24GB、Ubuntu 20.04、CUDA 12.2、Python 3.10。README 里的时间表是单卡 3090 的经验估算:预训练约 1.21 小时,SFT 约 1.10 小时,工具调用约 0.9 小时,RLAIF 约 1.1 小时,租卡按 1.3 元每小时算。所谓「两小时三块钱」,指的是轻量数据组合下预训练加 SFT 跑一个 epoch,不是完整复现主线模型的全部阶段。主线数据 10GB 加 14GB,跑起来的显存和时间都不是一个量级。

显存还受序列长度影响。训练时会对指令和回答长度做截断,这是为了兼顾显存占用和效率;轻量数据推荐 max_seq_len 约 768,主线预训练推荐约 380。想更长上下文,要么准备长样本增量微调,要么在推理时开 YaRN 外推。

效果边界也要认。工具调用数据主要由一个 4B 模型采样约十万条构成,工具列表是十来个模拟的自定义工具,作者明确说了目前谈不上明确的泛化能力。同时开工具调用和显式思考时,模型通常不会稳定输出思考过程,因为训练数据里缺少两者并存的联合样本。GRPO 在小模型上有退化组问题,同一问题多个回答奖励接近时学习信号接近零。

六、项目现状

版本 v2,星标六万七千多,Apache-2.0 许可。已发布模型从 2024 年的 v1 系列一路到 2026 年 4 月的 minimind-3 与 minimind-3-moe,参数从 26M 到 198M-A64M。权重在 ModelScope 和 HuggingFace 两边都有,PyTorch 格式和 transformers 格式分开提供。评测跑过 C-Eval、C-MMLU、OpenBookQA 等公开集,也做过与其它小模型的主观对比。项目还在更新,具体节奏以项目文档为准。

七、常见问题

问:一定要 3090 吗?

答:不是硬性要求,是官方那个两小时的时间基准来自单张 3090。显存更小的卡可以把轻量数据和序列长度再压,但时间和效果都会打折。纯 CPU 或 MPS 也能跑,作者说 LoRA 在 CPU 上通常也能比较轻快地完成,但全参预训练就不是这个量级了。

问:数据集要全下吗?

答:不用。默认只需要轻量预训练和轻量 SFT 两个文件,加起来 2.8GB,就能复现一个能对话的 Zero 模型。主线那两个 10GB 和 14GB 是想要更好效果时才下。

问:能不能直接用自己的数据微调?

答:可以,走 LoRA 那条路。数据按多轮对话格式写成 jsonl,每条带 conversations 数组,角色分 user 和 assistant,放到对应位置后跑 LoRA 训练脚本,得到增量权重,再和基础权重组合使用。

问:训完的模型能接第三方界面吗?

答:能。项目带了兼容 OpenAI 协议的服务端,起来之后监听本地端口,第三方 Chat UI 把它当 OpenAI 接口填进去就行,还多支持思考开关和工具调用字段。

问:为什么可视化默认不是 WandB?

答:因为 2025 年 6 月之后国内网络通常无法直连 WandB。项目默认转用 SwanLab,接口基本兼容,一般把导入那一行换掉,其余调用不用改。

问:MoE 版本是不是更快?

答:反直觉,训练时不一定。四个专家 top-1 路由在当前原生 PyTorch 实现下大约比同等 dense 模型慢五成,因为 token 要先按专家分桶再分别前向,内核启停和调度开销很重。要更快得上支持专家算子融合的库。

下载地址

夸克网盘(永久有效):https://pan.quark.cn/s/ff41d9cae3a6

本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。

本站全部免费,如果觉得内容有用,可打赏支持服务器续费打赏支持
固定文章缩略图

新人必看的入站详细说明指南

解决的你的各种疑难杂症以及各种相关教程

前往查看 »
© 版权声明
THE END
喜欢就支持一下吧
点赞30 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容