Moli:给 AI 助手换一个 Rust 写的无头浏览器,又快又省内存

一、这个项目解决的是什么问题

让 AI 助手去上网这件事,很多人的第一反应是装个 Chrome、跑 Playwright、接 CDP。跑是能跑,问题在后面:一个 Chrome 实例吃掉几百兆内存,机器上开三四个 agent 就撑不住;冷启动慢,每次新开页面都要等;更麻烦的是「抓回来的东西没法用」,一屏 HTML 塞给模型,它还得自己找正文在哪。

Moli 想解决的就是这一段。它是一个专门给 AI 助手用的无头浏览器,Rust 写的,不是 Chromium 的壳。装完换掉默认那个,同样的任务内存降一个量级,抓回来的直接是能读的文本或结构。

二、核心设计机制

它最核心的一句话是「layout 按需」。默认状态下它根本不排版,不做真实的 layout 和 paint,几何信息是确定性 mock 出来的。这意味着抓正文、抓链接、抓语义树这类活儿,它连渲染那一步都不走。

你真需要几何的时候加 --layout,它才切到按需模式。这时第一次几何请求会从当前 DOM 和样式建一棵工作树,然后冻结成一棵不可变的 FrozenLayoutTree,只保留最新一份。普通几何读可以直接复用这棵树,哪怕页面已经变了;截图则会重建并替换掉旧的那棵。

再往上还有 --resource,把图片、字体、音视频这些可选资源也抓下来。资源是分层开的,你可以只要图、只要字体,或者只要音视频。

因为不追求跟 Chrome 逐像素一致,它省掉了大量东西:没有增量 layout 树,没有 damage graph,没有 retained display list,没有 GPU 合成器,也没有持久窗口。这些都是浏览器里最贵的部分。

三、功能拆解

命令行这边,moli fetch 一条命令能出四种东西:markdown、semantic_tree_text、screenshot、pdf。--wait done 等加载完,--wait-selector body 等某个选择器出现。--eval 可以注入一段 JS 再出 dump,比如点开「显示详情」按钮再抓 markdown。

服务模式有三级:moli serve 是 DOM 优先,最省;moli serve --layout 有真实几何、能坐标点击、能截图和 screencast;moli serve --layout --resource 再把可选资源抓上。同一个端点同时服务 CDP、WebDriver Classic 和 WebDriver BiDi 三套协议,Playwright 直接 connectOverCDP 到 127.0.0.1:9222 就能用。

持久化是按需开的:--profile-dir、--http-cache-dir、--cookie,你不给就不留状态。

四、适合谁,不适合谁

适合:跑爬虫和网页抽取的 agent;做搜索类工具、需要大量并发抓页面的;在笔记本上跑多个 agent、被 Chrome 内存拖死的;需要反爬能力强一点的抓取场景。

不适合:需要高保真 Canvas 或 WebGL 的;要放视频、要媒体播放的;要跟 Chrome 逐像素对比做视觉回归的;要一个能给人看的图形界面浏览器的。这几样它明确不做,README 里写得很直白。

五、几个需要提前知道的限制

它不是 Chrome 的替代品,是 Chrome 在 agent 场景下的替代品。这两个说法差别很大。像素级一致它不追求,复杂的截图和打印模式也没全实现。

不支持的能力会返回显式错误,不会假装动作发生过。这一点对写自动化脚本的人是好事,但你要习惯「有些路径就是不通」。

它依赖的东西不少:libcurl、html5ever、V8、Servo 加 Stylo、Taffy 加 Parley,还有一套 CPU 渲染栈。所以它不是那种拷一个二进制就能到处跑的小工具,安装脚本会处理依赖。

抽取能力有短板。整体抽取的基准里,代码类内容它拿得很高,但文本、公式、表格内容和表格结构这几项落后。你要抽的是复杂表格,得自己验证。

六、项目现状

版本 v1.1.27,Apache-2.0 许可(另有两份附加许可,用之前自己看一眼)。星标两万四。官网是 browser.lexmount.com。安装包四个:macOS 的 aarch64 和 x86_64 各一个 tar.gz,Windows 的 x86_64 和 aarch64 各一个 zip。它和 Lexmount Browser 是两家东西,开源这个可以完全脱离那套商业产品单独用。

七、常见问题

问:装了它,还要装 Chrome 吗?

答:跑抓取不用。但如果你要用它的源码做预览,或者某些流程里需要真实浏览器渲染,那还是得有。日常抓页面、跑 CDP 脚本,它自己就够。

问:为什么我的截图是空的?

答:默认不做真实 layout,截图必须带 --layout。不带的时候它给你的是 mock 几何,出不来像素。这条是最常见的踩坑,命令里少一个参数,结果差一个世界。

问:Playwright 能直接用吗?

答:能。moli serve --layout 起来之后,chromium.connectOverCDP("http://127.0.0.1:9222") 接上去就行。但记住它只实现了协议的一部分,不支持的路径会报错,不会静默降级。

问:内存真的省那么多吗?

答:README 里给的数字是:四引擎都完成的 557 个任务子集上,Moli 中位 CPU 100.6 毫秒、峰值内存 92 MiB,Chrome 是 687 毫秒和 697 MiB。抓取测试里中位 RSS 73 MiB 对 773 MiB。这是它自己的基准,你可以自己复现,但量级差别是真实的。

问:能抓需要登录的页面吗?

答:能,用 --profile-dir 开持久化,或者 --cookie 直接给。默认不留状态,所以你不开这两个参数,每次都是干净的会话。

问:为什么有的网站抓回来是空白?

答:先看是不是反爬。它在这块的成绩比其它无头方案好,但不是万能。其次确认 --wait 参数够不够,很多站是前端渲染的,--wait done 有时候不够,用 --wait-selector 指定一个正文里的元素更稳。

下载地址

夸克网盘(永久有效):https://pan.quark.cn/s/23b4a44c28bf

本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。

本站全部免费,如果觉得内容有用,可打赏支持服务器续费打赏支持
固定文章缩略图

新人必看的入站详细说明指南

解决的你的各种疑难杂症以及各种相关教程

前往查看 »
© 版权声明
THE END
喜欢就支持一下吧
点赞27 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容