Scrapling:抓网页这件事,从一行请求到整站爬取都在一个库里
一、问题是什么
抓网页的麻烦从来不是「发一个 HTTP 请求」。
第一层麻烦是各家反爬。你写得好好的脚本,上线第一天就被识别出来,返回一堆验证页。你得手动伪造请求头、调整 TLS 指纹、配代理轮换,各种细节一层层叠上去。第二层麻烦是页面结构不稳定。今天这个字段在第三个 div 里,明天改到第五个,选择器全线失效,你得重新看一遍 HTML。第三层是规模化:单页抓取和整站爬取是两件完全不同的事,后者要考虑并发、限速、断点续爬、去重、落盘格式。
大多数人的做法是拼装:请求用 A 库、解析用 B 库、爬虫框架用 C 库、反爬自己写。拼装本身没错,但接口不统一,调试时在四套抽象之间来回切。
Scrapling 想做的是把这四层收在一个库里:同一套选择器、同一套会话、同一套爬虫框架。
二、核心设计:从「页面已经拿到了」开始设计
它最值得讲的设计决定是:把抓取和解析彻底分开,而且解析这一侧不依赖「页面是怎么来的」。
大部分抓取库的用法是「请求 → 返回 response 对象 → 在上面跑选择器」。它的做法是给你一个统一的页面对象,无论这页是用普通 HTTP 拿的、用真实浏览器拿的、还是从磁盘缓存里读出来的,对象接口都一样。这意味着同一段解析代码可以在三种环境下跑,也意味着你可以先离线把选择器调好,再上真实抓取。
它把抓取器按「伪装强度」分成几档:最轻的一档是纯 HTTP,可以伪造 TLS 指纹、走 HTTP/3;重一档是真实浏览器内核,能过大部分自动化检测;中间还有会话级复用。你按目标站点的防护程度挑一档,解析代码不用改。
选择器那一侧,除了 CSS 和 XPath,它还提供了一批常用目标的现成取法(链接、图片、结构化文本、页面转 markdown 之类),省掉一堆重复的取值代码。
三、功能拆解
抓取器分几类:普通 HTTP 抓取、带浏览器内核的隐蔽抓取、会话级复用(保 Cookie 与状态)、以及可以接管已有浏览器实例的模式。代理轮换是内置的,不是外挂。
网络请求录制是它比较少见的能力:开启之后,页面加载过程中的每一个请求都会被记下来,之后可以按条件检索。排查「这个数据到底是哪个接口返回的」时,这个功能比翻开发者工具快。
爬虫框架是它从「抓取库」变成「爬取框架」的那部分。你写一个类,声明起始地址和一个解析回调,框架负责调度、并发、限速、去重、断点续爬。断点续爬是落盘的队列——中途停了,下次从断的地方接着跑,不会从头再来。
它的爬虫还带了几个现成的模板:按链接规则爬、按站点地图爬、按订阅源爬、按结构化数据源爬。这几个场景覆盖了大部分「整站抓取」的需求。
输出格式支持 JSON、JSONL、CSV、XML 四种,直接落盘。
命令行工具是它另一条使用路径:不用写代码,直接给一个地址,它帮你抓回来并抽取。适合临时取一个页面。
跟 AI 相关的两个集成值得单独说:一是它能把页面直接转成适合喂给模型的紧凑文本(做检索增强那一套),二是它自己提供了 MCP 服务端和代理技能包,意味着可以被 AI 代理直接调用。
四、适合谁、不适合谁
适合的:需要长期、稳定抓取若干站点的人;要抓的页面有防护、普通请求拿不到的人;做数据采集要断点续爬、要限速、要落结构化格式的人;以及在做检索增强、需要把网页干净地转成文本喂给模型的人。
不适合的:只是偶尔取一个静态页面的纯文本——标准库加一个解析器就够了,引入这套东西是浪费;完全不懂 HTML 结构、想「输入网址就出数据表」的人,它给的是工具不是成品;以及目标站点明确禁止自动抓取的场景,这是使用边界问题,不是技术问题。
五、诚实提醒
第一,安装这一段有坑,而且很常见。只装基础包拿到的是解析器,抓取器和爬虫子模块不会跟着装上,用到的时候直接报模块找不到。要装完整抓取能力,得装带扩展标记的版本,然后单独跑一次「安装浏览器内核」的命令。这一步不做,隐蔽抓取那一档用不了。
第二,环境有版本要求。老版本的 Python 装不上,会拉到一份很旧的包然后各种诡异报错。要用新版本的解释器。
第三,它的「隐蔽」不是无敌。对抗检测是持续的军备竞赛,今天能过的站明天可能就过不去。项目文档里对这一点没有过度承诺,但使用者也别指望「一次配置永久有效」。
第四,爬虫框架的断点续爬依赖本地目录。换机器、清缓存,续爬状态就没了。长时间任务要留意这个目录。
第五,它的文档站有防护,某些自动化方式打开会看到验证页——这有点讽刺,但不影响正常浏览。
第六,性能数字(对比其他框架的倍数)是项目自测的,样本和方法在文档里,看方向即可。
六、项目现状
实测版本 v0.5.1。项目自己标注测试覆盖率约九成,提供了容器镜像可以直接跑。仓库的文档站结构完整:简介、性能对比、版本迁移、用户指南下的解析、抓取、爬虫、命令行、与 AI 结合、MCP 服务端、构建检索增强系统,一条线下来是完整的。
我在本机实测过两件事:单页抓取一个公开的示例站点,拿到状态 200、一万一千多字节,十条结构化记录全部取到;整站爬虫跑十页,一百条数据、零丢弃、耗时不到六秒、全部请求 200。这套数字不是宣传口径,是当场跑出来的,可以作为「它能跑」的证据。
七、常见问题
问:装完 import 就报模块找不到
答:装的是基础包。抓取器和爬虫是可选依赖,要装带扩展标记的版本,再跑一次安装浏览器内核的命令。
问:普通请求和浏览器模式怎么选
答:先试普通请求。返回内容正常就用它,快且省资源;拿回来是验证页或者明显缺内容,再换浏览器模式。不要一上来就用最重的那档。
问:能抓需要登录的页面吗
答:能,用会话级复用,先登录一次把状态留住,后续请求带着走。或者接管一个已经登录的浏览器实例。
问:整站爬取中途断了怎么办
答:它把队列落盘了,重新跑会从断点接着来。前提是那个目录还在。
问:抓下来的内容怎么喂给模型
答:它能把页面转成紧凑的 markdown 文本,比直接塞 HTML 省很多 token。这也是它提供的检索增强路线的起点。
问:它跟常见的爬虫框架是什么关系
答:定位上有重叠,差别在「反爬这一层是内置的」和「解析不依赖抓取方式」。要极简的可以只用它前半段,把解析留给别的库。
下载地址
夸克网盘(永久有效):https://pan.quark.cn/s/d5412e021e9e
本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。























暂无评论内容