说实话，以前我没少为这事儿头疼 —— 想把网页上的内容整下来用，结果复制出来的全是导航栏、广告、按钮这些乱七八糟的东西。正经内容被淹没在一堆 HTML 代码里，还得手动一点点清理，烦得很。
更气人的是，很多网站还加了反爬机制，抓一次就给你 403 或者验证码。用浏览器自动化工具吧，又慢又占资源，一个请求等好几秒，完全没法接受。
直到最近发现 GitHub 上一个叫 webclaw 的项目，已经拿了 1.7K 的 Star，用下来是真的香。
它到底做了什么？
webclaw 是一个用 Rust 写的网页提取工具，专门给 AI 工作流用的。它最打动我的地方在于：不需要启动完整的浏览器，而是通过模拟浏览器的 TLS 指纹来绕过大多数反爬机制。提取引擎会自动识别并剔除导航栏、广告、脚本这些没用的东西，只保留核心正文内容。
整个项目支持 CLI 命令行、REST API、MCP 服务器三种用法，不管是开发者还是普通用户，都能找到适合自己的打开方式。
几个让我印象深刻的点
第一，Token 直接砍掉 90%。
原始 HTML 里其实塞满了大量导航链接、CSS 样式、脚本代码、重复的页脚内容，对人阅读来说是必要的，但对 AI 来说纯粹是浪费。
webclaw 的提取引擎走了九步优化流程，通过文本密度、语义标签、链接比例、位置信息这些指标给 DOM 节点打分。导航栏、广告、页脚这些低分节点会被自动过滤掉，只保留正文和标题。
第二，速度真的快。
传统方案像 Playwright、Selenium 要启动完整的浏览器实例，每个请求动辄 2-3 秒。webclaw 不启动浏览器，直接在 TLS 层面模拟浏览器行为。静态页面平均只要 118ms，提取个 10KB 的页面只要 0.8ms，整体比 Chrome 方案快了大概 20 倍。
第三，接入 AI 工具特别方便。
webclaw 内置了 MCP（Model Context Protocol）服务器，可以直接接入 Claude Code、Cursor、Windsurf 这些主流 AI 工具。配置也简单，一条命令搞定：
npx create-webclaw装完之后，你的 AI 助手就能直接执行网页抓取、站点爬取、内容对比这些操作了。
第四，输出格式够全。
支持 Markdown、LLM 优化格式、纯文本、JSON、HTML 等多种输出。其中 LLM 格式会进一步去掉重复链接和空段落，是喂给大模型的最佳选择。
怎么上手
安装很简单，好几种方式任选：
一键安装：
npx create-webclawmacOS 用户可以用 Homebrew：
brew tap 0xMassi/webclaw
brew install webclaw
用起来的话，基础命令是这样的：
# 提取单页内容，默认输出 markdown
webclaw https://example.com
# 指定 LLM 优化格式
webclaw https://example.com --format llm
# 只保留主内容
webclaw https://example.com --only-main-content
# 爬取整个文档站
webclaw https://docs.rust-lang.org --crawl --depth 2适合谁用？
-
• 做知识库（RAG）的同学：把网页内容提取出来喂给大模型，干净不污染上下文。 -
• AI 开发者：通过 MCP 一键接入，让 Agent 自动抓网页。 -
• 内容创作者：快速提取网页核心内容，整理成结构化资料。 -
• 数据分析师：批量抓取网页数据，提取结构化信息。 
最后说两句
webclaw 确实解决了一个很实际的痛点。它用 Rust 重写底层逻辑，通过 TLS 指纹模拟和智能内容评分，把 “抓不到””抓不干净””抓了没法用” 这三个老问题都解决了。
如果你正在做 RAG、AI Agent，或者只是想把网页内容快速整理成干净的文档，这个项目值得一试。