unclecode/crawl4ai

开源 LLM 友好网页爬虫，把网页转成干净的 Markdown 供 AI 使用

开源 LLM 友好网页爬虫，把网页转成干净的 Markdown 供 AI 使用

产品定位

Crawl4AI 的定位差异在于以 LLM 就绪的输出为核心：它不只是抓取页面，还提供内容过滤策略生成更精炼的 Fit Markdown，方便直接接入检索与智能体流程。它同时提供 Python 库、crwl 命令行和含 FastAPI 服务器与监控仪表盘的 Docker 部署形态，可从本地脚本扩展到自托管生产服务。Crawl4AI Cloud API 尚处于封闭 Beta，需申请早期访问且名额有限，不应视为当前可用的托管方案。项目以 Python 为主语言，官方文档位于 docs.crawl4ai.com。

适合用户

  • 开发者
  • 数据工程师
  • AI/LLM 应用构建者
  • 需要网页数据提取的团队

功能亮点

  • LLM 友好的 Markdown 生成

    将网页转换为干净、结构化的 Markdown，支持标题、表格、代码与引用提示，并可通过 Pruning/BM25 内容过滤生成 Fit Markdown。

  • LLM 驱动的结构化数据提取

    支持开源与专有 LLM 进行结构化数据提取，可定义 schema 与提取指令。

  • CSS/XPath 结构化提取

    基于 CSS 选择器与 XPath 的快速 schema 式数据提取，无需 LLM。

  • 浏览器控制与集成

    支持托管浏览器、远程浏览器控制、持久化配置文件、会话管理、代理及 Chromium/Firefox/WebKit 多浏览器。

  • 深度爬取与崩溃恢复

    支持 BFS/DFS/Best-First 深度爬取策略、resume_state 崩溃恢复与 prefetch 快速 URL 发现模式。

访问与价格

可用状态: 当前可用

价格信息: 开源

支持平台: API, 自托管

价格说明: 开源软件（Apache-2.0 许可证），可免费使用；另提供面向初创公司与企业的付费赞助档位（$5–$2000/月），以及处于封闭 Beta 的 Cloud API。

官方入口

来源核验

资料核验于 2026-09-01