Crawl4AI

Crawl4AI 是什么

Crawl4AI 是一个面向 LLM 与 AI Agent 的开源网页爬虫与抓取工具。它的核心目标很直接：把任意网站转换成干净、结构清晰、适合大模型阅读的 Markdown，用于 RAG、Agent 工具调用和数据管道。

项目以 Python 编写，采用 Apache-2.0 协议，GitHub Star 数已超过 8.6 万，是当前最受关注的爬虫类开源项目之一。

两种使用方式

自托管开源版

安装后即可在本地运行，免费且无调用门槛：

pip install -U crawl4ai
crawl4ai-setup   # 初始化浏览器环境

最简调用示例：

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://news.ycombinator.com")
        print(result.markdown)

asyncio.run(main())

此外还提供 CLI 与 Docker 服务端部署方式，便于集成到已有系统。

云端托管版

官方提供 Crawl4AI Cloud，通过 API Key 调用 /scrape、/extract、/search、/serp、/answer 等接口，无需自行维护浏览器与代理，并可通过 MCP 直接接入 Claude Code、Cursor 等 Agent 工具。

主要能力

• Markdown 生成：保留标题、列表、表格与代码块，并可通过内容过滤器剔除导航、页脚等噪声，支持生成引用链接列表。
• 结构化抽取：支持 CSS、XPath、正则等无需 LLM 的快速抽取，也支持基于任意 LLM 的 schema 抽取，并可自动生成可复用 schema。
• 浏览器控制：持久化浏览器配置、CDP 远程连接、会话保持、代理认证与轮换、反检测模式，兼容 Chromium、Firefox 与 WebKit。
• 爬取策略：支持 BFS、DFS、最佳优先的深度爬取，带断点恢复；自适应爬虫可在信息足够时自动停止。
• 动态页面处理：执行 JavaScript、等待元素、整页滚动，适配无限滚动与懒加载图片，并可截图或导出 PDF。

适用与注意

它非常适合需要把网页内容喂给大模型的场景，例如知识库构建、Agent 联网检索、竞品信息采集等。需要注意的是，项目依赖 Playwright 浏览器环境，首次配置有一定门槛；面对强反爬站点时，代理与反检测策略仍需自行调优；若使用云端服务，则要关注额度与计费。

小结

Crawl4AI 把「抓取—清洗—结构化—交付给模型」这条链路做成了完整工具链，兼顾开源自托管与云端托管两种路径，是构建 RAG 与 Agent 数据管道时值得优先评估的选择。