Scrapy 爬虫框架

Scrapy 是什么

Scrapy 是一个用 Python 编写的高层 Web 爬取与数据抓取框架，用于从网站中提取结构化数据。它跨平台运行，要求 Python 3.11 及以上版本，由 Zyte（原 Scrapinghub）与全球众多贡献者共同维护。

项目主页：https://scrapy.org ，文档：https://docs.scrapy.org 。

核心特性

• 异步引擎：基于 Twisted 的事件驱动模型，单机即可获得较高抓取吞吐。
• 完整爬虫基础设施：内置调度器、请求去重、自动重试、下载限速、Cookie 与 Robots 处理。
• 可扩展架构：通过 Spider、Downloader Middleware、Spider Middleware、Item Pipeline 分层组织逻辑。
• 数据管道：抓取结果以 Item 形式流转，可接入清洗、校验、去重与持久化。
• 选择器：支持 XPath 与 CSS 选择器提取页面数据。
• 命令行工具：scrapy 命令提供项目创建、爬虫运行、Shell 调试等能力。

快速上手

安装：

pip install scrapy

创建一个项目并生成爬虫骨架（具体参数以官方文档为准）：

scrapy startproject myproject
cd myproject
scrapy genspider example example.com

一个最小爬虫大致如下：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ["https://example.com"]

    def parse(self, response):
        yield {
            "title": response.css("title::text").get(),
        }

运行爬虫：

scrapy crawl example

适用与注意

Scrapy 适合结构化数据采集、站点遍历、监控类抓取等工程化场景。对于依赖 JavaScript 渲染的页面，通常需要配合浏览器自动化工具；在大规模部署时，还需考虑分布式调度、代理池与反爬策略。

生态与贡献

Scrapy 拥有成熟的插件生态（如 scrapy-redis 等社区扩展），文档提供从入门到进阶的完整指引。若希望参与贡献，可参考官方 Contributing 文档。