当前位置：首页 > 文章列表 > 文章 > python教程 > Scrapy多线程抓取技巧分享

Scrapy多线程抓取技巧分享

2025-09-13 16:05:10 0浏览收藏

想要高效爬取网站链接？本文为你分享Scrapy多线程爬取链接的技巧！Scrapy作为强大的Python爬虫框架，内置多线程支持，能轻松从单个URL中提取包括嵌套链接在内的所有链接，避免手动管理线程的复杂性。本文将通过简单示例，详细介绍Scrapy的安装配置，以及如何编写爬虫代码从指定网站（如tradeindia.com）提取链接并保存到CSV文件。同时，还会讲解Scrapy的其他特性，如LinkExtractor、CrawlSpider、Item Pipeline和Middleware，助你更灵活地处理爬取任务。此外，文章也强调了爬取过程中的注意事项，包括遵守robots.txt协议、设置合理的下载延迟、处理异常以及避免被封禁等，助你安全高效地完成网页爬取任务。

使用 Scrapy 进行多线程网页爬取以提取链接

本文将介绍如何使用 Python 的 Scrapy 框架，高效地从单个 URL 中提取所有链接，包括嵌套的链接。Scrapy 提供了强大的多线程爬取能力，简化了网页爬取任务，避免了手动管理线程的复杂性。我们将通过一个简单的示例，展示如何配置 Scrapy 并提取目标网页上的所有链接，并将其保存到 CSV 文件中。

Scrapy 简介

Scrapy 是一个强大的 Python 框架，用于大规模网页抓取。它内置了多线程支持，并且提供了许多方便的功能，例如自动处理请求和响应、数据提取和数据存储。与手动编写多线程代码相比，Scrapy 可以显著简化爬虫的开发过程。

安装 Scrapy

首先，需要安装 Scrapy。可以使用 pip 命令进行安装：

pip install scrapy

创建 Scrapy 爬虫

Scrapy 爬虫的核心是定义如何从网页中提取数据，以及如何跟踪链接并继续爬取。以下是一个简单的 Scrapy 爬虫示例，用于从 https://www.tradeindia.com/ 提取所有链接：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['www.tradeindia.com']
    start_urls = ['https://www.tradeindia.com/']

    def parse(self, response):
        print('\n>>> url:', response.url, '\n')

        links = response.css('a::attr(href)').extract()

        # 创建 item，用于保存到 CSV 文件
        for url in links:
            yield {'url': url}

        # 创建请求，用于跟踪链接并继续爬取
        for url in links:
            yield response.follow(url)

代码解释：

name: 爬虫的名称，必须唯一。
allowed_domains: 允许爬取的域名，防止爬虫爬到其他网站。
start_urls: 爬虫启动时要爬取的 URL 列表。
parse(self, response): Scrapy 用来处理下载的 response 的回调函数。response 对象包含了页面的内容。
- response.css('a::attr(href)').extract(): 使用 CSS 选择器提取所有标签的 href 属性。
- yield {'url': url}: 将提取的 URL 作为 item 产出。Scrapy 会自动将这些 item 保存到指定的文件中。
- yield response.follow(url): 创建一个新的请求，用于爬取提取的 URL。response.follow 会自动处理相对 URL。

运行 Scrapy 爬虫

为了运行爬虫，需要创建一个 CrawlerProcess 实例，并配置一些参数。以下是如何在不创建 Scrapy 项目的情况下运行爬虫的示例代码：

from scrapy.crawler import CrawlerProcess

c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',
    'CONCURRENT_REQUESTS': 10,  # 默认值: 16
    #'RANDOMIZE_DOWNLOAD_DELAY': True,  # 默认值: True
    'DOWNLOAD_DELAY': 2,  # 模拟真实用户，设置请求之间的延迟 (0.5*delay 到 1.5*delay)
    #'LOG_LEVEL': 'INFO',       # 减少屏幕上的信息输出
    'FEEDS': {'output.csv': {'format': 'csv'}}, # 将结果保存到 CSV 文件
})

c.crawl(MySpider)
c.start()

代码解释：