Python爬虫队列管理技巧分享

Python爬虫若直接用for循环并发执行，极易因缺乏任务隔离与流量控制而触发目标网站限流、IP封禁，或导致本地DNS耗尽、连接池打满，更严重的是单个请求失败（如超时或404）会中断整个流程；而引入队列机制（如queue.Queue、Redis或RabbitMQ）可构建可控、可暂停、可重试、可监控的爬取流水线，配合多线程、独立Session、域名级并发限制、标准化URL去重、智能重试策略及精细化日志，才能让爬虫在真实生产环境中稳定高效运行。

为什么直接用 for 循环并发爬取容易崩

因为没做任务隔离和流量节制，requests.get() 一拥而上会触发目标站限流、IP 封禁，或本地 DNS 耗尽、连接池打满。更麻烦的是，某个 URL 失败（比如 404 或超时）会中断整个循环，后续任务全卡住。

用队列不是为了“高大上”，是让爬取变成可暂停、可重试、可监控的流水线。

• queue.Queue 适合单进程多线程场景，线程安全，但不跨进程
• 需要分布式或多机协同？换 redis 或 RabbitMQ 做消息中间件，Python 用 redis-py 或 pika 接入
• 别把所有 URL 一次性 put() 进去——内存扛不住；边生成边塞，配合 task_done() 控制节奏

用 threading + queue 实现可控并发爬虫

核心是让工作线程从队列取任务、执行、标记完成，主线程只管投喂和等待。不需要第三方库，标准库够用。

import queue
import threading
import requests
from urllib.parse import urljoin
<p>def fetch_page(q: queue.Queue, results: list):
while True:
try:
url = q.get(timeout=1)
if url is None:  # 结束信号
break
resp = requests.get(url, timeout=5)
results.append((url, resp.status_code, len(resp.content)))
except Exception as e:
results.append((url, "ERROR", str(e)))
finally:
q.task_done()</p><h1>启动 3 个线程</h1><p>q = queue.Queue()
results = []
for _ in range(3):
t = threading.Thread(target=fetch_page, args=(q, results))
t.daemon = True
t.start()</p><h1>投放任务</h1><p>urls = ["<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>", "<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6bFZYKcyYGOqnyziq-zprOifauEz757hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Jtt' rel='nofollow'>https://httpbin.org/status/404</a>"]
for url in urls:
q.put(url)</p><p>q.join()  # 等所有任务完成</p>

注意：q.join() 不等于“所有线程退出”，它只等 task_done() 被调用次数等于 put() 次数。漏调或多调都会死锁。

如何避免重复抓取和无限重试

队列本身不记录历史，得自己加一层去重和状态管理。简单方案：用 set 记已抓 URL，失败任务写进新队列重试，但要限制重试次数。

• URL 去重必须标准化：去掉 fragment、统一 scheme 和 trailing slash，推荐用 urllib.parse.urldefrag() 和 urljoin()
• 重试不要用 time.sleep() 原地等——会卡死线程；改用带 delay 的新任务重新 put() 到队列，比如 (url, retry_count + 1)
• 超时、5xx、连接异常才重试；404、403 直接丢弃，重试也没用

生产环境必须加的三个控制点

本地跑通不等于能上线。真实场景下，DNS 解析慢、SSL 握手失败、反爬 header 缺失，都会让队列堆积甚至假死。

• 给 requests.Session() 配 mount("https://", HTTPAdapter(max_retries=2))，比裸 get() 更稳
• 每线程配独立 session，别共用——Session 不是线程安全的
• 加信号量（threading.Semaphore）控并发数，比单纯开 N 个线程更精细：比如同一域名最多 2 个请求在飞

最易被忽略的是日志粒度：不要只记“成功/失败”，要记耗时、响应头里的 X-RateLimit-Remaining、重定向链路。这些才是调优依据。

终于介绍完啦！小伙伴们，这篇关于《Python爬虫队列管理技巧分享》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！