Python爬虫异常检测全攻略

本文深入剖析了Python爬虫异常检测的系统化实践，强调异常处理绝非简单套用try-except，而需在网络层（严控超时、校验状态码、分类捕获连接错误）、解析层（预判节点存在性、安全取值、精准编码解析）和逻辑层（断言字段格式、识别反爬特征、定义多维成功标准）进行分层防御；同时倡导通过统一日志追踪、结构化错误上报、智能重试机制与实时监控告警构建可观测性闭环，真正实现让爬虫错误“可发现、可定位、可恢复”，把不可控的失败转化为可预期、可管理、可收敛的运维常态。

爬虫运行时出错很常见，但关键不是“会不会报错”，而是“能不能及时发现、准确定位、自动恢复”。异常检测不是加个 try-except 就完事，它需要分层设计：网络层、解析层、逻辑层都要有对应策略。

网络请求异常：超时、连接拒绝、状态码非200

requests.get() 默认不抛出 HTTP 状态码异常（比如 404、503），必须手动检查。同时，不设 timeout 容易卡死线程。

• 始终显式设置 timeout（如 timeout=(3, 7) 表示 3 秒连通 + 7 秒读取）
• 用 response.raise_for_status() 触发 HTTPError（4xx/5xx）
• 对常见错误分类处理：ConnectionError（DNS失败/无网）、Timeout（慢响应）、TooManyRedirects（跳转环）
• 示例：try: r = requests.get(url, timeout=(3, 10)); r.raise_for_status() except requests.exceptions.Timeout: log.warn("请求超时"); retry_later()

HTML解析异常：标签缺失、结构变动、编码错误

网页改版是爬虫最大天敌。用 BeautifulSoup 或 lxml 提取时，select() 或 xpath() 返回空列表不报错，但后续 .text 或 ['href'] 会触发 AttributeError 或 KeyError。

• 提取前先判断节点是否存在（如 if title_tag := soup.select_one('h1.title')）
• 用 .get() 替代直接取字典键（如 link.get('href', '') 而非 link['href']）
• 对编码问题，优先用 response.content + 指定 parser（如 BeautifulSoup(r.content, 'lxml', from_encoding='utf-8')）
• 记录原始 HTML 片段（如 log.debug(f"缺失标题字段，当前html片段: {soup.body[:200]}")）便于回溯

业务逻辑异常：数据格式突变、反爬拦截、频率越界

这类异常往往不抛错，但结果错得隐蔽。比如价格字段突然从 "¥199" 变成 "$199"，或返回了验证码页面却仍被当成正常商品页。

• 对关键字段做格式断言（如 assert re.match(r'^¥\d+', price_text), f"价格格式异常: {price_text}"）
• 检查响应内容是否含反爬特征（如 '请启用JavaScript'、'check' 字样、script 标签含 challenge）
• 监控请求成功率、平均响应时间、HTTP 状态码分布，突降即告警
• 把“成功”定义为：状态码200 + 关键字段非空 + 内容长度 > 阈值（防空白页）

统一异常捕获与可观测性落地

零散的 print 或 log.error 不够。要让异常可聚合、可追溯、可重试。

• 自定义异常类（如 class ParseFailure(Exception): pass），统一抛出，方便上层区分处理
• 每条日志带 trace_id 和 url，便于关联上下游（如 logging.info("parse_title", extra={'trace_id': tid, 'url': url})）
• 用装饰器封装重试逻辑（如 @retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=10))）
• 关键异常写入本地 error.json 或发到 Sentry，包含：时间、URL、状态码、异常类型、前100字符响应体

基本上就这些。异常检测不是为了消灭错误，而是让错误变得可预期、可管理、可收敛。写爬虫不怕出错，怕的是错得悄无声息。

到这里，我们也就讲完了《Python爬虫异常检测全攻略》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！