当前位置：首页 > 文章列表 > 文章 > python教程 > Python爬虫防封技巧：换IP与代理使用方法

Python爬虫防封技巧：换IP与代理使用方法

2026-03-22 17:18:42 0浏览收藏

本文深入剖析了Python爬虫遭遇IP封禁时的真实表现与高效应对策略，指出连接超时、ConnectionResetError及响应体中隐含的验证码/跳转逻辑才是封禁的关键信号，而非表面的403状态码；强调单纯更换User-Agent或添加延时毫无作用，根本症结在于出口IP被列入黑名单。文章系统讲解了代理配置的三大易错点（HTTP/HTTPS代理分设、SSL验证关闭、认证信息URL编码）、免费与商用代理的实际陷阱，并提出更可控的替代方案——通过Docker容器隔离网络命名空间或云服务器弹性公网IP实现IP轮换，同时提醒开发者关注DNS泄露、会话上下文断裂等高阶隐患，为构建稳定、隐蔽、可扩展的爬虫系统提供了一线实战级解决方案。

Python爬虫怎么应对爬取封禁_更换出口公网IP或使用代理通道

被封 IP 时 `requests` 直接报错的典型表现

最常见的不是 403，而是连接超时或 ConnectionResetError，尤其在高频请求后突然卡住几秒再失败；有些站点会返回 200 但 HTML 里塞满验证码或跳转到风控页——这时 response.status_code 毫无意义，得看 response.text 里有没有 "verify"、"captcha" 或跳转 meta http-equiv="refresh" 标签。

根本原因不是“被识别为爬虫”，而是出口 IP 被记录并加入黑名单。单靠换 User-Agent 或加 time.sleep() 基本无效。

别依赖状态码判断是否被封，优先检查响应体内容和重定向头 response.headers.get("Location")
本地调试时用 curl -v http://example.com 对比原始响应，确认是不是服务端主动断连
如果用的是家庭宽带，重启光猫确实能换 IP，但运营商分配的是 NAT 共享池，新 IP 很可能刚被别人用废过

用 `requests` 接代理必须设对这三处参数

很多人只写 proxies={"http": "http://user:pass@host:port"}，漏掉 HTTPS 代理，结果 HTTPS 请求直连被封；或者没关 SSL 验证，代理链路上证书不匹配直接抛异常。

HTTP 和 HTTPS 代理必须**分开指定**：{"http": "http://...", "https": "http://..."}（注意：即使代理协议是 https，这里也填 http://，除非代理本身支持 https 协议）
务必加 verify=False（配合 import urllib3; urllib3.disable_warnings()），否则自签名代理证书会中断请求
代理认证若含特殊字符（如 @、/），必须用 urllib.parse.quote() 编码用户名和密码，否则 URL 解析失败

import requests
from urllib.parse import quote

user = quote("my@user")
pwd = quote("p@ss/wd")
proxy_url = f"http://{user}:{pwd}@192.168.1.100:8080"
resp = requests.get("https://httpbin.org/ip", 
                   proxies={"http": proxy_url, "https": proxy_url},
                   verify=False)

免费代理基本不能用，但商用代理也有明显坑点

免费代理列表网站给的 IP 大多是 HTTP 透明代理，响应头带 X-Forwarded-For，目标站一查就暴露真实出口；商用代理看似稳定，但要注意“动态轮换”是否真轮换——有些套餐标称“每分钟换 IP”，实际是客户端 IP 不变，只是代理网关做后端轮询，源头 IP 还是固定的。

测试代理是否匿名：请求 https://httpbin.org/ip，看返回的 IP 是否和代理 IP 一致；再请求 https://httpbin.org/headers，检查有没有泄露 X-Real-IP 或 X-Forwarded-For
高并发场景下，别共用一个代理账号——很多代理服务商按并发数限流，超了就降速或断连，表现就是请求随机超时
HTTPS 代理必须支持 CONNECT 方法，否则无法建立隧道，requests 会静默回退到直连