解决Python爬虫User-Agent被封方法

本文深入剖析了单纯依赖fake-useragent随机生成User-Agent在现代反爬环境中的严重局限性——它不校验有效性、不更新数据、不处理Sec-Ch-Ua等关键配套请求头，更无法应对基于行为特征的深度识别；文章指出，真正有效的反封策略必须同步补全Accept、Accept-Language、Sec-Ch-Ua系列头部并确保版本严格一致，结合动态Session管理、合理请求间隔、状态码智能响应及UA本地缓存优化，将“换门牌号”升级为“模拟真实用户行为”，从而系统性提升爬虫的隐蔽性与稳定性。

直接换 User-Agent 不顶用，光靠 fake-useragent 也救不了你——它只解决“随机生成”，不解决“被识别”和“被拦截”。

为什么 fake-useragent 本身不会防封

fake-useragent 的本质是读取一个本地 JSON 文件（useragents.json），从里面随机挑一条字符串返回。它不联网、不更新、不校验 UA 是否真实可用，更不处理请求头其他字段（比如 Accept-Language、Sec-Ch-Ua）是否匹配。

• 很多网站会检测 Sec-Ch-Ua、Sec-Ch-Ua-Mobile 等 Chromium 新增的客户端提示头，而 fake-useragent 完全不提供这些
• 返回的 UA 可能早已过时（比如还返回 IE11），反而触发风控规则
• 高频调用同一个实例（如全局单例）会导致重复 UA，尤其配合 requests.Session() 时更明显

必须补全的 3 类请求头才能绕过基础 UA 检测

现代反爬至少检查 UA + 浏览器指纹一致性。只设 User-Agent 是裸奔。

• 加 Accept: "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
• 加 Accept-Language: "zh-CN,zh;q=0.9,en;q=0.8"（别硬写 en-US，中文站优先 zh-CN）
• 加 Sec-Ch-Ua 和 Sec-Ch-Ua-Mobile：例如 'Sec-Ch-Ua: "Chromium";v="124", "Google Chrome";v="124", "Not-A.Brand";v="99"' 和 'Sec-Ch-Ua-Mobile: ?0' —— 这些必须和 UA 字符串里的浏览器版本严格对应

建议封装成函数，每次请求前生成完整 headers：

from fake_useragent import UserAgent
import re
<p>def get_headers():
ua = UserAgent()
user_agent = ua.random</p><h1>粗略提取 Chrome 版本号（简化版，实际建议用正则更稳）</h1><pre class="brush:python;toolbar:false;">version_match = re.search(r'Chrome/(\d+)', user_agent)
version = version_match.group(1) if version_match else "124"
return {
    "User-Agent": user_agent,
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Sec-Ch-Ua": f'"Chromium";v="{version}", "Google Chrome";v="{version}", "Not-A.Brand";v="99"',
    "Sec-Ch-Ua-Mobile": "?0",
    "Sec-Ch-Ua-Platform": '"Windows"',  # 可按需切换 Mac/Linux
}

fake-useragent 初始化失败或返回 old/unknown 的原因和对策

常见报错：fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached 或返回 old/unknown。

• 默认会尝试从多个在线源（如 https://www.useragentstring.com/）抓取最新 UA 列表，但国内常超时或被墙
• 解决办法：强制本地模式 + 提前缓存好可用 UA 列表
• 初始化时加参数：ua = UserAgent(use_cache_server=False, verify_ssl=False, cache_path="ua.json")
• 首次运行后，它会把抓到的数据存到 ua.json；后续直接读该文件，避免每次联网
• 如果仍失败，手动下载一份可靠 UA 列表（比如从 https://github.com/skroutz/user-agents），替换掉 fake_useragent 默认的 JSON 文件路径（位置可用 ua.data_path 查看）

比换 UA 更关键的是控制请求节奏和 session 行为

UA 动态化只是第一层。服务器真正盯的是行为特征：

• 别用全局 Session() 长时间复用连接——每次请求换新 requests.Session() 实例，或至少调用 session.headers.update(get_headers())
• 在请求间加 time.sleep(random.uniform(1.5, 4))，别用固定值
• 禁用自动重定向（allow_redirects=False），防止被跳转到验证码页还不自知
• 对返回状态码做判断：if r.status_code in (403, 429, 503) 就暂停、换代理、清 cookies，而不是继续猛冲

UA 是门牌号，但敲门频率、敲门力度、有没有带礼品（cookies）、是不是同一人反复敲门——这些才决定你进不进得去。

今天关于《解决Python爬虫User-Agent被封方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！