Python爬虫如何添加User-Agent等Headers参数

本文深入解析了Python爬虫中Requests库设置User-Agent及其他关键Headers（如Accept、Accept-Language、Sec-Ch-Ua系列）的实战要点，强调仅靠默认请求头极易触发403/406等反爬拦截；通过手动配置真实、时效性强的浏览器标识，结合Session复用连接与Cookie管理，才能有效模拟人类浏览行为；同时指出常见误区——如滥用过时UA、遗漏Chromium特有头、硬编码无效Cookie，并提供可直接复用的完整headers示例和快速排查技巧，帮助开发者跨过反爬第一道门槛，也为后续应对JS渲染、验证码等更复杂场景指明技术边界。

Requests怎么加User-Agent不让网站直接拒绝

网站看到 requests 默认发出的请求，User-Agent 是 python-requests/2.xx.x，基本等于举手说“我是爬虫”，很多站点会直接返回 403 或空内容。必须手动覆盖这个字段，而且得选一个真实、常见、不过时的浏览器标识。

• 别用网上随便搜的老旧 UA（比如 IE6 或 Chrome 60），部分 CDN（如 Cloudflare）会校验 UA 的合理性，过老的可能被拦截
• 推荐从最新版 Chrome 或 Edge 的 DevTools → Network → 任意请求 → Headers → Request Headers 中复制 User-Agent 值，粘贴进代码
• 写死一个 UA 可以，但长期运行建议轮换几个主流 UA，避免被行为分析盯上；简单场景用一个够用
• 示例：headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"}

除了User-Agent，还有哪些Headers大概率要一起带

光加 User-Agent 经常还不够。有些网站会检查 Accept、Accept-Language 甚至 Sec-Ch-Ua 这类 Chromium 特有头，缺了就返回 406 或跳验证码。

• Accept 和 Accept-Language 必带，值参考真实浏览器：例如 "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"，"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8"
• 如果目标站用的是较新 Chromium 内核（比如新版淘宝、知乎），Sec-Ch-Ua、Sec-Ch-Ua-Mobile、Sec-Ch-Ua-Platform 也得同步填上，否则可能被当成低可信度客户端
• 不要硬编码 Cookie 头——除非你真需要维持登录态；乱加无效 Cookie 反而容易触发风控
• 示例完整 headers：{"User-Agent": "...", "Accept": "...", "Accept-Language": "...", "Sec-Ch-Ua": '"Chromium";v="125", "Not.A/Brand";v="24"', "Sec-Ch-Ua-Mobile": "?0", "Sec-Ch-Ua-Platform": '"Windows"'}

为什么用Session比单次requests.get更稳

单次调用 requests.get() 每次都是全新 TCP 连接，没有 Cookie 上下文、没有连接复用，网站很容易识别为“非浏览行为”。用 requests.Session() 能自动管理 Cookie、复用连接、保持 headers 一致，更像真实用户连续点击。

• Session 会自动保存服务器 Set-Cookie，后续请求自动带上，对需要登录或 CSRF Token 的页面很关键
• 复用底层连接（keep-alive），减少握手开销，也降低被限速的概率
• 设置一次 headers，整个 session 都生效：s = requests.Session(); s.headers.update(headers)，不用每个请求都传
• 注意：Session 不是万能的，有些网站会校验 Referer 或请求间隔，光靠 Session 无法绕过

Requests模拟浏览器失败的典型错误现象和排查点

加了 headers 还返回空页、重定向到验证码页、或者状态码是 403/406/503，不是代码写错了，而是模拟不到位或触发了反爬机制。

• 先用浏览器打开目标 URL，再用开发者工具对比 Network 里真实请求的全部 headers（尤其是 Referer、Sec-Fetch-* 系列），缺哪个补哪个
• 检查响应内容是否含 "window.location" 或 "__cf_chl_rt_tk" —— 这代表被 Cloudflare 拦了，Requests 本身无法执行 JS 跳转或算挑战，得换方案（如 Playwright）
• 用 response.status_code 和 response.headers.get("content-type") 确认是不是真的拿到 HTML；有时候返回的是 JSON 或图片，但文件名看着像 HTML
• 临时把 headers 里的 User-Agent 换成你本机浏览器的，curl 测试一下：curl -H "User-Agent: ..." https://example.com，快速验证 UA 是否有效

UA 和 headers 是门槛，不是终点。真遇到 JS 渲染、滑块验证、指纹检测，Requests 就该让位给能执行环境的工具了——这点容易被忽略，但早认清能少踩两天坑。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python爬虫如何添加User-Agent等Headers参数》文章吧，也可关注golang学习网公众号了解相关技术文章。