Python爬虫抓取Ajax请求方法

本文深入解析了Python爬虫抓取Ajax请求时的常见痛点与实战技巧，从Chrome Network面板为何“看不见”XHR请求的底层原因（如缓存干扰、过滤器未启用、fetch/XHR混淆）讲起，系统梳理了禁用缓存、清空记录、持续监控滚动加载等关键操作；接着直击403/401报错根源，强调完整复刻请求头（尤其是Cookie、User-Agent、X-Requested-With）、处理跳转与Referer校验的必要性；进一步拆解加密响应难题，指导如何识别JS解密逻辑、定位动态参数生成方式，并给出Base64、AES等常见场景的Python应对策略；最后破除“必须用Selenium”的误区，倡导优先通过Network面板的Waterfall排序、Initiator追踪和Session复用等轻量方法理清请求依赖链——真正把精力放在理解前端行为逻辑上，而非盲目上重型工具。

Chrome Network 面板里根本看不到 XHR 请求？

不是接口没发，是它被缓存了、或者发得特别快被过滤掉了、又或者压根没走 XHR（比如用了 fetch 但没勾选 Fetch/XHR 过滤器）。Network 面板默认不自动勾选 XHR 类型，得手动点一下左上角的 XHR 按钮（旁边还有 Fetch/XHR，新版 Chrome 已合并显示为这个）。

常见错误现象：
– 页面点了按钮没反应，Network 一片空白
– 切换标签页后刷新，XHR 请求消失
– 接口在页面加载完才触发，但你只看了 Page Load 那一下

• 操作前先点 Disable cache（右键 Network 标题栏可调出）
• 清空记录再操作：点左上角圆形 Record 按钮让它变红，再点一次清空，然后点页面触发动作
• 如果目标是滚动加载或懒加载，别只盯着“刚打开那几秒”，要持续观察 Network 列表滚动新增的条目
• 注意看请求方法：有些接口用 POST 发数据，但响应体是 JSON；有些用 GET 带一堆参数，Query String Parameters 里藏着关键字段

找到请求了，但复制出来 Python 里 403 或 401？

浏览器能通，requests.get() 直接报错，大概率是服务端做了基础反爬：校验 User-Agent、Referer、Cookie，甚至要求带 X-Requested-With（标示 AJAX 请求）。

使用场景：你右键点击 Network 里的某条请求 → Copy → Copy as cURL，再转成 Python 代码，结果跑不通。

• 必须复制完整请求头，尤其 Cookie 字段——登录态通常靠它维持，过期或缺失就 401
• User-Agent 不能用 requests 默认值，得从浏览器请求里复制真实的，比如 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36...
• 有些接口强制要求 X-Requested-With: XMLHttpRequest，缺了直接拒掉
• 如果接口返回 302 跳转，requests 默认会跟跳，但目标服务器可能只认“原始 Referer”，这时要加 allow_redirects=False

接口返回的是加密数据或需要解密字段？

不是所有 Ajax 接口都直接吐明文 JSON。Response 标签页看着是乱码或长字符串，不代表它没数据——可能是前端用 JS 解密、Base64、AES、RSA，甚至整个响应体是 gzip 压缩过的（但 Content-Encoding: gzip 已被 Chrome 自动解压显示）。

性能 / 兼容性影响：硬啃前端 JS 解密逻辑，比写爬虫还费时间；有些加密 key 是动态生成的，每次页面加载都不一样。

• 先看 Response 和 Preview 是否一致：如果不一致，说明有 JS 渲染逻辑，得查页面源码里怎么处理的
• 搜索页面 HTML 或 JS 文件（在 Sources 面板里 Ctrl+F），找关键词如 atob、decrypt、AES、crypto
• 留意接口 URL 里有没有 token=、sign=、ts= 这类参数——它们往往由前端拼接，得逆向生成逻辑
• 如果只是 Base64，Python 里 base64.b64decode() 试试；如果是 gzip，响应头有 Content-Encoding: gzip 才需要手动解压（但 Chrome 已帮你干了）

Python 用 requests 抓不到，是不是得换 Selenium？

不一定。Selenium 启动慢、资源重、容易被检测，是最后手段。多数所谓“必须用浏览器”的情况，其实只是漏看了请求链路或动态参数来源。

容易踩的坑：
– 看到页面有“加载中…”就以为是 JS 渲染，其实只是等一个 XHR 返回后再填 DOM
– 把接口请求顺序搞反了：比如先要调 /api/token 拿临时票据，再带着它调主接口，但你只抄了主接口

• 在 Network 面板按 Waterfall 列排序，看哪些请求是串行发起的，关注“Initiator”列，点开能看到是哪个 JS 文件哪一行触发的
• 检查 Response 里是否有 set-cookie，后续请求是否依赖这个 cookie
• 用 requests.Session() 复用连接和 Cookie，比反复新建 requests 更贴近浏览器行为
• 真要上 Selenium，也别直接渲染整页，可以配合 driver.execute_script("return window.performance.getEntries()") 或监听 performance API 快速定位真实 XHR

最麻烦的从来不是“怎么抓”，而是“怎么判断这个接口到底依赖哪些前置状态”。多看 Initiator、多比对两次请求的 Header 差异、别急着写代码——先把浏览器里每一步网络行为和 JS 调用链理清楚。

今天关于《Python爬虫抓取Ajax请求方法》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！