Python爬虫抓取JSON数据技巧

本文深入剖析了Python爬虫抓取JSON数据的实战痛点与解决方案，不仅指出requests.get()看似简单却常因User-Agent校验、登录态缺失、加密签名或反爬机制而失败，还系统讲解了如何通过检查响应头、合理设置请求头、安全解析JSON、健壮取值、会话复用、超时控制、并发限速及日志留存等关键手段，突破403拒绝、空响应、JSONDecodeError、KeyError和频繁超时等典型困境，帮助开发者从“能跑通”迈向“稳产线”。

直接用 requests.get() 请求 API 地址就能拿到 JSON？

绝大多数情况下可以，但前提是目标接口不校验 User-Agent、不强制登录、不走前端加密签名。很多公开 API（比如 GitHub、JSONPlaceholder）确实支持裸请求；但更多生产环境接口会返回 403 或空响应体——不是代码写错了，是被服务端拒绝了。

实操建议：

• 先用浏览器或 curl -v 看真实响应头，确认 Content-Type 是 application/json，且状态码为 200
• 加基础请求头：headers={'User-Agent': 'Mozilla/5.0'}，绕过最简单的反爬
• 如果接口需要认证，检查文档是否要求 Authorization: Bearer xxx 或 X-API-Key 请求头
• 别默认用 response.json() —— 先打印 response.text[:200] 看原始内容，避免解析 HTML 或错误提示页

response.json() 报 JSONDecodeError 怎么办

这不是 Python 问题，是服务端没给你 JSON。常见原因：接口返回了重定向（302）、登录跳转页（HTML）、限流提示（纯文本）、或者字段值里混了非法 Unicode 字符。

排查步骤：

• 检查 response.status_code，非 200 时别急着调 .json()
• 打印 response.headers.get('Content-Type')，如果不是 application/json，就别强转
• 用 response.content 而非 response.text 查看原始字节，避免编码干扰（比如返回的是 utf-8-sig BOM 头）
• 实在要硬解，加 try/except json.JSONDecodeError，并把 response.content 写入临时文件人工查看

拿到字典后取值总报 KeyError？

API 返回结构经常动态变化：字段名大小写不一致、嵌套层级比文档深、列表为空导致 data[0] 失败、或者字段压根没返回（服务端做了字段裁剪）。硬写 resp['data']['list'][0]['title'] 极易崩。

安全取值方式：

• 用 .get() 链式调用：resp.get('data', {}).get('list', [{}])[0].get('title', '')
• 对可能为 None 或非字典的中间值做类型检查：isinstance(resp, dict)
• 关键字段缺失时，记录日志并跳过该条数据，别让整个爬虫停摆
• 别依赖 response.json() 返回的类型——有些接口会把数字返回成字符串，比如 "123" 而非 123，后续做数值计算前记得 int() 或 float()

并发请求 API 时为什么大量超时或被封？

HTTP 连接复用、请求频率、会话保持这些细节，直接影响你能不能稳定拿到数据。Requests 默认不复用连接，高频请求下容易耗尽本地端口或触发服务端限流。

必须做的优化：

• 用 requests.Session() 复用 TCP 连接和 Cookie，减少握手开销
• 加 timeout=(3, 7) 参数（连接 3 秒，读取 7 秒），避免单个请求卡死整个线程
• 控制并发数：用 concurrent.futures.ThreadPoolExecutor(max_workers=5)，别无脑开 50 线程
• 在请求之间加随机延迟（time.sleep(random.uniform(0.5, 2))），模拟真实用户行为

实际跑起来才发现，最麻烦的从来不是解析 JSON，而是接口随时改返回结构、悄悄加风控、或者文档里根本没写的字段含义。留好日志，把每次响应存下来，比反复改代码快得多。

终于介绍完啦！小伙伴们，这篇关于《Python爬虫抓取JSON数据技巧》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！