Python爬虫教程：Requests抓取数据技巧

本文深入剖析了Python爬虫开发中Requests+BeautifulSoup组合的四大高频痛点——反爬拦截导致空响应或403错误、JS动态渲染致使解析失败、中文乱码与编码错乱、以及字段缺失错位，并给出直击根源的实操方案：通过伪造Headers、合理使用Selenium应对动态内容、精准控制编码解码、采用容器级遍历+健壮判空逻辑提取数据，同时强调“先看清数据源头再选工具”的核心思维，助你避开陷阱、高效稳定地获取真实网页数据。

Requests发请求老是返回空内容或403

不是代码写错了，大概率是网站反爬把你当机器人拦了。Requests默认的User-Agent是python-requests/2.xx，一眼就被识别出来。

实操建议：

• 加headers参数，模拟真实浏览器，比如：{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}
• 部分网站还校验Referer或Accept，抓包看浏览器实际发了啥，照着补上
• 别一上来就循环请求，加time.sleep(1)，否则IP可能被临时封
• 遇到403但 headers 没问题？试试开代理或换session对象复用连接

BeautifulSoup解析时find()总返回None

不是标签名写错，就是 HTML 结构和你预期的根本不一样——网页用 JS 渲染的，Requests 拿到的是初始 HTML，没等 JS 执行，关键数据压根不存在。

实操建议：

• 先用print(response.text[:500])确认响应体里真有你要的文本；没有？说明是 JS 渲染，得换Selenium或Playwright
• 检查是否用了错误的解析器：BeautifulSoup(html, "html.parser")最稳；"lxml"快但会自动修正结构，可能改歪了标签层级
• find("div", class_="item")要写成find("div", class_="item")，不是class="item"——class是 Python 关键字，必须加下划线
• 嵌套太深？别一层层.find().find().find()，用select()写 CSS 选择器更可靠，比如soup.select("article .title a")

中文乱码、特殊字符变或空格

Requests 默认按 HTTP 头里的charset解码，但很多网站头没写、写错了，或者自己用 UTF-8 存但声明成 gbk，结果全乱。

实操建议：

• 别依赖response.text，先看response.encoding是什么，不对就手动改：response.encoding = "utf-8"
• 更稳妥：用response.content（bytes）直接喂给 BeautifulSoup：BeautifulSoup(response.content, "html.parser", from_encoding="utf-8")
• 如果页面混用编码（比如 meta 声明 UTF-8，但某段 JS 里藏了 GBK 编码的字符串），优先以chardet.detect(response.content)["encoding"]探测结果为准

提取的数据字段缺失或顺序错乱

常见于列表页有多条记录，但每条结构不一致——有的缺图片、有的没价格、有的标题带广告标记。用统一逻辑硬套，必然漏或错位。

实操建议：

• 别用find_all()[i]按索引取值，改用“每条记录单独找容器”，比如先for item in soup.select(".product-item"):，再在item里分别find("h3")、find("span.price")
• 字段可能为空？所有find()结果都要判if elem: ... else: None，别直接调.text
• 时间、价格这类字段常带空格或单位，用.get_text(strip=True)比.text更干净；数字类后续用re.sub(r"[^\d.]", "", s)清理再转float

有些网站结构看着简单，但 DOM 是 JS 动态插入的，或者字段藏在 JSON script 标签里——这时候死磕 BeautifulSoup 不如直接正则或json.loads()提 script 内容。别在解析方式上硬扛，先看清数据真正从哪来。

本篇关于《Python爬虫教程：Requests抓取数据技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！