Python爬虫抓取异步图片技巧

本文深入解析了Python爬虫应对网页中异步加载图片的核心策略与实战技巧，强调不能依赖静态HTML解析，而需结合Selenium的智能等待（如WebDriverWait配合visibility_of_element_located）、滚动触发懒加载、网络层请求捕获（通过selenium-wire或CDP）、以及直连后端API等多路径方案；同时提醒读者注意data-src优先读取、content-type精准过滤、反爬头信息构造及动态认证Token提取等关键细节——真正决定爬取成功率的，往往不是代码长度，而是对前端渲染机制与网络交互逻辑的深度理解。

用 Selenium 等待图片元素可见再提取 src

异步加载的图片通常初始 src 是占位符（如 data-src、src="about:blank" 或为空），真实 URL 在 JS 渲染后才写入。直接用 requests + BeautifulSoup 拿不到，必须等 DOM 更新。

推荐用 WebDriverWait 配合 presence_of_element_located 或 visibility_of_element_located：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
<h1>等待 img 元素存在且 visible，再取真实 src</h1><p>img = WebDriverWait(driver, 10).until(
EC.visibility_of_element_located((By.CSS_SELECTOR, "img[data-src]"))
)
real_src = img.get_attribute("data-src") or img.get_attribute("src")</p>

• visibility_of_element_located 比 presence_of_element_located 更可靠——它要求元素不仅在 DOM 中，还要可渲染（宽高 > 0）
• 优先尝试读 data-src，再 fallback 到 src；有些站点懒加载后会把 data-src 移除或清空
• 超时设为 10 秒较稳妥；太短易失败，太长拖慢整体速度

监听 Network 请求捕获图片 URL（仅限 Chrome DevTools Protocol）

当图片由 XHR/Fetch 加载（比如 JSON 接口返回图片列表，再由 JS 插入 ），DOM 等待可能无效。此时需从网络层拦截请求，但标准 Selenium 不支持，得用 cdp（Chrome DevTools Protocol）。

借助 undetected-chromedriver 或 selenium-wire 可实现，但要注意：

• selenium-wire 会代理所有流量，能直接拿到 response.body 和 request.url，适合分析接口规律；但它不兼容无头模式下的某些反爬策略
• 原生 cdp 调用（通过 driver.execute_cdp_cmd）可开启网络监听，但只能捕获请求 URL 和响应头，拿不到完整响应体（除非启用 Fetch.enable 并手动 fulfill）
• 常见误判：把字体、SVG、埋点请求也当图片抓了——过滤时务必检查 response.headers.get("content-type") 是否含 image/

识别并触发懒加载行为（滚动、hover、JS 手动调用）

很多页面靠滚动触发动态加载，Selenium 默认不触发 viewport 内检测逻辑。不滚动，data-src 就不会转成 src。

• 执行 driver.execute_script("arguments[0].scrollIntoView(true);", img_elem) 让元素进入视口，再等 0.5 秒
• 部分站点监听 mouseenter，对容器元素做 elem.click() 或 elem.send_keys("") 可模拟交互
• 极少数用 IntersectionObserver 且禁用了 polyfill，老版本 Chrome 可能不触发——换 Chromium 115+ 或加 --enable-features=IntersectionObserverV2 启动参数

绕过前端、直连 API（最稳定但需逆向）

如果页面本质是 React/Vue 单页应用，图片数据大概率来自某个 /api/v1/images?... 接口。这时抓包（F12 → Network → Img/XHR 标签）比等 DOM 更高效。

• 找带分页、offset、cursor 参数的请求，复制 curl 命令，用 requests.Session() 复现，跳过浏览器
• 注意 headers：尤其是 User-Agent、Referer、X-Requested-With，缺一可能返回 403
• Token 类认证（如 Authorization: Bearer xxx）往往有效期短，需从登录响应或 localStorage 提取，不能硬编码

真正难的不是等图片出现，而是判断“该等哪个元素”“该监听哪类请求”“要不要补全 Referer 或 Cookie”。这些细节没对齐，脚本跑十次八次都可能漏图。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python爬虫抓取异步图片技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。