Scrapy解析XML站点地图方法

在文章实战开发的过程中，我们经常会遇到一些这样那样的问题，然后要卡好半天，等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《Scrapy 解析 XML 站点地图教程》，聊聊，希望可以帮助到正在努力赚钱的你。

本文详解如何在 Scrapy 中正确解析 Atom/RSS 格式的 XML 站点地图，重点解决命名空间配置、XPath 路径失效、XMLFeedSpider 使用误区等常见问题，并提供可运行的完整示例。

Scrapy 提供了专用于解析 XML/Atom/RSS 的 XMLFeedSpider，但其行为与常规 HTML Spider 有显著差异——它不依赖 CSS 选择器或通用 XPath 上下文，而是基于命名空间感知的节点迭代器。当你在 scrapy shell 中直接尝试 response.css("entry") 或 response.xpath("//loc") 时返回空结果，根本原因在于：Shell 中的 response 是原始 XML 文档对象，但默认未启用命名空间解析，且 Atom/RSS 结构中关键元素（如 ）属于外部命名空间，必须显式声明才能访问。

✅ 正确解析步骤

1. 确认 XML 结构与命名空间

首先，查看目标 Sitemap（https://comercialtrevino.com/sitemap/sitemaprssatom_products.xml）源码，可见其为 Atom 格式，包含 Google 商店扩展标签，例如：

  
  
  https://comercialtrevino.com/producto/x

其中 属于命名空间 http://base.google.com/ns/1.0，因此必须在爬虫中注册该命名空间。

2. 正确配置 XMLFeedSpider

• namespaces 必须是 元组列表（如 [('g', 'http://base.google.com/ns/1.0')]），而非字符串或错误格式（原代码中 ['g', "..."] 是无效的）；
• itertag 指定要遍历的顶层元素（这里是 'entry'）；
• iterator = 'iternodes'（推荐）可确保逐节点解析，避免内存问题；
• 不要在 parse_node 中使用 // 绝对路径（如 node.xpath("//g:link")），应使用相对路径 node.xpath(".//g:link/text()") 或更稳妥的 node.xpath("g:link/text()")（因 g:link 是 entry 的直接子元素）。

3. 完整可运行爬虫示例

items.py

import scrapy

class TreviSpiderItem(scrapy.Item):
    src = scrapy.Field()

spiders/trevi_spider.py

from scrapy.spiders import XMLFeedSpider
from trevi_spider.items import TreviSpiderItem

class Trevi_Spider(XMLFeedSpider):
    name = 'trevi'
    start_urls = ["https://comercialtrevino.com/sitemap/sitemaprssatom_products.xml"]
    iterator = 'iternodes'
    namespaces = [('g', 'http://base.google.com/ns/1.0')]
    itertag = 'entry'

    def parse_node(self, response, node):
        item = TreviSpiderItem()
        # ✅ 正确：使用命名空间前缀 + 相对路径
        link = node.xpath('g:link/text()').get()
        if link:
            item['src'] = link.strip()
            yield item
        else:
            # 回退到 Atom 标准 link（rel="alternate"）
            alt_link = node.xpath('link[@rel="alternate"]/@href').get()
            if alt_link:
                item['src'] = alt_link.strip()
                yield item

4. 运行与调试技巧

• ❌ 避免在 scrapy shell 中模拟 XML 解析：Shell 的 response 不支持 XMLFeedSpider 的命名空间机制，所有 .css() 和 .xpath() 均无法识别带前缀的标签。
• ✅ 调试建议：在 parse_node 中添加日志：

  self.logger.debug(f"Raw entry: {node.get().strip()[:200]}...")

• ✅ 启用详细日志：运行时加 -L DEBUG 查看节点匹配过程：

  scrapy crawl trevi -L DEBUG

⚠️ 注意事项总结

• XMLFeedSpider 不支持 scrapy shell 交互式调试，务必在完整项目中运行；
• 命名空间格式必须为 [('prefix', 'uri')] 元组列表，拼写/括号错误将导致解析失败；
• XPath 中使用命名空间前缀时，必须先在 namespaces 中注册，否则 g:link 会被视为非法语法；
• 若目标 XML 同时含多种命名空间（如 xmlns:atom="..."），需全部注册并按需使用；
• 对于纯标准 的 XML Sitemap（非 Atom/RSS），应改用 SitemapSpider（Scrapy 内置）或自定义 XMLSpider，而非 XMLFeedSpider。

通过以上配置，即可稳定提取 Sitemap 中所有产品 URL，为后续页面抓取提供可靠入口。

终于介绍完啦！小伙伴们，这篇关于《Scrapy解析XML站点地图方法》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！