亚马逊解析简单且完全由您自己完成

小伙伴们对文章编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《亚马逊解析简单且完全由您自己完成》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

我在互联网上发现了一个脚本，可以让你解析来自亚马逊的产品卡。我只是需要一个解决这样的问题的方法。

我在寻找一种解析亚马逊产品卡的方法时绞尽脑汁。问题在于，亚马逊针对不同的输出使用不同的设计选项，特别是 - 如果您需要使用搜索查询“bags”解析卡片 - 卡片将按照我的需要垂直排列，但如果您采取，例如，“t恤” – 然后卡片将水平排列，这样脚本就会出错，它可以打开页面，但不想滚动。

此外，在阅读了用户对如何绕过亚马逊验证码感到困惑的各种文章后，我升级了脚本，现在它可以绕过验证码（它与 2captcha 一起使用）。该脚本在每次加载新页面后都会检查页面上是否存在验证码，如果出现验证码，则会向 2capcha 服务器发送请求，并在收到解决方案后替换它并继续工作。

然而，如何绕过验证码并不是最困难的问题，因为这在当今是一件微不足道的任务。更紧迫的问题是如何让脚本不仅适用于垂直排列的产品卡，还适用于水平排列的产品卡。

下面我将详细描述该脚本包含的内容，演示其工作原理，如果您可以帮助解决问题，如果您知道在脚本中添加（更改）什么以便它可以在卡片的水平设置上工作，我将不胜感激。

目前，该脚本至少可以在其有限的功能上为某人提供帮助。

那么，让我们把脚本一点一点地拆开吧！

准备

首先，脚本导入完成任务所需的模块

从 selenium 导入 webdriver
从 selenium.webdriver.common.keys 导入密钥
从 selenium.webdriver.common.action_chains 导入 actionchains
从 selenium.webdriver.support.ui 导入 webdriverwait
从 selenium.webdriver.support 导入预期条件作为 ec
导入 csv
导入操作系统
从时间导入睡眠
导入请求

让我们把它拆成几部分：

从 selenium 导入 webdriver

导入 webdriver 类，它允许您通过脚本控制浏览器（在我的例子中是 firefox）

来自 selenium.webdriver.common.by 导入

导入 theby 类，脚本将通过该类搜索要通过 xpath 解析的元素（它可以搜索其他属性，但在本例中将使用 xpath）

从 selenium.webdriver.common.keys 导入密钥

导入 keys 类，该类将用于模拟击键，在此脚本中，它将向下滚动页面 keys.page_down

从 selenium.webdriver.common.action_chains 导入 actionchains

导入 actionchains 类来创建复杂的顺序操作，在我们的例子中 - 单击 page_down 按钮并等待页面上的所有元素加载（因为在 amazon 上卡片在滚动时加载）

从 selenium.webdriver.support.ui 导入 webdriverwait

导入 webdriverwait 类，该类会等待加载我们要查找的信息，例如产品描述，我们将通过 xpath 搜索该信息

从selenium.webdriver.support导入expected_conditions作为ec

它导入了expected_conditions类（缩写为ec），它与前一个类一起工作，并告诉webdriverwait它需要等待哪个特定条件。这提高了脚本的可靠性，使其不会开始与尚未加载的内容交互。

导入 csv

导入 csv 模块以处理 csv 文件。

导入操作系统

导入 os 模块以与操作系统配合使用（创建目录、检查文件是否存在等）。

从时间导入睡眠

我们导入 sleep 函数 - 该函数会将脚本暂停特定时间（在我的例子中为 2 秒，但您可以设置更多），以便元素在滚动时加载。

导入请求

导入用于发送 http 请求的 requests 库，以与 2captcha 识别服务交互。

配置

导入所有内容后，脚本开始配置浏览器以进行工作，特别是：

安装api密钥以访问2captcha服务

# 2captcha 的 api 密钥
api_key =

该脚本包含一个为浏览器安装的用户代理（当然可以更改）。之后，浏览器将以指定的设置启动。

`user_agent = "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, 如 gecko) chrome/91.0.4472.124 safari/537.36"

选项 = webdriver.firefoxoptions()
options.add_argument(f"user-agent={user_agent}")

driver = webdriver.firefox(options=options)
`

接下来是验证码解决方案模块。这正是用户在搜索如何解决验证码时正在寻找的地方。我们很长时间不会分析这段代码，因为它没有什么特别的问题。

简而言之，脚本在每次页面加载后，都会检查页面上是否存在验证码，如果发现它，则通过将其发送到 2captcha 服务器来解决它。如果没有验证码，则继续执行。

`defsolve_captcha(驱动程序):
# 检查页面上是否存在验证码
尝试：
captcha_element = driver.find_element(by.class_name, 'g-recaptcha')
如果验证码元素：
print("检测到验证码。正在解决...")
site_key = captcha_element.get_attribute('data-sitekey')
current_url = driver.current_url

        # send captcha request to 2captcha
        captcha_id = requests.post(
            'http://2captcha.com/in.php', 
            data={
                'key': api_key, 
                'method': 'userrecaptcha', 
                'googlekey': site_key, 
                'pageurl': current_url
            }
        ).text.split('|')[1]

        # wait for the captcha to be solved
        recaptcha_answer = ''
        while true:
            sleep(5)
            response = requests.get(f"http://2captcha.com/res.php?key={api_key}&action=get&id={captcha_id}")
            if response.text == 'capcha_not_ready':
                continue
            if 'ok|' in response.text:
                recaptcha_answer = response.text.split('|')[1]
                break

        # inject the captcha answer into the page
        driver.execute_script(f'document.getelementbyid("g-recaptcha-response").innerhtml = "{recaptcha_answer}";')
        driver.find_element(by.id, 'submit').click()
        sleep(5)
        print("captcha solved.")
except exception as e:
    print("no captcha found or error occurred:", e)

解析
接下来是负责对页面进行排序、加载和滚动的代码部分

尝试：
base_url = "https://www.amazon.in/s?k=bags"

for page_number in range(1, 10): 
    page_url = f"{base_url}&page={page_number}"

    driver.get(page_url)
    driver.implicitly_wait(10)

    solve_captcha(driver)

    webdriverwait(driver, 10).until(ec.presence_of_element_located((by.xpath, '//span[@class="a-size-medium a-color-base a-text-normal"]')))

    for _ in range(5):  
        actionchains(driver).send_keys(keys.page_down).perform()
        sleep(2)

`

接下来是产品数据的收集。最重要的部分。在此部分中，脚本检查加载的页面并获取从那里指定的数据。在我们的例子中，它是产品名称、评论数量、价格、url、产品评级。

`product_name_elements = driver.find_elements(by.xpath, '//span[@class="a-size-medium a-color-base a-text-normal"]')
rating_number_elements = driver.find_elements(by.xpath, '//span[@class="a-size-base s-underline-text"]')
star_ rating_elements = driver.find_elements(by.xpath, '//span[@class="a-icon-alt"]')
price_elements = driver.find_elements(by.xpath, '//span[@class="a-price-whole"]')
product_urls = driver.find_elements(by.xpath, '//a[@class="a-link-normal s-underline-text s-underline-link-text s-link-style a-text-normal"]')

    product_names = [element.text for element in product_name_elements]
    rating_numbers = [element.text for element in rating_number_elements]
    star_ratings = [element.get_attribute('innerhtml') for element in star_rating_elements]
    prices = [element.text for element in price_elements]
    urls = [element.get_attribute('href') for element in product_urls]

`

接下来，将指定的数据上传到文件夹（为每个页面创建一个csv文件，并将其保存到输出文件文件夹中）。如果该文件夹丢失，脚本会创建它。

`output_directory = "输出文件"
如果不是 os.path.exists(output_directory):
os.makedirs(输出目录)

    with open(os.path.join(output_directory, f'product_details_page_{page_number}.csv'), 'w', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile)
        csv_writer.writerow(['product urls', 'product name', 'product price', 'rating', 'number of reviews'])
        for url, name, price, star_rating, num_ratings in zip(urls, product_names, prices, star_ratings, rating_numbers):
            csv_writer.writerow([url, name, price, star_rating, num_ratings])

`

最后阶段是工作的完成和资源的释放。

最后：
driver.quit()

完整脚本

`从 selenium 导入 webdriver
从 selenium.webdriver.common.by 导入 by
从 selenium.webdriver.common.keys 导入密钥
从 selenium.webdriver.common.action_chains 导入 actionchains
从 selenium.webdriver.support.ui 导入 webdriverwait
从 selenium.webdriver.support 导入预期条件作为 ec
导入 csv
导入操作系统
从时间导入睡眠
导入请求

2captcha 的 api 密钥

api_key = "您的 api 密钥"

设置自定义用户代理来模仿真实的浏览器

user_agent = "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, 如 gecko) chrome/91.0.4472.124 safari/537.36"

选项 = webdriver.firefoxoptions()
options.add_argument(f"user-agent={user_agent}")

driver = webdriver.firefox(options=options)

defsolve_captcha(驱动程序):
# 检查页面上是否存在验证码
尝试：
captcha_element = driver.find_element(by.class_name, 'g-recaptcha')
如果验证码元素：
print("检测到验证码。正在解决...")
site_key = captcha_element.get_attribute('data-sitekey')
current_url = driver.current_url

        # send captcha request to 2captcha
        captcha_id = requests.post(
            'http://2captcha.com/in.php', 
            data={
                'key': api_key, 
                'method': 'userrecaptcha', 
                'googlekey': site_key, 
                'pageurl': current_url
            }
        ).text.split('|')[1]

        # wait for the captcha to be solved
        recaptcha_answer = ''
        while true:
            sleep(5)
            response = requests.get(f"http://2captcha.com/res.php?key={api_key}&action=get&id={captcha_id}")
            if response.text == 'capcha_not_ready':
                continue
            if 'ok|' in response.text:
                recaptcha_answer = response.text.split('|')[1]
                break

        # inject the captcha answer into the page
        driver.execute_script(f'document.getelementbyid("g-recaptcha-response").innerhtml = "{recaptcha_answer}";')
        driver.find_element(by.id, 'submit').click()
        sleep(5)
        print("captcha solved.")
except exception as e:
    print("no captcha found or error occurred:", e)

尝试：
# 起始页 url
base_url = "https://www.amazon.in/s?k=bags"

for page_number in range(1, 2): 
    page_url = f"{base_url}&page={page_number}"

    driver.get(page_url)
    driver.implicitly_wait(10)

    # Attempt to solve captcha if detected
    solve_captcha(driver)

    # Explicit Wait
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')))

    for _ in range(5):  
        ActionChains(driver).send_keys(Keys.PAGE_DOWN).perform()
        sleep(2)

    product_name_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')
    rating_number_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-base s-underline-text"]')
    star_rating_elements = driver.find_elements(By.XPATH, '//span[@class="a-icon-alt"]')
    price_elements = driver.find_elements(By.XPATH, '//span[@class="a-price-whole"]')
    product_urls = driver.find_elements(By.XPATH, '//a[@class="a-link-normal s-underline-text s-underline-link-text s-link-style a-text-normal"]')

    # Extract and print the text content of each product name, number of ratings, and star rating, urls
    product_names = [element.text for element in product_name_elements]
    rating_numbers = [element.text for element in rating_number_elements]
    star_ratings = [element.get_attribute('innerHTML') for element in star_rating_elements]
    prices = [element.text for element in price_elements]
    urls = [element.get_attribute('href') for element in product_urls]

    sleep(5)        
    output_directory = "output files"
    if not os.path.exists(output_directory):
        os.makedirs(output_directory)

    with open(os.path.join(output_directory, f'product_details_page_{page_number}.csv'), 'w', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile)
        csv_writer.writerow(['Product Urls', 'Product Name', 'Product Price', 'Rating', 'Number of Reviews'])
        for url, name, price, star_rating, num_ratings in zip(urls, product_names, prices, star_ratings, rating_numbers):
            csv_writer.writerow([url, name, price, star_rating, num_ratings])

最后：
driver.quit()

`

这样脚本就不会出现错误，但仅适用于垂直产品卡。以下是该脚本如何工作的示例。

如果您有什么要说的，我很乐意在评论中讨论。

到这里，我们也就讲完了《亚马逊解析简单且完全由您自己完成》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！