logo标签列表

Selenium通过xpath查找所有元素

pythonseleniumweb-crawler
8
我使用了selenium来爬取一个滚动的网站，并执行了以下代码。
import requests
from bs4 import BeautifulSoup
import csv
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
import unittest
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time
import unittest
import re

output_file = open("Kijubi.csv", "w", newline='')  

class Crawling(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Firefox()
        self.driver.set_window_size(1024, 768)
        self.base_url = "http://www.viatorcom.de/"
        self.accept_next_alert = True

    def test_sel(self):
        driver = self.driver
        delay = 3
        driver.get(self.base_url + "de/7132/Seoul/d973-allthingstodo")
        for i in range(1,1):
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(2)
    html_source = driver.page_source
    data = html_source.encode("utf-8")

我的下一步是从网站爬取特定信息，如价格。

因此，我添加了以下代码：

 all_spans = driver.find_elements_by_xpath("/html/body/div[5]/div/div[3]/div[2]/div[2]/div[1]/div[1]/div")
    print(all_spans)
    for price in all_spans:
        Header = driver.find_elements_by_xpath("/html/body/div[5]/div/div[3]/div[2]/div[2]/div[1]/div[1]/div/div[2]/div[2]/span[2]")
        for span in Header:
            print(span.text)

我只得到了一个价格，而不是所有的价格。你能否提供反馈，告诉我如何改善代码？谢谢:)
编辑
感谢你们的帮助，我已经让它运行起来了。这是额外的代码:
    elements = driver.find_elements_by_xpath("//div[@id='productList']/div/div")

    innerElements = 15

    outerElements = len(elements)/innerElements

    print(innerElements,  "\t", outerElements, "\t", len(elements))

    for j in range(1, int(outerElements)):

        for i in range(1, int(innerElements)):


            headline = driver.find_element_by_xpath("//div[@id='productList']/div["+str(j)+"]/div["+str(i)+"]/div/div[2]/h2/a").text

            price = driver.find_element_by_xpath("//div[@id='productList']/div["+str(j)+"]/div["+str(i)+"]/div/div[2]/div[2]/span[2]").text
            deeplink = driver.find_element_by_xpath("//div[@id='productList']/div["+str(j)+"]/div["+str(i)+"]/div/div[2]/h2/a").get_attribute("href")

            print("Header: " + headline + " | " + "Price: " + price + " | " + "Deeplink: " + deeplink)

现在我的最后一个问题是，我仍然无法获取最后20个具有英语描述的价格。我只能获取具有德语描述的价格。对于英语描述的价格，它们尽管具有相同的HTML结构，但不会被提取。
例如，英语条目的HTML结构为：
     headline =   driver.find_element_by_xpath("//div[@id='productList']/div[6]/div[1]/div/div[2]/h2/a")

你们知道我需要修改什么吗？欢迎提供任何反馈意见 :)

你所拥有的XPath只针对一个元素 - 这个XPath是复制或自动生成的，所以我建议你查看XPath规范和教程，以便理解它。 - Arran
1个回答
8
要抓取页面上的所有价格，您应该使用以下XPATH：
Header = driver.find_elements_by_xpath("//span[contains(concat(' ', normalize-space(@class), ' '), 'price-amount')]")

这意味着：查找所有class为price-amount的span元素。为什么这样复杂 - 在这里看

但更简单的方法是使用CSS定位器来查找相同的元素：

.price-amount
感谢您的反馈。 - Serious Ruffy
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接