我想从一个表格页面中爬取一些数据,所以我只关心表格中的数据。以前我使用Mechanize,但我发现有时候表格底部的一些数据会丢失。通过搜索,我发现这可能是由于Mechanize没有处理Jquery/Ajax所导致的。
所以今天我切换到了Selenium。如何等待一个并且仅一个表格完全加载后,并使用Selenium和Python提取该表格中的所有链接?如果等待整个页面加载,它需要一些时间。我想确保仅加载表格中的数据。我的当前代码:
所以今天我切换到了Selenium。如何等待一个并且仅一个表格完全加载后,并使用Selenium和Python提取该表格中的所有链接?如果等待整个页面加载,它需要一些时间。我想确保仅加载表格中的数据。我的当前代码:
driver = webdriver.Firefox() for page in range(1, 2): driver.get("http://somesite.com/page/"+str(page)) table = driver.find_element_by_css_selector('div.datatable') links = table.find_elements_by_tag_name('a') for link in links: print link.text
precense_of_element_located
在这里没有影响,那么设置一个隐式等待 - 应该会有所帮助。 - alecxe