我正在使用Python和Selenium工作。我想使用Selenium从点击事件中下载文件。我编写了以下代码。
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
browser = webdriver.Firefox()
browser.get("http://www.drugcite.com/?q=ACTIMMUNE")
browser.close()
我希望从给定的URL下载名为“导出数据”的链接中的两个文件。因为这些链接只能通过点击事件才能起作用，所以我该如何实现呢？
使用find_element(s)_by_*找到链接，然后调用click方法。
from selenium import webdriver
# To prevent download dialog
profile = webdriver.FirefoxProfile()
profile.set_preference('browser.download.folderList', 2) # custom location
profile.set_preference('browser.download.manager.showWhenStarting', False)
profile.set_preference('browser.download.dir', '/tmp')
profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'text/csv')
browser = webdriver.Firefox(profile)
browser.get("http://www.drugcite.com/?q=ACTIMMUNE")
browser.find_element_by_id('exportpt').click()
browser.find_element_by_id('exporthlgt').click()
添加了个人资料操作代码以防止下载对话框的出现。
headless + selenium + firefox。 - falsetrusudo pip install selenium pyvirtualdisplay
Python 3：sudo pip3 install selenium pyvirtualdisplay
魔术import pyvirtualdisplay
import selenium
import selenium.webdriver
import time
import base64
import json
root_url = 'https://www.google.com'
download_url = 'https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png'
print('Opening virtual display')
display = pyvirtualdisplay.Display(visible=0, size=(1280, 1024,))
display.start()
print('\tDone')
print('Opening web browser')
driver = selenium.webdriver.Firefox()
#driver = selenium.webdriver.Chrome() # Alternately, give Chrome a try
print('\tDone')
print('Retrieving initial web page')
driver.get(root_url)
print('\tDone')
print('Injecting retrieval code into web page')
driver.execute_script("""
window.file_contents = null;
var xhr = new XMLHttpRequest();
xhr.responseType = 'blob';
xhr.onload = function() {
var reader = new FileReader();
reader.onloadend = function() {
window.file_contents = reader.result;
};
reader.readAsDataURL(xhr.response);
};
xhr.open('GET', %(download_url)s);
xhr.send();
""".replace('\r\n', ' ').replace('\r', ' ').replace('\n', ' ') % {
'download_url': json.dumps(download_url),
})
print('Looping until file is retrieved')
downloaded_file = None
while downloaded_file is None:
# Returns the file retrieved base64 encoded (perfect for downloading binary)
downloaded_file = driver.execute_script('return (window.file_contents !== null ? window.file_contents.split(\',\')[1] : null);')
print(downloaded_file)
if not downloaded_file:
print('\tNot downloaded, waiting...')
time.sleep(0.5)
print('\tDone')
print('Writing file to disk')
fp = open('google-logo.png', 'wb')
fp.write(base64.b64decode(downloaded_file))
fp.close()
print('\tDone')
driver.close() # close web browser, or it'll persist after python exits.
display.popen.kill() # close virtual display, or it'll persist after python exits.
解释
首先，我们在目标域名上加载一个URL以从中下载文件。这样我们就可以在该域名上执行AJAX请求，而不会遇到跨站脚本问题。
接下来，我们将一些JavaScript注入到DOM中，触发一个AJAX请求。一旦AJAX请求返回响应，我们就将响应加载到一个FileReader对象中。从那里，我们可以通过调用readAsDataUrl()提取文件的base64编码内容。然后，我们将base64编码内容附加到全局可访问变量window上。
最后，由于AJAX请求是异步的，我们进入一个Python while循环，等待内容附加到窗口。一旦附加完成，我们解码从窗口检索到的base64内容并将其保存到文件中。
这个解决方案应该适用于Selenium支持的所有现代浏览器，并且无论是文本还是二进制文件，以及所有MIME类型都可以使用。
备选方法
尽管我还没有测试过，但Selenium确实可以让您等待直到DOM中出现元素。您可以在DOM中创建一个具有特定ID的元素，并使用该元素的绑定作为检索已下载文件的触发器，而不是循环直到全局可访问变量被填充。download_url不是指向.pdf文件，而是指向一个JavaScript页面，其中包含一个$(document).ready(function () {，该函数调用了一个$.post()来获取实际的PDF文件。当我使用您的解决方案时，我最终下载的是HTML文件，而不是我想要下载的PDF文件。在这种情况下，我该如何进行调整？ - OscarVanL在Chrome中，我会通过点击链接来下载文件，然后打开chrome://downloads页面，然后像这样从shadow DOM中检索已下载文件的列表：
docs = document
.querySelector('downloads-manager')
.shadowRoot.querySelector('#downloads-list')
.getElementsByTagName('downloads-item')
这个解决方案仅适用于Chrome，数据还包括文件路径和下载日期。(注意这段代码是来自JS，可能不是正确的Python语法)
from selenium import webdriver
# Using Chrome to access web
options = webdriver.ChromeOptions()
options.add_argument("download.default_directory=C:/Test") # Set the download Path
driver = webdriver.Chrome(options=options)
# Open the website
try:
driver.get('xxxx') # Your Website Address
password_box = driver.find_element_by_name('password')
password_box.send_keys('xxxx') #Password
download_button = driver.find_element_by_class_name('link_w_pass')
download_button.click()
driver.quit()
except:
driver.quit()
print("Faulty URL")
add_experimental_option，特别是在使用远程webdriver时，对于Chrome浏览器。chrome_options = webdriver.ChromeOptions()
preferences = {"download.default_directory" : "/some/path"}
#be sure to add preferences as an experimental option
chrome_options.add_experimental_option("prefs", preferences)
driver = webdriver.Remote(
command_executor="http://localhost:4444",
options=chrome_options
)
urllib并使用urllib.urlretrieve(url)来获取下载，其中url是链接发送到的网址。 - Serial