107得票7回答
如何使用Python登录网站?

我该怎么做呢? 我试图使用urllib进入一些指定的链接,但是为了这样做,我需要登录。 我从网站上获取了这个源代码:<form id="login-form" action="auth/login" method="post"> <div> <!...

70得票14回答
无头浏览器是什么?

我希望实现以下功能:登录一个网站,点击一些特定的链接,然后点击下载链接。我想在Windows上作为计划任务或在Linux上作为cron job运行。语言不是很重要,但如果可能的话,我希望能够在屏幕上不显示浏览器窗口的情况下运行。

41得票8回答
Puppeteer:获取innerHTML

有人知道如何获取一个元素的 innerHTML 或文本吗?或者更好的是,如何点击具有特定 innerHTML 的元素?这是使用普通 JavaScript 的方法: var found = false $(selector).each(function() { if (found) r...

38得票13回答
Selenium网络自动化中的元素不可交互异常

在下面的代码中,我不能在密码字段中发送密码键,我尝试点击字段、清除字段并发送键。但是在任何一种方法中都没有起作用。但是如果我进行调试和测试,则可以正常工作。 public class TestMail { protected static WebDriver driver; ...

36得票11回答
如何安装Geckodriver?

我想在Python中使用Selenium,但是我不知道如何处理以下来自https://pypi.python.org/pypi/selenium的内容: Selenium需要一个驱动程序来与所选浏览器进行交互。例如,Firefox需要geckodriver,在运行以下示例之前必须安装它。确保...

25得票4回答
Puppeteer等待元素消失或从DOM中删除

有没有任何方法或Puppeteer API可以等待元素从Dom中消失或被移除,然后继续执行? 例如,我有一个加载动画,我想等待直到这个加载动画从Dom中移除。

24得票1回答
如何使用Puppeteer从XHR请求中获取响应的正文/ JSON?

我想从使用Puppeteer爬取的网站获取JSON数据,但我不知道如何获取请求正文。这是我尝试过的:const puppeteer = require('puppeteer') const results = []; (async () => { const browser = ...

23得票5回答
Windows机器上的网站自动登录脚本?

我看到有个人有一个文件(我猜是批处理文件)。在点击批处理文件后,他能够登录多个网站。(可能是用VB做的。) 我在Google上搜索了这样的脚本,但没有找到有用的东西。 我知道一些C++和UNIX知识(还有一些HTML和JavaScript),不知道是否可以使用这些语言在Windows机器上...

22得票2回答
如何使用Python和Mechanize登录网站

我正在尝试登录网站http://www.magickartenmarkt.de并在会员区域(https://www.magickartenmarkt.de/?mainPage=showWants)进行一些分析。我看到了其他的例子,但我不明白为什么我的方法没有奏效。我已经确定了第一种方法的正确表...

21得票2回答
如何在 Puppeteer 中选择 iframe 元素内的元素

由于ESPN不提供API,我正在尝试使用Puppeteer来爬取有关我的梦幻足球联赛的数据。然而,由于登录表单嵌套在一个iframe元素中,我很难使用puppeteer进行登录。 我已经进入http://www.espn.com/login并选择了iframe。但是除了通过以下方式选择主要部...