在我看来,此时此刻只有一个工具会占据主导地位,因为该过程似乎足够通用:指向起始URL,与其表格和脚本交互,跟随链接,下载数据。反复洗涤。虽然我一直很满足于构建特定应用程序以跳过一些步骤,从而将几百GB的文档存储到我的硬盘上,但我想知道我是否只是再造轮子。
我承认我没有尝试过Automation Anywhere等商业产品,但由于我正在全职做我真正喜欢的事情 - 分析数据而不是检索数据,所以我希望这里的群众智慧能指引我走向一个明确的讨论方向。难道仅仅是因为有太多的怪癖,无法找到一个单一的工具适用于几乎所有情况吗?
让我澄清或复杂化这个问题 - 我已经看过一些浏览器“宏”类型的工具,比如iRobot、iOpus等,发现它们运行缓慢。对于严重的大型文档集合,我想在集群/云上运行爬虫,所以我不确定这些工具在那种环境下如何工作。对于我的用例,假设我想要...
我承认我没有尝试过Automation Anywhere等商业产品,但由于我正在全职做我真正喜欢的事情 - 分析数据而不是检索数据,所以我希望这里的群众智慧能指引我走向一个明确的讨论方向。难道仅仅是因为有太多的怪癖,无法找到一个单一的工具适用于几乎所有情况吗?
让我澄清或复杂化这个问题 - 我已经看过一些浏览器“宏”类型的工具,比如iRobot、iOpus等,发现它们运行缓慢。对于严重的大型文档集合,我想在集群/云上运行爬虫,所以我不确定这些工具在那种环境下如何工作。对于我的用例,假设我想要...
- 检索大约一百万个文档
- 从一个不需要登录但在导航方面大量使用JavaScript的网站中进行检索。
- 使用亚马逊或Azure服务器来完成工作。
一个例子可能是这个网站,来自美国人口普查局(有更有效的方法从他们那里获取数据,但该网站的风格是数据量和导航的良好示例):
http://factfinder2.census.gov/faces/nav/jsf/pages/searchresults.xhtml?ref=addr&refresh=t