我需要一个无头浏览器,使用起来相对容易(因为我还是Python和编程新手),可以让我导航到一个页面,登录到需要JavaScript的表单中,然后通过搜索符合某些条件的结果、点击复选框并单击下载文件来爬取结果网页。所有这些都需要JavaScript。
我听说无头浏览器就是我想要的 - 要求/首选项是能够从Python运行,并且最好的结果脚本可以编译成py2exe(我正在为其他用户编写此程序)。
到目前为止,Windmill看起来可能是我想要的,但我不确定。
欢迎任何想法!
我需要一个无头浏览器,使用起来相对容易(因为我还是Python和编程新手),可以让我导航到一个页面,登录到需要JavaScript的表单中,然后通过搜索符合某些条件的结果、点击复选框并单击下载文件来爬取结果网页。所有这些都需要JavaScript。
我听说无头浏览器就是我想要的 - 要求/首选项是能够从Python运行,并且最好的结果脚本可以编译成py2exe(我正在为其他用户编写此程序)。
到目前为止,Windmill看起来可能是我想要的,但我不确定。
欢迎任何想法!
sudo apt-get install python-qt4
以下是一个示例脚本:python3
。 - MarSoft尝试使用phantomjs,它具有出色的JavaScript支持。然后,您可以将其作为Python脚本的子进程运行。
http://docs.python.org/library/subprocess.html
可以控制它的老板。