我习惯于创建一些爬虫来收集信息,当我需要某个网站的信息时,我会开始一个新的爬虫,使用shell脚本大部分时间和有时使用PHP。
我的做法是用一个简单的for循环来迭代页面列表,用wget下载它,用sed、tr、awk或其他实用工具来清理页面并获取我需要的特定信息。
整个过程需要一些时间,取决于网站和下载所有页面所需的时间。我经常遇到使一切变得复杂的AJAX网站。
我想知道是否有更好的方法来做这件事,更快的方法,甚至有一些应用程序或语言来帮助这样的工作。
我的做法是用一个简单的for循环来迭代页面列表,用wget下载它,用sed、tr、awk或其他实用工具来清理页面并获取我需要的特定信息。
整个过程需要一些时间,取决于网站和下载所有页面所需的时间。我经常遇到使一切变得复杂的AJAX网站。
我想知道是否有更好的方法来做这件事,更快的方法,甚至有一些应用程序或语言来帮助这样的工作。