我有一个爬虫程序,用于抓取几个不同域名的新文章/内容。总共有成千上万的页面数量,并且每天都会添加大量新的内容。因此,为了能够爬行所有这些内容,我需要我的爬虫程序全天候运行。
目前,我将爬虫脚本托管在与爬虫正在添加内容的站点相同的服务器上,并且我只能在晚上运行cronjob来运行脚本,因为当我运行脚本时,网站基本上会停止工作,因为负载过大。换句话说,这是一个相当糟糕的解决方案。
因此,我想知道对于这种解决方案,我的最佳选择是什么?
是否可以从同一主机继续运行爬虫程序,但以某种方式平衡负载,以使脚本不会导致网站崩溃?
我应该寻找什么类型的主机/服务器来托管爬虫程序?除了正常的Web主机之外,还需要其他规格吗?
爬虫程序保存它抓取的图像。如果我将我的爬虫程序托管在辅助服务器上,如何将我的图像保存在站点的服务器上?我想我不希望uploads文件夹具有CHMOD 777权限,并允许任何人在我的服务器上放置文件。