我正在AWS托管服务器上运行一些网络爬虫作业。该爬虫从电商网站爬取数据,但最近出现了“超时错误”。该网站可能已根据我的IP地址限制了我的访问频率。分配新的弹性IP地址可以解决问题,但效果不持久。我的问题是:是否有任何服务可以自动和动态地为我的实例分配和关联新的IP地址?谢谢!
考虑这种情况,我想经常爬取网站,但是在一些天数/限制后我的IP地址被屏蔽了。 那么,我该如何动态更改我的IP地址或者有什么其他的想法呢?
我的情况是: 我想在一个未知网络上的设备上运行一个web服务器。从全局IP转发到该设备的端口80或443的请求将被转发到该设备。 该设备定期向网络上的服务器发布其IP地址,并保存在该服务器上。 是否有可能轻松地通过https访问此设备? 当然问题在于,IP地址可能会更改,而SSL证书需要一...
谷歌检测异常流量的功能很不错,但是它如何处理动态IP地址? 例如,我没有一定范围的IP地址,我的ISP提供动态IP地址,每次路由器重新启动时都可能会更改,而且每天都会更改。所以,在这种情况下,当我获得某个IP地址时,我会看到没有验证码的通知。经过几次重新启动后,我似乎得到了一个未被阻止的IP...