这款应用程序是基于Node.js的Web爬虫,通过request
库向远程服务器发送请求。
使用第三方供应商提供的99%及以上正常运行时间的经过身份验证的HTTP代理服务器进行请求。
我正在尝试处理请求错误响应的HTTP代码,这些响应可能会由于代理故障而引起。预计在达到这些HTTP代码的阈值后,将触发一个不可靠代理的标志,因此代理将进入诊断队列。而且我认为一些代码的权重更高。
目前我正在处理代理的407(代理身份验证)和408(请求超时)HTTP代码。
还有其他HTTP代码通常由故障的HTTP代理引起吗?
希望问题足够具体。我假设可能的故障(以及可能的HTTP错误状态代码集)取决于实际代理及其环境。我们应该将这些代理视为黑盒子,因为它们由第三方提供。
问题并非关于HTTP状态码的总体情况,而仅涉及可能由故障代理(转发代理)引起的错误代码。