我有一个试验性的网络爬虫,发现它无法读取一些网页,例如在某些特定域上,curl在跟随50次重定向后返回失败,但wget可以正常读取同一域名的内容:
而这个命令可以正常工作:
curl 'netflix.com' -L -o 'output.txt'
结果:
curl: (47) Maximum (50) redirects followed
output.txt文件中没有任何数据。而这个命令可以正常工作:
wget netflix.com
有什么理由可以解释这种情况吗?我怀疑远程服务器不会根据两个不同的用户代理处理请求。