如果我想防止符合标准的机器人爬取一个文件夹,我可以通过robots.txt来拒绝它。
然而,问题在于隐藏文件夹的同时也暴露了它的存在。
所以,如果没有链接到这个文件夹的话,我是否需要在robots.txt中指定不希望被爬取的文件夹呢?“好的”网络爬虫只会遵循链接进行爬取,而不是随机搜索文件夹和文件。
谢谢。
如果我想防止符合标准的机器人爬取一个文件夹,我可以通过robots.txt来拒绝它。
然而,问题在于隐藏文件夹的同时也暴露了它的存在。
所以,如果没有链接到这个文件夹的话,我是否需要在robots.txt中指定不希望被爬取的文件夹呢?“好的”网络爬虫只会遵循链接进行爬取,而不是随机搜索文件夹和文件。
谢谢。
http://example.com/hidden_folder
这样的文件夹,并认为通过不发布指向它的链接,没有人会发现它,那么您就错了。这和把房屋钥匙藏在门垫下没什么两样。虽然爬虫可能不会去搜索hidden_folder
,但其他人会。当他们发现它时,他们会发布指向它的链接,我的爬虫会找到该链接。http://example.com/hidden_folder/bookmarks.html
的文件。在里面,您有指向所有喜欢网站的链接。http://example.com/hidden_folder/
的机器人将什么也得不到,只会收到一个错误消息,说明不能列出目录内容。由于robots.txt
中的Disallow
行是前缀,因此您可以只提及一个前缀来指定与任何“公共”目录不共享的“隐藏”目录。
因此,如果您的“隐藏”目录名为/topsecrete_donotread/
,则可以使用Disallow: /tops
来避免被爬取。