我的robots.txt文件看起来像这样:
User-agent: *
Disallow: /admin
Disallow: /test
User-Agent: Googlebot
Disallow: /maps
现在,Google忽略用户代理*部分,并仅遵守特定的Googlebot指令(/maps)。这是正常行为,不应该也遵循用户代理*指令(/admin,/test)吗?
需要为每个用户代理添加每一行似乎有些奇怪?
我的robots.txt文件看起来像这样:
User-agent: *
Disallow: /admin
Disallow: /test
User-Agent: Googlebot
Disallow: /maps
没关系,Google解释如下:
robots.txt文件中的每个部分都是独立的,不会基于前面的部分而建立。例如:
User-agent: * Disallow: /folder1/
User-Agent: Googlebot Disallow: /folder2/
在这个例子中,只有与/folder2/匹配的URL将被禁止对Googlebot访问。