用户代理在robots.txt中的顺序

Question

我的robots.txt文件看起来像这样:

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

现在，Google忽略用户代理*部分，并仅遵守特定的Googlebot指令(/maps)。这是正常行为，不应该也遵循用户代理*指令(/admin，/test)吗？

需要为每个用户代理添加每一行似乎有些奇怪？

- Nin

Answer 1

没关系，Google解释如下：

robots.txt文件中的每个部分都是独立的，不会基于前面的部分而建立。例如：

User-agent: * Disallow: /folder1/

User-Agent: Googlebot Disallow: /folder2/

在这个例子中，只有与/folder2/匹配的URL将被禁止对Googlebot访问。

- Nin