权威文档中给出了貌似相互矛盾的描述。
('record' 指每个用户代理块)
"该文件由一个或多个记录组成,由一个或多个空白行(以CR、CR / NL或NL结尾)分隔。每条记录包含如下形式的行...".
Google 的 机器人.txt 规范:
"... 请注意可选使用空格和空行以提高可读性。"
所以 - 根据我们可以获得的文档 - 这里是否需要空行?
User-agent: *
Disallow: /this-directory/
User-agent: DotBot
Disallow: /this-directory/
Disallow: /and-this-directory/
这样行吗?
User-agent: *
Disallow: /this-directory/
User-agent: DotBot
Disallow: /this-directory/
Disallow: /and-this-directory/