在VS2010中应用任何robots.txt修订都会使用BOM保存文件,这基本上会导致Google拒绝它并显示“'语法不理解'错误”。这里有一个相关问题,但是文本文件不提供“另存为编码”选项 - 即使提供了这个选项,也应该有一种只需使用CTRL + S即可避免BOM的解决方案,而无需走高级路线。我不敢相信只有我遇到了这个问题,肯定有解决办法吧?
VS将BOM添加到UTF-8文件中,但是为什么您的robots.txt文件也应该编码为UTF-8呢? 因为它包含URL,所以它应该是纯ASCII或ISO-8859-1。如果您的站点URL包含非ASCII字符,则必须适当地进行URL编码。将文件制成纯ANSI将节省所有BOM的麻烦。 还请参见robots.txt; What encoding?