robots.txt 错误：内容类型应该是 text/plain。

Question

5

我正在使用名为Search Engine Optimization (SEO) Toolkit 1.0的软件测试我的网站，它显示以下错误：

来自“htpp://mysite.com/robots.txt”的响应的内容类型为“text/html”。Web服务器应返回“text/plain”作为Robots.txt文件的内容类型。

我的robots.txt文件只是这个：

User-agent: * 
Allow: /

使用UTF-8无BOM编码保存。

这样做有问题吗？

默认的、无害的robots.txt文件应该是什么？

谢谢！

- jeff

除非您使用mysite.com，否则我们才有example.com作为示例。 - random

在我提出这个问题之前，我不知道它是不相关的。对此给您带来的不便深感抱歉。 - jeff

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- user284244 · Accepted Answer

这是一个MIME类型问题，需要在您的服务器上进行配置。

这里有一个链接：http://www.nextthing.org/archives/2007/03/12/robotstxt-adventure 对于您特定的托管提供商，他们会插入一小段跟踪JavaScript。按照评论中的客户服务支持禁用该功能，然后MIME类型就可以呈现了。