我正在使用名为
Search Engine Optimization (SEO) Toolkit 1.0
的软件测试我的网站,它显示以下错误:
来自“htpp://mysite.com/robots.txt”的响应的内容类型为“text/html”。Web服务器应返回“text/plain”作为Robots.txt文件的内容类型。
我的robots.txt文件只是这个:
User-agent: *
Allow: /
使用UTF-8无BOM编码保存。
这样做有问题吗?
默认的、无害的robots.txt
文件应该是什么?
谢谢!