我在本地主机(开发机器)上运行Django,但我在调试控制台中遇到了以下问题:
Not Found: /robots.txt
2018-03-20 22:58:03,173 WARNING Not Found: /robots.txt
[20/Mar/2018 22:58:03] "GET /robots.txt HTTP/1.1" 404 18566
这意味着什么,如果有任何处理此错误的建议,请告知。同时考虑生产服务器上的情况。
我在本地主机(开发机器)上运行Django,但我在调试控制台中遇到了以下问题:
Not Found: /robots.txt
2018-03-20 22:58:03,173 WARNING Not Found: /robots.txt
[20/Mar/2018 22:58:03] "GET /robots.txt HTTP/1.1" 404 18566
这意味着什么,如果有任何处理此错误的建议,请告知。同时考虑生产服务器上的情况。
robots.txt是一个标准,用于指导搜索引擎等网络爬虫哪些页面应该被索引。
为解决此问题,您可以静态地托管自己的robots.txt版本,或者使用像django-robots这样的软件包。
在开发中看到此错误很奇怪,除非您或您的浏览器正在显式访问它。
如果您担心SEO,生产环境中,您可能还需要设置每个搜索引擎的站长工具,例如Google Webmaster Tools
robots.txt
是一个用于管理爬虫行为的文件(例如搜索引擎索引机器人,如 Google)。它确定了机器人应该在其结果中包含哪些路径/文件。如果像搜索引擎优化这样的事情对您不相关,那就不用担心。
如果您关心这个问题,您可能想使用 Django 原生实现的 robots.txt 文件管理,比如 this。
robots.txt 文件是一个 Robots 排除标准,请参见此处获取更多信息。
以下是 Google 的 robots.txt 示例:https://www.google.com/robots.txt
如果需要设置 robots.txt,可以使用 Django 应用程序中推荐的指令示例 作为参考。