什么是Django中的robots.txt警告，如何处理？

Question

3

我在本地主机（开发机器）上运行Django，但我在调试控制台中遇到了以下问题：

Not Found: /robots.txt
2018-03-20 22:58:03,173 WARNING Not Found: /robots.txt
[20/Mar/2018 22:58:03] "GET /robots.txt HTTP/1.1" 404 18566

这意味着什么，如果有任何处理此错误的建议，请告知。同时考虑生产服务器上的情况。

- Axil

除非这是一个公开可见的网站，否则您不应该看到此请求。如果这是一个公开可见的网站，您不应该运行开发服务器。 - e4c5

3个回答

0

robots.txt 是一个用于管理爬虫行为的文件（例如搜索引擎索引机器人，如 Google）。它确定了机器人应该在其结果中包含哪些路径/文件。如果像搜索引擎优化这样的事情对您不相关，那就不用担心。

如果您关心这个问题，您可能想使用 Django 原生实现的 robots.txt 文件管理，比如 this。

- MrName

0

robots.txt 文件是一个 Robots 排除标准，请参见此处获取更多信息。

以下是 Google 的 robots.txt 示例：https://www.google.com/robots.txt

如果需要设置 robots.txt，可以使用 Django 应用程序中推荐的指令示例作为参考。

- PixelEinstein

谢谢，我在链接中看到了这个。robots.txt文件中的这些配置是什么？.ru是非法网站吗？主机：https://mysite.ru 站点地图：https://mysite.ru/sitemap.xml - Axil

主机：您的网站|站点地图：是包括所有可用页面的xml位置，通常用于Google索引您的网站。如果您规模较小，不关心您的“pagerank”，那么您无需担心这个问题。 - PixelEinstein

这些只是示例网站，不用于实际使用，请使用您自己的域名。 - PixelEinstein

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- whp · Accepted Answer

robots.txt是一个标准，用于指导搜索引擎等网络爬虫哪些页面应该被索引。

为解决此问题，您可以静态地托管自己的robots.txt版本，或者使用像django-robots这样的软件包。

在开发中看到此错误很奇怪，除非您或您的浏览器正在显式访问它。

如果您担心SEO，生产环境中，您可能还需要设置每个搜索引擎的站长工具，例如Google Webmaster Tools