网站地图包含被robots.txt禁止的URL。

Question

我们的WordPress网站意外地设置了7天的robots.txt，禁止爬取。现在我正在尝试清理，但Webmaster工具显示“站点地图包含被robots.txt阻止的URL”，即使我已经调整了robots.txt，允许爬取。没有理由URL仍然被阻止，当我访问这些例子时，它们看起来没有问题。

robots.txt的URL: http://bit.ly/1u2Qlbx Sitemap的URL: http://bit.ly/1BfkSmx 根据Webmaster工具，我的URLs被robots.txt阻止：http://bit.ly/1uLBRea 或 http://bit.ly/1CsrHnr。

- Rocco The Taco

---

我投票关闭了这个问题，因为它不是一个编程问题，并且在 Stack Overflow 上是离题的。关于您网站的非编程问题应该在 [webmasters.se] 上提问。将来请在那里提出此类问题。 - Stephen Ostermiller

Answer 1

不用担心，如果您重新启用了URL，谷歌的网络爬虫将会注意到并再次爬取您的页面。该消息将在数天内从GWT中消失。

最终，您可以使用GWT的相应功能来测试您的robots.txt文件。

- Jérôme Verstrynge

Answer 2

使用这个插件：

https://wordpress.org/plugins/wp-robots-txt/

它会删除以前的robots.txt文件并设置一个简单的WordPress robots.txt文件，等待一天即可解决问题。

- sprytechies

Answer 3

谷歌重新爬取您的网站可能需要一段时间。我认为等待可能是您唯一的选择。

在通过网站管理员工具提交完整站点地图后，我曾经遇到过要花费7天的时间才能正确索引东西的情况。

看起来您正在使用Yoast SEO插件，该插件应告诉您是否存在其他问题。

- brockis