谷歌地图API的robots.txt文件阻止了爬行

Question

4

我在我的网站应用中使用了Google地图、地点、方向JavaScript API。根据用户输入，应用程序通过对Google API进行ajax调用来加载不同的地点。幸运的是，Google最近能够抓取ajax。

当我在Google网站管理员工具的“获取Google”功能中检查URL时，响应如下：

这里是谷歌地图API的robots.txt文件

“谷歌地图API是否会阻止Google机器人？如果是这样，请建议我应该采取什么方法来获取页面内容？”

- Rajakumar Munna

类似于以下代码，可能会有所帮助：

if (navigator.userAgent !== 'Googlebot') {    // 加载地图和其他内容 } else {    // 显示一个图片代替地图或者什么都不做。 }

另外，可以参考用户代理 https://support.google.com/webmasters/answer/1061943?hl=en - Aishwat Singh

我很好奇，如果Googlebot能够访问那些.js文件，会有什么不同吗？它是否执行其中找到的代码并索引/爬取生成的内容？ - Doug McLean

是的，Google机器人可以跟随Ajax调用，爬取和索引。如果您在屏幕截图中看到加载按钮被禁用，则是通过JS完成的。我有一些其他页面，其中包含一些Ajax调用，Google机器人会像用户一样显示屏幕。 - Rajakumar Munna

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Sutor · Accepted Answer

我们联系了Google Maps支持团队，他们确认这是他们的一个错误！但是，他们没有说明我们可以期待何时修复。