从嵌入的谷歌地图中抓取数据

Question

从嵌入的谷歌地图中抓取数据

google-mapsgoogle-maps-api-3web-scraping

3

我看到了一些关于从谷歌地图中抓取数据的相关问题，似乎这是不可能的。但我们可以找到替代方案，例如在这篇文章中：Scrapy, scrapping data inside a Javascript，替代解决方案是找到数据如何加载到地图上。编辑：我的意思不是让别人为我编写代码。我想知道如何探索代码以获取信息。

例如，麦当劳新加坡的网站，我们如何发现有一个数据请求？

请问是否有一些关键词，每次我们想要爬取一个页面时都可以查找？谢谢。

- John Smith

我在代码中找到了这个，也许它能帮到你？http://maps.googleapis.com/maps/api/js?key=AIzaSyB6e5TrlTdRmb8pnpSwrg5pcKzT8rXUyVg&sensor=false - John Smith

@MrUpsidown，您是如何知道有一个json文件的？当我下载HTML文件时，在代码中找不到任何提到json文件的内容。谢谢。 - John Smith

使用Chrome浏览器 -> 开发者工具 -> 网络选项卡 -> XHR(XMLHttpRequest)，你会看到它加载了那个JSON文件。它基本上是通过AJAX加载的。 - MrUpsidown

非常感谢@MrUpsidown。我能向您询问有关另一个网站的问题吗？对于此URL：http://www.sephora.fr/Parfum/Parfum-Femme/C309/2，您无法直接获取第2页（必须在浏览器中刷新页面以获取第2页）。我使用R（XML包）读取页面，并且总是得到页面1。它似乎也通过ajax加载。您能否帮助找出如何获取数据？（我尝试了您在此站点使用XHR的方法，但失败了。谢谢。 - John Smith

1

非常感谢@MrUpsidown的评论。这只是一个个人项目，所以我认为商店不会对我有任何影响。是的，我尝试为不同的网站编写一个爬虫脚本。我在这里更详细地描述了我的问题：http://stackoverflow.com/questions/37184509/web-scraping-oracle-atg-commerce 谢谢您的评论，让我现在知道如何提出一个好问题。 :) - John Smith

显示剩余5条评论

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- John Smith · Accepted Answer

感谢@MrUpsidown的提示，我知道可以使用：

Chrome -> 开发者工具 -> 网络选项卡 -> XHR (XMLHttpRequest)

来查看它加载的json文件。它基本上是通过AJAX加载的。