当我在Google Play商店上爬取应用程序页面时,我只能爬取几页应用程序评论。
(当我使用Web浏览器单击箭头按钮时,下一页应用程序评论会显示出来)
我该如何爬取其他评论?
(当我使用Web浏览器单击箭头按钮时,下一页应用程序评论会显示出来)
我该如何爬取其他评论?
http://play.google.com/store/getreviews
来加载一些旧的评论,附带一个令牌。
<div class="single-review"> <a href="/store/people/details?id=113340797493751556969">...
它似乎包含了所有已加载的评论,所以您只需要解析它,或者尝试弄清楚令牌的工作原理,这样您就可以自己从getreviews
中获取。
虽然现在有点晚了,但你可以使用Python的BeautifulSoup库来爬取所有评论。所有评论都在class为“single-review”的div中。
创建一个网页HTML的soup对象,选择所有“single-review”类的实例。
soup.select('.single-review')
我会为您完成这项任务。从评论中提取您想要的任何内容。作为参考,您可能需要查看BeautifulSoup 文档。
您不需要检查右箭头或左箭头。上述方法将为您提供当前网页上的所有评论。