如何使用Python获取网页窗口数据?

4

我正在寻找一种通过Python访问网站窗口变量的方法,如何实现?

例如,我想要从window.performance获取数据。如何使用Python实现?是否可以使用requests库?

我已经附上了图片: 我已经附上了图片


你的问题与Python或Requests库无关。这个问题是关于如何发送一个HTTP请求,以便从网站返回所需数据,然后解析该响应中的数据。任何语言中的任何HTTP客户端库都可能会促成这一点。我不是一个网页专家,但我认为你谈论的是从网页内部运行的Javascript引用的JavaScript函数。对于一般的网站,发出HTTP请求永远无法让你访问到它。相反,网站必须发布那些信息。 - CryptoFool
除非您想使用Python脚本运行Web浏览器,使其加载页面,然后查询其API以查看页面的内部并提供此信息。我猜您不想经历所有这些工作。 - CryptoFool
2个回答

1
Python requests无法访问页面上正在运行的JavaScript,这是获取类似指标所需的内容。Requests只能收集原始HTML数据(在查看页面源代码时看到的内容),并且无法收集JavaScript窗口对象。
要做这样的事情,您需要一个无头浏览器,它可以访问网站上的内联JavaScript。像this这样的东西可能会引起您的兴趣。
无论如何,您应该考虑使用无头浏览器,它将可以访问实时呈现的网站。Selenium、Nightmare、Puppeteer等工具在这种情况下都会很有用。

0

这个案例是检索 Web 应用程序在浏览器中存储在 window JS 对象或全局范围内的数据。工作流程是使用您语言中相应的 API 编程或指示无头浏览器。

#编程##数据检索##访问浏览器中的 window 对象#

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接