如何使用Python访问网站？

Question

我希望能够在不使用网站API的情况下访问网站。我是否可以使用Mechanize之类的工具来实现这一点？

- user216171

Answer 1

以下是两个建议的答案：

http://docs.python.org/library/httplib.html

http://docs.python.org/library/urllib.html

另外，Dive into Python3 的第13章“HTTP Web Services”也是一个很好的介绍：https://diveintopython3.net/http-web-services.html

- dwich

---

当然我用过谷歌，但我认为有些框架可以自动完成所有乏味的任务。无论如何，还是谢谢。 - user216171

我讨厌回答“问谷歌”，因为当我在谷歌上搜索后在SO上找到的答案总是要求我去问谷歌。 - Sadık

@dwich，你回答中的“第11章...”链接已经失效了。 - Kenneth Eggering

链接已修复。感谢您的注意。 - dwich

Answer 2

您可以使用HTTP协议客户端访问网站：httplib。

虽然您可能更喜欢urllib2，尤其是urllib2.urlopen。

以下是使用urllib2的一个示例：

import urllib2
page = urllib2.urlopen("http://example.com/").read()
print page

- Cheery

Answer 3

#for Python 3.2
import urllib.request
page = urllib.request.urlopen("http://www.google.com")
print (page.read())

- Aniket

Answer 4

在Python 3.x中使用urllib.request，在Python 2.x中使用urllib2。

- John Howard