如何在Python 2中发送HEAD HTTP请求？

Question

我在这里想要做的是获取给定 URL 的头部信息，以便确定其 MIME 类型。例如，我想要知道 http://somedomain/foo/ 返回的是 HTML 文档还是 JPEG 图像等。因此，我需要找出如何发送 HEAD 请求，以便在不下载内容的情况下读取 MIME 类型。是否有人知道一个简单的方法来实现这个目标？

- fuentesjr

Answer 1

urllib2 可以用于执行 HEAD 请求。这比使用 httplib 更好，因为 urllib2 会为您解析 URL，而不需要您将 URL 拆分为主机名和路径。

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

与之前一样，可以通过response.info()获取响应头。有趣的是，您可以找到重定向后的URL：

>>> print response.geturl()
http://www.google.com.au/index.html

- doshea

---

response.info().str() 将返回头部的字符串格式，以便您可以对获取的结果进行操作。 - Shane

除了尝试在Python 2.7.1（Ubuntu Natty）中运行此代码时，如果存在重定向，它会对目标执行GET而不是HEAD请求之外，没有其他内容需要返回。 - eichin

这就是httplib.HTTPConnection的优点，它不会自动处理重定向。 - Ehtesh Choudhury

但是doshea的答案如下。如何设置超时时间？如何处理坏的URL，即不再有效的URL。 - fanchyna

Answer 2

编辑：这个答案可行，但现在你应该使用下面其他答案提到的requests库。

---

使用httplib。

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

另外还有一个getheader(name)函数用于获取特定的头部信息。

- Eevee

---

这个回答标记为已解决，但是应该看一下requests库。看一下稍下面的Dalius的回答。 - Bahadir Cambel

这真的很好，但它要求您为请求的主机和路径拥有单独的值。随手准备urlparse是很有用的，这也被一些低排名的响应所展示。 - Tomasz Gandor

Python 3的注意事项：httplib已更名为http.client。 - Santosh Kumar

很遗憾，“requests”模块并没有默认随Python一起安装。 - rook

@rook，你的程序也不是 :) - Eevee

Answer 3

必须使用Requests方式：

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

- K Z

Answer 4

我认为也应该提到Requests库。

- daliusd

---

这个回答值得更多关注。看起来是一个相当不错的库，使问题变得轻而易举。 - Nick Retallack

我同意，发起请求非常简单： {code} import requests r = requests.head('http://github.com') {code} - Luis R.

@LuisR.：如果有重定向，那么它也会遵循GET/POST/PUT/DELETE。 - jfs

@Nick Retallack：没有简单的方法可以禁用重定向。allow_redirects只能禁用POST/PUT/DELETE重定向。示例：head请求不重定向 - jfs

@Piotr：还有其他的变化。正如我上面所说的，allow_redirects 的作用是启用 POST 重定向，即 allow_redirects 对 HEAD 没有影响。 - jfs

Answer 5

只需：

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

编辑：我刚才意识到有 httplib2 这个库 :D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

链接文本

- Paweł Prażak

---

稍微有点不好的是，你把 get_method 留作未绑定函数而不是绑定到 request 上。（也就是说，它能工作，但这是不好的风格，如果你想在其中使用 self 的话 - 那就难了。） - Chris Morgan

你能否详细说明一下这种解决方案的优缺点？我并不是一个Python专家，所以我会受益于知道什么时候它可能会出现问题。 据我理解，问题在于这是一种可能取决于实现更改是否可行的hack方法？ - Paweł Prażak

这段代码的第二个版本是唯一一个对于403 Forbidden的URL能够正常工作的。其他版本都会抛出异常。 - duality_

Answer 6

为了完整性，提供使用http.client替代httplib的Python3答案，这段代码基本相同。

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

- Octavian Helm

Answer 7

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

- Pranay Agarwal

---

import 前面的美元符号是什么意思？urlparse 得到 +1 - 与 httplib 一起使用，可以在处理输入端的 URL 时提供与 urllib2 相同的便利。 - Tomasz Gandor

Answer 8

我发现httplib比urllib2稍微快一些。我测试了两个程序 - 一个使用httplib，另一个使用urllib2 - 向10,000个URL发送HEAD请求。httplib的速度比urllib2快几分钟。httplib的总统计数据是：real 6m21.334s user 0m2.124s sys 0m16.372s

urllib2的总统计数据是：real 9m1.380s user 0m16.666s sys 0m28.565s

还有其他人对此有什么看法吗？

- IgorGanapolsky

---

输入？问题是IO绑定，而您正在使用阻塞库。如果您想获得更好的性能，请切换到eventlet或twisted。您提到的urllib2的限制是CPU绑定的。 - Devin Jeanpierre

urllib2会跟随重定向，所以如果你的某些URL被重定向了，那可能就是造成差异的原因。而httplib则更低级，相比之下urllib2会解析URL。 - Marian

urllib2只是在httplib之上的薄抽象层，如果URL位于非常快的局域网上，除非你绑定CPU，否则我会感到非常惊讶。有可能其中一些URL被重定向了吗？urllib2将遵循重定向，而httplib则不会。另一种可能性是网络条件（在此实验中您无法明确控制的任何内容）在两次运行之间波动。您应该对每个运行执行至少3个交错运行以减少这种可能性。 - John La Rooy

Answer 9

顺便提一下，当使用httplib（至少在2.5.2上）时，尝试读取HEAD请求的响应将会阻塞（在readline上），并最终失败。如果您不对响应进行读取，则无法在连接上发送另一个请求，您需要打开一个新的连接。或者接受请求之间的长时间延迟。

- Nope

Answer 10

还有另一种方法（类似于Pawel的答案）：

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

只是为了避免在实例级别存在无限制的方法。

- estani