Python请求无法解码UTF-8 API响应

Question

我正在尝试从以下 API 端点获取响应 JSON：https://datos.madrid.es/egob/catalogo/205026-0-cementerios.json。我的代码如下：

import requests

url = 'https://datos.madrid.es/egob/catalogo/205026-0-cementerios.json'
r = requests.get(url)
r.json()

它失败并显示以下错误:

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

如果我从请求中获取编码，那么它是空的。因此，我尝试在访问之前强制编码，但没有成功：

import requests

url = 'https://datos.madrid.es/egob/catalogo/205026-0-cementerios.json'
r = requests.get(url)
r.encoding = 'utf-8'
r.json()

出现了相同的错误。

r.text

返回类似以下内容：

'\x00\x00\x01\x00\x01\x00  \x00\x00\x01\x00\x18\x0 .......

看起来它没有正确解码响应。

我该如何成功解码它？

- koldLight

Answer 1

服务器在处理用户代理头时出现了一些问题（即如果无法识别，则返回网站图标！）。您可以通过强制使用用户代理来解决此问题：

url = 'https://datos.madrid.es/egob/catalogo/205026-0-cementerios.json'
r = requests.get(url, headers={"User-Agent": "curl/7.61.0"})
print(r.json())

- Joe Halliwell

---

非常完美，谢谢！我之前没有意识到关于网站图标的问题！ - koldLight

Answer 2

看起来是压缩过的。先解压，然后使用json.decode。编码方式为utf-8。

示例：

import zlib
decompressed_data=zlib.decompress(f.read(), 16+zlib.MAX_WBITS)

您的URL是公开的，您可以使用您喜爱的浏览器进行测试。 Chrome 提供以下标头：

Cache-Control: no-cache
Connection: Keep-Alive
Content-disposition: inline;filename=205026-0-cementerios.json
Content-Encoding: gzip
Content-Length: 4383
Content-Type: application/json;charset=UTF-8
Date: Thu, 20 Dec 2018 12:19:33 GMT
OT-force-Account-Verify: true
Vary: Accept-Encoding
X-Frame-Options: SAMEORIGIN
X-UA-Compatible: IE=8
Xonnection: close

解压后，它看起来像一个良好的json：

{
"@context": {
    "c": "http://www.w3.org/2002/12/cal#",
    "dcterms": "http://purl.org/dc/terms/",
    "geo": "http://www.w3.org/2003/01/geo/wgs84_pos#",
    "loc": "http://purl.org/ctic/infraestructuras/localizacion#",
    "org": "http://purl.org/ctic/infraestructuras/organizacion#",
    "vcard": "http://www.w3.org/2006/vcard/ns#",
    "title": "vcard:fn",
    "id": "dcterms:identifier",
    "relation": "dcterms:relation",
    "references": "dcterms:references",
    "address": "vcard:adr",
    "area": "loc:barrio",
    "district": "loc:distrito",
    "locality": "vcard:locality",
    "postal-code": "vcard:postal-code",
    "street": "vcard:street-address",
    "location": "vcard:geo",
    "latitude": "geo:lat",
    "longitude": "geo:long",
....

- grapes

---

谢谢！我选择了另一个答案作为被采纳的答案，因为它需要的代码更少，但是你的答案也可以正常工作，所以我已经点赞了它。 - koldLight