Python中将URL查询参数转换为字典

Question

有没有一种方式可以使用Python库解析URL，并返回一个Python字典，其中包含URL查询参数部分的键和值？

例如：

url = "http://www.example.org/default.html?ct=32&op=92&item=98"

预期回报：

{'ct':32, 'op':92, 'item':98}

- Leonardo Andrade

Answer 1

使用urllib.parse库：

>>> from urllib import parse
>>> url = "http://www.example.org/default.html?ct=32&op=92&item=98"
>>> parse.urlsplit(url)
SplitResult(scheme='http', netloc='www.example.org', path='/default.html', query='ct=32&op=92&item=98', fragment='')
>>> parse.parse_qs(parse.urlsplit(url).query)
{'item': ['98'], 'op': ['92'], 'ct': ['32']}
>>> dict(parse.parse_qsl(parse.urlsplit(url).query))
{'item': '98', 'op': '92', 'ct': '32'}

urllib.parse.parse_qs()和urllib.parse.parse_qsl()方法解析查询字符串，考虑到键可以出现多次且顺序可能很重要。

如果您仍在使用Python 2，则urllib.parse被称为urlparse。

- Martijn Pieters

Answer 2

对于 Python 3，从 parse_qs 返回的字典值是列表形式的，因为可能会有多个值。如果您只想要第一个值：

>>> from urllib.parse import urlsplit, parse_qs
>>>
>>> url = "http://www.example.org/default.html?ct=32&op=92&item=98"
>>> query = urlsplit(url).query
>>> params = parse_qs(query)
>>> params
{'item': ['98'], 'op': ['92'], 'ct': ['32']}
>>> dict(params)
{'item': ['98'], 'op': ['92'], 'ct': ['32']}
>>> {k: v[0] for k, v in params.items()}
{'item': '98', 'op': '92', 'ct': '32'}

- reubano

---

这不仅适用于Python 3，Python 2的urllib.parse_qs也会为值返回列表。顺便提一下，如果您只想要单个值，可以使用urllib.parse_qsl()并将结果列表传递给dict()。 - Martijn Pieters

似乎与parse_qls的不同之处在于，由于它返回元组列表，将其转换为字典将保留最后一个值而不是第一个。当然，这假定一开始有多个值。 - reubano

Answer 3

如果您不想使用解析器：

url = "http://www.example.org/default.html?ct=32&op=92&item=98"
url = url.split("?")[1]
dict = {x[0] : x[1] for x in [x.split("=") for x in url[1:].split("&") ]}

所以我不会删除上面的内容，但那绝对不是你应该使用的东西。

我看了一些答案，它们看起来有点复杂，如果你像我一样，请不要使用我的解决方案。

使用这个：

from urllib import parse
params = dict(parse.parse_qsl(parse.urlsplit(url).query))

并适用于Python 2.X

import urlparse as parse
params = dict(parse.parse_qsl(parse.urlsplit(url).query))

我知道这与已接受的答案相同，只是一行代码可复制。

- Tomos Williams

---

解析不仅仅是简单地拆分字符串，还需处理URL编码(包括+)，而且urllib.parse模块会根据请求要求抛出或忽略错误。既然这是标准库的一部分，我不确定为什么你想要重新发明轮子。 - Martijn Pieters

小修正：必须是 url [0：] 而不是 url [1：]。否则它会留下第一个字符。dict = {x[0]：x[1] for x in [x.split（“=”）for x in url[0：].split（“&”）]} - Vaibhav Kumar Gautam

Answer 4

针对 Python 2.7

In [14]: url = "http://www.example.org/default.html?ct=32&op=92&item=98"

In [15]: from urlparse import urlparse, parse_qsl

In [16]: parse_url = urlparse(url)

In [17]: query_dict = dict(parse_qsl(parse_url.query))

In [18]: query_dict
Out[18]: {'ct': '32', 'item': '98', 'op': '92'}

- Anurag Misra

Answer 5

我同意不要重复发明轮子，但有时（在学习过程中）制造一个轮子可以帮助理解轮子。 :) 因此，从纯学术的角度来看，我提供这个建议，使用字典的前提是名称值对是唯一的（查询字符串不包含多个记录）。

url = 'http:/mypage.html?one=1&two=2&three=3'

page, query = url.split('?')

names_values_dict = dict(pair.split('=') for pair in query.split('&'))

names_values_list = [pair.split('=') for pair in query.split('&')]

我在Idle IDE中使用的是3.6.5版本。

- Clarius

Answer 6

from urllib.parse import splitquery, parse_qs, parse_qsl

url = "http://www.example.org/default.html?ct=32&op=92&item=98&item=99"

splitquery(url)
# ('http://www.example.org/default.html', 'ct=32&op=92&item=98&item=99')

parse_qs(splitquery(url)[1])
# {'ct': ['32'], 'op': ['92'], 'item': ['98', '99']}

dict(parse_qsl(splitquery(url)[1]))
# {'ct': '32', 'op': '92', 'item': '99'}

# also works with url w/o query
parse_qs(splitquery("http://example.org")[1])
# {}

dict(parse_qsl(splitquery("http://example.org")[1]))
# {}

虽然这是一个旧问题，但我想分享一些我的看法。最近我遇到了 splitquery 这个函数，不过我对 Python 2 不太了解。 splitquery 的功能比 re.split(r"\?", url, 1) 更强大。

- mikey

Answer 7

对于 python2.7，我正在使用 urlparse 模块将 URL 查询解析为字典。

import urlparse

url = "http://www.example.org/default.html?ct=32&op=92&item=98"

print urlparse.parse_qs( urlparse.urlparse(url).query )
# result: {'item': ['98'], 'op': ['92'], 'ct': ['32']} 

- Tamim

---

有没有一种方法可以不通过重建原始URL来删除项目，比如只是删除该项？ - John Constantine

Answer 8

WSGI，Python 2.7

代码

    import sys
    import json
    import cgi
    import urlparse

    def application(environ, start_response):

      status = '200 OK'

      method = environ['REQUEST_METHOD']
      args = urlparse.parse_qs(environ['QUERY_STRING'])
      m = args['mesg']

      x = {
      "input": m[0],
      "result": m[0].capitalize()
      }

      # convert into JSON:
      y = json.dumps(x)

      output = y

      response_headers = [('Content-type', 'application/json'),
                    ('Content-Length', str(len(output)))]
      start_response(status, response_headers)
      print (sys.version_info)
      return [output]

网址

http:///echo.py?mesg=hola

响应

{"输入": "hola", "结果": "Hola"}

- Jose Manuel Gomez Alvarez

Answer 9

你可以使用特定的库轻松解析URL。

这是我简单的代码，无需任何专用库即可解析它。

（输入的URL必须包含域名、协议和路径。

def parseURL(url):

seg2 = url.split('/')[2]    # Separating domain name
seg1 = url.split(seg2)[-2]  # Deriving protocol
print('Protocol:', seg1, '\n')
print('Domain name:', seg2, '\n')
seg3 = url.split(seg2)[1]   #Getting the path; if output is empty,the there is no path in URL
print('Path:', seg3, '\n')

if '#' in url:  # Extracting fragment id, else None
    seg4 = url.split('#')[1]
    print('Fragment ID:', seg4, '\n')
else:
    seg4 = 'None'
if '@' in url:              # Extracting user name, else None
    seg5 = url.split('/')[-1]
    print('Scheme with User Name:', seg5, '\n')
else:
    seg5 = 'None'
if '?' in url:              # Extracting query string, else None
    seg6 = url.split('?')[-1]
    print('Query string:', seg6, '\n')
else:
    seg6 = 'None'

print('**The dictionary is in the sequence: 0.URL 1.Protocol 2.Domain name 3.Path 4.Fragment id 5.User name 6.Query string** \n')

dictionary = {'0.URL': url, '1.Protocol': seg1, '2.Domain name': seg2, '3.Path': seg3, '4.Fragment id': seg4,
              '5.User name': seg5, '6.Query string': seg6}  # Printing required dictionary
print(dictionary, '\n')

print('The TLD in the given URL is following: ')
if '.com' in url:           # Extracting most famous TLDs maintained by ICAAN
    print('.com\n')
elif '.de' in url:
    print('.de\n')
elif '.uk' in url:
    print('.uk\n')
elif 'gov' in url:
    print('gov\n')
elif '.org' in url:
    print('.org\n')
elif '.ru' in url:
    print('.ru\n')
elif '.net' in url:
    print('.net\n')
elif '.info' in url:
    print('.info\n')
elif '.biz' in url:
    print('.biz\n')
elif '.online' in url:
    print('.online\n')
elif '.in' in url:
    print('.in\n')
elif '.edu' in url:
    print('.edu\n')
else:
    print('Other low level domain!\n')

return dictionary

如果 name == 'main': url = input("请输入您的URL: ") parseURL(url)

#Sample URLS to copy
# url='https://www.facebook.com/photo.php?fbid=2068026323275211&set=a.269104153167446&type=3&theater'   
# url='http://www.blog.google.uk:1000/path/to/myfile.html?key1=value1&key2=value2#InTheDocument'      
# url='https://www.overleaf.com/9565720ckjijuhzpbccsd#/347876331/' 

- Ashutosh Mahajan

---

TLD检测部分可能无法处理此类URL：https://www.info.ca/。 - idontknow