logo标签列表

如何使用Python从字符串中提取URL？

pythonstringurlextract
36
例如：
string = "This is a link http://www.google.com"

如何提取 'http://www.google.com'？

（每个链接的格式都相同，即为'http://'）

你可以查看这个答案：https://dev59.com/_XRB5IYBdhLWcg3w1Kde - rjz
当我尝试那个解决方案时，返回None。 - Sheldon
1
如果这是用于原始文本文件（如您的问题所述），您可以查看此答案：https://dev59.com/13RA5IYBdhLWcg3wwwvD - Alexandre Dulaunoy
请参见https://mathiasbynens.be/demo/url-regex - Martin Thoma
可能是重复的问题：什么是检查字符串是否为有效URL的最佳正则表达式？ - Yash Kumar Verma
6个回答
53

有几种方法可以实现这个目标，但最干净的方式是使用正则表达式

>>> myString = "This is a link http://www.google.com"
>>> print re.search("(?P<url>https?://[^\s]+)", myString).group("url")
http://www.google.com

如果有多个链接，您可以使用类似以下的方法

>>> myString = "These are the links http://www.google.com  and https://dev59.com/13RA5IYBdhLWcg3wwwvD"
>>> print re.findall(r'(https?://[^\s]+)', myString)
['http://www.google.com', 'https://dev59.com/13RA5IYBdhLWcg3wwwvD']
>>>
12
对于许多实际情况，这种方法过于简单粗暴。它无法处理ftp://和mailto:等URL，并且会天真地从<a href="http://google.com/">Click here</a>中获取尾部部分（即"click"之前的内容）。 - tripleee
5
这个问题不是关于解析 HTML，而是在一段文本字符串中找到一个始终为 http 格式的 URL。因此这对此非常有效。但如果人们是来解析 HTML 或类似内容的，了解你所说的话非常重要。 - teewuane
请注意，上述正则表达式也会匹配无效的URL。例如：myString = "This is not a link http://not-a-valid-url" - Paolo Rovelli
请注意，上述的正则表达式也会匹配无效的URL。例如：myString = "This is not a link http://not-a-valid-url" - undefined
32

还有另一种简易地从文本中提取URL的方法。你可以使用urlextract来帮助你完成，只需通过pip安装即可：

还有另一个轻松提取文本中 URL 的方法，您可以使用 urlextract 来自动完成，只需通过 pip 进行安装：

pip install urlextract

然后您可以像这样使用它：

from urlextract import URLExtract

extractor = URLExtract()
urls = extractor.find_urls("Let's have URL stackoverflow.com as an example.")
print(urls) # prints: ['stackoverflow.com']

你可以在我的 GitHub 页面上找到更多信息：https://github.com/lipoja/URLExtract

注意：该程序会从 iana.org 下载顶级域名列表以使其保持最新状态。但如果该程序无法访问互联网，则不适用于您。

1
运行得非常好，而且不会干扰我的脚本的其余部分。 - Henrik
不幸的是，每当URL的开头或结尾附加了文本（即非空格）时，它就会失败。例如，ok/https://www.duckduckgo.com无法捕获其中的URL。 - autonopy
这通常是一个很好的工具。然而，它不适当地处理与url相邻的文本，例如紧随url后的换行符（'\n'）。它会将其附加到已识别的url上。 - Tom
确实很有帮助。不错的东西。 - str1ng
29
为了在通用字符串中找到一个网址URL，可以使用正则表达式 (regex)。像下面这样相对简单的一个应该适合你的用例。
    import re

    string = "This is a link http://www.google.com"
    #string = "This is also a URL https://www.host.domain.com:80/path/page.php?query=value&a2=v2#foo but this is not anymore"

    regex = r'('
    # Scheme (HTTP, HTTPS, FTP and SFTP):
    regex += r'(?:(https?|s?ftp):\/\/)?'
    # www:
    regex += r'(?:www\.)?'
    regex += r'('
    # Host and domain (including ccSLD):
    regex += r'(?:(?:[A-Z0-9][A-Z0-9-]{0,61}[A-Z0-9]\.)+)'
    # TLD:
    regex += r'([A-Z]{2,6})'
    # IP Address:
    regex += r'|(?:\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})'
    regex += r')'
    # Port:
    regex += r'(?::(\d{1,5}))?'
    # Query path:
    regex += r'(?:(\/\S+)*)'
    regex += r')'
    
    find_urls_in_string = re.compile(regex, re.IGNORECASE)
    url = find_urls_in_string.search(string)
    if url is not None and url.group(0) is not None:
        print("URL parts: " + str(url.groups()))  # OUTPUT: ('http://www.google.com', 'http', 'google.com', 'com', None, None)
        print("URL" + url.group(0).strip())       # OUTPUT: http://www.google.com

注意：如果您想在单个字符串中查找更多的URL，仍然可以使用相同的正则表达式，只需使用findall()而不是search()。

话虽如此，请记住上述正则表达式既不完整也不准确。它可能匹配一些无效的URI，或者不匹配一些有效的URI（例如：mailto:aaa@bbb.com）！

您可以使正则表达式更加准确，例如确保TLD是有效的（在此处查看有效TLD的完整列表：https://data.iana.org/TLD/tlds-alpha-by-domain.txt）：

    # TLD:
    regex += r'(com|net|org|eu|...)'

编辑：

在一个通用字符串中寻找网页URL最准确的方法可能是简单地拆分字符串，并使用validators或类似的库验证每个子字符串。

import validators

string = "This is a link http://www.google.com"
#string = "This is also a URL https://www.host.domain.com:80/path/page.php?query=value&a2=v2#foo but this is not anymore"

for substring in string.split(" "):
    if validators.url(substring):
        print("URL: " + substring)
    if validators.ip_address.ipv4(substring) or validators.ip_address.ipv6(substring):
        print("IP Address: " + substring)
    if validators.email(substring):
        print("Email Address: " + substring)
4
因此，正则表达式最终为 ((?:(https?|s?ftp):\/\/)?(?:www\.)?((?:(?:[A-Z0-9][A-Z0-9-]{0,61}[A-Z0-9]\.)+)([A-Z]{2,6})|(?:\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}))(?::(\d{1,5}))?(?:(\/\S+)*))。还请注意TLD列表现在也包括24个字符长的有趣结尾，如XN--VERMGENSBERATUNG-PWB，这些都不会被这个正则表达式所捕获。 - luckydonald
最好将(?i)添加到模式中-更具可移植性。此外，请记住，这将匹配23.084.828.566，这不是有效的IP地址，但在某些语言环境中是有效的浮点数。 - Mr_and_Mrs_D
这个正则表达式似乎有长度限制，例如：docs.google.com/spreadsheets/d/10FmR8upvxZcZE1q9n1o40z16mygUJklkXQ7lwGS4nlI 只匹配 docs.google.com/spreadsheets/d/10FmR8upvxZcZE1q9n。 - Jorge Orpinel Pérez
7

这可以提取所有带参数的URL，但以上所有示例都对我无效。

import re

data = 'https://net2333.us3.list-some.com/subscribe/confirm?u=f3cca8a1ffdee924a6a413ae9&id=6c03fa85f8&e=6bbacccc5b'

WEB_URL_REGEX = r"""(?i)\b((?:https?:(?:/{1,3}|[a-z0-9%])|[a-z0-9.\-]+[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)/)(?:[^\s()<>{}\[\]]+|\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\))+(?:\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\)|[^\s`!()\[\]{};:'".,<>?«»“”‘’])|(?:(?<!@)[a-z0-9]+(?:[.\-][a-z0-9]+)*[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)\b/?(?!@)))"""
re.findall(WEB_URL_REGEX, text)
4

我对@Abhijit的已接受答案进行了轻微变化。

这个使用\S而不是[^\s]，它们是等效的但更简洁。它也不使用命名组，因为只有一个，为了简单起见我们可以省略名称：

import re

my_string = "This is my tweet check it out http://example.com/blah"
print(re.search(r'(https?://\S+)', my_string).group())

当然，如果需要提取多个链接，只需使用.findall()：
print(re.findall(r'(https?://\S+)', my_string))
4
您可以使用以下模式从字符串中提取任何URL：

1.

>>> import re
>>> string = "This is a link http://www.google.com"
>>> pattern = r'[(http://)|\w]*?[\w]*\.[-/\w]*\.\w*[(/{1})]?[#-\./\w]*[(/{1,})]?'
>>> re.search(pattern, string)
http://www.google.com

>>> TWEET = ('New Pybites article: Module of the Week - Requests-cache '
         'for Repeated API Calls - http://pybit.es/requests-cache.html '
         '#python #APIs')
>>> re.search(pattern, TWEET)
http://pybit.es/requests-cache.html

>>> tweet = ('Pybites My Reading List | 12 Rules for Life - #books '
             'that expand the mind! '
             'http://pbreadinglist.herokuapp.com/books/'
             'TvEqDAAAQBAJ#.XVOriU5z2tA.twitter'
             ' #psychology #philosophy')
>>> re.findall(pattern, TWEET)
['http://pbreadinglist.herokuapp.com/books/TvEqDAAAQBAJ#.XVOriU5z2tA.twitter']

将上述模式提升到更高层次，我们还可以通过以下方式检测包含URL的标签。
2.
>>> pattern = r'[(http://)|\w]*?[\w]*\.[-/\w]*\.\w*[(/{1})]?[#-\./\w]*[(/{1,})]?|#[.\w]*'
>>> re.findall(pattern, tweet)
['#books', http://pbreadinglist.herokuapp.com/books/TvEqDAAAQBAJ#.XVOriU5z2tA.twitter', '#psychology', '#philosophy']
  1. 上述获取URL和hashtag的例子可以缩短为：

>>> pattern = r'((?:#|http)\S+)'
>>> re.findall(pattern, tweet)
['#books', http://pbreadinglist.herokuapp.com/books/TvEqDAAAQBAJ#.XVOriU5z2tA.twitter', '#psychology', '#philosophy']

以下模式可以匹配由 "." 分隔的两个字母数字字符作为 URL：
```regex ^\w+\.\w+$ ```
>>> pattern = pattern =  r'(?:http://)?\w+\.\S*[^.\s]'

>>> tweet = ('PyBites My Reading List | 12 Rules for Life - #books '
             'that expand the mind! '
             'www.google.com/telephone/wire....  '
             'http://pbreadinglist.herokuapp.com/books/'
             'TvEqDAAAQBAJ#.XVOriU5z2tA.twitter '
             "http://-www.pip.org "
             "google.com "
             "twitter.com "
             "facebook.com"
             ' #psychology #philosophy')
>>> re.findall(pattern, tweet)
['www.google.com/telephone/wire', 'http://pbreadinglist.herokuapp.com/books/TvEqDAAAQBAJ#.XVOriU5z2tA.twitter', 'www.pip.org', 'google.com', 'twitter.com', 'facebook.com']

你可以尝试任何包含数字1和2模式的复杂URL。 要了解有关Python中re模块的更多信息，请查看Real Python的Python正则表达式。

干杯！

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接