使用Python从字符串中提取URL的最简洁方法是什么？

Question

虽然我知道可以使用像这里发布的巨大正则表达式，但我想知道是否有一种调整困难的方法来使用标准模块或第三方插件来完成这个问题？

简单的问题，但在Google（或Stackoverflow）上没有找到明显答案。

期待着看到你们如何解决这个问题！

- jkp

---

请参考以下链接：https://dev59.com/P0XRa4cB1Zd3GeqPucM_、https://dev59.com/jEbRa4cB1Zd3GeqPyDId、http://stackoverflow.com/questions/442660/link-extraction-in-python-closed。这些链接提供了有关将HTML分解为链接文本和目标，用于HTML文本中的链接的正则表达式以及在Python中提取链接的信息。 - S.Lott

实际上，在这种情况下，人们经常不会严格匹配 URL 模式。通常，尾部标点被认为不是 URL 的一部分。这种选择是应用程序特定的，因此缺乏标准库模块。 - ddaa

@S.Lott- 他正在询问如何从字符串中解析URL，而不是从HTML中获取锚点。 - Yarin

对于简单的使用，请使用re.findall(r'www.[^\s]+?(?:in|com|extensions)',string)。 - Wickkiey

Answer 1

我知道这不是你想要的，但这里有一个包含巨大正则表达式的文件：

#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
the web url matching regex used by markdown
http://daringfireball.net/2010/07/improved_regex_for_matching_urls
https://gist.github.com/gruber/8891611
"""
URL_REGEX = r"""(?i)\b((?:https?:(?:/{1,3}|[a-z0-9%])|[a-z0-9.\-]+[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)/)(?:[^\s()<>{}\[\]]+|\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\))+(?:\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\)|[^\s`!()\[\]{};:\'\".,<>?«»“”‘’])|(?:(?<!@)[a-z0-9]+(?:[.\-][a-z0-9]+)*[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)\b/?(?!@)))"""

我把那个文件称为urlmarker.py，需要时只需导入，例如：

import urlmarker
import re
re.findall(urlmarker.URL_REGEX,'some text news.yahoo.com more text')

参考：http://daringfireball.net/2010/07/improved_regex_for_matching_urls

Django (1.6)用以下正则表达式验证URLField：

regex = re.compile(
    r'^(?:http|ftp)s?://'  # http:// or https://
    r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?)|'  # domain...
    r'localhost|'  # localhost...
    r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}|'  # ...or ipv4
    r'\[?[A-F0-9]*:[A-F0-9:]+\]?)'  # ...or ipv6
    r'(?::\d+)?'  # optional port
    r'(?:/?|[/?]\S+)$', re.IGNORECASE)

参考：https://github.com/django/django/blob/1.6/django/core/validators.py#L43-50

Django 1.9 将该逻辑分为几个类中。

- dranxo

---

此 URL_REGEX 可以将 df.info 识别为一个 URL。 - DehengYe

Answer 2

有一个很好的比较13种不同的正则表达式方法

可以在此页面找到：寻找完美的URL验证正则表达式。

Diego Perini的正则表达式非常长，但通过了所有测试，可以在他的gist这里获得。 请注意，您将需要将他的PHP版本转换为Python正则表达式（存在轻微差异）。

我最终使用了Imme Emosol版本，它通过了绝大多数测试，而且只有Diego Perini版本的一小部分大小。

这是一个与Python兼容的Imme Emosol正则表达式版本：

r'^(?:(?:https?|ftp)://)(?:\S+(?::\S*)?@)?(?:(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5])){2}(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))|(?:(?:[a-z\u00a1-\uffff0-9]+-?)*[a-z\u00a1-\uffff0-9]+)(?:\.(?:[a-z\u00a1-\uffff0-9]+-?)*[a-z\u00a1-\uffff0-9]+)*(?:\.(?:[a-z\u00a1-\uffff]{2,})))(?::\d{2,5})?(?:/[^\s]*)?$'

- tohster

---

当我输入字符串“假设这个正则表达式将用于使用PHP编写的公共URL缩短器，因此像http://localhost/，https://www.webdesignerdepot.com / 2012/10/creating-a-modal-window-with-html5-and-css3/，//foo.bar/，：//foo.bar/，data:text/plain;charset=utf-8，OHAI和tel:[phone]不应通过（即使它们在技术上是有效的）。此外，在这种情况下，我只想允许HTTP、HTTPS和FTP协议。”时，代码无法恢复任何有效的URL。该列表中至少有1个有效的URL。 - Hassan Baig

Answer 3

看看Django的方法：django.utils.urlize()。正则表达式对于这项工作来说太过有限，你必须使用启发式方法才能得到大部分正确的结果。

- Björn Lindqvist

Answer 4

您可以使用我编写的这个库：

https://github.com/imranghory/urlextractor

这种方法非常糟糕，但它不像许多其他技术那样依赖于“http://”，而是使用Mozilla TLD列表（通过tldextract库）在文本中搜索TLD（即“.co.uk”、“。com”等），然后尝试在TLD周围构建URL。

它不旨在符合RFC标准，而是准确反映了URL在实际世界中的使用方式。例如，它将拒绝技术上有效的域“com”（您实际上可以将TLD用作域;尽管在实践中很少见），并将从URL中删除末尾的句点或逗号。

- Imran

---

有趣。有没有办法摆脱ESM？我想在Python 3中使用它。 - dranxo

Answer 5

如果您知道字符串中有一个空格后面跟着一个URL，您可以像这样处理：

s是包含URL的字符串

>>> t = s[s.find("http://"):]
>>> t = t[:t.find(" ")]

否则，您需要检查find()方法是否返回-1。

- sinzi

---

...或者ws:，git:，ftp:，mailto:，jabber:等等。 - Michael Scheper

Answer 6

你可以使用BeautifulSoup。

def extractlinks(html):
    soup = BeautifulSoup(html)
    anchors = soup.findAll('a')
    links = []
    for a in anchors:
        links.append(a['href'])
    return links

请注意，使用正则表达式的解决方案速度更快，但精度可能不如其他方法。

- Sebastjan Trepča

---

Sebastian说：“我知道BeautifulSoup，但问题是它只能提取锚定的URL。我正在尝试搜索任何类似URL的纯文本。不过还是谢谢你的建议。” - jkp

Answer 7

我有点晚了，但是 #python频道上的某人给我提供了一个解决方案。它避免了正则表达式的麻烦。

from urlparse import urlparse

def extract_urls(text):
    """Return a list of urls from a text string."""
    out = []
    for word in text.split(' '):
        thing = urlparse(word.strip())
        if thing.scheme:
            out.append(word)
    return out

- Shatnerz

---

这取决于url方案的存在。在某些良好结构化的情况下，这将是理想的，但在其他情况下完全无用。前者的例子：用户生成的字符串。 - Hassan Baig

Answer 8

还有一种从文本中轻松提取URL的方法。您可以使用urlextract来帮助您完成，只需通过pip安装即可：

pip install urlextract

然后你可以像这样使用它：

from urlextract import URLExtract

extractor = URLExtract()
urls = extractor.find_urls("Let's have URL stackoverflow.com as an example.")
print(urls) # prints: ['stackoverflow.com']

你可以在我的github页面上找到更多信息：https://github.com/lipoja/URLExtract 注意：它从iana.org下载TLD列表以使您保持最新状态。但是，如果程序没有互联网访问权限，则不适用于您。

这种方法类似于urlextractor（上面提到的），但我的代码是最新的，有维护，并且我对任何建议（新功能）都持开放态度。

- Jan Lipovský

---

不想挑剔，但 stackoverflow.com 不是一个 URL，而是一个主机名。老实说，我不喜欢那些试图将一切可能的东西都变成链接来显得更聪明的应用程序。如今有了顶级域名，犯错的机会甚至更大了。 - Alois Mahdal

我同意。在这个例子中，它不是URL而只是主机名。我写了这个库，因为这是我找出如何从纯文本中提取URL（主机名）的方法。TLD是URL或主机名中唯一的一个在纯文本中容易识别的部分，很容易匹配。当周围的文本满足某些条件时，你可以说你找到了URL。 - Jan Lipovský

在早期，我们通常会谈论command.com，但今天，我更有可能提到一些example.sh或我命名为example.name的文件（因为它包含名称）。有时我会忘记句点后面的空格。净增益大致相同，尽管如此。我知道，这不是常见的除了技术术语，但仍然没有URL，所以看到它们的软件是错误的，我不想让我的comm被破坏。（一些读者已经对笑脸做了什么——你敢用B结束括号吗？） - Alois Mahdal

“...但是，仍然没有URL，所以能看到它们的软件是错误的” - 我有不同的看法。主机名是URL的一部分。假设此软件可以默认查找主机名。在您上面的示例中，我可以看到四个主机名：command.com、example.sh、example.name、period.net。我认为这四个都是有效的主机名。或者我错了吗？另一方面，这个软件被编写为Python类，具有指定URL搜索的方法。因此，您可以将其设置为适合您的需求。 - Jan Lipovský

我所说的是，它是否是主机名还取决于上下文。比较： Jan Lipovský 和 Mon Jan 24。人类在检测上下文模式方面非常出色，而机器则很差。仅匹配主机名就会实现“幼稚”的规则，这不可避免地会导致错误（只需打错字或使用足够奇怪的行话），与人类直觉产生冲突，即您的软件看起来很傻，从而失去用户体验分数。 - Alois Mahdal

Answer 9

import re
text = '<p>Please click <a href="http://www.dr-chuck.com">here</a></p>'
aa=re.findall('href="(.+)"',text)
print(aa)

- zlin

---

这不是检测URL，而是HTML链接。 HTML链接字符串本质上是URL字符串的特定子集。 - Roland Pihlakas