from mechanize import Browser
br = Browser()
br.open('http://somewebpage')
html = br.response().readlines()
for line in html:
print line
'<a href="whatever.example">some text</a>'，它只会打印 'some text'，'<b>hello</b>' 打印 'hello' 等等。如何实现这样的功能？from io import StringIO
from html.parser import HTMLParser
class MLStripper(HTMLParser):
def __init__(self):
super().__init__()
self.reset()
self.strict = False
self.convert_charrefs= True
self.text = StringIO()
def handle_data(self, d):
self.text.write(d)
def get_data(self):
return self.text.getvalue()
def strip_tags(html):
s = MLStripper()
s.feed(html)
return s.get_data()
对于 Python 2：
from HTMLParser import HTMLParser
from StringIO import StringIO
class MLStripper(HTMLParser):
def __init__(self):
self.reset()
self.text = StringIO()
def handle_data(self, d):
self.text.write(d)
def get_data(self):
return self.text.getvalue()
def strip_tags(html):
s = MLStripper()
s.feed(html)
return s.get_data()
&）和标签。 - Søren Løvborg__init__函数。请参见此处：https://dev59.com/42gu5IYBdhLWcg3w0aGg。 - pseudorambleparser = HTMLParser()和html = parser.unescape(html)。这样可以使文本更易读，但不会改变原意。 - James Doepp - pihentagyu<<sc<script>script>alert(1)<</sc</script>/script>。如果你通过这段代码，输出结果将是<script>alert(1)</script>。为确保结果正确，我使用了html.escape()对你的解决方案进行包装以确保输出中没有留下任何标签。 - AliBZ&）在输出中保持不变。 - Søren Løvborgcgi.escape(s, True)）。然而，这不是OP提出的问题。 - Søren Løvborg你可以使用BeautifulSoup get_text()特性。
from bs4 import BeautifulSoup
html_str = '''
<td><a href="http://www.fakewebsite.example">Please can you strip me?</a>
<br/><a href="http://www.fakewebsite.example">I am waiting....</a>
</td>
'''
soup = BeautifulSoup(html_str)
print(soup.get_text())
#or via attribute of Soup Object: print(soup.text)
建议明确指定解析器，例如BeautifulSoup(html_str, features="html.parser")，以便输出可重现。
import re, html
tag_re = re.compile(r'(<!--.*?-->|<[^>]*>)')
# Remove well-formed tags, fixing mistakes by legitimate users
no_tags = tag_re.sub('', user_input)
# Clean up anything else by escaping
ready_for_web = html.escape(no_tags)
正则表达式来源：MarkupSafe。他们的版本还可以处理 HTML 实体，而这个快速版本不行。
防止人们在文本中使用 <i>斜体</i> 这样的标签容易，但是使输入内容完全无害化又是另外一回事了。本页面上的大多数技术将保留未闭合的注释(<!--)和非标签角括号(blah <<<><blah)等。如果它们在未关闭的注释内部，则 HTMLParser 版本甚至可以保留完整的标记。
如果您的模板是{{ firstname }} {{ lastname }}？firstname='<a' 和 lastname='href="http://evil.example/">' 将被本页中每个标签剥离器放过(除了@Medeiros！)，因为它们本身不是完整的标签。单纯地剥离正常的HTML标签是不够的。
Django 的strip_tags是本问题答案的改进版本(请参见下一标题)，其提供以下警告：
绝对不保证生成的字符串是 HTML 安全的。因此，永远不要标记
strip_tags调用的结果为安全的，例如使用escape()进行转义。
遵循他们的建议！
绕过本问题的最佳答案非常简单。
看这个字符串(来源和讨论)：
<img<!-- --> src=x onerror=alert(1);//><!-- -->
<img...>为标签。它看起来有问题，因此HTML解析器不会将其删除。它只会取出<!-- 注释 -->，留下以下内容：<img src=x onerror=alert(1);//>
该问题于2014年三月向Django项目披露。他们旧的strip_tags本质上与此问题的最佳答案相同。他们的新版本基本上是在循环中运行它，直到再次运行不改变字符串为止:
# _strip_once runs HTMLParser once, pulling out just the text of all the nodes.
def strip_tags(value):
"""Returns the given HTML with all tags stripped."""
# Note: in typical case this loop executes _strip_once once. Loop condition
# is redundant, but helps to reduce number of executions of _strip_once.
while '<' in value and '>' in value:
new_value = _strip_once(value)
if len(new_value) >= len(value):
# _strip_once was not able to detect more tags
break
value = new_value
return value
strip_tags()的结果，则不会出现任何问题。我的示例代码不处理HTML实体 - Django和MarkupSafe打包版本可以处理。
我的示例代码摘自优秀的MarkupSafe库，用于防止跨站脚本攻击。它方便快捷（具有其本地Python版本的C加速）。它被包含在Google App Engine中，并被Jinja2（2.7及以上版本）、Mako、Pylons等使用。它在Django 1.7的模板中很容易使用。
Django的strip_tags和其他HTML实用程序来自最新版本非常好，但我发现它们比MarkupSafe不太方便。它们非常自包含，您可以从这个文件中复制您所需的内容。
如果您需要删除几乎所有标记，则Bleach库很好。您可以强制执行规则，例如“我的用户可以使事物成为斜体，但他们不能制作iframes。”
了解您的标记剥离器的属性！对其进行模糊测试！这是我用于为此答案进行研究的代码。
羞怯的说明——问题本身是关于打印到控制台的，但这是“Python从字符串中删除HTML”的顶级Google搜索结果，因此此答案99％涉及网络。
ready_for_web = cgi.escape(no_tags) -- cgi.escape已经被弃用，自3.2版本起：“此函数默认情况下不安全，因为引号是错误的，因此已被弃用。请改用html.escape()。”在3.8中已删除。 - JeremyDouglass我需要一种方法来去除标签和将HTML实体解码为纯文本。以下解决方案基于Eloff的答案（但我不能使用它，因为它会剥离实体）。
import html.parser
class HTMLTextExtractor(html.parser.HTMLParser):
def __init__(self):
super(HTMLTextExtractor, self).__init__()
self.result = [ ]
def handle_data(self, d):
self.result.append(d)
def get_text(self):
return ''.join(self.result)
def html_to_text(html):
"""Converts HTML to plain text (stripping tags and converting entities).
>>> html_to_text('<a href="#">Demo<!--...--> <em>(¬ \u0394ημώ)</em></a>')
'Demo (\xac \u0394\u03b7\u03bc\u03ce)'
"Plain text" doesn't mean result can safely be used as-is in HTML.
>>> html_to_text('<script>alert("Hello");</script>')
'<script>alert("Hello");</script>'
Always use html.escape to sanitize text before using in an HTML context!
HTMLParser will do its best to make sense of invalid HTML.
>>> html_to_text('x < y < z <!--b')
'x < y < z '
Named entities are handled as per HTML 5.
>>> html_to_text('&nosuchentity; ' ')
"&nosuchentity; ' "
"""
s = HTMLTextExtractor()
s.feed(html)
return s.get_text()
一个快速测试：
html = '<a href="#">Demo <em>(¬ \u0394ημώ)</em></a>'
print(repr(html_to_text(html)))
结果：
'Demo (¬ Δημώ)'
安全提示：不要将HTML 剥离（将HTML转换为纯文本）与HTML 净化（将纯文本转换为HTML）混淆。本答案将删除HTML并将实体解码为纯文本 - 这并不能使结果在HTML上下文中使用时安全。
例如：<script>alert("Hello");</script> 将被转换为<script>alert("Hello");</script>，这是100％正确的行为，但如果将结果纯文本直接插入HTML页面中，则显然不足够安全。
规则很简单：每次将纯文本字符串插入HTML输出时，始终对其进行HTML转义（使用html.escape(s)），即使您“知道”它不包含HTML（例如，因为您已经剥离了HTML内容）。
但是，OP询问如何将结果打印到控制台，在这种情况下不需要进行HTML转义。相反，您可能希望剥离ASCII控制字符，因为它们可能会触发不必要的行为（特别是在Unix系统上）：
import re
text = html_to_text(untrusted_html_input)
clean_text = re.sub(r'[\0-\x1f\x7f]+', '', text)
# Alternatively, if you want to allow newlines:
# clean_text = re.sub(r'[\0-\x09\x0b-\x1f\x7f]+', '', text)
print(clean_text)
这很简单：
def remove_html_markup(s):
tag = False
quote = False
out = ""
for c in s:
if c == '<' and not quote:
tag = True
elif c == '>' and not quote:
tag = False
elif (c == '"' or c == "'") and tag:
quote = not quote
elif not tag:
out = out + c
return out
<b class="o'>x</b>作为输入，则函数输出x。但实际上，这个输入是无效的。我认为这就是人们更喜欢使用库的原因。 - laltinout = out + c 将是你最可怕的噩梦。相反，你可以使用一个列表，在最后使用 "".join。 - bfontaine一种基于lxml.html的解决方案（lxml是一个本地库，比纯python解决方案更具性能）。
要安装lxml模块，请使用pip install lxml
from lxml import html
## from file-like object or URL
tree = html.parse(file_like_object_or_url)
## from string
tree = html.fromstring('safe <script>unsafe</script> safe')
print(tree.text_content().strip())
### OUTPUT: 'safe unsafe safe'
from lxml import html
from lxml.html.clean import clean_html
tree = html.fromstring("""<script>dangerous</script><span class="item-summary">
Detailed answers to any questions you might have
</span>""")
## text only
print(clean_html(tree).text_content().strip())
### OUTPUT: 'Detailed answers to any questions you might have'
请查看http://lxml.de/lxmlhtml.html#cleaning-up-html，了解lxml.cleaner的具体作用。
如果您需要更多控制权来决定在转换为文本之前应删除哪些特定标记，请使用所需选项创建自定义lxml Cleaner，例如：
cleaner = Cleaner(page_structure=True,
meta=True,
embedded=True,
links=True,
style=True,
processing_instructions=True,
inline_style=True,
scripts=True,
javascript=True,
comments=True,
frames=True,
forms=True,
annoying_tags=True,
remove_unknown_tags=True,
safe_attrs_only=True,
safe_attrs=frozenset(['src','color', 'href', 'title', 'class', 'name', 'id']),
remove_tags=('span', 'font', 'div')
)
sanitized_html = cleaner.clean_html(unsafe_html)
lxml.etree.tostring而不是text_content():from lxml.etree import tostring
print(tostring(tree, method='text', encoding=str))
这里有一个简单的解决方案，基于极快速的lxml库，它可以去除HTML标签并解码HTML实体：
from lxml import html
def strip_html(s):
return str(html.fromstring(s).text_content())
strip_html('Ein <a href="">schöner</a> Text.') # Output: Ein schöner Text.
text_content() 返回 lxml.etree._ElementUnicodeResult，因此您可能需要先将其转换为字符串。 - Suzana+和索引[]这样的字符串操作，它会自动转换为str。无论如何，为了保险起见，我还是添加了一个转换。 - Robin Dinse如果您需要保留HTML实体（例如&），我已经在Eloff的答案中添加了“handle_entityref”方法。
from HTMLParser import HTMLParser
class MLStripper(HTMLParser):
def __init__(self):
self.reset()
self.fed = []
def handle_data(self, d):
self.fed.append(d)
def handle_entityref(self, name):
self.fed.append('&%s;' % name)
def get_data(self):
return ''.join(self.fed)
def html_to_text(html):
s = MLStripper()
s.feed(html)
return s.get_data()
from bs4 import BeautifulSoup # Or from BeautifulSoup import BeautifulSoup
def stripHtmlTags(htmlTxt):
if htmlTxt is None:
return None
else:
return ''.join(BeautifulSoup(htmlTxt).findAll(text=True))
我尝试了被接受的答案的代码，但是出现了“RuntimeError: maximum recursion depth exceeded”的错误，而使用上面的代码块则没有发生此情况。
''.join(BeautifulSoup('<em>he</em>llo<br>world').find_all(text=True))。这里输出是"helloworld"，而你可能想要它变成"hello world"。' '.join(BeautifulSoup('<em>he</em>llo<br>world').find_all(text=True))也不起作用，因为它会变成"he llo world"。 - Finn Årup Nielsen
&）是一个重要的考虑因素。你可以选择：1）删除它们和标记（通常不可取，因为它们等同于纯文本），2）保持它们不变（如果被剥离的文本将要回到HTML环境中，则是一种合适的解决方案），或 3）将它们解码为纯文本（如果被剥离的文本将要进入数据库或其他非HTML环境中，或者如果你的网页框架自动对文本进行HTML转义）。 - Søren Løvborg