我需要将所有非ASCII（\x00-\x7F）字符替换为空格。我很惊讶在Python中这并不是很简单，除非我漏了什么。下面的函数只是删除所有非ASCII字符：
def remove_non_ascii_1(text):
return ''.join(i for i in text if ord(i)<128)
这个函数会将非ASCII字符替换为字符编码点所对应的字节数量的空格（例如，–字符会被替换为3个空格）：
def remove_non_ascii_2(text):
return re.sub(r'[^\x00-\x7F]',' ', text)
你的''.join()表达式是在进行过滤，移除任何非ASCII字符；你可以使用条件表达式代替：
return ''.join([i if ord(i) < 128 else ' ' for i in text])
这样处理一个字符一遍，仍然使用每个替换的字符一个空格。
您的正则表达式应该只用一个空格来替换连续的非ASCII字符：
re.sub(r'[^\x00-\x7F]+',' ', text)
+。str.join() 需要一个列表（它会两次遍历值），而生成器表达式首先会被转换为列表。给它一个列表推导式只是更快。请参阅 此帖子。 - Martijn Pieters-字符用3个空格替换"意味着输入是字节串（不是Unicode），因此使用了Python 2（否则，''.join将失败）。如果提问者想要每个Unicode码点一个空格，则应首先将输入解码为Unicode。 - jfsfrom unidecode import unidecode
def remove_non_ascii(text):
return unidecode(unicode(text, encoding = "utf-8"))
然后您可以在字符串中使用它：
remove_non_ascii("Ceñía")
Cenia
from unidecode import unidecode
unidecode("Ceñía")
דותן。但是从一般意义上讲，这很棒，谢谢！ - dotancohenunidecode（text）。我通过这种方式在爬行过程中得到了一些有趣的Unicode字符引号。 - rjurney对于字符处理，请使用Unicode字符串：
PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # Each char is a Unicode codepoint.
'ABC def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC def'
请注意，如果您的字符串包含分解的Unicode字符（例如单独的字符和组合重音符号），仍然会有问题：
>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'
ud.normalize('NFC',s) 来组合标记，但并不是所有的组合都由单个代码点表示。你需要一个更智能的解决方案来查看字符的 ud.category()。 - Mark Tolonen\X（扩展字形簇）正则表达式（由regex模块支持）允许迭代这样的字符（注意：“字形不一定是组合字符序列，组合字符序列也不一定是字形”）。 - jfsresult = text.encode('ascii', 'replace').decode()："""Test the performance of different non-ASCII replacement methods."""
import re
from timeit import timeit
# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000
print(timeit(
"""
result = ''.join([c if ord(c) < 128 else '?' for c in text])
""",
number=1000,
globals=globals(),
))
print(timeit(
"""
result = text.encode('ascii', 'replace').decode()
""",
number=1000,
globals=globals(),
))
结果：
0.7208260721400134
0.009975979187503592
new_string = old_string.encode('ascii',errors='ignore')
现在如果你想替换已删除的字符，只需按照以下步骤进行：
final_string = new_string + b' ' * (len(old_string) - len(new_string))
def replace_trash(unicode_string):
for i in range(0, len(unicode_string)):
try:
unicode_string[i].encode("ascii")
except:
#means it's non-ASCII
unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
return unicode_string
ascii()函数时，它会转义非ASCII字符，并且不能正确地处理ASCII字符。因此，我的主要想法是遍历字符串并检查字符是否被更改。如果更改了，则用给定的替换器替换它。def remove(x, replacer):
for i in x:
if f"'{i}'" == ascii(i):
pass
else:
x=x.replace(i,replacer)
return x
remove('hái',' ')
结果: "h i" (单个空格分隔)。
语法: remove(str,non_ascii_replacer)
str = 在这里输入您想要处理的字符串。
non_ascii_replacer = 在这里输入您想要用来替换所有非ASCII字符的替换器。
使用Raku（前身为Perl_6）进行预处理
~$ raku -pe 's:g/ <:!ASCII>+ / /;' file
示例输入：
Peace be upon you
السلام عليكم
שלום עליכם
Paz sobre vosotros
样例输出：
Peace be upon you
Paz sobre vosotros
请注意，您可以使用以下代码获取有关匹配项的详细信息：
~$ raku -ne 'say s:g/ <:!ASCII>+ / /.raku;' file
$( )
$(Match.new(:orig("السلام عليكم"), :from(0), :pos(6)), Match.new(:orig("السلام عليكم"), :from(7), :pos(12)))
$(Match.new(:orig("שלום עליכם"), :from(0), :pos(4)), Match.new(:orig("שלום עליכם"), :from(5), :pos(10)))
$( )
$( )
~$ raku -ne 'say S:g/ <:!ASCII>+ / /.raku;' file
"Peace be upon you"
" "
" "
"Paz sobre vosotros"
""
https://docs.raku.org/language/regexes#Unicode_properties
https://www.codesections.com/blog/raku-unicode/
https://raku.org
def filterSpecialChars(strInput):
result = []
for character in strInput:
ordVal = ord(character)
if ordVal < 0 or ordVal > 127:
result.append(' ')
else:
result.append(character)
return ''.join(result)
然后像这样调用：
result = filterSpecialChars('Ceñía mañana')
print(result)
ord()是否返回负数？Unicode代码点都是非负整数，但我很乐意学习新知识。我同意这是一个很好的防御措施，但在此之前，我会尝试捕获例如TypeError异常。 - dotancohen我的问题是，我的字符串包含像BelgiÃ这样的内容，表示België，以及€表示€符号。我不想用空格替换它们，而是要用正确的符号本身。
我的解决方案是string.encode('Latin1').decode('utf-8')
sed，awk和perl的答案也很有趣。但我建议将它们放在一个统一的“X/Y答案”中，而不是分开回答。通常情况下，如果代码是从例如bash CLI运行的地方（其中四个都通常可用），而不是实际运行Python脚本的地方，sed，awk或perl的答案可以替代Python答案。 - dotancohen