JavaScript 正则表达式用于标点符号(国际)?

23

我需要一个正则表达式来匹配所有标点符号,例如标准的[,!@#$%^&*()],但包括倒置的西班牙语问号、中文句号等国际标点符号。我的谷歌搜索能力有限。是否有人手头有这样的正则表达式,且与Javascript兼容?


1
考虑到Javascript的正则表达式和Unicode支持有多糟糕,我认为除了列出所有要包含的字符之外,没有其他办法。 - NullUserException
4
什么时候@#$%^&*成为了标点符号? - NullUserException
1
自从一个名字的结尾出现了两只眼睛开始 :-) - RHT
6
这可能会有用。 - Felix Kling
你可以尝试使用带Unicode包的XRegExp插件 http://xregexp.com/plugins/#unicode - Narendra Yadala
@Stema的回答非常好。但是,如果您想避免将您的项目臃肿化,使用另一个JS库,请参见-https://dev59.com/IWsz5IYBdhLWcg3w6MRS#21396529。 - Chris Jacob
6个回答

9

补充@stema的答案 (https://dev59.com/IWsz5IYBdhLWcg3w6MRS#7578937)... 以下是正则表达式字符串(所以您不需要在项目中增加XRegExp的臃肿代码)。

!-#%-\x2A,-/:;\x3F@\x5B-\x5D_\x7B}\u00A1\u00A7\u00AB\u00B6\u00B7\u00BB\u00BF\u037E\u0387\u055A-\u055F\u0589\u058A\u05BE\u05C0\u05C3\u05C6\u05F3\u05F4\u0609\u060A\u060C\u060D\u061B\u061E\u061F\u066A-\u066D\u06D4\u0700-\u070D\u07F7-\u07F9\u0830-\u083E\u085E\u0964\u0965\u0970\u0AF0\u0DF4\u0E4F\u0E5A\u0E5B\u0F04-\u0F12\u0F14\u0F3A-\u0F3D\u0F85\u0FD0-\u0FD4\u0FD9\u0FDA\u104A-\u104F\u10FB\u1360-\u1368\u1400\u166D\u166E\u169B\u169C\u16EB-\u16ED\u1735\u1736\u17D4-\u17D6\u17D8-\u17DA\u1800-\u180A\u1944\u1945\u1A1E\u1A1F\u1AA0-\u1AA6\u1AA8-\u1AAD\u1B5A-\u1B60\u1BFC-\u1BFF\u1C3B-\u1C3F\u1C7E\u1C7F\u1CC0-\u1CC7\u1CD3\u2010-\u2027\u2030-\u2043\u2045-\u2051\u2053-\u205E\u207D\u207E\u208D\u208E\u2329\u232A\u2768-\u2775\u27C5\u27C6\u27E6-\u27EF\u2983-\u2998\u29D8-\u29DB\u29FC\u29FD\u2CF9-\u2CFC\u2CFE\u2CFF\u2D70\u2E00-\u2E2E\u2E30-\u2E3B\u3001-\u3003\u3008-\u3011\u3014-\u301F\u3030\u303D\u30A0\u30FB\uA4FE\uA4FF\uA60D-\uA60F\uA673\uA67E\uA6F2-\uA6F7\uA874-\uA877\uA8CE\uA8CF\uA8F8-\uA8FA\uA92E\uA92F\uA95F\uA9C1-\uA9CD\uA9DE\uA9DF\uAA5C-\uAA5F\uAADE\uAADF\uAAF0\uAAF1\uABEB\uFD3E\uFD3F\uFE10-\uFE19\uFE30-\uFE52\uFE54-\uFE61\uFE63\uFE68\uFE6A\uFE6B\uFF01-\uFF03\uFF05-\uFF0A\uFF0C-\uFF0F\uFF1A\uFF1B\uFF1F\uFF20\uFF3B-\uFF3D\uFF3F\uFF5B\uFF5D\uFF5F-\uFF65

我在自己的项目中使用了这个,并进行了一些添加...

    // any kind of punctuation character (including international e.g. Chinese and Spanish punctuation)
    // author: http://www.regular-expressions.info/unicode.html
    // source: https://github.com/slevithan/xregexp/blob/41f4cd3fc0a8540c3c71969a0f81d1f00e9056a9/src/addons/unicode/unicode-categories.js#L142
    // note: XRegExp unicode output taken from http://jsbin.com/uFiNeDOn/3/edit?js,console (see chrome console.log), then converted back to JS escaped unicode here http://rishida.net/tools/conversion/, then tested on http://regexpal.com/
    // suggested by: https://dev59.com/IWsz5IYBdhLWcg3w6MRS#7578937
    // added: extra characters like "$", "\uFFE5" [yen symbol], "^", "+", "=" which are not consider punctuation in the XRegExp regex (they are currency or mathmatical characters)
    // added: \u3000-\u303F Chinese Punctuation for good measure
    var regex_characters_to_remove = /[\$\uFFE5\^\+=`~<>{}\[\]|\u3000-\u303F!-#%-\x2A,-/:;\x3F@\x5B-\x5D_\x7B}\u00A1\u00A7\u00AB\u00B6\u00B7\u00BB\u00BF\u037E\u0387\u055A-\u055F\u0589\u058A\u05BE\u05C0\u05C3\u05C6\u05F3\u05F4\u0609\u060A\u060C\u060D\u061B\u061E\u061F\u066A-\u066D\u06D4\u0700-\u070D\u07F7-\u07F9\u0830-\u083E\u085E\u0964\u0965\u0970\u0AF0\u0DF4\u0E4F\u0E5A\u0E5B\u0F04-\u0F12\u0F14\u0F3A-\u0F3D\u0F85\u0FD0-\u0FD4\u0FD9\u0FDA\u104A-\u104F\u10FB\u1360-\u1368\u1400\u166D\u166E\u169B\u169C\u16EB-\u16ED\u1735\u1736\u17D4-\u17D6\u17D8-\u17DA\u1800-\u180A\u1944\u1945\u1A1E\u1A1F\u1AA0-\u1AA6\u1AA8-\u1AAD\u1B5A-\u1B60\u1BFC-\u1BFF\u1C3B-\u1C3F\u1C7E\u1C7F\u1CC0-\u1CC7\u1CD3\u2010-\u2027\u2030-\u2043\u2045-\u2051\u2053-\u205E\u207D\u207E\u208D\u208E\u2329\u232A\u2768-\u2775\u27C5\u27C6\u27E6-\u27EF\u2983-\u2998\u29D8-\u29DB\u29FC\u29FD\u2CF9-\u2CFC\u2CFE\u2CFF\u2D70\u2E00-\u2E2E\u2E30-\u2E3B\u3001-\u3003\u3008-\u3011\u3014-\u301F\u3030\u303D\u30A0\u30FB\uA4FE\uA4FF\uA60D-\uA60F\uA673\uA67E\uA6F2-\uA6F7\uA874-\uA877\uA8CE\uA8CF\uA8F8-\uA8FA\uA92E\uA92F\uA95F\uA9C1-\uA9CD\uA9DE\uA9DF\uAA5C-\uAA5F\uAADE\uAADF\uAAF0\uAAF1\uABEB\uFD3E\uFD3F\uFE10-\uFE19\uFE30-\uFE52\uFE54-\uFE61\uFE63\uFE68\uFE6A\uFE6B\uFF01-\uFF03\uFF05-\uFF0A\uFF0C-\uFF0F\uFF1A\uFF1B\uFF1F\uFF20\uFF3B-\uFF3D\uFF3F\uFF5B\uFF5D\uFF5F-\uFF65]+/g

8
如果您可以使用插件,有一个针对JavaScript的插件:XRegExp Unicode plugins。它为Unicode类别、脚本和块添加了支持(我个人只是读过它,从未使用过)。
使用此插件应该可以使用Unicode类别,例如\p{P},如regular-expressions.info所述。
更新: 好的,我测试了一下,它似乎工作得很好。
您需要从XRegExp获取lib,并额外获取Unicode Base和Unicode Category插件(上面已链接)。
<script src="xregexp.js"></script>
<script src="addons/unicode-base.js"></script>
<script src="addons/unicode-categories.js"></script>
<script>
    var unicodePunctuation = XRegExp("^\\p{P}+$");

    alert(unicodePunctuation.test("?.,;!¡¿。、·")); // true
</script>

上述警报true。我在测试字符串中包含了一些西班牙语和中文标点符号:"?.,;!¡¿。、·"

这看起来非常有前途,尽管我总是不愿意用另一个库来膨胀我的Javascript应用程序。一旦我确认它适合我的目的,我会回来检查的。 - Ben Dilts
谢谢。这是代码的JSBin(向下滚动并查看Chrome控制台)http://jsbin.com/uFiNeDOn/3/edit?js,console - Chris Jacob

4
从ES 2018开始,支持Unicode属性转义。您可以使用\p{Punctuation}或只使用\p{P}(与XRegExp答案相同)来匹配任何标点符号字符(根据Unicode定义),或者\P{Punctuation}来匹配任何非标点符号字符。
如果您想匹配任何“非单词”字符,例如Unicode版本的\W,您可以尝试以下内容:
[^\p{Alphabetic}\p{Mark}\p{Decimal_Number}\p{Connector_Punctuation}\p{Join_Control}]

(如建议中所推荐的那样)。您可能希望删除\p{Connector_Punctuation},因为它包括下划线和类似字符。

不要忘记在正则表达式中添加u标志,使其支持Unicode并启用此功能。


3

嗯...我不知道它会有多全面,但你可以使用这个:

[^\w\s\n\t]

1
唯一需要注意的是 _ 字符包含在 \w 中。此外,Unicode 字母(如 ö)是否允许通过,会导致误判吗? - sdleihssirhc
2
\s 包括 \n\t,同时也会匹配非 ASCII 单词字符、控制字符、货币字符和其他各种非标点字符。 - Peter Boughton
2
其他Unicode字符被包含在误报中是我目前的主要问题——我猜对我来说等价的问题是找到一个好的正则表达式,它是\w(因此也是\W)的国际等价物。 - Ben Dilts

2
你的正则表达式应该长这样...
/[,!@#$%^&*()\u9999]/

将每个\u9999替换为其他标点符号的Unicode代码点。

如果您可以在范围中找到一堆内容,则可以使用-范围操作符进行指定,例如\u9990-\u9999

据我所知,您无法在JavaScript正则表达式中使用\pP之类的内容。


你不需要处理单个字符,你仍然可以使用范围来处理,例如 [\u9000-\u9999](这只是一个语法示例,不知道它可能代表什么字符)。 - Peter Boughton

0

对于Python,可以使用此正则表达式从开头和结尾删除任何类型的标点符号:

import re
def cleanspecialcharacters(str):   
    regex = re.compile((
    '^[/\"_\(\)&*\$¥\^\+=`~<>\{\}\[\]\|\-!#%\,\:;@¡§«¶·»¿;·՚-՟։֊؉،॥॰෴๏๚๛༄-༒༔༺-༽྅჻፠-፨᐀᙭᙮។-៖៘-៚‧‰-⁃⁅-⁑⁓-⁞⁽⁾₍₎、〃〈-【】〔-〟〰〽゠・﴾﴿︐-︙︰-﹒﹔-﹡﹣﹨﹪﹫!-#%-*,-/:;?@[-]_{}⦅-・〔〕《》]*|'
    '([/\"_\(\)&*\$¥\^\+=`~<>\{\}\[\]\|\-!#%\,\:;@¡§«¶·»¿;·՚-՟։֊؉،॥॰෴๏๚๛༄-༒༔༺-༽྅჻፠-፨᐀᙭᙮។-៖៘-៚‧‰-⁃⁅-⁑⁓-⁞⁽⁾₍₎、〃〈-【】〔-〟〰〽゠・﴾﴿︐-︙︰-﹒﹔-﹡﹣﹨﹪﹫!-#%-*,-/:;?@[-]_{}⦅-・〔〕《》])*$'))
    str = regex.sub('', str)
    return str

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接