由于MySQL的utf8不支持4字节字符,我正在寻找一种在Ruby中检测和消除任何4字节utf8字符的方法。我知道可以更新表使用utf8m4,但由于几个原因,这不是可能或期望的解决方案。
简单地将字符串编码为ASCII将移除这些字符,但也会移除所有其他非ASCII字符,这是不好的。
由于MySQL的utf8不支持4字节字符,我正在寻找一种在Ruby中检测和消除任何4字节utf8字符的方法。我知道可以更新表使用utf8m4,但由于几个原因,这不是可能或期望的解决方案。
简单地将字符串编码为ASCII将移除这些字符,但也会移除所有其他非ASCII字符,这是不好的。
以下代码在 Ruby 1.9.3 版本中看起来对我有效:
input.each_char.select{|c| c.bytes.count < 4 }.join('')
例如:input = "hello \xF0\xA9\xB6\x98 world" # includes U+29D98
input.each_char.select{|c| c.bytes.count < 4 }.join('') # 'hello world'
另一种选项(在Ruby 2.7中测试)是使用带有gsub的正则表达式:
input = "hello \xF0\xA9\xB6\x98 world" # includes U+29D98
input.gsub(/[\u{10000}-\u{10FFFF}]/, "?") # 'hello ? world'