Поскольку MySQL utf8 не поддерживает 4-байтовые символы, я ищу способ обнаружить и удалить любые 4-байтовые символы utf8 из строки в Ruby. Я понимаю, что могу обновить свою таблицу, чтобы использовать utf8m4, но по нескольким причинам это невозможно или не является желаемым решением.
Простое кодирование строки в ASCII удалит эти символы, но также удалит все другие символы, отличные от ASCII, что нехорошо.
В Ruby 1.9.3 у меня работает следующее:
input.each_char.select{|c| c.bytes.count < 4 }.join('')
Например:
input = "hello \xF0\xA9\xB6\x98 world" # includes U+29D98
input.each_char.select{|c| c.bytes.count < 4 }.join('') # 'hello world'
Другой вариант (протестирован в ruby 2.7) — использовать регулярное выражение с gsub:
input = "hello \xF0\xA9\xB6\x98 world" # includes U+29D98
input.gsub(/[\u{10000}-\u{10FFFF}]/, "?") # 'hello ? world'
