Я знаю, что в последнее время Интернет в основном стандартизируется в сторону UTF-8, и мне просто интересно, есть ли место, где использование UTF-8 было бы плохой вещью. Я слышал аргумент, что UTF-8, 16 и т. д. могут использовать больше места, но в конце концов это было незначительно.
Кроме того, как насчет программ для Windows, оболочки Linux и тому подобного - можете ли вы безопасно использовать там UTF-8?
Если доступна UTF-32, предпочтите ее другим версиям для обработки.
Если ваша платформа изначально поддерживает Unicode UTF-32/UCS-4, то «сжатые» версии UTF-8 и UTF-16 могут работать медленнее, поскольку они используют разное количество байтов для каждого символа (последовательности символов), что делает невозможным выполнять прямой поиск в строке по индексу, в то время как UTF-32 использует 32-битные «плоские» значения для каждого символа, что значительно ускоряет некоторые строковые операции.
Конечно, если вы программируете в очень ограниченной среде, такой как, например, встроенные системы, и можете быть уверены, что вокруг будут только символы ASCII или ISO 8859-x, всегда, вы можете выбрать эти кодировки. для эффективности и скорости. Но в целом придерживайтесь форматов преобразования Unicode.
Когда вам нужно написать программу (выполняющую манипуляции со строками), которая должна быть очень-очень быстрой, и вы уверены, что вам не понадобятся экзотические символы, UTF-8 может быть не лучшей идеей. Во всех остальных ситуациях UTF-8 должен быть стандартом.
UTF-8 хорошо работает почти со всеми современными программами, даже в Windows.
fopen, которые принимают строку ANSI :-(
- person dan04; 15.01.2011
Хорошо известно, что utf-8 лучше всего подходит для хранения файлов и сетевого транспорта. Но люди спорят, лучше ли utf-16/32 для обработки. Одним из основных аргументов является то, что utf-16 по-прежнему имеет переменную длину, и даже utf-32 по-прежнему не является одной кодовой точкой на символ, так чем же они лучше, чем utf-8? Мое мнение, что utf-16 - очень хороший компромисс.
Во-первых, символы вне BMP, которым нужны двойные кодовые точки в utf-16, используются крайне редко. Китайские иероглифы (а также некоторые другие азиатские иероглифы) в этом диапазоне практически мертвы. Обычные люди вообще не будут их использовать, разве что специалисты используют их для оцифровки древних книг. Таким образом, utf-32 большую часть времени будет пустой тратой времени. Не беспокойтесь слишком об этих символах, так как они не испортят ваше программное обеспечение, если вы не обращались с ними должным образом, если ваше программное обеспечение не предназначено для этих особых пользователей.
Во-вторых, часто нам нужно, чтобы выделение строковой памяти было связано с количеством символов. например столбец строки базы данных для 10 символов (при условии, что мы храним строку Unicode в нормализованной форме), что будет 20 байтов для utf-16. В большинстве случаев он будет работать именно так, за исключением крайних случаев, он будет содержать только 5-8 символов. Но для utf-8 общая длина одного символа в байтах составляет 1-3 байта для западных языков и 3-5 для азиатских языков. Это означает, что нам нужно 10-50 байт даже для обычных случаев. Больше данных, больше обработки.
