Как мне написать этот код C с использованием Unicode?

Это зависит от кодировки. Самый простой из них - UTF-8, в котором вы можете просто хранить строки в char* массивах. Удивительно, но для построения списка частот используется почти тот же код, что и в случае текста ASCII. Это своего рода магия UTF-8, но именно поэтому эта кодировка такая мощная!

Есть несколько вещей, которые вы должны помнить в этом случае:

1. Unicode предоставляет больше белых символов, чем ASCII. Вам понадобится их список, чтобы знать, где слова разделены. К счастью, в в Википедии есть.

2. Юникод не всегда однозначен. Бывают случаи, когда разные последовательности дают один и тот же символ. Обычно это происходит с составными персонажами: например. Немецкий Ä может быть представлен как:

   • character U+00C4 - single letter Ä
   • последовательность U+0041 U+0308 - латинская буква A и умляут над ней.

   К счастью, в немецком языке всего семь неанглийских символов: ÄäÖöÜüß. Вам нужно проверить, как выглядят их альтернативные варианты (например, здесь на страницах 4 и 5 вы должны найти все немецкие символы и их альтернативные формы).

Конечно, для решения обеих проблем вам также необходимо знать, как все ваши выводы представлены в UTF-8. Это описано в RFC 3629, стр. 3.

В случае других кодировок (или других языков) я бы предложил не заниматься этим самостоятельно, а использовать какую-то уже существующую библиотеку. Если вы используете Linux (или большинство других Unices), вы можете использовать функцию iconv (man 3 iconv) для преобразования вашего текста в UTF-8 и действовать, как я описал ранее.

Другой вариант — использовать какую-нибудь библиотеку, которая уже работает с различными вариантами Unicode. Самым мощным, вероятно, является ICU - Международные компоненты для Unicode. Ознакомьтесь с их руководствами, чтобы узнать, как выполнить свою задачу с его помощью.

Вы не указали четко требования своей программы, но я могу думать только о двух аспектах, которые могут потребовать от вас внимания к личности персонажа:

1. Если входной текст имеет смешанный регистр, вы можете сопоставить все слова с одним и тем же регистром, чтобы версии одного и того же слова в разных регистрах учитывались вместе.

2. Если ввод находится в смешанной форме нормализации (некоторые символы предварительно составлены, другие разложены), вам необходимо выполнить нормализацию, чтобы гарантировать, что слова, которые отличаются только таким образом, подсчитываются вместе.

Если, например, ваш ввод был NFC со строчными буквами, программа, написанная только с учетом ASCII, отлично подойдет для вашей задачи. Поскольку это, вероятно, не так, вам необходимо оценить свои требования. Только для проблемы 1 (случай) вы, вероятно, можете обойтись, используя широкосимвольные функции stdio (или байт-ориентированные stdio и mbsrtowcs) и towlower для отображения регистра. Для проблемы 2 (нормализация) вам нужно будет либо использовать существующую библиотеку Unicode для C, либо создать свою собственную.

Вы можете использовать строки wchar_t и функции, определенные в заголовочном файле wchar.h.

Если вы можете сделать это без проблем в ASCII, это не должно быть намного сложнее в Unicode (по крайней мере, в C99).

Практически все стандартные библиотечные функции, работающие со строками и символами, имеют эквиваленты расширенных символов, и когда вы работаете с широкими символами, вам никогда не придется беспокоиться о базовой кодировке — один широкий символ представляет собой один фактический символ. Есть iswupper, towupper, wcslen и так далее.

Это предполагает, что вы работаете в простой среде (например, система UTF-8, текст UTF-8), поскольку локаль будет обрабатывать все. Если нет, то работы больше.

Возможно, вы захотите использовать для этого системные инструменты, это можно сделать, если языковой стандарт вашей системы установлен правильно. Вы можете легко использовать AWK, например:

BEGIN {
    FS="[^[:alpha:]]"
}
{
    for(i=1; i<=NF; i++) {
        if(array[$i]) {
            array[$i] += 1
        } else {
            array[$i]  = 1
        }
    }
}
END{
    for(i in array) {printf "%s = %d\n", i, array[i] }
}

вызывать:

$ awk -f script.awk German.txt | sort

РЕДАКТИРОВАТЬ:

Это очень близко к тому, что вы ищете.