Python 2.X: почему я не могу правильно обрабатывать Unicode?

Давайте запустим старый резерв IDLE и посмотрим, сможем ли мы воспроизвести то, что видите вы.

IDLE 1.1.4      
>>> a = u'può essere / sarà / 日本'

Unsupported characters in input
>>> a = u'pu\xf2 essere / sar\xe0 / \u65e5\u672c'
>>> b = a.encode('utf-8')
>>> a
u'pu\xf2 essere / sar\xe0 / \u65e5\u672c'
>>> b
'pu\xc3\xb2 essere / sar\xc3\xa0 / \xe6\x97\xa5\xe6\x9c\xac'
>>> print a
può essere / sarà / 日本
>>> print b
può essere / sarà / 日本

Обратите внимание, что я вижу что-то другое, когда печатаю b. Это связано с тем, что моя оболочка (IDLE) не интерпретирует последовательность байтов как текст UTF-8, а использует кодировку символов моей платформы cp1252.

Давайте просто дважды проверим это.

>>> import sys
>>> sys.stdout.encoding
'cp1252'

Ага, вот почему у меня другое поведение, чем у тебя. Потому что ваша sys.stdout.encoding - это UTF-8. И именно поэтому, несмотря на то, что a и b являются совершенно разными значениями, они отображают одно и то же; ваш терминал интерпретирует байты как UTF-8.

Поэтому вам может быть интересно, можем ли мы преобразовать нашу последовательность символов Юникода a в последовательность байтов, которую можно отобразить в IDLE.

>>> c = a.encode('cp1252') 

Traceback (most recent call last):
  File "<pyshell#19>", line 1, in -toplevel-
    c = a.encode('cp1252') #uses default encoding
  File "C:\Python24\lib\encodings\cp1252.py", line 18, in encode
    return codecs.charmap_encode(input,errors,encoding_map)
UnicodeEncodeError: 'charmap' codec can't encode characters in position 20-21: character maps to <undefined>

Ответ - нет; cp1252 не поддерживает кодирование китайских символов в виде байтов.

Во-первых, я предлагаю вам прочитать прекрасную статью Джоэла Сполски, Абсолютный минимум, который обязательно должен знать каждый разработчик программного обеспечения. О Unicode и наборах символов. Это не о Python, но должно помочь вам понять, что происходит.

Различие между строками Unicode и обычными строками становится более четким в Python 3, но это справедливо и для Python 2. Строка Unicode содержит представление строки в Unicode, обычная строка — это строка байтов, содержащая кодировку этого представления Unicode. Документация для unicode объясняет, что происходит. При передаче параметра errors параметр unicode действует иначе, чем когда он не передается и пытается декодировать строку. Непонятно, какую кодировку он пытается декодировать, но он может подумать, что это utf-8, хотя на самом деле это utf-16 или что-то подобное.

Оператор print кодирует строку Юникода в любую кодировку, используемую вашим терминалом. Это может быть ascii, или это может быть utf-8 или что-то еще. print a на самом деле делает print a.encode('utf-8') за кулисами.

Я не ответил на все ваши вопросы, но статья, на которую я ссылаюсь, должна ответить на большинство из них. Надеюсь это поможет!