Python для отображения специальных символов

Профилактика лучше, чем лечение. Что вам нужно, так это выяснить, как создается этот мусор. Пожалуйста, отредактируйте свой вопрос, чтобы показать код, который его создает, и тогда мы сможем помочь вам исправить его. Похоже, кто-то сделал:

your_unicode_string =  original_utf8_encoded_bytestring.decode('latin1')

Лекарство состоит в том, чтобы просто обратить процесс вспять, а затем расшифровать.

correct_unicode_string = your_unicode_string.encode('latin1').decode('utf8')

Обновить Судя по предоставленному вами коду, вероятной причиной является то, что веб-сайт заявляет, что он закодирован в ISO-8859-1 (он же latin1), но на самом деле он закодирован в UTF-8. Пожалуйста, обновите свой вопрос, чтобы показать нам URL.

Если вы не можете это показать, прочтите документацию BS; похоже, вам нужно будет использовать:

BeautifulSoup(web, from_encoding='utf8')

Поддержка Unicode на многих языках сбивает с толку, поэтому ваша ошибка здесь понятна. Эти строки представляют собой байты UTF-8, которые будут работать правильно, если вы отбросите u впереди:

>>> err = u'\xc3\x96berg'
>>> print err
Ã?berg
>>> x = '\xc3\x96berg'
>>> print x
Öberg
>>> u = x.decode('utf-8')
>>> u
u'\xd6berg'
>>> print u
Öberg

Для получения дополнительной информации:

http://www.joelonsoftware.com/articles/Unicode.html

http://docs.python.org/howto/unicode.html

Вы действительно должны прочитать эти ссылки и понять, что происходит, прежде чем продолжить. Однако, если вам абсолютно необходимо иметь что-то, что работает сегодня, вы можете использовать этот ужасный хак, который я стесняюсь публиковать публично:

def convert_fake_unicode_to_real_unicode(string):
    return ''.join(map(chr, map(ord, string))).decode('utf-8')

Содержимое строк не в юникоде, а в кодировке UTF-8.

>>> print u'Von D\xc3\xbc'
Von Dü
>>> print 'Von D\xc3\xbc'
Von Dü

>>> print unicode('Von D\xc3\xbc', 'utf-8')
Von Dü
>>> 

Редактировать:

>>> print '\xc3\x96berg' # no unicode identifier, works as expected because it's an UTF-8 encoded string
Öberg
>>> print u'\xc3\x96berg' # has unicode identifier, means print uses the unicode charset now, outputs weird stuff
Ãberg

# Look at the differing object types:
>>> type('\xc3\x96berg')
<type 'str'>
>>> type(u'\xc3\x96berg')
<type 'unicode'>

>>> '\xc3\x96berg'.decode('utf-8') # this command converts from UTF-8 to unicode, look at the unicode identifier in the output
u'\xd6berg'
>>> unicode('\xc3\x96berg', 'utf-8') # this does the same thing
u'\xd6berg'
>>> unicode(u'foo bar', 'utf-8') # trying to convert a unicode string to unicode will fail as expected
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: decoding Unicode is not supported