Ошибка Unicode при индексации Haystack

У меня есть система Django с поиском на основе стога сена и эластичного поиска. В частности, я использую django-cms и поиск aldryn для интеграции поиска с CMS.

aldryn-search==0.3.0
Django==1.10.7
django-cms==3.4.3
django-haystack==2.6.0
elasticsearch==2.4.1
requests==2.13.0
requests-aws4auth==0.9

Весь процесс индексации стога сена контролируется сторонними приложениями, но я никогда раньше с этим не сталкивался, поэтому, надеюсь, смогу найти решение.

При запуске update_index для стога сена возникают некоторые проблемы с юникодом;

File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/elasticsearch/client/__init__.py", line 785, in bulk
doc_type, '_bulk'), params=params, body=self._bulk_body(body))
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/elasticsearch/transport.py", line 327, in perform_request
status, headers, data = connection.perform_request(method, url, params, body, ignore=ignore, timeout=timeout)
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/elasticsearch/connection/http_requests.py", line 68, in perform_request
response = self.session.request(method, url, data=body, timeout=timeout or self.timeout)
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/requests/sessions.py", line 488, in request
resp = self.send(prep, **send_kwargs)
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/requests/sessions.py", line 609, in send
r = adapter.send(request, **kwargs)
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/requests/adapters.py", line 423, in send
timeout=timeout
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/requests/packages/urllib3/connectionpool.py", line 601, in urlopen
chunked=chunked)
File "/Users/mwalker/Sites/myproj/lib/python2.7/site-packages/requests/packages/urllib3/connectionpool.py", line 356, in _make_request
conn.request(method, url, **httplib_request_kw)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 1053, in request
self._send_request(method, url, body, headers)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 1093, in _send_request
self.endheaders(body)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 1049, in endheaders
self._send_output(message_body)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 891, in _send_output
msg += message_body
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 1815: ordinal not in range(128)

настройки стога сена;

awsauth = AWS4Auth(TBH_AWS_ACCESS_KEY, TBH_AWS_SECRET_KEY, AWS_S3_REGION, 'es')
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch2_backend.Elasticsearch2SearchEngine',
        'URL': 'https://search.eu-west-1.es.amazonaws.com/',
        'INDEX_NAME': 'myproj_dev',
        'TIMEOUT': 30,
        'KWARGS': {
            'port': 443,
            'http_auth': awsauth,
            'use_ssl': True,
            'verify_certs': True,
            'connection_class': elasticsearch.RequestsHttpConnection,
        }
    },
}

Как только процесс достигает urllib3 в следующем блоке кода;

# conn.request() calls httplib.*.request, not the method in
# urllib3.request. It also calls makefile (recv) on the socket.
if chunked:
    conn.request_chunked(method, url, **httplib_request_kw)
else:
    conn.request(method, url, **httplib_request_kw)

Я вижу проблему с данными;

>>> httplib_request_kw['body'][1815]
'�'
>>> httplib_request_kw['body'].decode('utf-8')[1815]
u'-'

Есть ли какое-то исправление или корректировка обезьяны, которую я мог бы внести в настройку стога сена, чтобы обеспечить декодирование данных?


django django-haystack unicode-string elasticsearch
person markwalker_    schedule 09.06.2017    source источник

Ответы (1)


arrow_upward
2
arrow_downward

В вашей функции lib/python2.7/site-packages/haystack/fields.py, convert (около строки 209). Попробуйте добавить:

if isinstance(value, str):
   value = value.decode("utf-8")

Полный код класса после изменения:

class CharField(SearchField):
    field_type = 'string'

    def __init__(self, **kwargs):
        if kwargs.get('facet_class') is None:
            kwargs['facet_class'] = FacetCharField

        super(CharField, self).__init__(**kwargs)

    def prepare(self, obj):
        return self.convert(super(CharField, self).prepare(obj))

    def convert(self, value):
        if value is None:
            return None

        if isinstance(value, str):
            value = value.decode("utf-8")

        return six.text_type(value)
person Satevg    schedule 09.06.2017
comment
Как ни странно, у меня были некоторые проблемы с используемыми ключами AWS, которые, когда они были устранены, сами по себе решили проблему с юникодом. Так что, хотя это и исправило бы проблему, в конце концов мне не нужно было ничего исправлять. Что меня до сих пор смущает! - person markwalker_; 09.06.2017