Копия AWS CLI Превышено максимальное количество повторных попыток, ошибка 10054: соединение принудительно закрыто удаленным хостом

Это происходит с sync или cp, которые копируют около 1000 файлов с нашего локального сервера в корзину S3. Источником является подключенный сетевой диск компьютера с Windows 8 к виртуальной машине Windows Server 2008 R2, работающей в Hyper-V.

Это команда:

aws s3 cp X:\folder s3://my-bucket/folder --recursive

Похоже, что в файлах, с которыми он не работает, нет никакого шаблона. Некоторые больше (до 30 МБ), другие всего несколько килобайт. Это сообщение об ошибке:

HTTPSConnectionPool(host='XXX.s3.amazonaws.com', port=443): Max retries exceeded with url: ... (Caused by <class 'socket.error'>: [Errno 10054] An existing connection was forcibly closed by the remote host)

windows amazon-web-services amazon-s3 aws-cli
person wst    schedule 12.12.2013    source источник

Ответы (2)


arrow_upward
1
arrow_downward

У меня такая же проблема. Ноутбук с Ubuntu, команда aws s3 cp или aws s3 sync не удалась, как описано.

Мой файл был размером 104285 байт, так что ничего «слишком большого».

Копирование файла через BucketExplorer работало без проблем.

На botocore сообщается о проблемах, которые показывают аналогичные проблемы для больших файлов, но не сообщают о маленьких.

Затем я обновил библиотеку boto с версии 2.9.5 до последней версии 2.23.0, но проблема осталась.

Позже я тестировал свой проблемный файл, делая его все меньше и меньше, пока он не был опубликован. Наконец я обнаружил, что проблема исчезла даже для исходного файла.

Трудно сказать, как и решится ли проблема.

Можно подумать о временной проблеме на стороне AWS, но, поскольку я смог опубликовать файл через BucketExplorer с первой попытки, я думаю, что это не так.

Проверка информационной панели AWS Health: http://status.aws.amazon.com/. сообщается о проблемах, но вы никогда не можете полагаться на то, что найдете там все мелкие проблемы.

В любом случае, я бы предложил обновить boto до последней версии, поскольку это кажется наиболее вероятной причиной:

 $ pip install --upgrade boto

Мой интерфейс командной строки AWS уже был обновлен до того, как я столкнулся с этими проблемами, и имеет версию 0.31.

Мои окончательные версии:

$ pip freeze|grep boto
boto==2.23.0
boto-utils==0.3
botocore==0.31.0
person Jan Vlcinsky    schedule 24.01.2014

arrow_upward
-1
arrow_downward

Проблема в подключенном сетевом диске. Все файлы загружаются успешно при копировании из папки на локальном диске, а не в сетевом расположении.

person wst    schedule 16.12.2013
comment
Вы когда-нибудь догадывались об этом? Я сталкиваюсь с той же проблемой. - person stevejb; 21.12.2013
comment
@stevejb Я только что сузил его до подключенного диска, который явно не справляется с CLI. Я не уверен, что это виртуальная машина, наша сеть или какое-то взаимодействие между ними. Я предполагаю, что следующим шагом будет факторизация каждого узла/слоя, по одному, между машиной, на которой работает CLI, и данными, и посмотреть, когда проблема исчезнет. - person wst; 21.12.2013
comment
У меня та же проблема, но в моем случае я запускаю с локального диска на ноутбуке с Ubuntu. Он всегда терпит неудачу в одном и том же файле, и даже когда я переименовываю его или делаю копию, он не публикуется. Так что это похоже на содержание. Странный. Не могли бы вы повторно воспроизвести проблему с одним и тем же файлом? Кажется, стоит сообщить об ошибке. - person Jan Vlcinsky; 25.01.2014
comment
@JanVlcinsky Для меня это происходило с несколькими файлами, а не с одними и теми же файлами каждый раз (однако они были в основном одинаковыми - почти все из них). Я не смог воспроизвести проблему, кроме как изменить источник загрузки с сетевого на локальный. - person wst; 27.01.2014