Параллельное копирование с использованием azcopy

Я использовал azcopy для регулярного копирования моделей из хранилища BLOB-объектов Azure в виртуальную машину Azure. Но когда я копирую наборы данных на свою виртуальную машину, я использую общий файловый ресурс Azure и перемещаю данные на диск данных с помощью команды cp. Я хочу использовать Azcopy для параллельного копирования данных. Мне кажется, однажды я слышал, что AzCopy копирует данные параллельно, но я не могу найти это утверждение. Может я неправильно понял.

Я также видел это еще одно вопрос о stackoverflow, в котором говорилось о параллелизме в azcopy. В ответе была ссылка на документацию azcopy и говорилось о --parallel-level, но когда я щелкнул по нему, не было такой вещи, как было сказано.

Если кто-нибудь может перенаправить меня на ссылку параллельной документации azcopy, если она существует, это было бы действительно полезно.


person Sulabh Shrestha    schedule 31.03.2021    source источник
comment
Вы пробовали с AZCOPY_CONCURRENCY_VALUE? Проверьте, помогает ли установка переменной среды - Справочный документ   -  person Abhinandan Bharamgunde    schedule 31.03.2021
comment
Спасибо @AbhinandanBharamgunde за информацию и ссылку.   -  person Sulabh Shrestha    schedule 01.04.2021


Ответы (1)


По умолчанию AzCopy копирует данные параллельно, но вы можете изменить количество файлов, копируемых параллельно.

Пропускная способность может снизиться при передаче небольших файлов. Вы можете увеличить пропускную способность, установив переменную среды AZCOPY_CONCURRENCY_VALUE. Эта переменная определяет количество одновременных запросов, которые могут возникнуть.

Если на вашем компьютере меньше 5 процессоров, то значение этой переменной устанавливается равным 32. В противном случае значение по умолчанию равно 16, умноженному на количество процессоров. Максимальное значение по умолчанию для этой переменной - 3000, но вы можете вручную установить это значение выше или ниже.

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-configure#optimize-throughput

person Shiraz Bhaiji    schedule 31.03.2021
comment
Спасибо @ShirazBhaiji за информацию и ссылку. - person Sulabh Shrestha; 01.04.2021