Автоматически повторять загрузку aria2c для использования в скрипте

Я работаю над скриптом python, в котором я webcrape загружаю ссылки, а затем загружаю их одну за другой, используя aria2 загрузчик ' aria2c.exe' следующим образом:

import os
#...
for downloadLink in someList:
     os.system("aria2c -x 5 " + downloadLink + " -o " + filename + ".mp4")
#...

Как видите, если какая-либо загрузка завершается с ошибкой, процесс "aria2c -x 5 ... -o ..." завершается и начинается следующая "downloadLink". скачать aria2.

Я хочу, чтобы aria2c автоматически повторял попытку в случае сбоя. Я хочу, чтобы он вел себя как Internet Download Manager (IDMan). IDMan загружает его намного лучше, чем aria2 (высокая скорость и автоматический повтор).

Поэтому, пожалуйста, дайте мне лучшие параметры команды, которые я должен использовать с aria2, потому что я хочу, чтобы загрузка была быстрой и надежной!


person Ali Sajjad    schedule 22.03.2020    source источник


Ответы (1)


Прежде всего, вы можете использовать опцию --input-file и передавать все ссылки одновременно, таким образом, aria2 сможет скачивать несколько файлов параллельно, если вы этого захотите.

Затем используйте параметр --save-session, чтобы сохранить список. файлов, которые не удалось загрузить. Если файл сеанса не пуст, возникают сбои. Перезапустите aria2 с сохраненным сеансом в качестве входных данных.

Вы также можете использовать параметр --continue, чтобы остановить aria2 от повторная загрузка существующего файла.

См. Какой-либо способ сохранить только список неудачных загрузок? вопрос для примера сценария, который в основном делает то, что вы хотите.

person Alexey Ivanov    schedule 26.01.2021