Есть ли какая-либо библиотека, показывающая прогресс при добавлении файлов в tar-архив в python, или, альтернативно, можно было бы расширить функциональность модуля tarfile для этого?
В идеальном мире я хотел бы показать общий прогресс создания tar, а также ожидаемое время его завершения.
Любая помощь в этом будет очень признательна.
К сожалению, не похоже, что есть простой способ получить байт по номерам байтов.
Вы добавляете действительно большие файлы в этот tar-файл? Если нет, я бы обновлял прогресс пофайлово, чтобы по мере добавления файлов в tar прогресс обновлялся в зависимости от размера каждого файла.
Предположим, что все ваши имена файлов находятся в переменной toadd, а tarfile является объектом TarFile. Как насчет,
from itertools import imap
from operator import attrgetter
# you may want to change this depending on how you want to update the
# file info for your tarobjs
tarobjs = imap(tarfile.getattrinfo, toadd)
total = sum(imap(attrgetter('size'), tarobjs))
complete = 0.0
for tarobj in tarobjs:
sys.stdout.write("\rPercent Complete: {0:2.0d}%".format(complete))
tarfile.add(tarobj)
complete += tarobj.size / total * 100
sys.stdout.write("\rPercent Complete: {0:2.0d}%\n".format(complete))
sys.stdout.write("Job Done!")
Найдите или напишите похожий на файл файл, который обертывает реальный файл, предоставляющий отчеты о ходе выполнения, и передайте его в Tarfile.addfile(), чтобы вы могли знать, сколько байтов было запрошено для включения в архив. Возможно, вам придется использовать/внедрить регулирование на случай, если Tarfile попытается сразу прочитать весь файл.
Недавно я написал библиотеку-оболочку, которая обеспечивает обратный вызов прогресса. Взгляните на это на git hub:
https://github.com/thomaspurchas/tarfile-Progress-Reporter
Не стесняйтесь обращаться за помощью, если вам это нужно.
Похоже, вы можете использовать параметр filter для tarfile.add()
with tarfile.open(<tarball path>, 'w') as tarball:
tarball.add(<some file>, filter = my_filter)
def my_filter(tarinfo):
#increment some count
#add tarinfo.size to some byte counter
return tarinfo
Вам доступна вся информация, которую вы можете получить от объекта TarInfo.
Как вы добавляете файлы в файл tar? Это через «добавить» с рекурсивным = True? Вы можете составить список файлов самостоятельно и вызывать «добавить» один за другим, показывая прогресс по мере продвижения. Если вы строите из потока/файла, то похоже, что вы можете обернуть этот fileobj, чтобы увидеть статус чтения и передать его в addfile.
Не похоже, что вам вообще нужно будет модифицировать tarfile.py.
