Почему образ докера занимает место на диске, которое не используется докером

Это проблема ядра с devicemapper, которая влияет на семейство ОС RedHat (RedHat, Fedora, CentOS и Amazon Linux). Удаленные контейнеры не освобождают место на отображаемом диске. Это означает, что в затронутых ОС у вас будет медленно заканчиваться свободное место при запуске и перезапуске контейнеров.

Проект Docker знает об этом, и ядро ​​якобы исправлено в апстриме (https://github.com/docker/docker/issues/3182).

Своего рода обходной путь — предоставить Docker собственный том для записи ("Когда Docker занимает место на диске"). На самом деле это не мешает ему занимать место, а просто уничтожать другие части вашей системы после того, как это произойдет.

Мое решение состояло в том, чтобы удалить докер, затем удалить все его файлы, а затем переустановить:

sudo yum remove docker
sudo rm -rf /var/lib/docker
sudo yum install docker

Это вернуло мое пространство, но это не сильно отличается от простого запуска заменяющего экземпляра. Более приятного решения я не нашел.

Мне не подходит удаление всего файла /var/lib/docker. Это более безопасные способы:

Решение 1.

Следующие команды из проблемы освобождают место для меня, и это намного безопаснее, чем удаление /var/lib/docker или для Windows проверьте расположение образа диска здесь.

До:

docker info

Пример вывода:

Metadata file: 
Data Space Used: 53.38 GB
Data Space Total: 53.39 GB
Data Space Available: 8.389 MB
Metadata Space Used: 6.234 MB
Metadata Space Total: 54.53 MB
Metadata Space Available: 48.29 MB

Команда в новых версиях Docker, например. 17.x+

docker system prune -a

Он покажет вам предупреждение о том, что он удалит все остановленные контейнеры, сети, изображения и кеш сборки. Как правило, это безопасно удалить. (В следующий раз, когда вы запустите контейнер, он может извлечь данные из реестра Docker)

Пример вывода:

Total reclaimed space: 1.243GB

Затем вы можете снова запустить информацию о докере, чтобы увидеть, что было очищено.

docker info

Решение 2.

Наряду с этим убедитесь, что ваши программы внутри контейнера докеров не записывают много/огромных файлов в файловую систему.

Проверьте размер используемого пространства запущенным процессом докера.

docker ps -s #may take minutes to return

или для всех контейнеров, даже закрытых

docker ps -as #may take minutes to return

Затем вы можете удалить оскорбительный контейнер/ы

docker rm <CONTAINER ID>

Найдите возможного виновника, который может использовать гигабайты пространства

docker exec -it <CONTAINER ID> "/bin/sh"
du -h

В моем случае программа записывала гиги временных файлов.

(Натаниэль Вайсброт упомянул в принятом ответе этот issue, и я получил некоторую информацию об этой проблеме)

ИЛИ

Команды в старых версиях Docker, например. 1.13.x (запуск от имени пользователя root, а не sudo):

# Delete 'exited' containers
docker rm -v $(docker ps -a -q -f status=exited)

# Delete 'dangling' images (If there are no images you will get a docker: "rmi" requires a minimum of 1 argument)
docker rmi $(docker images -f "dangling=true" -q)

# Delete 'dangling' volumes (If there are no images you will get a docker: "volume rm" requires a minimum of 1 argument)
docker volume rm $(docker volume ls -qf dangling=true)

После:

> docker info
Metadata file: 
Data Space Used: 1.43 GB
Data Space Total: 53.39 GB
Data Space Available: 51.96 GB
Metadata Space Used: 577.5 kB
Metadata Space Total: 54.53 MB
Metadata Space Available: 53.95 MB

Переместите каталог /var/lib/docker.

Предполагая, что в каталоге /data достаточно места, если нет, замените тот, который есть,

sudo systemctl stop docker

sudo mv /var/lib/docker /data


sudo ln -s /data/docker /var/lib/docker

sudo systemctl start docker

Таким образом, вам не нужно перенастраивать docker.

Была такая же проблема. В моем сценарии в моем vbox не хватало места для хранения. После расследования выяснилось, что мои локальные тома докера занимают 30 ГБ. Хост Ubuntu 16.04.

Чтобы узнать свое.

docker system df

TYPE                TOTAL               ACTIVE              SIZE                RECLAIMABLE
Images              3                   0                   1.361GB             1.361GB (100%)
Containers          0                   0                   0B                  0B
Local Volumes       7                   0                   9.413GB             9.413GB (100%)
Build Cache                                                 0B                  0B



docker system prune --volumes


  WARNING! This will remove:
        - all stopped containers
        - all networks not used by at least one container
        - all volumes not used by at least one container
        - all dangling images
        - all build cache
Are you sure you want to continue? [y/N]

Это освобождает дисковое пространство неиспользуемых локальных томов. По моему сценарию освободилось 20 ГБ дискового пространства. Прежде чем делать это, убедитесь, что контейнеры, которые вы хотите сохранить, работают, если вы хотите их сохранить, поскольку при этом будут удалены все остановленные контейнеры.

У меня была похожая проблема, и я думаю, что это происходит, когда у вас недостаточно места на диске для всех ваших образов докеров. У меня было зарезервировано 6 ГБ для образов докеров, которых в моем случае оказалось недостаточно. В любом случае, я удалил все образы и контейнеры, но диск все еще выглядел заполненным. Большая часть пространства использовалась /var/lib/docker/devicemapper и /var/lib/docker/tmp.

Эта команда у меня не сработала:

# docker ps -qa | xargs docker inspect --format='{{ .State.Pid }}' | xargs -IZ fstrim /proc/Z/root/

Во-первых, я остановил службу докеров:

sudo service docker stop

Затем я удалил /var/lib/docker:

Затем я сделал то, что кто-то предложил здесь в https://github.com/docker/docker/issues/18867#issuecomment-232301073

• Удалить существующий экземпляр метаданных докера rm -rf /var/lib/docker

  sudo rm -rf /var/lib/докер

• Передайте следующие параметры демону docker: -s devicemapper --storage-opt dm.fs=xfs --storage-opt dm.mountopt=discard

• Запустите демон докера.

Для последних двух шагов я запускаю:

sudo dockerd -s devicemapper --storage-opt dm.fs=xfs --storage-opt dm.mountopt=discard

Docker prune по умолчанию не удаляет тома,

вы можете попробовать что-то вроде

docker volume prune -f

Как упоминалось в проблеме #18867 - Удаление данных в контейнере devicemapper не может освободить используемое пространство. с Github.com

Попробуйте запустить следующую команду:

# docker ps -qa | xargs docker inspect --format='{{ .State.Pid }}' | xargs -IZ fstrim /proc/Z/root/

Он использует инструмент fstrim для обрезки диска с тонкой инициализацией в devicemapper.

Для тех, кто сталкивается с этой проблемой в MacOS, решение, которое сработало для меня, состояло в том, чтобы найти файл Docker.raw, который Docker использует для резервирования логического пространства на хосте, а затем удалить его. Если у вас есть Docker Desktop, вы можете:

Preferences -> Resources -> Advanced, а затем посмотрите на вкладку Disk image location.

Перейдите в эту папку в терминале и просто удалите файл Docker.raw ($ rm -rf Docker.raw)

Важное примечание. Делайте это только в том случае, если вам не нужны какие-либо существующие образы или тома.

может быть, вы можете попробовать docker system prune удалить все изображения, которые не важны

Да, Docker использует папку /var/lib/docker для хранения слоев. Есть способы освободить место и переместить хранилище в другой каталог.

Вы можете смонтировать большее дисковое пространство и переместить содержимое /var/lib/docker в новое место монтирования и создать символическую ссылку.

Существует подробное объяснение того, как выполнить вышеуказанную задачу.

http://www.scmtechblog.net/2016/06/clean-up-docker-images-from-local-to.html

Вы также можете удалить промежуточные слои.

https://github.com/vishalvsh1/docker-image-cleanup