Узнайте фактическое использование диска в HDFS

Есть ли способ узнать, сколько места потребляется в HDFS? я использовал

hdfs dfs -df

но это, кажется, не актуальная причина после удаления огромного количества данных с помощью

hdfs dfs -rm -r -skipTrash

предыдущая команда отображает изменения не сразу, а через несколько минут (мне нужна актуальная информация об использовании диска).


hadoop hdfs bigdata diskspace
person Aliaxander    schedule 07.08.2015    source источник
comment
Нет решения?? Пожалуйста, прокомментируйте ответ, который показывает действительное решение.   -  person Peter Krauss    schedule 16.12.2019

Ответы (2)


arrow_upward
3
arrow_downward

hadoop cli устарел. Вместо этого используйте hdfs.

Папка мудрая:

sudo -u hdfs hdfs dfs -du -h /

Мудрый кластер:

sudo -u hdfs hdfs dfsadmin -report
person belgacea    schedule 28.11.2018

arrow_upward
6
arrow_downward

Чтобы увидеть пространство, занимаемое определенной папкой, попробуйте:

hadoop fs -du -s /folder/path

И если вы хотите увидеть использование, потребляемое пространство, доступное пространство и т. д. всей HDFS:

hadoop dfsadmin -report
person Balduz    schedule 07.08.2015
comment
К сожалению, hadoop dfsadmin -report тоже показывает не актуальную информацию. - person Aliaxander; 07.08.2015
comment
... И правильная команда сегодня (2019 г.) - hdfs dfsadmin -report - person Peter Krauss; 16.12.2019