У нас возникла странная проблема при попытке передать большой объем данных с помощью distcp в другой кластер. Чтобы выдать несколько цифр, Размер данных = 320 ГБ Количество картографов = ~70 Общее количество узлов в нашем кластере 82 src...

Ниже приведен код клиента в системе, отличной от Hadoop, для выполнения действий на защищенной удаленной файловой системе HDFS. Configuration conf = new Configuration(); conf.set("hadoop.security.authentication", "kerberos");...

Я следую этой документации о моей версии webHDFS (2.6) и попытке добавить в уже существующий файл в системе. Проблема, которая меня смущает, заключается в том, что в документах говорится, что я получу перенаправление на соответствующий узел...

Я использовал apache-httpclient и webhdfs для создания и загрузки файла (.jar) в HDFS. Наконец, он ответил 201 и content-length=0. Но когда я нашел файл на HDFS, его длина была 0. Что не так? И что я должен сделать, чтобы загрузить файл jar?...

Я использую команду curl для доступа к hadoop (webhdfs), а для разбора ответа http я использую python. Но после запуска команды curl возвращается несколько ответов. curl -i "http://host:50070/webhdfs/v1/user/hduser/pigtest?op=GETFILESTATUS"...

НА ЭТОТ ВОПРОС ОТВЕЧУ САМА Проблема: Я не могу получить доступ к HBase, выдается печально известная znode == null трассировка стека при вызове команды из оболочки Hbase (все это на Cloudera quickstart CDH 5.5)

Я хотел бы, чтобы агент Flume находился за пределами кластера Hadoop и хотел бы знать, можно ли использовать Flume для отправки сообщений в кластер Hadoop с использованием WebHDFS. Если нет, есть ли альтернативы использованию WebHDFS?...

Есть ли способ или какая-либо команда, с помощью которой я могу узнать дисковое пространство каждого узла данных или общее дисковое пространство кластера? Я попробовал команду dfs -du -h / но кажется, что у меня нет разрешения на его...

Я пытаюсь использовать Hue в качестве файлового браузера для HDFS. Поэтому для этого я клонировал репозиторий hue и создал приложение со следующими командами, указанными в README.md репозитория hue. git clone...

Можно ли передать несколько аргументов в URL-адресе, используя, например, webhdfs, как показано ниже?...

Я установил HDFP 3.0.1 в Vmware. DataNode и NameNode работают Я загружаю файлы из AmbariUI/Terminal в HDFS, все работает. Когда я пытаюсь записать данные: Configuration conf = new Configuration(); conf.set("fs.defaultFS",...