Нужно вручную создать dfs.domain.socket.path в Hadoop-2.0.0, чтобы использовать Impala?

Я следую инструкциям по настройке кластера hadoop-2.0.0 для установки Impala. В hdfs-site.xml я добавляю два свойства «dfs.client.read.shortcircuit» и «dfs.domain.socket.path» (/var/lib/hadoop-hdfs/dn_socket).

Но когда я запускаю кластер Hadoop с помощью start-dfs.sh, ему не удается запустить узлы данных. Журнал в узле данных говорит, что «не удалось указать компонент пути: '/var/lib/hadoop-hdfs'». Затем я вручную создаю /var/lib/hadoop-hdfs и снова запускаю кластер Hadoop. Он снова терпит неудачу, и в журнале говорится, что это проблема с правами доступа к этому каталогу. Хорошо. Я меняю владельца hadoop-hdfs с root на ubuntu (ubuntu — это имя пользователя машины). Теперь наконец-то работает нормально.

Я просто в замешательстве. Правильно ли я поступаю? Действительно ли нам нужно самим создавать /var/lib/hadoop-hdfs и менять разрешение или владельца этого каталога? Или я пропустил какой-то параметр конфигурации?


linux hadoop impala hadoop2
person Yongchao    schedule 24.09.2014    source источник
comment
Вы выполняете эту командную строку или используете или используете Cloudera Manager? Какая версия?   -  person rawkintrevo    schedule 09.07.2015
comment
Я сделал это из командной строки и никогда раньше не пробовал Cloudera Manager. Вы имеете в виду, что Cloudera Manager будет обрабатывать эту конфигурацию автоматически?   -  person Yongchao    schedule 10.07.2015

Ответы (3)


arrow_upward
0
arrow_downward

Я столкнулся с похожими проблемами, используя Cloudera Manager. Это была проблема с попыткой запуска в «однопользовательском режиме» вместо использования root. Я думаю, что вы делаете что-то подобное с пользователем ubuntu. Это чистая установка или вы обновляете / у вас была неудачная установка в прошлый раз?

Я предполагаю, что вы sudo-ed где-то должны были запустить что-то как «ubuntu».

Если вы можете заставить его работать, установив разрешения вручную, сделайте это. У меня такое ощущение, что в вашей системе скрывается множество других файлов, принадлежащих root, которые должны принадлежать ubuntu.

Как ни странно, если на сервере нет важных данных, я обнаружил, что проще очень тщательно удалить все файлы из старой установки, а затем переустановить новую.

person rawkintrevo    schedule 14.07.2015

arrow_upward
0
arrow_downward

Я столкнулся с аналогичной проблемой при запуске узлов данных. Затем я наткнулся на эту ссылку https://github.com/cloudera/Impala/wiki/Build-prerequisites, где указано, что нам нужно создать /var/lib/hadoop-hdfs вручную и установить соответствующие разрешения. Это также решило мою проблему.

person Valencia Serrao    schedule 22.04.2016

arrow_upward
0
arrow_downward

Убедитесь, что каталог /var/lib/hadoop-hdfs/present в порядке.

person Honghe.Wu    schedule 11.04.2018