При установке Cloudera Manager не удалось получить пульс от агента — добавить новые хосты в кластер

Я пытаюсь установить на Ubuntu 12.04.1 LTS диспетчер cloudera, используя стандартную версию, и когда я хочу добавить новый хост, я получаю следующую ошибку:

Installation failed.Failed to receive heartbeat from agent.
Ensure that the host's hostname is configured properly.
Ensure that port 7182 is accesible on the Cloudera Manager server (check firewall rules).
Ensure that ports 9000 an 9001 are free on the host being added.
Check agent logs in /var/log/cloudera-scm-agent/ on the host being added (some of the logs can be found in the installation details).

В файле /etc/hosts я настроил его как:

127.0.0.1 localhost
127.0.0.1 hadoop-ubuntu
192.168.5.xyz hadoop-ubuntu.dana.local hadoop-ubuntu
192.168.3.xyz ro-m81.dana.local ro-m81
192.168.3.abc ro-m41.dana.local ro-m41

Следующие строки желательны для хостов с поддержкой IPv6

::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters     
The **/var/log/cloudera-scm-agent/cloudera-scm-agent.log** shows the next error::   
[09/Oct/2013 16:04:23 +0000] 4532 MainThread agent ERROR Heartbeating to 192.168.5.xyz:7182 failed.
Traceback (most recent call last):
File "/usr/lib64/cmf/agent/src/cmf/agent.py", line 747, in send_heartbeat
response = self.requestor.request('heartbeat', dict(request=heartbeat))
File "/usr/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 145, in request
return self.issue_request(call_request, message_name, request_datum)
File "/usr/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 256, in issue_request
call_response = self.transceiver.transceive(call_request)
File "/usr/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 485, in transceive
result = self.read_framed_message()
File "/usr/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 489, in read_framed_message
response = self.conn.getresponse()
File "/usr/lib64/python2.6/httplib.py", line 990, in getresponse
response.begin()
File "/usr/lib64/python2.6/httplib.py", line 391, in begin
version, status, reason = self._read_status()
File "/usr/lib64/python2.6/httplib.py", line 349, in _read_status
line = self.fp.readline()
File "/usr/lib64/python2.6/socket.py", line 433, in readline
data = recv(1)
error: [Errno 104] Connection reset by peer

Пожалуйста, помогите мне найти, почему я получаю эту ошибку или что мне не хватает.


hadoop cloudera cloudera-manager
person DanaMihai    schedule 09.10.2013    source источник
comment
Кто-нибудь нашел лучшее решение для этого, чем редактирование файлов конфигурации?   -  person Bhushan    schedule 01.04.2014

Ответы (5)


arrow_upward
1
arrow_downward

Я была такая же проблема. Вот что помогло мне.

введите ifconfig и найдите свой IP-адрес. не 127.0.0.1.

введите $hostname и найдите свое имя хоста

отредактируйте файл /etc/hosts

добавьте туда запись для своего IP-адреса. что-то типа

192.168.8.xxx   hostname.test.com   hostname

перезапустить сервис клаудера. Перейдите на страницу sonic.test.com:7180 и повторите попытку. Он должен работать. Даже если это не сработало, перейдите по адресу http://hostname.test.com:7180/cmf/home проверить состояние хостов.

Оказалось, что, несмотря на то, что я получал ошибку сердцебиения, хост на самом деле был запущен и работал.

person vishnu viswanath    schedule 21.11.2013

arrow_upward
1
arrow_downward

Столкнулся с такой же проблемой, потом нашел решение.

Я использовал две машины одну для master и другую для slave

главная машина с cloudera-scm-server.

Я настроил /etc/hosts на обеих машинах, наконец ошибка исчезла.

IP-адрес главной машины: 192.168.1.10

In Master Machine /etc/hosts

127.0.0.1       localhost

192.168.1.10     <hostname>

IP подчиненной машины: 192.168.1.8

In Slave Machine /etc/hosts

127.0.0.1       localhost

192.168.1.8     <hostname>
person Gowtham Balusamy    schedule 10.10.2018

arrow_upward
0
arrow_downward

После проверки файлов хоста на всех узлах в кластере убедитесь, что вы открыли порты 7180 и 7182 на установщике и порт 9000 на узлах кластера (кроме установщика).

Я получал сообщение об ошибке «Ошибка инспектора. Исключение ввода-вывода» при установке Cloudera, пока не посмотрел журналы установщика (сервера) и не увидел, что клиенты не могут обмениваться данными через порт 9000.

person Jesuisme    schedule 19.08.2014

arrow_upward
0
arrow_downward

У меня была та же проблема с вами, и я решил ее, наконец.

У меня проблема заключалась в том, что версия агента cloudera-scm-agent отличается от версии сервера cloudera-scm-server, вы могли бы использовать dpkg или yum, чтобы проверить себя.

person Matt    schedule 24.09.2015

arrow_upward
0
arrow_downward

  1. Сначала проверьте статус агента Cloudera scm, работает ли он или нет, используя «статус sudo service cloudera-scm-agent».

2. проверьте файлы журнала агента в этом каталоге в /var/log/cloudera-scm-agent/

Ресурс разрешения: http://commandstech.com/what-is-heartbeat-in-hadoop-how-to-resolve-heartbeat-lost-in-cloudera-and-hortonworks/

person Spandana r    schedule 22.09.2019