Сбой многоузлового кластера Hadoop 2.6 из-за исключения подключения при запуске примера jar

Любой пример приложения mapreduce hadoop 2.6 выдает ту же ошибку - java.net.ConnectException: соединение отклонено; Вывод ошибки:

    hduser@localhost:~$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /usr/local/hadoop/input  output_wordcount
15/05/26 06:01:14 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.111.72:8040
15/05/26 06:01:15 INFO input.FileInputFormat: Total input paths to process : 1
15/05/26 06:01:15 INFO mapreduce.JobSubmitter: number of splits:1
15/05/26 06:01:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1432599812585_0002
15/05/26 06:01:16 INFO impl.YarnClientImpl: Submitted application application_1432599812585_0002
15/05/26 06:01:16 INFO mapreduce.Job: The url to track the job: http://localhost.localdomain:8088/proxy/application_1432599812585_0002/
15/05/26 06:01:16 INFO mapreduce.Job: Running job: job_1432599812585_0002
15/05/26 06:01:37 INFO mapreduce.Job: Job job_1432599812585_0002 running in uber mode : false
15/05/26 06:01:37 INFO mapreduce.Job:  map 0% reduce 0%
15/05/26 06:01:37 INFO mapreduce.Job: Job job_1432599812585_0002 failed with state FAILED due to: Application application_1432599812585_0002 failed 2 times due to Error launching appattempt_1432599812585_0002_000002. Got exception: java.net.ConnectException: Call From localhost.localdomain/127.0.0.1 to localhost.localdomain:56148 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:731)
    at org.apache.hadoop.ipc.Client.call(Client.java:1472)
    at org.apache.hadoop.ipc.Client.call(Client.java:1399)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
    at com.sun.proxy.$Proxy31.startContainers(Unknown Source)
    at org.apache.hadoop.yarn.api.impl.pb.client.ContainerManagementProtocolPBClientImpl.startContainers(ContainerManagementProtocolPBClientImpl.java:96)
    at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:119)
    at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:254)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:494)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:607)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:705)
    at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:368)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1521)
    at org.apache.hadoop.ipc.Client.call(Client.java:1438)
    ... 9 more
. Failing the application.
15/05/26 06:01:37 INFO mapreduce.Job: Counters: 0

Мой / etc / hosts выглядит так:

127.0.0.1       localhost.localdomain localhost
127.0.1.1       ubuntu-Standard-PC-i440FX-PIIX-1996

192.168.111.72  master
192.168.111.65  slave1
192.168.111.66  slave2

# The following lines are desirable for IPv6 capable hosts
#::1     ip6-localhost ip6-loopback
#fe00::0 ip6-localnet
#ff00::0 ip6-mcastprefix
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters

Я закомментировал строки ipv6 после того, как попробовал много других возможностей. Мне интересно, где на самом деле ошибка. Заранее благодарим за ответ.

Спасибо за ответ @Ashok. Но jps на главном и подчиненном показывает, что все демоны работают. Присоединение вывода-

Главный hduser @ localhost: ~ $ jps 23518 Jps 10442 NameNode 10752 SecondaryNameNode 12348 ResourceManager

Slave1 hduser @ localhost: ~ $ jps 28691 NodeManager 13987 Jps 27298 Узел данных

То же самое и для slave2.


person rajesh    schedule 25.05.2015    source источник
comment
У меня бегают два раба; раб1, раб2. Но yarn node -list показывает как localhost 15/05/27 06:32:50 INFO client.RMProxy: Подключение к ResourceManager на master / 192.168.111.72: 8040 Всего узлов: 2 Node-Id Node-State Node-Http-Address Количество работающих контейнеров localhost.localdomain: 58139 РАБОТАЕТ localhost.localdomain: 8042 0 localhost.localdomain: 57312 РАБОТАЕТ localhost.localdomain: 8042 0   -  person rajesh    schedule 26.05.2015


Ответы (2)


Нашел решение !!

Call From localhost.localdomain/127.0.0.1 to localhost.localdomain:56148 failed on connection exception: java.net.ConnectException: Connection refused;

И главное, и подчиненное устройство имели имена хостов localhost.localdomain в / etc / hostname.
Я изменил имена хостов подчиненных устройств на slave1 и slave2. Это сработало. Спасибо всем за ваше время.

person rajesh    schedule 28.05.2015

Кажется, что ваш Namenode не работает или какие-либо другие демоны не работают, также убедитесь, что вы можете пинговать между узлами.

person Ashok Kumar    schedule 25.05.2015
comment
Спасибо за ваш ответ. Но jps на главном и подчиненном показывает, что все демоны работают. Присоединение вывода - hduser @ localhost: ~ $ jps 23518 Jps 10442 NameNode 10752 SecondaryNameNode 12348 ResourceManager - person rajesh; 26.05.2015