сервер zookeeper не запущен

Пытаюсь запустить мастер hbase от амбари.

Он не может запустить его, потому что не может подключиться к серверу zookeper.

Ambari отмечает все серверы zookeper (3 узла) как работающие.

Сервер приложений (tomcat¿?), На котором запущено приложение сервера zookeper, кажется, работает нормально; По крайней мере, служба прослушивает указанный порт.

Но приложение не может подключиться к другим узлам, и кажется, что оно не запускается.

Все соединения закрываются с сообщением об ошибке ZooKeeperServer not running в журнале сервера zookeeper и zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x0, likely server has closed socket на клиенте.

Это вывод журнала сервера zookeper для этих узлов (одинаковый журнал для всех, меняются только имена узлов):

2016-03-31 16:15:34,550 - INFO  [main:QuorumPeerConfig@103] - Reading configuration from: /usr/hdp/current/zookeeper-server/conf/zoo.cfg
2016-03-31 16:15:34,553 - INFO  [main:QuorumPeerConfig@338] - Defaulting to majority quorums
2016-03-31 16:15:34,557 - INFO  [main:DatadirCleanupManager@78] - autopurge.snapRetainCount set to 30
2016-03-31 16:15:34,557 - INFO  [main:DatadirCleanupManager@79] - autopurge.purgeInterval set to 24
2016-03-31 16:15:34,558 - INFO  [PurgeTask:DatadirCleanupManager$PurgeTask@138] - Purge task started.
2016-03-31 16:15:34,565 - INFO  [PurgeTask:DatadirCleanupManager$PurgeTask@144] - Purge task completed.
2016-03-31 16:15:34,566 - INFO  [main:QuorumPeerMain@127] - Starting quorum peer
2016-03-31 16:15:34,573 - INFO  [main:NIOServerCnxnFactory@94] - binding to port 0.0.0.0/0.0.0.0:2181
2016-03-31 16:15:34,582 - INFO  [main:QuorumPeer@992] - tickTime set to 2000
2016-03-31 16:15:34,582 - INFO  [main:QuorumPeer@1012] - minSessionTimeout set to -1
2016-03-31 16:15:34,582 - INFO  [main:QuorumPeer@1023] - maxSessionTimeout set to -1
2016-03-31 16:15:34,582 - INFO  [main:QuorumPeer@1038] - initLimit set to 10
2016-03-31 16:15:34,598 - INFO  [Thread-2:QuorumCnxManager$Listener@506] - My election bind port: sg1.imatiasl.lan/127.0.0.1:3888
2016-03-31 16:15:34,607 - INFO  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumPeer@747] - LOOKING
2016-03-31 16:15:34,608 - INFO  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@815] - New election. My id =  1, proposed zxid=0x0
2016-03-31 16:15:34,609 - INFO  [WorkerReceiver[myid=1]:FastLeaderElection@597] - Notification: 1 (message format version), 1 (n.leader), 0x0 (n.zxid), 0x1 (
n.round), LOOKING (n.state), 1 (n.sid), 0x0 (n.peerEpoch) LOOKING (my state)
2016-03-31 16:15:34,612 - WARN  [WorkerSender[myid=1]:QuorumCnxManager@383] - Cannot open channel to 2 at election address sg2.imatiasl.lan/10.7.0.93:3888
java.net.ConnectException: Connection refused
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:341)
        at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:449)
        at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:430)
        at java.lang.Thread.run(Thread.java:745)
2016-03-31 16:15:34,614 - WARN  [WorkerSender[myid=1]:QuorumCnxManager@383] - Cannot open channel to 3 at election address sg3.imatiasl.lan/10.7.0.94:3888
java.net.ConnectException: Conexión rehusada
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:341)
        at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:449)
        at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:430)
        at java.lang.Thread.run(Thread.java:745)
2016-03-31 16:15:34,812 - WARN  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@383] - Cannot open channel to 2 at election address sg2.imatiasl.la
n/10.7.0.93:3888
java.net.ConnectException: Connection refused
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:404)
        at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)
        at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:795)
2016-03-31 16:15:34,813 - WARN  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@383] - Cannot open channel to 3 at election address sg3.imatiasl.la
n/10.7.0.94:3888
java.net.ConnectException: Connection refused
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:404)
        at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)
        at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:795)
2016-03-31 16:15:34,813 - INFO  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@849] - Notification time out: 400

Когда клиент пытается подключиться:

2016-03-31 16:15:35,086 - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /10.7.0.93:55914
2016-03-31 16:15:35,130 - WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@362] - Exception causing close of session 0x0 due to java.io.IOExcep
tion: ZooKeeperServer not running
2016-03-31 16:15:35,130 - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection for client /10.7.0.93:55914 (no ses
sion established for client)

И так далее...

Есть какие нибудь идеи как это починить?


apache-zookeeper hbase ambari
person NotGaeL    schedule 01.04.2016    source источник

Ответы (3)


arrow_upward
5
arrow_downward

Ваш порт выборов привязан к sgX.imatiasl.lan/127.0.0.1:3888 для всех узлов, поэтому, когда клиенты пытаются подключиться к sgY.imatiasl.lan/10.7.0.93:3888, это терпит неудачу.

Порты выбора должны быть привязаны к 0.0.0.0:3888 или реальному IP-адресу каждого узла, но по какой-то причине они разрешаются до 127.0.0.1. Вы можете проверить IP: порт в каждом узле с помощью netstat -patun, чтобы подтвердить это.

Скорее всего, у вас проблемы с /etc/hosts. Взгляните на: https://unix.stackexchange.com/questions/240506/zookeeper-dns-name-problems-with-leader-elections-when-migrating-from-windows-to

person Alfonso Nishikawa    schedule 04.04.2016
comment
Спасибо! Я привязывал sgX к 127.0.0.1 в / etc / hosts каждого sgX (что, кстати, я сделал, чтобы решить некоторую проблему во время настройки кластера, которую я даже не помню), и это была проблема. - person NotGaeL; 04.04.2016
comment
Теперь я могу без проблем запустить zookeeper и hbase RegionServer, но мастер HBase все еще сопротивляется. Я получаю UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 58: ordinal not in range(128) на checked_call['curl -sS -L -w '%{http_code}' -X GET 'http://sg1.imatiasl.lan:50070/webhdfs/v1/apps/hbase/data?op=GETFILESTATUS&user.name=hdfs''] {'logoutput': None, 'user': 'hdfs', 'stderr': -1, 'quiet': False}. Вы знаете, как я могу это решить? - person NotGaeL; 04.04.2016
comment
(разместил здесь еще один вопрос: stackoverflow.com/questions/36409105/) - person NotGaeL; 04.04.2016
comment
Я не использую Ambari и не знаю python, но, похоже, это связано с 'ñ' и тильдами. Попробуйте удалить их, где бы они ни находились, или используйте строки Unicode u '..'. Большего вывести не могу :( salvatorelab.es/2013/12/ - person Alfonso Nishikawa; 05.04.2016
comment
как сказал NotGael, имейте в виду, что если вы привязали какое-то имя хоста к ip, например 127.0.1.1 в / etc / hosts, даже с несколькими серверами, Zookeeper не сможет установить соединение с сервером 2 - person quazardous; 10.08.2018

arrow_upward
0
arrow_downward

2016-03-31 16:15:34,813 - WARN [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@383] - Cannot open channel to 3 at election address sg3.imatiasl.la Один из ваших узлов отказывается подключаться.

person kliew    schedule 02.04.2016
comment
все мои узлы отказываются от соединений. Этот не может подключиться к двум другим, и эти двое не могут подключиться ни к этому, ни друг к другу. Такое случается, когда я пытаюсь запустить zookeeper. Амбари говорит, что запускается правильно, но, как вы можете видеть в журналах, это не так. Ты знаешь почему? - person NotGaeL; 04.04.2016

arrow_upward
0
arrow_downward

Попробуйте выполнить команду "jps" на своих узлах и посмотрите, работает ли служба zookeeper, если не запускайте ее.

person 15412s    schedule 03.04.2016
comment
Я запустил jps -l как пользователь zookeeper и получил 612 org.apache.zookeeper.server.quorum.QuorumPeerMain, так что, думаю, это так. Что я могу сделать сейчас? - person NotGaeL; 04.04.2016
comment
ты можешь перезагрузиться? или убить процессы? Я думаю, вы хотели запустить только одну службу zookeeper, запускаете ли вы какой-либо скрипт для инициализации ZK, который, возможно, имеет какой-то плохой цикл внутри? - person 15412s; 05.04.2016