Sqoop: Exception ERROR tool.ImportTool: Ошибка импорта: java.net.UnknownHostException: хост: хост: неизвестная ошибка при импорте

Я пытаюсь импортировать данные из MYSQL в Hadoop, но получаю исключение ниже. Может кто-нибудь, пожалуйста, помогите мне. пожалуйста, найдите трассировку стека ниже:

Команда:

sqoop import --connect jdbc:mysql://localhost/sqoopdb --username 'root' -P --table 'company' --target-dir '/sqoopout' -m 1

     18/05/26 00:13:25 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032
18/05/26 00:13:45 ERROR tool.ImportTool: Import failed: java.net.ConnectException: Call From java.net.UnknownHostException: host: host: unknown error to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
    at org.apache.hadoop.ipc.Client.call(Client.java:1479)
    at org.apache.hadoop.ipc.Client.call(Client.java:1412)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
    at com.sun.proxy.$Proxy9.getFileInfo(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:771)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy10.getFileInfo(Unknown Source)
    at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:2108)
    at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1305)
    at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1301)
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
    at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1301)
    at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1424)
    at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:145)
    at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
    at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:200)
    at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:173)
    at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:270)
    at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:692)
    at org.apache.sqoop.manager.MySQLManager.importTable(MySQLManager.java:127)
    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:520)
    at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:614)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)
    at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:375)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1528)
    at org.apache.hadoop.ipc.Client.call(Client.java:1451)
    ... 40 more

sqoop sqoop2
person Saurabh P    schedule 26.05.2018    source источник
comment
Привет, Робин, я вставил полную трассировку стека. что я чувствую, когда он пытается подключиться к управлению ресурсами, он терпит неудачу. где-то мне не хватает некоторых настроек в hdfs-site.xml или core-site.xml или yarn-site.xml   -  person Saurabh P    schedule 26.05.2018
comment
Это говорит о том, что для получения более подробной информации см.: wiki.apache.org/hadoop/ConnectionRefused - вы прочитать эту страницу?   -  person Robin Green    schedule 26.05.2018
comment
да на самом деле, я видел это, но не смог выяснить точную проблему. в betn, если я запускаю команду, hadoop fs -ls, тогда я также получаю эту ошибку. Вызов из java.net.UnknownHostException: host: host: неизвестная ошибка на localhost: 9000 не удалось выполнить исключение соединения: java.net.ConnectException: соединение отклонено;   -  person Saurabh P    schedule 26.05.2018
comment
@SaurabhP вместо того, чтобы указывать локальный хост, вы можете попробовать указать IP-адрес хоста или все запущенные службы?   -  person Sandeep Singh    schedule 26.05.2018

Ответы (1)


arrow_upward
0
arrow_downward

Пожалуйста, убедитесь, что hdfs и пряжа запущены и работают.

Вы можете использовать команду jps, чтобы увидеть, работают ли hdfs и пряжа или нет.

если нет, запустите start-dfs.sh и start-yarn.sh.

теперь запустить jps будет отображаться как

5316 jps
3704 NameNode
3984 SecondaryNameNode
3802 DataNode
4242 NodeManager
4140 ResourceManager
person sarath kumar    schedule 27.05.2018
comment
Привет, Сарат, на самом деле я уже запускал эти службы, но даже если я запускаю эту команду hadoop fs -ls, я также получаю такое же сообщение об ошибке отказа в соединении. Вызов из java.net.UnknownHostException: host: host: неизвестная ошибка на localhost: 9000 не удалось выполнить исключение соединения: java.net.ConnectException: соединение отклонено - person Saurabh P; 28.05.2018
comment
Вы настроили ключ ssh-keygen? ssh-keygen -t rsa -P ''" cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys sudo vim /etc/ssh/sshd_config изменить свойство -› PasswordAuthentication yes sudo service ssh restart ssh localhost попробуйте это и посмотрите, есть ли у вас та же проблема, спасибо !!! - person sarath kumar; 28.05.2018