Я пытаюсь смоделировать среду Hadoop, используя последнюю версию Hadoop 2.6.0, Java SDK 1.70 на моем рабочем столе Ubuntu. Я настроил hadoop с необходимыми параметрами среды, и все его процессы запущены и работают, и их можно увидеть с помощью следующей команды jps:
nandu@nandu-Desktop:~$ jps 2810 NameNode 3149 SecondaryNameNode 3416 NodeManager 3292 ResourceManager 2966 DataNode 4805 Jps
Я также мог видеть вышеуказанную информацию и файлы dfs через браузер Firefox. Однако, когда я пытался запустить простое задание WordCound MapReduce, оно зависало, не выводило никаких результатов и не отображало никаких сообщений об ошибках. Через некоторое время я остановил процесс с помощью команды hadoop job -kill. Не могли бы вы помочь мне найти причину этой проблемы и как ее решить? Ниже я привожу скриншот начала и завершения (завершения) задания.
Если вам нужна дополнительная информация, дайте мне знать.
Мы будем очень благодарны за вашу помощь.
Спасибо,
=================================================================== nandu@nandu-Desktop:~/dev$ hadoop jar wc.jar WordCount /user/nandu/input /user/nandu/output 15/02/27 10:35:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/02/27 10:35:20 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 15/02/27 10:35:21 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 15/02/27 10:35:21 INFO input.FileInputFormat: Total input paths to process : 2 15/02/27 10:35:21 INFO mapreduce.JobSubmitter: number of splits:2 15/02/27 10:35:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1425048764581_0003 15/02/27 10:35:22 INFO impl.YarnClientImpl: Submitted application application_1425048764581_0003 15/02/27 10:35:22 INFO mapreduce.Job: The url to track the job: http://nandu-Desktop:8088/proxy/application_1425048764581_0003/ 15/02/27 10:35:22 INFO mapreduce.Job: Running job: job_1425048764581_0003 ==================== at this point the job was killed =================== 15/02/27 10:38:23 INFO mapreduce.Job: Job job_1425048764581_0003 running in uber mode : false 15/02/27 10:38:23 INFO mapreduce.Job: map 0% reduce 0% 15/02/27 10:38:23 INFO mapreduce.Job: Job job_1425048764581_0003 failed with state KILLED due to: Application killed by user. 15/02/27 10:38:23 INFO mapreduce.Job: Counters: 0
