Как убить задание mapred, запущенное ульем?

Я сейчас работаю с CDH 5.1. Он запускает обычное задание Hadoop YARN, но hive все еще работает с mapred. Иногда большой запрос долго висит и хочется его убить.

Я могу найти эту большую работу с помощью веб-консоли JobTracker, хотя в ней нет кнопки, чтобы убить ее.

Другой способ — убить через командную строку. Однако я не смог найти ни одной работы, работающей из командной строки.

Я пробовал 2 команды:

  • yarn application -list
  • mapred job -list

Как убить такой большой запрос?


person 2shou    schedule 12.02.2015    source источник


Ответы (1)


Вы можете получить идентификатор задания из интерфейса командной строки Hive при запуске задания или из веб-интерфейса. Вы также можете перечислить идентификаторы заданий, используя идентификатор приложения из диспетчера ресурсов. В идеале вы должны получать все от

mapred job -list

or

hadoop job -list

Используя идентификатор задания, вы можете убить его с помощью приведенной ниже команды.

hadoop job -kill <job_id>

Другой альтернативой было бы убить приложение, используя

yarn application -kill <application_id>
person Harman    schedule 12.02.2015
comment
Я пытался, но потерпел неудачу с Application with id 'application_201502060008_2375' doesn't exist in RM, кажется, используется YARN, но mapred. - person 2shou; 12.02.2015
comment
Замените задание на приложение... оно должно работать... ApplicationId отличается от JobId... ApplicationId предназначен для Yarn. - person Pradeep Gollakota; 12.02.2015
comment
Моя исходная команда — hadoop job -kill job_201502060008_2375, а job заменена на application. Я не знаю почему. - person 2shou; 12.02.2015
comment
Как я уже упоминал, вы также можете получить команду kill из Hive CLI. Это даст вам команду убить, как только начнется казнь. - person Harman; 12.02.2015
comment
Спасибо. Как мне найти команду kill, когда я закрыл Hive CLI? - person 2shou; 13.02.2015
comment
@2shou можешь принять ответ, если он тебе помог? - person Harman; 02.07.2016