Получить данные, вызвавшие сбой задания MapReduce

Что мне нужно, так это способ загрузить сегмент данных, который скрипт обрабатывал при сбое.

Описание «keep.failed.task.files»: «Должны ли храниться файлы для неудачных задач. Это следует использовать только для заданий, которые терпят неудачу, потому что хранилище никогда не восстанавливается. Это также предотвращает стирание выходных данных карты из сокращать каталог по мере их использования».

По умолчанию установлено значение false. Измените это свойство на true, и данные должны быть доступны в случае сбоя задачи. Данные могут быть переданы на компьютер разработчика и программа отлажена. легко в Eclipse.

Все, что я могу сделать, это посмотреть на журналы ошибок Hadoop, настроить сценарий, а затем перезапустить всю работу. Это ужасно неэффективно как с точки зрения вычислений, так и времени разработки.

Кроме того, когда задания Hadoop обнаруживают неверную запись и происходит сбой задачи, запись можно проигнорировать, а задачу сопоставления/уменьшения выполнить повторно. Нет необходимости запускать всю работу снова. Дополнительные сведения см. в этой документации по Hadoop.

Я предлагаю поместить блок try-catch вокруг логики в ваших методах setup(), map(), reduce() и cleanup(). В блоке catch для Exception увеличивается счетчик, группа которого — «Exception» (или что-то еще) и чье имя — строка, возвращаемая из метода getMessage() исключения. Это позволит вам узнать с первого взгляда, по крайней мере, что произошло. В этом блоке catch вы также можете записать в файл дополнительную информацию, включая трассировку стека, переданные ключ и значение (или произносимое) и т. д.

Для отладки мне также нравится "Отладка как... -> Java-приложение" для потока Hadoop в Eclipse. Это помогло мне найти и исправить кучу проблем в моем коде.