Отключить отчет о приложении для задания Spark

Когда я отправляю задание Spark (в AWS-EMR), у меня на консоли появляется много «ИНФО-журнала»:

02.15.17 19:44:46 ИНФО пряжа.Клиент: Отчет о применении для application_1455192031517_0006 (состояние: ПРИНЯТО)

02.15.17 19:44:47 ИНФОРМАЦИЯ yarn.Client: Отчет о приложении для application_1455192031517_0006 (состояние: РАБОТАЕТ)

:

Есть ли способ отключить эту «ИНФО»? Спасибо!


apache-spark yarn emr
person Edamame    schedule 17.02.2015    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Я постоянно получал это сообщение INFO при запуске spark-shell. Оказывается, один из диспетчеров узлов находился в неправильной ролевой группе с разрешенной памятью намного меньше, чем запросил spark-shell (режим пряжи). Так что Spark ждал ресурс, который пряжа не могла удовлетворить.

person Tagar    schedule 26.03.2015

arrow_upward
1
arrow_downward

Другой вариант — использовать аргумент «-l loglevel» с файлом install. См. https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/README.md

Или, если вы используете интерактивную оболочку Spark или sql, просто перенаправьте stderr в другое место (MASTER=yarn-client ~/spark/bin/spark-shell 2>/tmp/stderr.log).

person ChristopherB    schedule 18.02.2015