Как войти с помощью log4j в локальную файловую систему внутри приложения Spark, которое работает на YARN?

Похоже, вам нужно будет добавить аргументы JVM, используемые при запуске ваших задач / заданий.

Попробуйте отредактировать conf/spark-defaults.conf как описано здесь

spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

Или попробуйте отредактировать conf/spark-env.sh как описано здесь, чтобы добавить тот же аргумент JVM, хотя записи в conf / spark-defaults.conf должны работать.

Если вы все еще не получаете никакой радости, вы можете явно передать местоположение вашего файла log4j.properties в командной строке вместе с вашим spark-submit, как это, если файл содержится в вашем JAR-файле и в корневом каталоге вашего пути к классам.

spark-submit --class sparky.MyApp --master spark://my.host.com:7077 --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.properties" myapp.jar

Если файла нет в вашем пути к классам, используйте префикс file: и полный путь, как это

spark-submit ... --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j-executor.properties" ...

Вышеупомянутые варианты указания log4j.properties с помощью spark.executor.extraJavaOptions, spark.driver.extraJavaOptions будут регистрировать его только локально, а также log4.properties должен присутствовать локально на каждом узле.

Как указано в https://spark.apache.org/docs/1.2.1/running-on-yarn.html, вы также можете загрузить log4j.properties вместе со своим приложением, используя параметр --files. Это приведет к совокупному ведению журнала пряжи в HDFS, и вы можете получить доступ к журналу с помощью команды

yarn logs -applicationId <application id>

1) Для отладки того, как Spark on YARN интерпретирует ваши настройки log4j, используйте флаг log4j.debug.

2) Spark создаст 2 типа контейнеров YARN, драйвер и рабочий. Итак, вы хотите поделиться файлом, из которого вы отправляете приложение, со всеми контейнерами (вы не можете использовать файл внутри JAR, поскольку это не тот JAR, который действительно запускается), поэтому вы должны использовать директиву отправки --files Spark (это будет разделять файл со всеми рабочими).

Нравится:

spark-submit     
    --class com.X.datahub.djobi.Djobi \
    --files "./log4j.properties" \
    --driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
    --conf "spark.executor.extraJavaOptions=-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties " \
    ./target/X-1.0.jar "$@"

Где log4j.properties - это файл проекта в папке src/main/resources/config.

Я вижу в консоли:

log4j: Trying to find [config/log4j.properties] using context 
classloader org.apache.spark.util.MutableURLClassLoader@5bb21b69.
log4j: Using URL [jar:file:/home/hdfs/djobi/latest/lib/djobi-1.0.jar!/config/log4j.properties] for automatic log4j configuration.
log4j: Reading configuration from URL jar:file:/home/hdfs/djobi/latest/lib/djobi-1.0.jar!/config/log4j.properties

Таким образом, файл учитывается, вы также можете проверить его в веб-интерфейсе Spark.

Кроме того, вы можете использовать PropertyConfigurator в log4j, чтобы определить свои настраиваемые свойства журнала.

Ex.

 import com.foo.Bar;

 import org.apache.log4j.Logger;
 import org.apache.log4j.PropertyConfigurator;

 public class MySparkApp {

   static Logger logger = Logger.getLogger(MySparkApp.class.getName());

   public static void main(String[] args) {

     // Location to property file
     PropertyConfigurator.configure(args[0]);

     logger.info("Entering application.");

     logger.info("Exiting application.");
   }
 }

Ваш файл свойств должен иметь следующие реквизиты,

log4j.appender.file=org.apache.log4j.FileAppender

log4j.appender.file.File=/tmp/application.log

log4j.appender.file.append=false

log4j.appender.file.layout=org.apache.log4j.PatternLayout

log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

РЕДАКТИРОВАТЬ: Обновление ссылки на документы log4j. Spark использует log4j 2, а не v1.2

Ссылка: http://logging.apache.org/log4j/2.x/

В вашем файле log4j.properties вы также должны изменить log4j.rootCategory с INFO,console на INFO,file.

log4j.rootCategory=INFO, console    
log4j.rootCategory=INFO,file