После установки Tez Shuffle Handler следуйте инструкциям по: https://tez.apache.org/shuffle-handler.html Я получаю сообщение об ошибке при выполнении запроса:
Может ли кто-нибудь помочь здесь, пожалуйста?
LLAP внутренне использует обработчик тасования MAP-REDUCE, потому что внутри кода TEZ у нас есть жестко запрограммированная константа TEZ_SHUFFLE_HANDLER_SERVICE_ID = mapreduce_shuffle. https://github.com/apache/tez/blob/master/tez-api/src/main/java/org/apache/tez/dag/api/TezConstants.java
Итак, когда мы используем tez_shuffle с LLAP, возникает исключение NullpointerException.
Ошибка вершины, vertexName = Map 2, vertexId = vertex_1608273679503_0002_2_01, диагностика = [Задача не удалась, taskId = task_1608273679503_0002_2_01_000000, диагностика = [TaskAttempt 0 не удалось, info = [Ошибка: Ошибка: ошибка при выполнении задачи (сбой): попытка выполнения задачи (сбой): javascript_016080000]: java.lang.RuntimeException: ошибка инициализации оператора карты в org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor (TezProcessor.java:296) в org.apache.hadoop.hive.ql.exec.tez. TezProcessor.run (TezProcessor.java:250) в org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run (LogicalIOProcessorRuntimeTask.java:374) в org.apache.tez.runtime.task.TaskRunner.java: 2Call $ ) в org.apache.tez.runtime.task.TaskRunner2Callable $ 1.run (TaskRunner2Callable.java:61) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java: 422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInform ation.java:1729) на org.apache.tez.runtime.task.TaskRunner2Callable.callInternal (TaskRunner2Callable.java:61) на org.apache.tez.runtime.task.TaskRunner2Callable.callInternal (TaskRunner2:37Callable. org. .apache.tez.common.CallableWithNdc.call (CallableWithNdc.java:36) в org.apache.hadoop.hive.llap.daemon.impl.StatsRecordingThreadPool $ WrappedCallable.call (StatsRecordingThreadPool.java:110) в javacrentutil. .FutureTask.run (FutureTask.java:266) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149) в java.util.concurrent.ThreadPoolExecutor $ Worker.run. lang.Thread.run (Thread.java:748) Причина: java.lang.RuntimeException: ошибка инициализации оператора карты в org.apache.hadoop.hive.ql.exec.tez.MapRecordProcessor.init (MapRecordProcessor.java:363) at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor (TezProcessor.java:266) ... еще 15 Причина: org.apache.hadoop.hive.ql.metadata.HiveExceptio n: сбой асинхронной инициализации. abortRequested = false в org.apache.hadoop.hive.ql.exec.Operator.completeInitialization (Operator.java:461) в org.apache.hadoop.hive.ql.exec.Operator.initialize (Operator.java:395) в org.apache.hadoop.hive.ql.exec.Operator.initialize (Operator.java:568) в org.apache.hadoop.hive.ql.exec.Operator.initializeChildren (Operator.java:520) в org.apache. hadoop.hive.ql.exec.Operator.initialize (Operator.java:381) в org.apache.hadoop.hive.ql.exec.tez. MapRecordProcessor.init (MapRecordProcessor.java:335) ... еще 16 Вызвано: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang. NullPointerException в org.apache.hadoop.hive.ql.exec.tez.LlapObjectCache.retrieve (LlapObjectCache.java:118) в org.apache.hadoop.hive.ql.exec.tez.LlapObjectCache $ 1.call (LlapObjectCache $ 1.call (LlapObjectCache) 143) ... еще 4 Причина: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.NullPointerException в org.apache.hadoop.hive.ql.exec.vector.mapjoin.fast.VectorMapJoinFastHashTableLoader. load (VectorMapJoinFastHashTableLoader.java:113) в org.apache.hadoop.hive.ql.exec.MapJoinOperator.loadHashTableInternal (MapJoinOperator.java:331) в org.apache.hadoop.hive.ql.exec.MaploadJoin. java: 400) в org.apache.hadoop.hive.ql.exec.MapJoinOperator.lambda $ initializeOp $ 0 (MapJoinOperator.java:207) в org.apache.hadoop.hive.ql.exec.tez.LlapObjectCache.retrieve (LlapObjectCache. .java: 116) ... Еще 5 Вызвано: java.lang.NullPointerException в org.apache.tez.runtime.api.impl.TezTaskContextImpl.getServiceConsumerMetaData (TezTaskContextImpl.java:190) в org.apache.tez.runtime.library.impl ShuffleManager. (ShuffleManager.java:264) на org.apache.tez.runtime.library.input.UnorderedKVInput.start (UnorderedKVInput.java:146) на org.apache.hadoop.hive.ql.exec.vector.mapjoin.fast .VectorMapJoinFastHashTableLoader.load (VectorMapJoinFastHashTableLoader.java:109) ... еще 9
