Путь HDFS для Spark Submit и Flink на YARN

Я работаю с cloudera live vm, там у меня есть автономный кластер hadoop и spral. теперь я хочу отправлять свои задания с помощью сценариев отправки искры и запуска flink. это тоже работает. но мои приложения могут найти путь к файлам ввода и вывода в hdfs. я установил путь как: hdfs: //127.0.0.1: 50010 / user / cloudera / выводит информацию из порта, который я получаю от этого:  введите описание изображения здесь

как установить путь для hdfs в java ??

С уважением, Пол


person Pa Rö    schedule 05.06.2015    source источник


Ответы (1)


Вам не нужно указывать путь к хосту DataNode. На странице «Обзор» вы увидите информацию о подключении для NameNode, и это также то место, к которому вам нужно подключиться.

person Robert Metzger    schedule 05.06.2015
comment
Я думаю, это выглядит хорошо, но это зависит от того, с каким пользователем вы работаете. - person Robert Metzger; 06.06.2015
comment
на cloudera со всеми разрешениями, на cloudera live vm у меня только логин cloudera. - person Pa Rö; 07.06.2015