Вопросы по теме 'mapr'
Можно ли объединить mapR с чистым Apache Hadoop?
Я новичок в хаупе.
Я слышал, что mapR лучше подходит для монтирования Hadoop HDFS, а не для фьюза.
Но большая часть связанных статей просто описывает mapR Hadoop, а не чистый Apache Hadoop.
У кого-нибудь есть опыт установки чистого Apache...
591 просмотров
schedule
31.05.2022
MapR — Как установить Sqoop на клиентский/пограничный узел?
Я знаком с архитектурой Cloudera, но не знаком с MapR. У меня есть виртуальная машина RHEL, и я ранее установил клиентское программное обеспечение MapR, используя эту документацию . Я могу отправлять задания mapreduce и запрашивать HDFS, как и...
1052 просмотров
schedule
08.07.2022
Обратное разбиение на страницы с помощью HBase
Я работаю над разбивкой на страницы таблицы hbase. функциональность, которую мне нужно реализовать, заключается в том, что таблица разбиения на страницы пользовательского интерфейса должна иметь функцию «следующая/вперед» и «назад/назад».
Опция...
884 просмотров
schedule
15.05.2022
Что такое Мапр Уорден?
Я играю с Mapr Sandbox и не понимаю, какова роль приложения Mapr Warden. На сайте Mapr есть ссылки на конфигурационные файлы, но нет описания самой программы.
1954 просмотров
schedule
28.10.2022
Как настроить Hue для Hadoop
Я использую веб-интерфейс Hue с Hadoop, чтобы предоставить пользователям возможность просматривать и загружать данные. Однако мне не нужна вся функциональность Hue, нам не нужно предоставлять возможности для написания запросов, просмотра таблиц или...
1234 просмотров
schedule
07.10.2022
Как установить клиент Mapr на Windows 7 64bit?
Я пытаюсь установить mapr-client в 64-битном окне 7 с ссылка
Я собираюсь установить путь java и mapr после загрузки установки и извлечения при выполнении приведенной ниже команды с ошибкой.
сервер\configure.bat -N my.cluster.com -c -C...
588 просмотров
schedule
17.10.2022
java.io.InvalidClassException: scala.reflect.ClassTag$$anon$1; локальный класс несовместим :: Spark
Я получаю исключение ниже при подсчете строк файла: на самом деле код работает нормально, если я запускаю оболочку в локальном режиме: но если мы попробуем оболочку в режиме Yarn-client - будет возвращен стек исключений ниже. Меня немного исследовали...
546 просмотров
schedule
02.07.2023
Команда, чтобы узнать, насколько велика таблица MapR-DB?
Есть ли команда, чтобы узнать, насколько велика таблица MapR-DB?
Я попробовал du -sh на POSIX-клиенте, но все мои таблицы имеют одинаковый размер, поэтому я предполагаю, что это неверно.
227 просмотров
schedule
31.08.2022
Откуда берется проверочный код для входа в gcloud auth?
В настоящее время я участвую в ADM200, бесплатной онлайн-программе обучения MapR Academy. Я использую инструкции «Настройка виртуального кластера» от 25.11.2015. Я использую компьютер с Windows 8.1 и пытаюсь настроить виртуальный кластер на облачной...
6990 просмотров
schedule
06.03.2023
Каталог HDFS в кластере MAPR
Мне нужно сохранить файлы контрольных точек Spark Streaming в каталоге HDFS. Я могу получить доступ к удаленному кластеру, на котором установлен MAPR.
Но я не уверен, по какому пути MAPR указывает на каталог HDFS.
is it opt/mapr/.. ?
473 просмотров
schedule
08.04.2023
Hadoop, hive -> получить список sql, запущенных в кластере
Итак, у нас есть группа людей, работающих с нашим кластером, и они хотели бы отслеживать каждое выражение SQL, выполняемое через hive/odbc. Веб-страница сервера истории заданий даст мне часть SQL, но не все. Есть ли способ получить полный SQL...
5255 просмотров
schedule
04.07.2023
Прикрепите смещение kafka к каждой записи в foreachRDD
Я хотел бы получить каждое смещение kafka для каждой записи моего RDD внутри метода foreachRDD. У меня есть один раздел в моей теме, поэтому мой RDD тоже получает один раздел. Я в основном пытаюсь что-то вроде этого:
dStream.foreachRDD { rdd...
668 просмотров
schedule
12.01.2024
Java + Spark - временная папка не очищается
В нашем проекте мы используем Spark + Java, а в качестве дистрибутива Hadoop используется MapR.
В наших заданиях Spark мы сохраняем данные (на уровне диска).
После завершения задания внутри папки /tmp/ остается много временных данных. Как мы...
1295 просмотров
schedule
25.07.2022
Spark SQL Java GenericRowWithSchema не может быть приведен к java.lang.String
У меня есть приложение, которое пытается прочитать группу CSV из каталога кластера и записать их в виде файла паркета с помощью Spark.
SparkSession sparkSession = createSession();
JavaRDD<Row> entityRDD = sparkSession.read()...
6883 просмотров
schedule
27.09.2022
Не удается получить доступ к MapR с помощью
sudo maprlogin generateticket -type service -user <user_name> -duration 14:0:0 -out /<directory_name>
возвращает следующее сообщение об ошибке.
"Operation failed. User has no established credentials on the cluster:...
194 просмотров
schedule
17.02.2023
Переключение между кластерами MapR
Я указал два кластера в своем файле mapr-clusters.conf.
cluster1 secure=true cldb1:7222 cldb2:7222 cldb3:7222
cluster2 secure=true cldb4:7222 cldb5:7222 cldb6:7222
В некоторых случаях я хочу загрузить данные в кластер1. В других случаях я...
40 просмотров
schedule
21.03.2023
Nifi Перемещение файлов по пути HDFS за предыдущий день объединенный файл json
У меня есть требование переместить обработанные за предыдущий день и объединенные файлы json в новый путь hdfs. Требуется рекурсивный поиск необработанных файлов и перемещение ожидающих обработки необработанных файлов.
Путь 1 ->...
112 просмотров
schedule
23.05.2022
локальный файл distcp для hadoop
У меня есть файл размером 1 Гб в локальной файловой системе /tmp/dist_testfle
Я могу скопировать это: hadoop fs -put file:///tmp/dist_testfile maprfs:///
Но не может расшифровать его. Команда hadoop distcp file:///tmp/dist_testfile...
585 просмотров
schedule
24.06.2022
Как работает искровое перемешивание при чтении данных из нескольких местоположений MapR?
У меня есть 2 местоположения в моем кластере MapR, и моя искровая задача загружает данные из этих 2 конечных точек. Одна из конечных точек имеет огромные данные, а другая сравнительно меньше. Теперь, когда я выполняю операцию перемешивания, например...
66 просмотров
schedule
21.02.2023
