Публикации по теме 'yarn'
Что такое пряжа и стоит ли ее использовать?
Обновление: с июня 2017 г. и выпуска NPM 5 использование Yarn больше не актуально, поскольку новая версия NPM также создает файл блокировки.
Пряжа была инициирована Facebook и теперь поддерживается крупными компаниями, такими как Google . В основном это замена управления пакетами в ваших веб-проектах, с некоторыми функциями, отсутствующими в интерфейсе командной строки npm. Yarn полностью обратно совместима со структурой диспетчера пакетов npm (package.json и node_modules..
Мой переход от «npm» к просто «Yarn»
Менеджер пакетов, который устраняет недостатки, присутствующие в npm .
Yarn — это новый менеджер пакетов для JavaScript, созданный Facebook. Как можно прочитать в официальном объявлении , его целью является решение нескольких проблем, с которыми столкнулась команда при работе с npm (а именно). Но не пугайтесь! Это не попытка полностью заменить npm .
Yarn — это всего лишь новый клиент CLI, который извлекает модули из реестра npm. В самом реестре ничего не изменится — вы..
Запустите свой проект JavaScript (с пряжей, а не с npm)
Не исчерпывающее руководство, а скорее тизер
Нет времени? Вот шаги:
Установить npm — подробности здесь Установить пряжу — подробности здесь В окне bash/командной строки создайте новый каталог и cd в него yarn init Введите имя проекта и версию (обязательно) и заполните остальные данные (необязательно).
Должен ли я? Когда бы я его использовал?
Вам не обязательно это делать, но вам захочется, если вы занимаетесь веб-разработкой, разработкой узлов, мобильных устройств..
Facebook запускает Yarn, менеджер пакетов JavaScript, созданный для скорости
Facebook запускает Yarn, менеджер пакетов JavaScript, созданный для скорости
Facebook запустил Yarn , менеджер пакетов JavaScript с открытым исходным кодом, который обещает более быструю и надежную установку, чем чрезвычайно популярный npm. Компания заявляет, что ее новое творение способно в некоторых случаях сократить время установки с нескольких минут до нескольких секунд — конечно, в зависимости от размера пакетов, с которыми вы работаете.
Yarn совместим с реестром npm, но отличается..
Должен ли файл yarn.lock быть зафиксирован в библиотеках?
TL; TR: Все проекты, включая библиотеки, должны зафиксировать файл yarn.lock.
Был своего рода шум по поводу того, должны ли мы фиксировать файл yarn.lock . Пост в блоге Yarn должен разъяснить это лучше .
Тем не менее, я обнаружил, что сомневаюсь в его использовании внутри библиотек (поскольку они в любом случае включены сторонними проектами) после того, как здесь было сделано замечание . Поэтому я спросил себя: должны ли мы зафиксировать файл `yarn.lock` в репозиториях..
Вопросы по теме 'yarn'
Временная приостановка работы узлов Hadoop — фоновый кластер Hadoop
Интересно, можно ли установить «фоновый» кластер Hadoop. Я имею в виду, в конце концов, это предназначено для того, чтобы иногда иметь дело с узлами, которые недоступны или медленны.
Итак, предположим, что в каком-то университете есть компьютерный...
560 просмотров
schedule
05.09.2022
Как просмотреть историю и журналы заданий Hadoop с помощью CDH4 и Yarn?
Я загрузил tar CDH4 для Hadoop с помощью Yarn, и задания выполняются нормально, но я не могу понять, где просмотреть журналы своего задания. В MRv1 я просто заходил в веб-приложение JobTracker, и в нем была история вакансий. Журналы отдельных...
19524 просмотров
schedule
01.08.2022
Как запустить задание подсчета слов на пряже Hadoop из кода Java?
У меня есть требование, как показано ниже:
есть 30-узловой кластер Hadoop YARN и клиентский компьютер для отправки заданий.
Давайте воспользуемся примером MR с количеством слов, так как он известен во всем мире. Я хотел бы отправить и...
1158 просмотров
schedule
03.07.2023
Как увеличить количество контейнеров в nodemanager в YARN
Узел в моем кластере YARN имеет 64 ГБ памяти и 24 ядра. Я установил следующие свойства в yarn-site.xml:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>...
17623 просмотров
schedule
13.06.2023
Slurm: в чем разница между исполнением кода под salloc и srun
Я использую кластер, управляемый slurm, для выполнения некоторых тестов yarn / hadoop. Для этого я запускаю серверы hadoop на узлах, выделенных slurm, а затем запускаю на них тесты. Я понимаю, что это не предполагаемый способ запуска...
8208 просмотров
schedule
23.03.2022
Сопоставление таблиц Hive с помощью MongoDB
Здесь я попытался выполнить операцию уменьшения карты с помощью hiveql, он работает для запроса выбора, но выдает какое-то исключение для некоторой операции агрегирования и фильтрации, пожалуйста, помогите мне решить эту проблему. Я добавил баночки...
928 просмотров
schedule
02.09.2022
Использование виртуальной памяти пряжи
Я запускаю рабочий процесс oozie, состоящий из действия оболочки, запускающего этот сценарий.
java -classpath my.jar my.package.Main
Конфигурация действия оболочки выглядит так
<action name="run-test-script">
<shell...
2673 просмотров
schedule
08.05.2023
MapReduce с помощью Tez
Я создаю инструмент проверки, который проверяет, работает ли Apache Tez в дистрибутиве Hadoop hortonworks. Для этого мне нужно проверить, выполняется ли простая программа уменьшения карты в Tez, я мог видеть, что свойство в mapred-default.xml...
983 просмотров
schedule
05.12.2022
Как установить точное максимальное количество одновременно запущенных задач на узел в Hadoop 2.4.0 на Elastic MapReduce
Согласно http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-using-gotchas/ формула для определения количества одновременно выполняющихся задач на узел:
min (yarn.nodemanager.resource.memory-mb /...
2301 просмотров
schedule
26.08.2022
Ошибка Hadoop — прерывание работы всех узлов данных
Я использую версию Hadoop 2.3.0. Иногда, когда я выполняю задание по уменьшению карты, отображаются следующие ошибки.
14/08/10 12:14:59 INFO mapreduce.Job: Task Id : attempt_1407694955806_0002_m_000780_0, Status : FAILED
Error:...
13445 просмотров
schedule
24.12.2022
Демон Datanode не работает в Hadoop 2.5.0
Я устанавливаю Hadoop 2.5.0 на одну машину, у меня проблема с узлом данных, который не работает, как показано в выводе команды jps:
$ jps
3404 Jps
2661 NodeManager
2606 ResourceManager
2484 NameNode
Когда я пытаюсь запустить его вручную, я...
7069 просмотров
schedule
20.05.2022
ошибка при запуске сервера sqoop2 на Amazon EMR с пряжей
Я пытаюсь установить sqoop 2 (версия 1.99.3) в кластере Amazon EMR (AMI версии 3.2.0 / Hadoop версии 2.4.0). Когда я запускаю сервер sqoop, я вижу эту ошибку в localhost.log:
Sep 10, 2014 4:55:56 PM org.apache.catalina.core.StandardContext...
615 просмотров
schedule
26.09.2023
Распределение кучи Hadoop
У меня возникают проблемы с тем, что Hadoop 2.5.1 не увеличивает объем кучи, который я запрашиваю. Похоже, что Hadoop не соблюдает свойство mapred.child.java.opts в файле mapred-site.xml.
В своей работе я делаю следующее:
R = new int[height *...
1739 просмотров
schedule
25.04.2022
Как установить VCORES в hadoop mapreduce/yarn?
Ниже приведены мои конфигурации:
**mapred-site.xml**
map-mb : 4096 opts:-Xmx3072m
reduce-mb : 8192 opts:-Xmx6144m
**yarn-site.xml**
resource memory-mb : 40GB
min allocation-mb : 1GB
Vcores в кластере hadoop отображало 8 ГБ, но я не знаю, как...
21350 просмотров
schedule
14.02.2023
Hadoop Mapreduce MultipleInputs не может загрузить классы сопоставления
Я использую новый API MapReduce в нашем кластере Yarn. Мне нужно прочитать файлы двух разных форматов из двух разных каталогов. Для этого я решил использовать MultipleInputs, чтобы указать два класса преобразователя. Ниже мой водитель работы...
543 просмотров
schedule
06.08.2022
Я не вижу запущенные приложения в hadoop 2.5.2 (пряжа)
Я установил hadoop 2.5.2 и могу успешно запустить образец подсчета слов. Однако, когда я хочу увидеть приложение, работающее на пряже (выполнение задания), я не могу, так как интерфейс всех приложений всегда пуст (показано на следующем экране). Есть...
375 просмотров
schedule
06.02.2023
Hadoop2.5.2 зависает при выполнении задания, когда я пытаюсь запустить pi-example на YARN
Я запускаю Hadoop2.5.2 на 3 машинах с Ubuntu Server 14.04.
Один из них — namenode и resourcemanager с IP-адресом 192.168.3.1. Другие — подчиненные устройства, на которых запущены datanode и nodemanager с IP-адресами 192.168.3.102 и 192.168.3.104...
996 просмотров
schedule
07.05.2022
Как войти с помощью log4j в локальную файловую систему внутри приложения Spark, которое работает на YARN?
Я создаю приложение Apache Spark Streaming и не могу записать его в файл в локальной файловой системе при запуске в YARN . Как этого добиться?
Я установил log4.properties файл так, чтобы он мог успешно записывать в файл журнала в /tmp...
62960 просмотров
schedule
22.02.2023
Как убить задание mapred, запущенное ульем?
Я сейчас работаю с CDH 5.1. Он запускает обычное задание Hadoop YARN , но hive все еще работает с mapred . Иногда большой запрос долго висит и хочется его убить.
Я могу найти эту большую работу с помощью веб-консоли JobTracker, хотя в ней нет...
28649 просмотров
schedule
09.06.2023
Отключить отчет о приложении для задания Spark
Когда я отправляю задание Spark (в AWS-EMR), у меня на консоли появляется много «ИНФО-журнала»:
02.15.17 19:44:46 ИНФО пряжа.Клиент: Отчет о применении для application_1455192031517_0006 (состояние: ПРИНЯТО)
02.15.17 19:44:47 ИНФОРМАЦИЯ...
2261 просмотров
schedule
13.10.2022
