Я пытаюсь установить и настроить Hadoop 2.6 на экземпляре Amazon EC2 t2.micro (бесплатный, только с 1 ГБ ОЗУ) в псевдораспределенном режиме. Я мог настроить и запустить все демоны (например, Namenode, Datanode, ResourceManager, NodeManager). Но когда я попытался запустить пример подсчета слов mapreduce, это не удалось. Я не знаю, не работает ли он из-за нехватки памяти (поскольку у t2.micro всего 1 ГБ памяти, и часть ее занята хост-ОС, в моем случае Ubuntu). Или это может быть какая-то другая причина? Я использую настройки памяти по умолчанию. Если я смогу настроить все на минимальные настройки памяти, это решит проблему? Какова минимальная память в мб, которую можно выделить контейнерам. Большое спасибо, ребята. Я буду признателен, если вы можете предоставить мне некоторую информацию.
Hadoop 2.x на amazon ec2 t2.micro
comment
На мой взгляд, пытаться запустить стек Hadoop на сервере с 1 ГБ оперативной памяти — пустая трата времени. Скорее всего, это происходит из-за памяти, как вы упомянули. Вы можете проверить журналы, и вы увидите.
- person vanekjar schedule 13.04.2015
comment
Я успешно настроил hadoop-1.2.1 на экземпляре t2.micro как в автономном, так и в полностью распределенном режиме (используя 5 t2.micro). Я запускал на нем задания mapreduce, и все работало отлично. Я предполагаю, что Hadoop-2.x также будет работать на t2.micro, если я смогу правильно настроить параметры памяти. Но я не уверен в этом.
- person Mohammad Yusuf schedule 14.04.2015
Ответы (1)
Без настройки каких-либо настроек памяти я мог запустить пример pi с 1 картографом и 1 редюсером, иногда только на экземпляре бесплатного уровня t2.micro, в большинстве случаев он терпит неудачу. При использовании оптимизированного для памяти экземпляра r3.large с 15 ГБ ОЗУ все работает идеально. Все задания выполняются без сбоев.
person
Mohammad Yusuf
schedule
29.04.2015
