Impala - Пусть Impala выбирает свой собственный лимит памяти

У меня на кластере установлена ​​Cloudera Express 5.3.2. Я хотел бы использовать его для запросов Impala.

Я хочу, чтобы Impala устанавливала ограничение в зависимости от емкости кластера. В конфигурации Impala в диспетчере cloudera написано «оставьте это поле пустым, чтобы позволить Impala выбрать свой собственный предел». Однако я не могу оставить это поле пустым, потому что веб-интерфейс говорит мне, что «это поле обязательно для заполнения».

http://i.imgur.com/c9RA8mV.png


person Valentin Proust    schedule 27.04.2015    source источник


Ответы (1)


К сожалению, Impala не может установить собственный лимит памяти. Вам не нужно устанавливать предел памяти (используйте -1), но ваши запросы будут выполняться плохо, если у вас закончится физическая память и ОС будет вынуждена поменять местами. Если вы используете только Impala в этом кластере (т. е. не Hive, MapReduce, Spark и т. д.), вы можете установить для этого большую часть физической памяти; мы обычно рекомендуем 80%. Если вам необходимо совместно использовать ресурсы с другими системами, вам следует просмотреть варианты управления ресурсами, доступные в CDH.

person Matt    schedule 27.04.2015
comment
Хм, извините за это бесстыдное неправильное использование раздела комментариев. Но не могли бы вы помочь мне с этим, stackoverflow.com/questions/30125455/ stackoverflow .com/questions/30127419/ - person Suvarna Pattayil; 08.05.2015