Мы использовали Impala более 4 месяцев, и мы обнаружили, что в большинстве случаев она работает очень быстро по сравнению с ульем. Поскольку мы находимся в процессе оценки быстрых фреймворков в Hadoop для обработки данных, мы хотели знать, есть ли еще какие-либо фреймворки в родной среде Hadoop, которые быстрее, чем импала. (Может быть любого типа, в памяти или MR1 или на основе пряжи !) Полный список не помешал бы.
Более быстрые технологии по сравнению с Impala в стеке Hadoop?
Ответы (1)
Impala — хороший выбор с точки зрения скорости. Для стандартных сред Map/Reduce лучшего варианта вы вряд ли найдете: impala умеет кэшировать блоки данных и намного быстрее, чем M/R, даже при чтении некэшированных блоков с диска. Но, конечно, учитывая, что у вас есть несколько месяцев опыта работы с импалой - вы уже это знали. Насколько я знаю, нет другого механизма доступа к улью почти в реальном времени, использующего собственные структуры hadoop.
person
WestCoastProjects
schedule
28.01.2015
