У меня есть служба, которая постоянно извлекает некоторые данные. Я сбрасываю эти данные в массив, эти данные необходимо обрабатывать дальше. Можно ли создать динамический массив, который постоянно обновляется сервисом, и параллельно я могу выполнять задание Map Reduce? Также, как какой класс я использую, чтобы просто взять ввод массива (вместо файла)? PS Я новичок в Hadoop/Map Reduce. Пишу на Java.
Как ввести массив в задание Map Reduce?
Ответы (1)
Hadoop предназначен для пакетной обработки, поэтому он эффективен только в том случае, если у вас есть сохраненные данные, такие как файлы, и их необходимо обработать, а задание завершить. Вы можете взглянуть на Storm. Я думаю, что это лучше подойдет для вашего варианта использования.
person
SSaikia_JtheRocker
schedule
26.09.2013
