Публикации по теме 'mapreduce'


Сценарии NetSuite Map/Reduce в практике розничной торговли
Одной из причин, по которой мне нравится платформа NetSuite, является «гибкость» для преобразования вашей реальной бизнес-ситуации в стандартный рабочий процесс ERP. Во многих отраслях розничной торговли продуктами питания и бакалейными товарами ежедневно совершается огромный объем транзакций в точках продаж, которые необходимо интегрировать с серверной финансовой и логистической системой. Мы всегда предпочитаем получать «Сводку данных о продажах» в основном потоке продаж, а не..

Пошаговое объяснение Javascript Array Reduce (Часть 1)
Итак, для тех, кто не слышал о методе reduce() в Javascript, это обязательный метод при работе с массивами. Конечно, вы можете полностью игнорировать эту красивую и мощную функцию массива и придерживаться классического цикла for или while . Ничего страшного, если вы не знаете (или не хотите использовать) этот reduce() . Но с reduce() у нас может быть более короткий/чистый код в большинстве случаев, когда вы хотите вычислить или преобразовать что-то из заданного массива...

Вопросы по теме 'mapreduce'

Почему MapReduce является хорошим методом для анализа журналов http-сервера?
Я некоторое время присматривался к MapReduce, и мне кажется, что это очень хороший способ реализации отказоустойчивых распределенных вычислений. Я прочитал много документов и статей на эту тему, установил Hadoop на массив виртуальных машин и провел...
5468 просмотров
schedule 18.06.2022

Есть ли библиотека MapReduce для Delphi?
Недавно я прочитал эту замечательную статью, в которой кратко объясняются возможности Google MapReduce: http://www.joelonsoftware.com/items/2006/08/01.html В «Освоении Delphi 2009» Марко Канту демонстрирует многопоточный цикл for с...
1864 просмотров
schedule 11.10.2022

Hadoop или Hadoop Streaming для MapReduce на AWS
Я собираюсь начать проект mapreduce, который будет работать на AWS, и мне предоставляется выбор: использовать Java или C++. Я понимаю, что написание проекта на Java предоставило бы мне больше функциональных возможностей, однако C++ также мог бы...
1426 просмотров

Amazon MapReduce без редукторной работы
Я пытаюсь создать задание только для картографа через AWS (потоковое задание). Поле редуктора является обязательным, поэтому я даю фиктивный исполняемый файл и добавляю -jobconf mapred.map.tasks=0 в поле дополнительных аргументов. В среде Hadoop...
3990 просмотров

Идея проекта компьютерной лингвистики с использованием Hadoop MapReduce
Мне нужно сделать проект по курсу компьютерной лингвистики. Есть ли какая-нибудь интересная «лингвистическая» проблема, которая требует больших объемов данных, чтобы работать над сокращением карты Hadoop. Решение или алгоритм должны попытаться...
1991 просмотров
schedule 28.03.2022

Гарантировано ли, что при использовании Hadoop мои редукторы получат все записи с одним и тем же ключом?
Я запускаю задание Hadoop с использованием Hive, которое должно содержать uniq строки во многих текстовых файлах. На этапе сокращения он выбирает для каждого ключа самую последнюю запись с отметкой времени. Гарантирует ли Hadoop, что каждая...
5984 просмотров
schedule 09.04.2022

С чего начать работу с распределенными вычислениями?
Я заинтересован в изучении методов распределенных вычислений. Как разработчик Java я, вероятно, захочу начать с Hadoop . Не могли бы вы порекомендовать какие-нибудь книги/учебники/статьи для начала?
1689 просмотров
schedule 09.07.2022

Управление зависимостями с помощью Hadoop Streaming?
У меня небольшой вопрос о потоковой передаче Hadoop. Если я использую потоковую передачу Python и у меня есть пакеты Python, которые требуются моим преобразователям/редукторам, но не установлены по умолчанию, нужно ли мне устанавливать их также на...
1006 просмотров
schedule 30.08.2022

Статическая инициализация Hadoop Mapper
У меня есть фрагмент кода, в котором я использую статический блок кода для инициализации переменной. public static class JoinMap extends Mapper<IntWritable, MbrWritable, LongWritable, IntWritable> { ..........
1807 просмотров
schedule 10.03.2023

Использование map/reduce для сопоставления свойств в коллекции
Обновление: продолжение MongoDB Получить имена всех ключей в коллекции . Как указала Кристина , можно использовать карту/уменьшение Mongodb для перечисления ключей в коллекции: db.things.insert( { type : ['dog', 'cat'] } );...
13138 просмотров
schedule 08.03.2023

Расчет расстояния mapreduce в Hadoop
Есть ли реализация расчета расстояния с использованием карты/уменьшения Hadoop. Я пытаюсь рассчитать расстояние между заданным набором точек. Ищем любые ресурсы. Изменить Это очень разумное решение. Я попробовал что-то вроде первого...
5107 просмотров

Как получить значения счетчика после обработки всех записей с помощью Google AppEngine MapReduce?
Как получить значения счетчика после обработки всех записей с помощью Google AppEngine MapReduce? Или я упустил вариант использования счетчиков здесь? Пример кода из http://code.google.com/p/appengine-mapreduce/wiki/UserGuidePython Как...
540 просмотров
schedule 18.04.2023

Подстановочные знаки в представлениях с CouchDB?
Можно ли использовать подстановочные знаки в представлениях в CouchDB? Например, допустим, у меня есть база данных, в которой есть команды, возраст игроков, средние показатели игроков и пол игроков. Однако возраст игроков может быть неизвестен — они...
6136 просмотров
schedule 16.04.2022

Может ли Amazon Auto Scaling Service работать с сервисом Elastic Map Reduce?
так как веб-служба Amazon должна платить, поэтому просто хочу спросить людей, кто работал над ней, прежде чем я прыгну в нее, и подтвердить некоторые знания об этом. Вопрос первый: в сервисе автоматического масштабирования Amazon говорится, что он...
531 просмотров

Hadoop MapReduce — Pig/Cassandra — невозможно создать разделение ввода
Я пытаюсь запустить задание MapReduce с помощью Pig и Cassandra и всегда получаю сообщение об ошибке: ОШИБКА 2118: невозможно создать разделение входных данных для: cassandra://constellation/logs [РЕШЕНО] Были некоторые переменные среды, которые...
1352 просмотров
schedule 21.02.2023

Можно ли использовать предварительно вычисленный индекс уменьшения карты (а-ля RavenDB/CouchDB) для такого рода алгоритмов?
Я пытаюсь выяснить, можно ли преобразовать конкретный алгоритм в тип индекса уменьшения карты, который использует RavenDB/CouchDB, т. е. «предварительно вычисленное» уменьшение карты (что означает, что индексы обновляются при вставке и обновлении, а...
557 просмотров
schedule 02.07.2023

Как подготовить и восстановить данные для AWS MapReduce
Я работаю с Amazon MapReduce Web Service для университетского проекта. Чтобы использовать данные для MapReduce, мне нужно выгрузить их из реляционной базы данных (AWS RDS) в S3. После завершения MapReduce мне нужно разделить выходной файл и...
415 просмотров

HBase Mapreduce на нескольких объектах сканирования
Я просто пытаюсь оценить HBase для некоторых вещей анализа данных, которые мы делаем. HBase будет содержать данные о наших событиях. Ключ будет eventId + время. Мы хотим провести анализ нескольких типов событий (4–5) в диапазоне дат. Общее...
4783 просмотров
schedule 02.03.2023

Gridgain аварийное переключение главного (отправляющего) узла
Я работаю над проблемой пакетной обработки. Решение должно работать с неисправным оборудованием. Есть главный узел (который инициирует выполнение задач) и рабочие узлы, которые выполняют задания. Я знаю, как работает аварийное переключение...
383 просмотров

Сбрасывается ли пул DatastoreMutationPool в хранилище данных перед обратным вызовом?
Я использую mapreduce, и мне нужно сохранить некоторые объекты, когда их нет в хранилище данных. Я добавляю новые объекты в DatastoreMutationPool , чтобы эти объекты могли сохраняться с помощью пакетных вызовов. Когда mapreduce завершается,...
211 просмотров