- Крупномасштабное моделирование данных в Hive и распределенная обработка запросов с использованием MapReduce и Tez(arXiv)
Автор : Абзетдин Адамов
Аннотация: Огромные объемы данных постоянно генерируются цифровыми взаимосвязанными системами людей, организаций и машин. Данные поступают в различных форматах, включая структурированные, неструктурированные и полуструктурированные, что делает невозможным применение одних и тех же стандартных подходов, методов и алгоритмов для управления и обработки этих данных. К счастью, существует распределенная платформа корпоративного уровня под названием Hadoop Ecosystem. В этом документе рассматривается компонент Apache Hive, который обеспечивает полный набор функций управления данными с точки зрения определения данных, манипулирования данными и обработки данных. Hive — это система хранилища данных, которая работает со структурированными данными, хранящимися в таблицах. Поскольку Hive работает поверх Hadoop HDSFS, он использует исключительные функции HDFS, включая отказоустойчивость, надежность, высокую доступность, масштабируемость и т. д. Кроме того, Hive может использовать преимущества распределенной вычислительной мощности кластера путем назначения заданий MapReduce, Механизмы Tez и Spark для выполнения сложных запросов. Статья посвящена изучению модели данных Hive и анализу производительности обработки, выполненному MapReduce и Tez.
2. Новая схема выравнивания интерференции для беспроводной сети MapReduce (arXiv)
Автор: Юэ Би, Мишель Виггер, Юэ Ву.
Аннотация: Мы рассматриваем полнодуплексную беспроводную систему распределенных вычислений (DC) в рамках MapReduce. Представлены новые верхняя и нижняя границы оптимального компромисса между нормализованным временем доставки (NDT) и вычислительной нагрузкой. Верхняя граница строго улучшается по сравнению с предыдущими верхними границами и основана на новой схеме выравнивания интерференции (IA), адаптированной к возможностям подавления интерференции узлов MapReduce. Нижняя граница доказывается с помощью теоретико-информационных обратных рассуждений.
