Публикации по теме 'big-data'
Hadoop 3: сравнение с Hadoop 2 и Spark
Выпуск Hadoop 3 в декабре 2017 года ознаменовал начало новой эры в науке о данных. Фреймворк Hadoop является ядром всей экосистемы Hadoop, и различные другие библиотеки сильно зависят от него.
В этой статье мы обсудим основные изменения в Hadoop 3 по сравнению с Hadoop 2. Мы также объясним различия между Hadoop и Apache Spark и посоветуем, как выбрать лучший инструмент для вашей конкретной задачи.
Общая информация
Hadoop 2 и Hadoop 3 - это механизмы обработки данных, разработанные..
Интерпретация: библиотеки Python Data Engineering, которые вам нужно знать, но, вероятно, нет
Правильные инструменты для масштабной обработки данных.
Работать с Python для инженерии данных - это потрясающе, если в вашем распоряжении нужные инструменты. Попытки исправить неисправный трубопровод все равно, что использовать клейкую ленту: рано или поздно трещины будут видны.
Попытка изучить Python-реализации платформ Apache, таких как Airflow, Storm и Kafka Streams, может быть сложной задачей, а также привести к несвязной многоязычной архитектуре. Эти библиотеки помогут вам..
RAM - новый диск
Двадцать лет назад оперативная память была действительно дорогой, а диск был относительно намного дешевле. В результате большинство приложений обслуживают данные с жесткого диска, и лишь небольшая часть остается в ОЗУ. У диска было интересное свойство: произвольное чтение было очень медленным, потому что большая часть времени уходила на операцию поиска / вращения диска. В результате, если вам нужна высокая пропускная способность для чтения данных с диска, вам следует избегать..
Большие данные и шесть платформ бизнес-аналитики
«Следующая важная вещь, о которой должен знать каждый предприниматель»
Взрывной рост больших данных и вариантов их использования способствовал развитию более разнообразных платформ, связанных с большими данными, для хранения, работы в сети и эффективных вычислений. Большие данные не только зависят от эффективного оборудования, но также нуждаются в отличных платформах для обработки и анализа. бизнес-данные, большие данные позволяют предприятиям получать лучшую поддержку при принятии..
Ускорение работы с большими наборами данных: использование функции карты
СТАТЬЯ
Ускорение работы с большими наборами данных: использование функции карты
Из Освоение больших наборов данных с помощью Python Джона Т. Волохана.
__________________________________________________________________
Получите скидку 37% на Освоение больших наборов данных с помощью Python . Просто введите код fccwolohan в поле кода скидки на сайте manning.com . __________________________________________________________________
Знакомство с картой
map можно..
Возможности данных: Земля гигантов
Возможности данных: страна гигантов
Новые монополии данных (Google, Facebook, Amazon, Microsoft) обеспечивают беспрецедентное создание ценности, широкомасштабный бизнес и образцы для подражания для всех нас. Другие корпорации внедряют инновации и стратегии, чтобы подражать их успеху и защищаться от сбоев с их стороны, и данные играют ключевую роль в этих усилиях: сбор данных, контроль, хранение и использование. Если данные — действительно новая нефть ( economist.com ), что это..
Новый вероятностный подход к факторингу больших чисел
Произведение двух больших простых чисел лежит в основе многих алгоритмов шифрования, поскольку разложение произведения на множители очень сложно для чисел с несколькими сотнями цифр. Два основных фактора связаны с ключами шифрования (открытыми и закрытыми ключами). Здесь мы описываем новый подход к разложению на множители большого числа, являющегося произведением двух простых чисел примерно одинакового размера. Он разработан специально для решения этой проблемы и выявления недостатков в..
