Публикации по теме 'big-data'


Панель управления в реальном времени с Kafka и Spark Streaming
В настоящее время почти каждый разработчик или инженер, ориентированный на данные, или как они там себя называют, говорит о реальном времени, реальном времени и реальном времени ... Большую часть времени я работаю с пакетной обработкой, такой как Hadoop, Hive, Spark и т. Д. Но что, если вам нужно создать информационные панели в реальном времени? Вероятно, наиболее частый ответ: та-да! Apache Kafka и Apache Spark Streaming Но почему мы используем Spark Streaming? Apache Spark..

Рост больших данных как основной смазки цифрового мира
«Информация - это масло 21 века, а аналитика - двигатель внутреннего сгорания». - Питер Сондергаард, старший вице-президент Gartner Research. Большие данные из космоса и «эффект обзора» «Я говорил людям, что я из Кливленда, штат Огайо, потому что там я родился. Сегодня я просто говорю, что я с Земли ». Таков взгляд на мир бывшего астронавта НАСА Дона Томаса, который совершил 692 витка вокруг Земли. Известный как Эффект обзора , многие астронавты возвращаются из космоса с..

Машинное обучение Blackbox - больше нет специалистов по данным ?!
Будет ли уничтожена самая сексуальная работа 21 века машинным обучением черный ящик ? Хотите быстро найти друзей? Попробуйте начать с этого вопроса на званом ужине, посвященном без светской беседы : «Тебе снятся кошмары, когда тебя заменяют машины? Я не имею в виду автоматизацию задач, я имею в виду машины, которые обучаются, как мы с вами… Я говорю о машинах, которые заменят вас… ИИ заменит специалистов по обработке данных ». * Совет: я пошутил ... этот вопрос вызывает..

Данные F&B: как их получить и что с ними делать
Мы живем в мире, полном данных. Некоторые люди даже говорят, что данные — это новая нефть. Но почему так? Как и нефть, данные сами по себе бесполезны. Если вы обнаружите, что масло обитает в вашем саду, это не значит, что вы можете использовать его, чтобы заправить свой автомобиль и ездить. Эта нефть должна быть очищена и обработана, прежде чем вы сможете использовать ее в качестве топлива. Как и в случае с нефтью, объем данных огромен, хотя, к счастью, не так загрязняет..

Как создавать интересные интерактивные диаграммы Санки с помощью JavaScript
Диаграммы Санки становятся все более популярными в задачах визуализации данных. Поэтому для интерфейсных веб-разработчиков важно знать, как создавать диаграммы этого типа. На самом деле, это довольно простой и понятный процесс, особенно если вы используете одну из хороших библиотек для построения графиков JavaScript. В моем руководстве я покажу вам, как без суеты создавать красивые, интуитивно понятные интерактивные диаграммы Санки на языке JS (HTML5). Что такое диаграмма Санки..

Искусственный интеллект и машинное обучение вступают в период массовой консолидации рынка
Вчера Intel объявила о приобретении стартапа машинного обучения Nervana Systems, по слухам, за 400 миллионов долларов . Этот шаг призван улучшить возможности искусственного интеллекта (ИИ) и машинного обучения (МО) Intel в архитектуре следующего поколения. Это приобретение последовало за новостями о приобретении Apple стартапа Turi в области искусственного интеллекта из Сиэтла примерно за 200 миллионов долларов . Эти серии слияний и поглощений сигнализируют о том, что мы вступаем в..

Глубокое погружение в мультиколлинеарность!
Этот блог призван объяснить концепцию мультиколлинеарности, которая очень важна для предварительной обработки данных, которая, в свою очередь, является частью науки о данных или машинного обучения / глубокого обучения. В современном мире была создана огромная шумиха вокруг науки о данных, но печальная реальность заключается в том, что из-за этой шумихи большинство людей не изучают фактические концепции, которые требуются, если кто-то даже изучает, то это также не обучение в правильным..