Публикации по теме 'big-data'
Эффективно проводятся тысячи экспериментов: Hyperopt с Sacred
Эффективно проводятся тысячи экспериментов: Hyperopt с Sacred
В настоящее время мы приближаемся к завершению наших проектных циклов, а это означает, что мы проводим МНОГО тестов. В проекте Pythia есть много разных гиперпараметров (экспериментальных параметров), между которыми мы можем выбирать. Мы начали исследовать различные типы доступных методов поиска по гиперпараметрам, чтобы надеюсь найти лучшее решение, не проводя тесты в течение нескольких месяцев. Мы нашли несколько..
Скрытая опасность больших данных
В век больших данных существует убеждение, что все наши проблемы можно решить, просто собрав достаточное количество данных. Ответы должны быть там, просто загрузите в машину достаточно данных, и со временем все станет ясно. Хотя легко впасть в такую точку зрения, мы, специалисты по обработке данных, должны остановиться и спросить, только потому, что я могу построить свою модель, означает ли это, что я должен ?
Имея больше данных, чем когда-либо прежде, мы действительно можем..
Что такое Apache Spark?
ПРЕДУПРЕЖДЕНИЕ . Это не для высокотехнологичных единорогов, вы, мифические звери, сверкающие SQL и Java и заставляющие код цвести, куда бы вы ни пошли. Это для обычного человека, который хочет понять Apache Spark на пешеходном уровне. В Интернете есть множество ресурсов, которые помогут вам глубже погрузиться в Apache Spark, но неграмотным программистам может быть сложно разобраться в этом. Не обижайтесь на единорогов, они классные!
Это для любопытных людей, которые хотят немного..
Приходит новое поколение менеджеров хедж-фондов
Объем данных, который создается в наши дни, почти непостижим.
Подсчитано, что только за последние два года было создано 90% мировых данных.
В 2017 году каждую минуту во всем мире выполнялось 3 607 080 поисковых запросов Google. С 2013 года количество твитов в минуту увеличилось на 58% до более чем 455 000 твитов в минуту в 2017 году.
В мире инвестиций знание — сила. Распространение данных находится на ранних стадиях переворота индустрии хедж-фондов и вознаграждает тех, у кого..
Интересные доклады с PyData London 2017
Интересные доклады с PyData London 2017
В этом году конференция PyData London прошла в офисе Bloomberg 6 и 7 мая, а 5 мая - в День обучения. Как и в случае с PyData Amsterdam 2017 , я нашел время посмотреть все выступления на конференции и написать в блоге сообщения о тех, которые я нашел наиболее интересными.
Итак, приступим. Поскольку я большой поклонник случайных лесов и считаю их в значительной степени Data Science 101, мне очень понравилось выступление Натана Эпштейна от..
Нам нужен новый MONIAC: визуализация денежных потоков для создания устойчивого будущего
С момента своего появления в 1970-х годах персональный компьютер резко повысил коллективную способность общества понимать естественные и созданные человеком системы нашего мира. Возможность собирать информацию и обмениваться ею была ключевым фактором прогресса. Благодаря недавнему развитию облачных вычислений за последние 10 лет возможность проводить исследования сложных систем с большим объемом данных становится доступной для всех. Это хорошее время. В настоящее время мы сталкиваемся..
Ложь о вакансиях в Big Data
да, это правда, что области больших данных и науки о данных действительно стали ведущей отраслью для работы в области информационных технологий и компьютерных наук, но существует много неправильных представлений о наличии рабочих мест в области больших данных и науки о данных.
Первое заблуждение состоит в том, что в этой области много рабочих мест, но это не совсем так. В этой области много вакансий, но они не начального уровня, но даже для работы «начального уровня» требуется более 2 лет..
