«Информация - это масло 21 века, а аналитика - двигатель внутреннего сгорания».

- Питер Сондергаард, старший вице-президент Gartner Research.

Большие данные из космоса и «эффект обзора»

«Я говорил людям, что я из Кливленда, штат Огайо, потому что там я родился. Сегодня я просто говорю, что я с Земли ».

Таков взгляд на мир бывшего астронавта НАСА Дона Томаса, который совершил 692 витка вокруг Земли. Известный как Эффект обзора, многие астронавты возвращаются из космоса с совершенно другим фундаментальным взглядом на нашу планету. Новая перспектива в космическом секторе стала возможной благодаря множеству инструментов анализа, которые предлагают визуализацию данных, и доказали свою полезность, поскольку они помогают нам лучше понять нашу планету Земля и разгадать тайны Вселенной.

Технология больших данных - это продукт информационных технологий, который призван решать задачи, с которыми сталкиваются, увеличивая объем информации в различных областях. Если вспомнить, сколько раз мы использовали телефон или компьютер, в скольких приложениях мы вошли в систему? Проверяли ли мы Facebook, Twitter, Instagram, Reddit или LinkedIn? Используем ли мы регулярно Amazon, YouTube, Tinder, Buzzfeed или Pinterest? Каждый из этих магазинов приложений или веб-сайтов, которые многие из нас используют ежедневно, собирает пользовательские данные, чтобы улучшить пользовательский опыт и помочь компаниям принимать обоснованные бизнес-решения. Но это не все данные, которые нам могут помочь.

Прямо сейчас спутники выполняют 2 миллиарда команд в секунду и доставляют данные, которые могут помочь нам предотвратить стихийные бедствия и разумно использовать природные ресурсы. Было выдвинуто несколько инициатив, основанных на данных, для принятия более эффективных решений и повышения операционной эффективности в таких секторах, как сельское хозяйство, лесное хозяйство, картография, судоходство или энергетика.

Использование данных для улучшения жизни на Земле

Все больше и больше компаний начинают открываться для космического сектора, поскольку постоянно растет число доступных спутниковых услуг. Если рассматривать одну отрасль - сельское хозяйство - последствия огромны. Фермеры могут использовать данные изображений, чтобы лучше понять, какие факторы влияют на рост сельскохозяйственных культур, и есть факторы, которые можно обнаружить из космоса, такие как погодные условия, воздействие солнечного света, качество воздуха или активность вредителей, чтобы можно было определить оптимальные условия.

Через несколько коротких десятилетий население мира вырастет на 50 процентов к 2100 году. Сейчас, как никогда ранее, фермерам нужен доступ к инструментам, которые поддерживают решения, которые они принимают каждый день, чтобы максимизировать свою прибыль с каждого акра. Climate Corporation обрабатывает свои спутниковые данные, чтобы дать фермерам возможность найти более устойчивые способы выращивания большего количества продуктов питания. Ключевые аспекты проекта этой компании могут принести пользу человечеству в долгосрочной перспективе.

Другая компания, Planet, предоставляет геопространственные данные, предоставляя пользователям данные, необходимые для принятия информированных и своевременных решений, предлагая разнообразный выбор изображений и аналитических решений, которые доступны онлайн через их платформу и веб-инструменты. От сельского хозяйства и реагирования на чрезвычайные ситуации до защиты и безопасности природных ресурсов, глобальные изображения и фундаментальная аналитика расширят возможности осознанного, осознанного и значимого управления нашей планетой.

Спутники наблюдения Земли предоставляют важные данные, которые позволяют быстро обнаруживать изменения в окружающей среде и климате или измерять движение или сокращение ледников. В случае стихийных бедствий, таких как наводнения или землетрясения, аварийным службам могут быть предоставлены обновленные карты. Однако это требует накопления очень большого количества данных. Спутники программы Copernicus Европейского союза (ЕС) являются одними из крупнейших производителей данных в мире. Их инструменты с высоким разрешением в настоящее время генерируют около 20 терабайт данных каждый день. Это эквивалентно фильму HD, который будет длиться около полутора лет. В дополнение к этому данные также предоставляются немецкими миссиями, такими как TerraSAR-X и TanDEM-X, а также растущим числом других источников, таких как Интернет и измерительные станции. Обработка и анализ этих очень больших и разнородных наборов данных относятся к числу проблем, связанных с большими данными, с которыми сталкивается все более цифровое общество.

Новые идеи и концепции необходимы, чтобы иметь возможность обрабатывать данные и превращать их в информацию. Искусственный интеллект играет в этом важную роль, поскольку такие процессы чрезвычайно эффективны, особенно когда задействованы большие объемы данных. Ученый DLR Сяосян Чжу из Технического университета Мюнхена проводит исследования по использованию таких методов. Вместе со своей командой Чжу разрабатывает исследовательские алгоритмы на основе обработки сигналов и искусственного интеллекта (ИИ), в частности машинного обучения, для значительного улучшения сбора глобальной геоинформации из спутниковых данных и достижения прорывов в науках о земле и окружающей среде. Новые алгоритмы анализа данных позволяют ученым сделать еще один шаг вперед, объединив петабайты данных из дополнительных гео-релевантных источников, от спутников наблюдения Земли до социальных сетей. Их выводы могут помочь в решении ранее неразрешимых проблем, таких как регистрация и картирование глобальной урбанизации - одной из наиболее важных мегатенденций глобальных изменений.

Однако не только область спутникового дистанционного зондирования решает эту проблему. Изучение явлений с другой стороны - взгляд с Земли в космос - также генерирует огромные объемы данных. Телескопы, такие как Square Kilometer Array (SKA) в Южной Африке и Австралии, предоставляют большие объемы данных, как и телескопы космического базирования ЕКА, например Gaia и Euclid. Таким образом, систематический анализ архивных данных с помощью самообучающихся программ ИИ становится все более важным в астрономических исследованиях.

«Мы давно говорим о больших данных, и это подводит нас к пониманию космических данных и космической аналитики. Не так много людей в коммерческом секторе получили доступ к этой информации, они не до конца понимают значение всех этих данных », - сказал Терри Янг, генеральный директор Sparks & Honey. «Идея заключалась в том, чтобы взглянуть на инновации, которые будут созданы в течение следующих 15 лет на нашем пути к Марсу и за его пределами, и выяснить из этих инноваций, которые очень ориентированы на науку или технику, каковы будут последствия для организаций. и потребители здесь, на Земле ».

В прошлом приложения космических данных в основном выполнялись правительствами из-за заоблачных затрат на запуск спутников и их удержание в космосе, где они могли бы генерировать данные с помощью камер, датчиков и сканеров или использовать для отслеживания конфликтов, отслеживания поток беженцев и сбор наземных и космических данных для исследовательских целей. Благодаря таким компаниям, как SpaceX, основанная предпринимателем Tesla Илоном Маском, а также сотням стартапов в ближайшее десятилетие миллиарды будут потрачены на создание инфраструктуры. Интересным моментом для отрасли является то, что большая часть этих данных станет доступной для организаций, чей бизнес не связан преимущественно с космической базой.

«Что-то, что парит над Землей и дает вид сверху, действительно создает уникальный набор данных. Примерно 35% спутников на орбите сейчас используются в коммерческих целях, и эти спутники используются на деньги венчурного капитала. Многие стартапы предоставляют низкоорбитальные спутники для самых разных целей ». «Мы рассмотрели такие идеи, как возможность наблюдать такие вещи, как нехватка воды, поскольку это относится к производственным процессам, схемам движения в больших городах, поскольку мы смотрим на строительство городов будущего и их инфраструктуры. Мы даже можем перенести это на крупную розничную торговлю, где внезапно мы можем собирать данные в реальном времени по сотням магазинов одновременно и использовать их для анализа моделей пешеходного движения », - сказал Янг.

Почему космические данные - это новые большие данные

Аналитика данных может использоваться для улучшения спортивных результатов, чтобы помочь нам лучше понять и разработать лекарства от болезней, помочь в развитии искусственного интеллекта, улучшить инфраструктуру в вашем городе и расширить сферу деятельности науки. НАСА недавно использовало данные, собранные за годы исследований, для запуска удивительной интерактивной карты Марса. Карта, получившая название Марсианский путь, представляет собой образовательный инструмент, который НАСА предлагает широкой публике в рамках своей программы исследования Марса. Вот ссылка: https://trek.nasa.gov/mars/

Согласно официальному сайту NASA Mars Trek: «Этот портал демонстрирует данные, собранные NASA на различных площадках приземления. Он имеет простой в использовании инструмент для просмотра, который обеспечивает наслоение и просмотр продуктов данных о Марсе с высоким разрешением в двухмерном и глобальном режимах, позволяя пользователям летать над поверхностью Марса. Он также предоставляет набор инструментов, включая 3D-печать, профили высот, расчеты угла Солнца, положение Солнца и Земли, а также закладки для области исследования миссиями НАСА ». Эти «миссии», которые предоставили большую часть данных для карты на сегодняшний день, - это, в частности, миссия MSL (Mars Science Laboratory), в которой участвовал марсоход Curiosity, миссия MER (Mars Exploration Rovers), в которую входили Spirit и Opportunity, Миссия Феникса и миссия Следопыт. НАСА планирует продолжать обновлять карту по мере появления новых данных.

Это особенно интересно, поскольку марсоход Mars 2020 должен предоставить нам совершенно новый объем данных, который мы добавим на карту к 2021 году. Создан по образцу Curiosity, который стал прорывной беспилотной системой для НАСА, марсохода 2020 года, запущенного 30 июля. 2020 в 11:50 UTC исследует обитаемость Марса, надеясь, что проложит путь для пилотируемых миссий НАСА, предварительно запланированных на 2030 год.

Данные, дополнительные данные и петабайты данных

Даже в сфере здравоохранения часто упоминаются данные. В течение последних 100 лет патологи диагностируют болезни одним и тем же способом, вручную просматривая изображения под микроскопом. Теперь компьютеры помогают врачам повысить точность и значительно изменить способ диагностики рака и других заболеваний.

Методы искусственного интеллекта (ИИ) были разработаны исследовательской группой из Гарвардской медицинской школы и Медицинского центра Бет Исраэль Дьяконесса, целью которой было обучение компьютеров интерпретации изображений патологии, с долгосрочной целью создания систем на базе ИИ для более точной диагностики патологических состояний. точный.

«Наш метод искусственного интеллекта основан на глубоком обучении, алгоритме машинного обучения, используемом для ряда приложений, включая распознавание речи и изображений», - пояснил патолог Эндрю Бек, доцент кафедры патологии HMS и директор по биоинформатике в Исследовательском институте рака в Бет. Израильская диаконисса. «Этот подход учит машины интерпретировать сложные паттерны и структуры, наблюдаемые в реальных данных, путем создания многослойных искусственных нейронных сетей, в процессе, который, как считается, демонстрирует сходство с процессом обучения, который происходит в слоях нейронов в неокортексе мозга. , регион, где возникает мышление ».

«Выявление наличия или отсутствия метастатического рака в лимфатических узлах пациента - рутинная и критически важная задача для патологоанатомов», - пояснил Бек. «Заглянуть в микроскоп, чтобы просеять миллионы нормальных клеток и идентифицировать всего несколько злокачественных клеток, при использовании обычных методов может оказаться чрезвычайно трудоемким. Мы подумали, что это задача, с которой компьютер может неплохо справиться, и это подтвердилось ». В ходе объективной оценки, в ходе которой исследователям были предоставлены слайды с клетками лимфатических узлов и их попросили определить, содержат ли они рак, автоматизированный метод диагностики оказался точным примерно в 92 процентах случаев, сказал Хосла, добавив: «Это почти соответствует показателю успеха. патологоанатома, точность результатов которого составила 96 процентов ».

«Но по-настоящему захватывающим было то, что когда мы объединили анализ патологоанатома с нашим методом автоматизированной вычислительной диагностики, результат улучшился до 99,5% точности», - сказал Бек. «Сочетание этих двух методов привело к значительному сокращению ошибок».

Команда обучила компьютер различать области раковой опухоли и нормальные области на основе глубокой многослойной сверточной сети. Для этого исследователям пришлось собрать огромные объемы данных, на основе которых они могли обучать свои модели машинного обучения.

И это не только радиология. В новой области генной терапии патологии сопоставляются с конкретными генетическими мутациями. Это означает, что у недавно диагностированных онкологических больных теперь обычно секвенируют гены, поэтому онкологи могут назначить наиболее эффективное лечение.

Ключ к обоим этим достижениям по спасению жизней? Петабайты и петабайты данных.

Что нас ждет в будущем и глобальные усилия по открытому доступу к данным

Еще в 2016 году Пьеро Скаруффи, когнитивист и автор «Истории Кремниевой долины» сказал: «Разница между нефтью и данными состоит в том, что продукт нефти не генерирует больше нефти (к сожалению), тогда как продукт данных (само- вождение автомобилей, дронов, носимых устройств) будет генерировать больше данных (где вы обычно водите, насколько быстро / хорошо вы водите, кто с вами) ».

Открытые данные, большие данные и технологические революции стимулируют бизнес, правительства и граждан.

Сегодня в отрасли наблюдается широкий спектр технологий уменьшения размеров - миниатюризация датчиков и спутников; большое количество частных предпринимательских миссий и внедрение новых технологий, таких как AR / VR, искусственный интеллект и машинное обучение, облака и т. д. Как сделать все эти данные доступными для всех? Сделав его открытым. Обеспечение более эффективных политик обмена спутниковыми данными об окружающей среде и выработка практических рекомендаций по расширению обмена глобальными данными.

Open.NASA, например, представляет собой программу открытых инноваций в отделе инноваций НАСА, которая создает множество программ открытых данных как для специалистов в области космоса, так и для энтузиастов. Хакатон NASA Space Apps Challenge, NASA Datanauts и Data Bootcamp - это проекты, которые предоставляют гражданам возможность легко получить доступ и внедрять инновации с помощью открытых данных, кода и API НАСА. Все это и многое другое становится правдоподобным с увеличением инвестиций в космос. Все больше компаний частного сектора - крупных, средних и малых - приступают к наблюдению за Землей, переосмысливая сам смысл того, что ждет в будущем.

Также появятся автономные транспортные средства (АВ). Преимущества широко известны: более безопасные дороги, рост экономики и меньшая загруженность в час пик. Но, пожалуй, самым большим преимуществом является сокращение выбросов парниковых газов (ПГ) от автомобилей. Исследования, проведенные профессорами Познаньского университета, показывают, что автономные транспортные средства могут в конечном итоге сократить выбросы парниковых газов на 40–60%. В этом случае требуются сотни петабайт данных, которые образуют озеро данных, из которого будут поступать передовые решения машинного обучения для автономных автономных систем. Это еще не все. Каждая из этих современных «вычислительных платформ, которые оказываются мобильными» будет генерировать терабайты данных в неделю на одно транспортное средство. Даже если предположить, что количество транспортных средств на дорогах сократится на 75%, это будет много эксабайт данных в год. Если происходит дорожно-транспортное происшествие, вы можете вызвать изображения, записанные транспортными средствами, чтобы решить, что вызвало аварию и какие AV-алгоритмы нуждаются в улучшении.

Мы находимся на пороге изучения беспрецедентного количества инноваций, исследований, ресурсов и технологических связей. Все с земным резонансом. Космос - это не просто лунный свет. Он меняет жизнь не только на орбите, но и здесь, на Земле.

И данные влияют не только на то, как работает наш бизнес, но и на нашу жизнь.

Первоначально опубликовано на https://westeastspace.com 1 августа 2020 г.