Почему такие компании, как Apple, Intel, Google, пытаются перенести ИИ из облака в периферию

Ранее в этом году Apple объявила о приобретении за 200 миллионов долларов США стартапа Xnor.ai, работающего с периферийным ИИ из Сиэтла. Это был один из многих других шагов по переносу ИИ-логики из облака на локальное оборудование.

Сегодня алгоритмы находятся в облаке и обслуживают ваши запросы. Как вы можете догадаться, может возникнуть задержка, поскольку данные должны перемещаться между облачными серверами и удаленным клиентом. Также может быть много проблем с конфиденциальностью. Неуклонный рост возможностей смарт-устройств постепенно дает возможность запускать алгоритмы локально на периферии, а не в облаке. Все крупные технологические гиганты сейчас участвуют в гонке, чтобы довести ИИ до предела.

«Машинное обучение будет иметь большое значение. Большой вопрос в том, как сделать это эффективно?» - говорит Стэнфордский профессор Субхасиш Митра.

Что такое Edge AI?

По словам HP, в пограничных вычислениях данные обрабатываются самим устройством, локальным компьютером или сервером, а не передаются в центр обработки данных. Теперь, когда мы говорим об искусственном интеллекте, эти вычисления становятся довольно сложными, и обычные периферийные устройства становятся неспособными их выполнять. Вот почему в настоящее время выполнение этих сложных вычислений возлагается на огромные серверы центра обработки данных.

Если вы когда-либо использовали FaceApp (приложение для проверки внешнего вида), вы могли заметить, что для получения результата требуется значительное количество времени. На сервере происходит то, что ваше изображение (зашифрованное) отправляется на удаленный сервер, сервер применяет запрошенный вами алгоритм и отправляет его обратно на ваше устройство. Теперь, если бы этот полный процесс каким-то образом происходил в самом вашем локальном компьютере, он был бы намного быстрее и не говоря уже о безопасности. Именно здесь на помощь приходит Edge-AI, и такие компании, как Xnor.ai, создают технологию, которая позволяет делать локальные выводы.

Почему Edge AI имеет значение?

Edge AI дает возможность принимать критически важные и срочные решения быстрее, надежнее и с большей безопасностью. Для Apple и многих других компаний, которые заявляют, что превыше всего ставят конфиденциальность пользователя, периферийный ИИ определенно станет незаменимой технологией.

Технология Xnor.ai эффективно запускает модели глубокого обучения на периферийных устройствах, таких как телефоны, устройства Интернета вещей, камеры, дроны и встроенные процессоры. Уловка состоит в том, чтобы создать высокоэффективное оборудование, способное выполнять энергоемкие алгоритмы без большой потери точности этих алгоритмов. Приобретение Apple Xnor.ai потенциально поможет ей бросить вызов крупным игрокам в облачных технологиях, Amazon Web Services, Microsoft Azure и Google Cloud. С другой стороны, все они также постоянно уделяют больше внимания использованию преимуществ ИИ и периферийных вычислений.

Как вы оптимизируете для края

Существует два основных способа повышения производительности алгоритмов на периферии: оптимизация архитектуры модели, оптимизация оборудования устройства или и то, и другое.

Оптимизация архитектуры модели

Традиционные алгоритмы ИИ используют обычное представление чисел. Например, ваш 32-битный компьютер может использовать для модели 32-битные веса и смещения. На протяжении многих лет люди наблюдали, что веса и смещения не обязательно должны быть точными до 32 или 64-битных, чтобы обеспечить хорошую точность. Исследования показывают, что когда 32-битные веса и смещения точности заменяются 8- или 16-битной точностью, нет значительного снижения точности модели.

Одна публикация Xnor.ai под названием Классификация ImageNet с использованием двоичных сверточных нейронных сетей, опубликованная в 2016 году, предлагает два эффективных приближения к стандартным сверточным нейронным сетям: сети двоичного веса и сети XNOR. Они снижают точность до 1 бита (двоичного), чтобы сэкономить память в 32 раза. Сети XNOR приближаются к сверткам, используя в основном двоичные операции, что приводит к ускорению вычислений в 58 раз. Окончательные оценки были отличными; в документе говорится: Точность классификации с версией AlexNet для двоично-весовой сети такая же, как и у AlexNet с полной точностью, что просто поразительно. Следует отметить, что статья была опубликована в 2016 году, и сегодня существуют более совершенные архитектуры.

Оптимизация оборудования

Следующим подходом может быть создание более совершенного оборудования для поддержки вычислительных и энергоемких алгоритмов ИИ. Myriad была одной из таких компаний, занимавшихся разработкой аппаратных модулей, особенно для AI Inferencing. В 2016 году AI приобрела Movidius, и сегодня это оборудование известно как Intel Neural Compute Stick. Neural Compute Stick или NCS позволяет разрабатывать, настраивать и развертывать традиционные сверточные нейронные сети (CNN) в приложениях с низким энергопотреблением, требующих вывода в реальном времени.

NCS Stick работает с набором инструментов Intel OpenVINO, который помогает вам взять вашу традиционную модель машинного обучения, сгенерировать промежуточные представления, а затем использовать механизм вывода для вывода результата для заданных входных данных. Промежуточные представления генерируются модулем Model Optimizer набора инструментов, который преобразует вашу модель в форму, которая быстрее обрабатывается.

Однако лучшим методом было бы совместное проектирование программного и аппаратного обеспечения всего конвейера. Это обеспечит оптимизацию вашей производительности как на аппаратном, так и на программном уровне. На видео ниже вы можете увидеть, как Xnor.ai проделывает фантастическую работу по созданию микросхемы обнаружения объектов на солнечной энергии. Такие микросхемы могут использоваться в тысячах реальных приложений.

Что нас ждет

По мере того, как Edge AI станет более мощным и начнет обретать форму, мы станем свидетелями настоящего AI на наших устройствах. Нашим интеллектуальным устройствам больше не нужно будет подключаться к Интернету для доступа к приложениям на основе искусственного интеллекта; время ожидания резко сократится, и, прежде всего, будет обеспечена настоящая конфиденциальность.

Это прекрасное время для жизни, когда по всему миру происходит много интересного. Одна вещь, которую я определенно с нетерпением жду, - это то, как передовой ИИ повлияет на здравоохранение, когда оно станет зрелым. Спасибо, что прочитали статью, и я надеюсь, что она вам понравилась. До скорой встречи :)