Позвольте мне углубиться в причины, по которым недавно опубликованное исследование по ИИ Слон в комнате вызвало такой большой интерес и шумиху?

Академический мир искусственного интеллекта и прикладной ИИ в промышленности — это две разные мультивселенные, сосуществующие. Единственная связь между ними — это приложения реального мира, которые время от времени находят свое применение в популярной технической области, но в академическом мире происходит множество дискуссий, исследований, предисловий и дебатов, которые в основном не влияют на прикладной ИИ. мир в обычном понимании. Но несколько месяцев назад произошло нечто иное.

9 августа 2018 года было опубликовано исследование под названием Слон в комнате группы из 3 исследователей Амира Розенфельда (научный сотрудник Йоркского университета), Ричарда Земеля (профессор Университета Торонто, факультет компьютерных наук) и Джон К. Цоцос (заслуженный профессор-исследователь Йоркского университета).

В этом исследовании нет ничего очень амбициозного, заявленного в его небольшом описании, и оно не кажется зловещим в начале, но влияние и волнения, которые оно создало среди академического мира, что даже в Сингапуре я мог видеть ссылку на это исследование, цитируемое на нескольких сессиях с различные обсуждения ИИ. Впервые я узнал об этом исследовании в твиттере Гэри Маркуса (нейробиолога из Нью-Йоркского университета) в начале сентября 2018 года, когда я впервые прошел его и изучил его предпосылки и сделанную заявку.

Достаточно забавно, что в то время я не нашел ничего слишком значительного и ответил Гэри о его практической неважности в прикладном ИИ, но с тех пор я вижу, что вокруг него создается все больше и больше шума, и это заставило меня вернуться и выяснить, почему это исследование приобретает такое большое значение.

Разница во мнениях

Первое, что я заметил, это то, что все сообщество, включая академию и промышленность, разделилось на два лагеря. Оптимисты и пессимисты. Оптимисты всегда стараются великодушно отпраздновать первые шаги и надеются, что большие успехи не за горами, и именно они мотивируют компании, исследователей и людей в целом продолжать двигаться вперед. В их число входят различные руководители фирм, ориентированных на ИИ, включая Google, Facebook и Apple.

Другая группа думает, что они здесь реалисты, и они пытаются привнести голос разума, чтобы держать под контролем чрезмерное празднование оптимистов, но во многих случаях они вместо того, чтобы быть просто реалистами, становятся гасителями настроения, обычно это исследователи человеческого мозга (нейробиологи), а также некоторые технические исследователи, которые утверждают, что люди, восхваляющие ИИ, должны действительно видеть, как далеко мы должны зайти.

Это исследование поставило две стороны сообщества прямо друг против друга, и начались ссоры.

Чего достигло исследование?

Исследование очень прямо заявило о своей цели в аннотации, в которой говорилось:

Мы демонстрируем семейство распространенных сбоев современных детекторов объектов. Они получаются путем замены частей изображения другим частью изображения, которое содержит обученный объект. Мы называем это «пересадкой объекта». Показано, что изменение изображения таким образом оказывает нелокальное влияние на обнаружение объекта. Небольшие изменения в положении объекта могут повлиять на его идентичность в соответствии с детектором объекта, а также на идентичность других объектов на изображении. Мы проводим некоторый анализ и предлагаем возможные причины наблюдаемых явлений.

Прямая выдержка из раздела рефератов исследования

В первой части исследования этого дрессированного объекта здесь они использовали образ Слона, что было немного легкомысленно, так как это соответствует метафорической конструкции «Слон в комнате», что означает самый очевидный факт, что в комнате никого нет. хочет обратиться.

Да, результаты детекторов объектов испортились, и они начали идентифицировать вещи либо неправильно, либо с меньшей степенью достоверности. Примечание. Уровень достоверности — это то, что указывает в системе ИИ, что нужно для получения окончательного значения сцены. Меньший уровень достоверности может привести к тому, что система примет совершенно другое значение сцены.

Исследование очень четко установило тесты, которые оно использует, и пытается соответствовать принятым в отрасли стандартам, например, в этом случае они использовали тест обнаружения объектов Microsoft COCO, на котором они обучали объект. Этот тест является одним из многих тестов, используемых многими компаниями, производящими автономные транспортные средства.

Во второй части исследования исследователи продублировали объекты, которые присутствовали на изображении, чтобы увидеть, срабатывает ли идентификатор объекта, чтобы увидеть все изображение по-другому, и, к всеобщему удивлению, это произошло. Это доказало хрупкость идентификаторов объектов. Ниже я расскажу об актуальности этого сценария.

И в последнем разделе исследования исследователи попытались проверить свои выводы с большим количеством образцов аномальных объектов на разных изображениях, чтобы увидеть, все ли идентификаторы объектов неправильно интерпретируют и какое другое поведение мы обнаружим.

Практическое значение этого исследования

Любое исследование и его заявленные результаты должны быть выводом как для академического, так и для прикладного мира, и это исследование ничем не отличается. Как я упоминал ранее, я попытаюсь сделать соответствующие выводы из исследования, чтобы убедиться, что выводы практичны и осуществимы, и позвольте нам выявить реальные сценарии, в которых это исследование может быть использовано, а его результаты могут помочь нам обеспечить решения, которые мы создаем, учитывают сценарии, упомянутые в исследовании.

Это исследование сосредоточено на области интерпретации сцен ИИ, и поэтому все прикладные науки, которые работают на основе интерпретации сцен, входят в сферу применения.

  1. Медицинская робототехника
  2. Навигация и исследование
  3. Автономные транспортные средства

Во всех трех приведенных выше сценариях мы должны четко понимать, что интерпретация сцены, выполненная машиной, является точной для определения следующего принятого решения, выбранного маршрута или действия, предпринятого во всех трех соответствующих вариантах использования. Давайте будем предельно ясны. У машин нет проблемы призраков. Они не видят изображения, как люди, а получают изображения на основе получаемых ими сенсорных данных.

Какими бы глупыми они ни были, вставка любого аномального объекта в сцену — это случай подделки изображения или внешнего объекта, размещенного внешним объектом. Это шаг в область системной безопасности и кибератак. Таким образом, любые выводы, которые мы делаем из этого сценария, будут неуместны, если мы убедимся, что никто не имеет доступа к системе на ходу.

Эта первая часть исследования дает представление о поведении системы только в том случае, если какой-либо хакер может получить доступ к системе и вставить что-то вредоносное в системные данные. Автономные автомобили могут начать вести себя странно, они могут сбиться с курса из-за кибератак, применить внезапные тормоза или врезаться в кого-то, если они неправильно истолковывают сцену, которую пытаются обработать и на которую отреагировать.

В прикладном ИИ мы можем противодействовать этому, разместив вторичную и независимую систему, чтобы она продолжала получать вторичный снимок изображения, а сцена, которая интерпретируется первичной системой, проверяется вторичной системой для выполнения действий. Основным недостатком, который это приносит всей системе, может быть сокращение времени отклика, но это ограничение нам, возможно, придется учитывать в соответствии с общей безопасностью системы.

Второй сценарий исследования предполагает сценарий, в котором объект, являющийся частью изображения, дублируется и, следовательно, обманом переводит систему в другое состояние вывода, чем должно было быть. Этот сценарий может существовать даже без того, чтобы система была скомпрометирована внешним фактором или кибератакой.

Вспомните дни старых фотопленок, когда переэкспонирование одного изображения могло последовательно повлиять на второе изображение, и мы могли видеть часть изображения первого и во втором. Даже цифровые системы иногда страдают от этого явления. Когда мы генерируем видеопоток, вполне возможно, что рассматриваемая основная камера пропускает кадры из-за проблем с обслуживанием или из-за проблем с камерой.

Это может привести к перекрытию двух или более кадров друг с другом, когда относительное расположение объекта в предыдущем кадре отличалось от текущего, и создает дубликат объекта в кадре. Это может заставить датчики интерпретировать изображение совершенно иначе, чем оно должно быть. Теперь завершите это дело кибератакой, чтобы это могла сделать и внешняя сторона.

Из этого случая мы узнали, что важность наличия второй независимой системы проверки становится еще более важной для автономных транспортных средств. Таким образом, какое бы снижение производительности это ни вызывало, система в целом должна нести нагрузку и воспринимать ее как часть решения.

Почему столько шума вокруг учебы?

Что ж, любой технический прогресс вызывает интересную реакцию общества. У него есть свои крайности по обе стороны спектра, и у него есть свои умеренные. Это исследование уговаривает один из самых обсуждаемых и обсуждаемых феноменов промышленной автоматизации, который повлияет на будущее работы для многих людей. Автономные транспортные средства.

Из-за социальных опасений огромного количества людей, напуганных чувством потери работы из-за автономных транспортных средств, эта проблема во многих странах приобрела политическую окраску. Таким образом, люди пытаются найти аргументы, которые помогут им извлечь максимальную пользу из любого исследования, продвигающего их повестку дня.

Компании по автоматизации, такие как Google и Tesla, продвигают автономные транспортные средства, поскольку они представили случай, когда большинство аварий вызвано человеческими ошибками, либо люди устали за рулем, небрежны или даже пьяны. Этих проблем нет с автономными транспортными средствами. Следовательно, имеет логичный смысл переходить к автомобилям, у которых нет таких проблем.

С другой стороны, люди, зарабатывающие на жизнь этой профессией, боятся увольнения и потери работы, поэтому они счастливы быть частью лагеря, выступающего против чрезмерной зависимости от этих автоматизированных систем.

Вывод

Эти дебаты будут продолжаться и в будущем, поскольку мы видели все это и в прошлом. Но на данный момент кажется, что исследование будет продолжать вызывать крайние эмоции и контраргументы, которые всегда присутствуют, хотя и на медленном огне.

Люди склонны сопротивляться любым изменениям и любой автоматизации процессов. Страх перед Скайнетом и восстанием терминаторов будет держать человечество в напряжении по этой теме. Нам нужен голос рациональности и логики, чтобы сохранить эти страхи на практике, а не превращать их в общественную истерию, а также игнорировать их как ненужный шум.

В конце я хотел бы поблагодарить Гэри Маркуса за то, что он направил меня к проблеме хвоста в системах ИИ, которая помогла мне понять больше остаточных проблем в таких сценариях. Вы также должны следить за его мнением в Твиттере.

Спасибо, Гэри!!!

Эта история впервые опубликована на сайте www.agilityexchange.com.

Шайлендра начинал как предприниматель со своего семейного бизнеса и работает уже 25 лет. Официально стал консультантом по ИТ-системам 15 лет назад, предоставляя стратегические решения от бумаги до реальной жизни и инициативы PoC для реальных производственных систем. Известный как специалист по решению проблем и нестандартный мыслитель, в настоящее время он работает в консалтинговой фирме в Сингапуре. Он жил и работал на рынках Индии, Ближнего Востока и Сингапура.