В настоящее время мы все чаще используем технологии искусственного интеллекта (ИИ) в нашей повседневной жизни. Модели ИИ действуют как черные ящики, поэтому мы не можем знать, как и почему модель генерирует то или иное решение. Это повлияет на доверие между пользователем и моделью. Следовательно, существует необходимость в совместном взаимодействии человека и системы ИИ, что означает, что действия системы ИИ должны быть объяснимы для пользователя, то есть Объяснимый искусственный интеллект (XAI). С XAI мы переходим к большей интерпретируемости. XAI может быть реализован с помощью двух подходов, первый из которых представляет собой постфактум объяснение данной модели черного ящика, а второй - построение интерпретируемой модели или подход к внутренней модели. Апостериорные методы можно снова разделить на два: независимые от модели и зависящие от модели. Независимый от модели означает, что метод может быть применен к любой модели, а специфичный для модели означает, что метод специфичен для конкретной модели. Эти методы имеют глобальную и локальную область действия.

Отношение к информатике

XAI делает приложение ИИ более надежным, поэтому XAI связан со всеми областями, в которых используются приложения ИИ. Робототехника, наука о данных и кибербезопасность являются основными областями компьютерных наук, в которых широко используется применение XAI. XAI является крупным игроком в области здравоохранения, электронной коммерции, образования, навигации, маркетинга, финансов и игр. Объяснимый ИИ имеет первостепенное значение во всех этих областях.

Методы XAI

В системах на основе ИИ более сложные модели дают более точные результаты, но интерпретируемость результатов крайне плохая. Как преодолеть разрыв между интерпретируемостью и точностью в моделях черного ящика, является новым вопросом в XAI. Мощными и широко используемыми методами XAI являются значения Шепли, независимые от локальной интерпретируемой модели объяснения (LIME) и графики частичной зависимости (PDP). Эти методы интерпретируют то, как работает модель. Аддитивные объяснения Шепли (SHAP) — это метод локального объяснения, целью которого является объяснение отдельных предсказаний моделей «черного ящика». PDP — это глобальный и независимый от модели метод интерпретации. LIME объясняет конкретного человека с точки зрения соседства. Применение этих методов к разным черным ящикам и анализ интерпретируемости и точности результата — способ обеспечить эффективность этих методов. Однако для решения проблем и обеспечения их надежности необходимы дополнительные усовершенствования этих методов.

Общая актуальность

ИИ повлияет на все аспекты нашей жизни. Даже в военной сфере ИИ играет важную роль в принятии решений. Все эти решения все больше влияют на жизнь человека. Следовательно, потребность в объяснении того, как система пришла к своим рекомендациям или решению, имеет важное значение. Доверие пользователей цемента — главная проблема для искусственного интеллекта в ближайшем будущем. Так что объяснимый искусственный интеллект имеет большое значение в наши дни.

XAI устраняет разрыв между доверием пользователя и решением системы. Это особенно важно при принятии важных государственных решений, таких как медицинский диагноз, судебные разбирательства и некоторые крупные финансовые решения. Методы XAI предоставляют объяснение пользователю относительно рекомендации алгоритма. Эти методы показывают, насколько та или иная функция влияет на окончательное решение. Он описывает, почему модель работает таким образом. Это поможет преодолеть недоверие между предполагаемым пользователем и искусственной системой. XAI также полезно действовать в соответствии с «Правом на разъяснение», введенным в законодательстве ЕС.

Внедрение объяснимого ИИ потребовало значительных усилий для решения проблем и нерешенных вопросов. Текущие объяснимые методы в основном хорошо работают только в локальной области.

Ссылки

Адади А. и Беррада М. (2018) Заглядывая внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI) . Доступ IEEE, том. 6, стр. 52138–52160. Доступно по адресу: doi: https://doi.org/10.1109/ACCESS.2018.2870052

Банди, Х., Джоши, С., Бхагат, С. и Амбаваде, Д. (2021) Интегрированный инструмент технического анализа и анализа настроений для прогнозирования движения рыночных индексов, понятный с использованием XAI. В: Международная конференция по коммуникационным информационным и вычислительным технологиям (ICCICT), Мумбаи, Индия, 25–27 июня 2021 г., стр. 1–8. Доступно по адресу: https://ieeexplore.ieee.org/document/9510124 [по состоянию на 23 апреля 2022 г.]

Брандао, М., Канал, Г., Кривич, С. и Магазени, Д. (2021) На пути к предоставлению объяснений для планирования движения роботов. В: Международная конференция IEEE по робототехнике и автоматизации (ICRA), Сиань, Китай, 30 мая — 5 июня 2021 г., стр. 3927–3933. Доступно по адресу: https://doi.org/10.1109/ICRA48506.2021.9562003 [По состоянию на 22 апреля 2022 г.]

Карвалью, М. и Силва Г. (2021) Внутри черного ящика: использование объяснимого ИИ для улучшения политики, основанной на фактических данных. В: 23-я конференция IEEE по бизнес-информатике (CBI),Больцано, Италия, 1–3 сентября 2021 г., стр. 57–64. Доступно по адресу: https://ieeexplore.ieee.org/document/9610672 [По состоянию на 23 апреля 2022 г.]