Эта статья основана на материалах, представленных Берлинской группой машинного обучения 7 октября 2019 года. Первоначальная история впервые появилась на сайте Dain Studios.

По мере развития области машинного обучения и искусственного интеллекта и развертывания сложных моделей в новых (и критических) отраслях возникают новые проблемы. Одним из наиболее распространенных из них является представление о том, что эти модели ведут себя как черные ящики, т. Е. Трудно понять, как они работают, и причины, лежащие в основе их прогнозов. Это сочетается с активизацией усилий по устранению предвзятости (т. Е. Обнаружению того, что модель использует дискриминационные особенности в прогнозе). Оба эти фактора приводят к росту недоверия к системам машинного обучения и искусственного интеллекта. Область, которая занимается этими проблемами, называется объяснимым ИИ, или сокращенно xAI. В этом сообщении в блоге я расскажу вам о мотивации, стоящей за этой областью.

Слова предостережения / шумиха

Прежде чем начать, я хочу высказать несколько предостережений. Хотя «черный ящик» машинного обучения не является новой темой и является проблемой с момента создания первых алгоритмов, новая волна методов объяснимости появилась сравнительно недавно. Из-за этой новизны многие методы в этой области не были тщательно протестированы в различных средах, а академическая работа по этой теме также недостаточна. Вот почему вы должны быть очень осторожны при использовании этих методов в критически важных производственных системах и тщательно изучить их, прежде чем применять их вслепую.

К сожалению, xAI также вовлечен в бурю ажиотажа и модных словечек, жертвой которой является общее поле ИИ. Эта шумиха может скрыть как ценность, так и опасность использования этих методов, и затруднить выбор лучшего метода.

Что такое xAI?

В качестве первого шага давайте определим xAI. Несмотря на то, что есть различия между двумя терминами в данной области, для простоты мы будем использовать слова «интерпретируемость» и «объяснимость» как синонимы. Лучшее определение, которое я нашел, - это:

Интерпретируемость - это степень, в которой человек может понять причину решения (Miller, 2017).

В этом определении мы можем сосредоточиться на двух конкретных словах - человек и решение. Это показывает, что самая важная идея в этой области - помочь людям понять системы машинного обучения.

Зачем нам это нужно

В компьютерном мире до появления машинного обучения решения, принимаемые машинами, выполнялись очень строго. Это сделало результаты таких программ более понятными, поскольку все, что вам нужно было сделать, это понять исходный код. В настоящее время, однако, даже опытные специалисты по данным могут столкнуться с трудностями при объяснении обоснования прогнозов своих моделей, и этот процесс кажется волшебным - предоставить данные, добавить цель для прогноза (решения) и получить результат - между которыми нечего показать. намек на процесс принятия решения. Эта проблема проиллюстрирована на рисунке ниже:

Еще одним очень важным фактором, стимулирующим развитие области xAI, является возросшая зрелость систем машинного обучения производственного уровня в критических отраслях. В то время как примерно в 2009 году большинство развернутых систем машинного обучения были в составе продуктов технологических компаний (например, Google, Youtube), где ложное предсказание привело бы к неверной рекомендации, показанной пользователю приложения, в настоящее время эти алгоритмы развернуты в таких секторах, как как военное дело, здравоохранение и финансы. Результаты прогнозов в этих новых отраслях искусственного интеллекта могут иметь далеко идущие и драматические последствия для жизни многих людей, поэтому крайне важно знать, как эти системы принимают решения.

К этой теме относятся также такие законы, как GDPR и «право на объяснение». Специалист по данным, который внедряет модель машинного обучения в производственную среду, может быть юридическим обязательством объяснить, как он принимает решения, если это решение может иметь большое влияние на людей.

xAi также может быть полезен для конечных пользователей приложений. С такими системами у них будет повышенное доверие. Возьмем приложение для здравоохранения на базе искусственного интеллекта. Часто в этом случае техническая группа сообщает о производительности модели экспертам в предметной области (или, в данном случае, пользователям приложения). Инженеры сообщают, что модель достигает 95% точности при прогнозировании наличия у пациента определенного заболевания. В большинстве случаев практикующие врачи будут скептически относиться к таким результатам, говоря, что просто невозможно быть настолько точным. Если в этом случае мы используем такой метод, как Локальные интерпретируемые независимые от модели объяснения (LIME), чтобы объяснить, почему определенный пациент классифицируется как здоровый, уровень доверия к системе должен быть улучшен. При постановке диагноза врачи должны увидеть, что логика модели очень схожа с их логикой. Этот сценарий проиллюстрирован ниже, где модель показывает, что даже если у пациента есть некоторые симптомы, такие как чихание и головная боль, он не болеет, потому что не проявляет усталости.

Итак, теперь мы рассмотрели основы xAI и его возможности. В следующих публикациях мы расскажем, какие методы и связанные с ними программные инструменты доступны для xAI.

Если вы будете в Берлине 29 октября, я буду расширять эту тему в AI in Action Berlin вместе с моим коллегой Томасом Нгуеном. Ссылка для регистрации доступна здесь.