Используйте моделирование угроз для выявления рисков ИИ и машинного обучения
Системы искусственного интеллекта и машинного обучения меняют мир и могут стать самой прорывной технологией последнего времени. Широкое внедрение таких систем предприятиями для получения конкурентного преимущества в отрасли является огромной проблемой для групп кибербезопасности, которые не привыкли к уникальным рискам, которые создают такие системы.
Атаки Отравление данными, извлечение модели и вывод о членстве — это новые риски, которые специалистам по кибербезопасности необходимо выявлять и устранять на раннем этапе. Один из лучших способов сделать это — применить к этим приложениям концепцию моделирования угроз.
Моделирование угроз
Моделирование угроз относится к структурированному способу выявления угроз безопасности системы и обычно состоит из следующего:
● Общая схема системы
● Профили злоумышленников и их мотивы
● Список угроз для системы и способы их реализации.
Моделирование угроз похоже на оценку рисков, но вы принимаете точку зрения злоумышленника и видите, какой ущерб он может нанести. Существует множество методологий и инструментов для моделирования угроз, которые нам не нужно здесь описывать, но, честно говоря, вы можете создать модель угрозы с ручкой и бумагой, если понимаете основные концепции!
Приложения искусственного интеллекта для моделирования угроз
В простейшей форме вы создаете высокую диаграмму своего приложения ИИ и представляете сценарии, в которых материализуются угрозы.
Давайте возьмем следующий пример примера системы ИИ, для которой мы создадим следующую высокоуровневую абстракцию:
Несмотря на то, что это очень простая концепция, вы все равно можете использовать ее для декомпозиции системы ИИ и перечисления ключевых активов, которые могут стать целью злоумышленника.
Некоторые из ключевых активов будут:
● Данные обучения
● Общедоступный API
● Модель машинного обучения
● Серверы, на которых размещена модель
● Ключи или учетные данные для доступа к инфра-администратору
Теперь примите точку зрения злоумышленника и попытайтесь представить, на какие области он нацелится. Вам не нужно делать это в одиночку, и вы должны привлечь специалистов по обработке и анализу данных, которые являются частью команды ИИ, чтобы помочь вам в этом. Мозговой штурм угроз — отличный способ определить слабые места вашей технологической экосистемы с помощью многочисленных методологий.
STRIDE — это популярная методология моделирования угроз от Microsoft, которую я предпочитаю, которая классифицирует угрозы по следующим категориям:
- Спуфинг : выдача себя за что-то или кого-то другого.
- Вмешательство : Изменение данных или кода.
- Отказ : заявление о невыполнении действия.
- Раскрытие информации: предоставление информации лицу, не имеющему права на ее просмотр
- Отказ в обслуживании: отказать в обслуживании или снизить качество обслуживания пользователей.
- Повышение привилегий: Получение возможностей без надлежащей авторизации
Постарайтесь классифицировать все ваши угрозы по этим категориям и представить хотя бы по одной для каждой. Давайте подробно рассмотрим категории с некоторыми примерами угроз и мерами по их устранению.
Спуфинг
🚨 Сценарий угрозы. Злоумышленник может использовать системы ИИ злонамеренно для совершения мошенничества с идентификацией. Например, использование Deepfakes, чтобы выдать себя за другого человека в удаленном интервью.
🔒 Смягчение: принудительно применяйте «проверки на достоверность» для собеседований на деликатные должности. Убедитесь, что HR обучен обнаруживать дипфейки
Tамперизация
🚨 Сценарий угрозы: Злоумышленник отравляет цепочку поставок сторонних инструментов, используемых специалистами по обработке и анализу данных:
🔒 Смягчение последствий: сканируйте программные библиотеки перед использованием. Убедитесь, что проверки целостности присутствуют
Rопровержение
🚨 Сценарий угрозы. Основываясь на угрозе спуфинга, злоумышленник может использовать дипфейки для совершения угрозы идентичности и приписать эти действия другому лицу.
🔒 Смягчение последствий. Убедитесь, что аутентификация встроена в системы на нескольких уровнях, которые не зависят друг от друга.
Раскрытие информации
🚨 Сценарий угрозы: злоумышленник получает доступ к модели и пытается воспроизвести ее.
🔒 Смягчение последствий: ограничения регулирования, присутствующие в открытых API, для ограничения количества запросов, которые могут быть сделаны. Оповещения о ненормальном количестве вызовов. Ограниченная информация в запросе вывода
Отказотказа в обслуживании
🚨 Сценарий угрозы: злоумышленник вызывает атаку типа «отказ в обслуживании», удаляя обучающие данные.
🔒 Смягчение: регулярное резервное копирование изображений. Ограниченный доступ к тренировочным данным
Eповышение привилегий
🚨 Сценарий угрозы: злоумышленник получает доступ к учетным данным или ключам администратора.
🔒 Смягчение последствий: администраторы используют многофакторную аутентификацию для доступа к серверам через защищенные конечные точки.
Заключение
Как видите, моделирование угроз — это больше искусство, чем точная наука, и чем больше вы этим занимаетесь, тем лучше вы будете в этом разбираться. Конкретная методология, которую вы используете, не важна, но важно, чтобы вы применяли ее последовательно и без сбоев и отслеживали эти риски до закрытия. Это следует делать в сотрудничестве с техническими и бизнес-группами, которые будут участвует в обучении/создании системы ИИ на периодической основе.
Я надеюсь, что это помогло вам увидеть, как моделирование угроз может помочь предвидеть риски и угрозы ИИ в ясной и понятной форме. По сути, моделирование угроз задает вопрос «Что может пойти не так» и отвечает на него, думая как злоумышленник. Выполняйте этот процесс на протяжении всего жизненного цикла ИИ и всякий раз, когда происходят серьезные изменения, и вы увидите ощутимое улучшение состояния безопасности вашего ИИ.
Надеюсь, вам понравилось это читать. Если вам интересна эта тема, то ознакомьтесь с моей книгой Управление ИИ и кибербезопасность или моим курсом. Поддержите меня, став участником Medium по этой ссылке
