Пятнадцать минут с FiftyOne: лица с ярлыками в дикой природе

Обнаружение и устранение предубеждений в распознавании лиц

Распознавание лиц было горячей темой компьютерного зрения на протяжении десятилетий. В связи с растущим влиянием высококачественных систем распознавания лиц в основных сферах жизни общества, таких как уголовное правосудие и правоохранительные органы, важность этических и непредвзятых моделей невозможно недооценить. За последние годы было несколько случаев, когда предвзятость модели становилась проблематичной при распознавании лиц.

Два года назад инструмент распознавания лиц от Amazon «Rekognition» сравнил лица 28 членов Конгресса США с лицами преступников [1]. Всего несколько месяцев назад Amazon объявила, что собирается приостановить использование Rekognition на один год [2], пока не будут приняты более строгие правила, регулирующие использование технологии распознавания лиц. Когда модель так предвзята, причина чаще всего связана с предвзятым набором обучающих данных. Должен быть способ легко проверять наборы данных и понимать присущие им предубеждения, чтобы обучать справедливые и правильные модели.

В этом сообщении в блоге я рассмотрю Labeled Faces in the Wild (LFW), набор данных для распознавания лиц с 2007 года, который одним из первых предоставил базу данных изображений лиц, сделанных в неконтролируемых средах. Он по-прежнему широко используется в качестве эталона для сравнения моделей распознавания лиц сегодня с производительностью модели, достигающей 99,85% точности на наборе данных [4]. Этот набор данных стимулировал появление множества преемников, которые основывались на наборе данных или идее, лежащей в его основе.

Копаемся с FiftyOne

Набор данных классификации Labeled Faces in the Wild (LFW) был легко загружен в FiftyOne [7], где каждое изображение помечено именем соответствующего человека. Набор данных также содержит сгенерированные моделью метки атрибутов, такие как раса и пол, для каждой выборки, загруженные в FiftyOne.

Распространение имен

Распределение изображений на человека сильно смещено в сторону небольшой группы людей. У Джорджа Буша более 500 изображений, в то время как в среднем на человека приходится всего 2 изображения.

При просмотре наименее уникальных изображений в FiftyOne обнаруживается значительное количество повторяющихся или почти повторяющихся изображений и изображений с неправильной маркировкой. Некоторые из этих ошибок были выявлены и опубликованы ранее, но в течение последнего десятилетия они медленно обнаруживались. Авторы предлагают продолжить обучение с неправильными метками, чтобы не сделать недействительными прошлые результаты в наборе данных.

Эти типы предубеждений могут не привести к неэтичной предвзятости модели, но они повлияют на производительность модели в целом.

Расовые и сексуальные предпочтения

Каждое лицо в LFW содержит значение с плавающей запятой для таких атрибутов, как раса и пол. Значение ›0 для атрибута означает, что человек демонстрирует этот атрибут, а значение‹ 0 означает, что человек не демонстрирует этот атрибут. Например, если у человека значение мужского атрибута равно -2,1, то он, скорее всего, женский.

Подобно предвзятому распределению расовых атрибутов, распределение для атрибута «мужской» значительно превышает 0, что указывает на то, что на большинстве изображений изображены мужские лица.

FiftyOne позволяет нам автоматически просматривать распределение этих значений по всем выборкам в наборе данных. Возникает серьезная предвзятость в отношении белых мужских лиц. Пики распределения атрибутов азиатского и черного цветов значительно ниже 0, в то время как пик распределения атрибутов белого цвета выше нуля. Обучение на этом наборе данных или даже на случайно выбранном подмножестве этого набора данных приведет к модели, которая обучается значительно больше на белых мужских лицах, чем на лицах других национальностей и полов, и тогда, вероятно, будет лучше распознавать белые мужские лица.

Устранение предубеждений

Расы в дикой природе

В 2019 году группа исследователей разработала набор данных по распознаванию лиц, который решает проблему расового дисбаланса в наборах данных по распознаванию лиц [6]. Racial Faces in the Wild (RFW) представляет собой набор данных лиц в естественно несовершенных условиях, сбалансированных между лицами европеоидной, индийской, азиатской и черной расы.

В этой работе авторы представляют расовые предубеждения, существующие в современных алгоритмах распознавания лиц. Затем авторы предлагают метод неконтролируемой адаптации предметной области с использованием информационной адаптации для повышения эффективности распознавания во всех расах. Для адаптации домена исходным доменом являются лица кавказцев, а целевыми доменами - лица цветных людей.

FiftyOne

FiftyOne [7] также можно использовать для создания разделений наборов данных и распределения меток, чтобы помочь исправить проблемы смещения. Например, приведенный ниже фрагмент кода позволяет сгенерировать подмножество LFW с точно равным количеством мужских и женских лиц.

Заключение

Маркированные лица в дикой природе были ступенькой в развитии современных систем распознавания лиц. При быстром просмотре набора данных в FiftyOne становится очевидным предвзятость LFW в сторону белых мужских лиц, а также предвзятость в распределении наземных меток правды. Эти предубеждения необходимо учитывать при обучении справедливым и этическим моделям. Такие работы, как Racial Faces in the Wild, начинают тенденцию к созданию сбалансированных и беспристрастных наборов данных.

Обо мне

Меня зовут Эрик Хофесманн. Я получил степень магистра компьютерных наук по специальности Компьютерное зрение в Мичиганском университете. Во время учебы в аспирантуре я понял, что невероятно сложно тщательно проанализировать новую модель или метод без серьезных сценариев для визуализации и поиска результатов. Работая в стартапе по компьютерному зрению Voxel51, я помогал в работе над инструментом FiftyOne, чтобы помочь исследователям и мне быстро загрузить и начать просматривать наборы данных и результаты моделирования. В этой серии постов будут рассмотрены современные модели компьютерного зрения и наборы данных и проанализированы их с помощью FiftyOne.