В этом посте мы сосредоточимся на предвзятости представления, негативном эффекте, присутствующем почти во всех системах машинного обучения с пользовательскими интерфейсами (UI).
Модели машинного обучения часто производят оценки и рейтинги, которые отображаются в пользовательском интерфейсе для людей, принимающих решения. В зависимости от того, как результаты машинного обучения представлены в этих пользовательских интерфейсах, вы можете ожидать различного поведения от конечного пользователя.
Вот некоторые распространенные типы предвзятости презентации:
❌ Смещение позиции
Вероятность получения обратной связи от пользователя зависит от того, где отображается этот элемент. Это основная причина предвзятости позиции. В качестве иллюстрации Bar-Ilan et al. (2008) провели эксперимент по выявлению предвзятости представления в поисковых системах. Они показали, что размещение на странице результатов поисковой системы является наиболее важным фактором для оценки качества предлагаемого элемента, а не фактического отображаемого контента.
❌ Цензура
Хуже того, иногда некоторые результаты машинного обучения вообще не представляются конечным пользователям. Тогда совершенно невозможно получить от них обратную связь и правильно учиться на их поведении. Это известная проблема в статистике, называемая цензурой. Например, в рекомендательной системе электронной коммерции, если продукты с низкой оценкой взяты из представленных товаров, мы будем искажать нашу модель, поскольку мы учимся только на поведении клиентов в отношении продуктов, которые уже имеют высокие оценки.
К счастью, есть средства:
✅ Скидка на презентацию
Один из методов заключается в сосредоточении внимания на элементах, которые ранее были показаны конечным пользователям, но не были выбраны ими. Один из простых способов решить эту проблему — реже представлять эти предметы. Это называется системой дисконтирования презентации и было введено Li et al. (2014). Этот метод дисконтирования интересен тем, что сам по себе не меняет модель машинного обучения. Это только уменьшает (уменьшает) представление некоторых невыбранных элементов.
✅ Внедрение случайности
Другой способ решить эту проблему — ввести некоторую форму случайности, чтобы повлиять на представление элементов (Radlinksi et al., 2006). Чем больше мы добавляем случайности, тем больше мы ухудшаем краткосрочную производительность модели, но тем больше мы уменьшаем предвзятость представления в долгосрочной перспективе. Затем возникает компромисс между краткосрочной и долгосрочной производительностью, который должен быть исправлен разработчиками системы машинного обучения.
В Giskard AI мы уменьшаем предвзятость презентации, сопоставляя результаты машинного обучения с человеческими реакциями с помощью инструмента визуального контроля качества.
Хотите знать больше?
✋ Подпишитесь на нашу страницу в LinkedIn по адресу https://buff.ly/3mVtgK4.
Ваше здоровье,
Жан-Мари Джон-Мэтьюз
Библиография:
- Бар-Илан, Дж., Киной, К., Левен, М., и Яари, Э. (2009).
- Ли, П., Лакшманан, Л.В., Тивари, М., и Шах, С. (2014 г., август). Моделирование дисконтирования показов в крупномасштабных рекомендательных системах.
- Радлински, Ф., и Иоахимс, Т. (2006 г., февраль). Минимально инвазивная рандомизация для сбора объективных предпочтений из журналов кликов.