Прошли те времена, когда не хватало вычислительной мощности для запуска сложных алгоритмов машинного обучения. Теперь это вопрос нескольких щелчков мышью, и у вас есть вся необходимая вычислительная мощность. Можно легко создать модель машинного обучения (при условии, что у вас достаточно данных) и выполнить анализ с минимальными усилиями.
Я думаю, что это одна из причин, по которой все технологические компании открывают исходный код алгоритмов машинного обучения, которые они разрабатывали в течение длительного периода времени. Они знают, что ключом здесь являются данные, огромное количество данных. Если у вас нет огромного количества данных, вы не сможете создать эффективную модель машинного обучения. В любом случае, это совсем другая тема для другого сообщения в блоге.
Одним из приложений машинного обучения, которое мы активно используем каждый день, являются механизмы рекомендаций.
Утром, когда вы просматриваете ленту новостей Google или Facebook, она показывает самые актуальные новости. Карты Google рекомендуют наиболее оптимальный способ добраться до офиса. Spotify или Shazam рекомендуют самую актуальную музыку, основанную на нашей истории. Точно так же мы получаем рекомендации по покупкам на основе наших предыдущих покупок. Рекомендации по видео также работают в той же строке на YouTube, Netflix и Amazon Prime Video.
Со временем, когда мы просматриваем все эти веб-сайты и приложения, мы оставляем огромный след данных, который в дальнейшем используется для улучшения рекомендаций. По этой причине, например, когда вы открываете YouTube, вы видите список видео, которые вы, скорее всего, посмотрите, и лично я всегда поражаюсь точности рекомендуемых видео на YouTube.
В основном видеорекомендации основаны на истории просмотренных вами видео, контексте и совместной фильтрации. Позвольте мне быстро объяснить совместную фильтрацию на простом примере. Предположим, есть 2 пользователя, которые смотрели видео А и видео Б. На основании этого алгоритм сделает вывод, что оба пользователя имеют одинаковые предпочтения. Теперь, когда первый пользователь смотрит другое видео C, то с помощью алгоритма Collaborative Filtering второму пользователю рекомендуется посмотреть видео C. Вот так иногда вы видите совершенно случайное видео, рекомендованное вам на YouTube. Вы можете прочитать исследовательскую работу с YouTube по рекомендации здесь.
С почти идеальными рекомендациями вы всегда подключаетесь к этим сервисам для открытия нового контента на свой вкус. Давайте придерживаться YouTube, пока я объясняю проблему, позже вы можете обобщить это на другие подобные сервисы.
Начнем с того, что я никогда не смотрю материалы, связанные с новостями, на YouTube, и в результате я никогда не получаю рекомендаций относительно видео, связанных с новостями, и это совершенно нормально.
Но, скажем, я большой сторонник Политической партии А. Я захожу на YouTube, ищу информацию об этой политической партии и начинаю смотреть видео. Через какое-то время система рекомендаций начнет показывать видео, относящиеся только к Политической партии А. По прошествии значительного времени моя рекомендация станет сильно предвзятой в отношении Политической партии А, и я никогда не увижу точку зрения других. В процессе, по незнанию, мне промывают мозги. Я начну верить всему, что говорят лидеры Политической партии А.
Во время выборов все лидеры выступают с речью о том, что сделала их политическая партия. Но чтобы вынести справедливое суждение, вы должны знать, каких обещаний они тоже не выполнили. И, как только мне промыли мозги, я буду смотреть только новости или видео, которые будут только способствовать моей предвзятости, не проверяя факты или даже не выслушивая другую сторону истории. В результате я застрял в своем собственном рекомендательном пузыре.
Дело не в том, что рекомендательные механизмы плохие, но им нельзя доверять, когда ставки высоки.
Я думаю, что в самой конструкции рекомендательного механизма заложена максимальная предвзятость по отношению к конкретному человеку, чтобы рекомендовать наиболее релевантные вещи. Но когда дело доходит до вынесения справедливого суждения, вы должны знать о каждом аспекте данной ситуации.
Ссылки:
Глубокие нейронные сети для рекомендаций YouTube
