Всем привет,

Мы любим соревновательные игры, но они несовершенны. Одна из ключевых проблем конкурентной игровой среды, с которой игроки сталкиваются на нашей платформе, - это токсичность. Игроки плохо себя ведут во время матчей, часто влияя на других и разрушая их.

Мы понимаем, что нет ничего хуже, чем провести время в матче с метателями, гриферами, хейтерами и расистами.

Вот почему мы думали о том, как решить эту проблему в большом масштабе, и мы очень рады, что наконец-то начали делиться некоторыми новостями о том, над чем мы работаем.

TL;DR

  • Представляем вашему вниманию административный ИИ, обученный с помощью машинного обучения (Minerva) для масштабного решения проблемы токсичности
  • Первая практическая реализация - прямая трансляция и принятие действий на платформе с положительными результатами (сокращение токсичных сообщений на 20% и уменьшение количества токсичных сообщений во всех сообщениях на 10%).
  • Представляем SMS-подтверждение, чтобы предотвратить участие аккаунтов, помеченных как smurfing, boost, мошенничество или общую токсичность, в любом официальном соревновании FACEIT, если они не подтвердят сначала свой номер телефона.

НАШ ПОДХОД К ОБРАЩЕНИЮ ТОКСИЧЕСКОГО ПОВЕДЕНИЯ

В прошлом году мы внимательно прислушивались к отзывам сообщества о жестоком обращении с игроками и их токсичности, чтобы найти решение этой проблемы.

На основе этих отзывов стало ясно, что токсичность проявляется во многих отношениях, и обнаружить и решить проблему - непростая задача.

Требование значительной части сообщества заключалось в том, чтобы беспристрастный администратор наблюдал и оценивал каждый матч, который происходит на FACEIT, что при текущем количестве матчей просто невозможно. Поэтому мы начали искать решение, которое могло бы иметь те же эффекты и в то же время масштабируемо.

Для этого мы рассмотрели фактические эффекты администратора в игре, которые мы суммировали в трех основных областях:

  • Оперативно выявлять любые проявления токсичного поведения в матче;
  • Убедитесь, что, если игрок ведет себя ядовитым образом, действие будет предпринято немедленно;
  • Расскажите игрокам о том, что они сделали неправильно, чтобы исправить свое поведение.

Чтобы учесть эту обратную связь в краткосрочной перспективе, мы могли бы создать наполовину готовое решение (например, систему «кармы» на основе отчетов или модернизировать текущую систему ФБР и т. Д.), Но это явно не дало бы желаемых результатов в в долгосрочной перспективе, поскольку он не сможет точно и достаточно быстро идентифицировать такое поведение, чтобы предпринять точные и незамедлительные действия по его устранению.

Поэтому мы решили предпринять долгосрочные инвестиции: создать искусственный интеллект, похожий на админку, на основе машинного обучения. Вот почему с помощью Google Cloud и Jigsaw, команды, которая разработала Perspective Api, мы начали создавать наш искусственный интеллект: Minerva, Admin AI.

MINERVA 0.1 ЖИВЕТ

Сегодня мы рады рассказать о нашей первой вехе: первая версия Minerva находится в стадии разработки и уже оказывает влияние на платформу.

В первой итерации мы решили сосредоточиться на сообщениях чата из текстового чата матчей CS: GO. Если сообщение воспринимается как токсичное в контексте разговора, Минерва выдает предупреждение о словесных оскорблениях, а похожие сообщения в чате помечаются как спам.

Minerva может принять решение всего через несколько секунд после окончания матча: при обнаружении злоупотребления она отправляет обидчику уведомление, содержащее предупреждение или запрет.

Кроме того, чтобы бороться с рецидивистами, наказания становятся более суровыми каждый раз, когда игрок совершает такое же нарушение в течение короткого периода времени.

После месяцев обучения минимизации ложных срабатываний мы включили автоматизацию Minerva. Это началось в конце августа, в результате чего она принимала решения о предупреждении и запрете без ручного вмешательства.

Если вы хотите узнать больше о том, как работает модель чата Минервы, вы можете прочитать этот пример из практики от Jigsaw.

Чтобы поделиться с вами некоторыми идеями, за последние несколько месяцев было проанализировано более 200 000 000 сообщений чата, и 7 000 000 сообщений были отмечены как токсичные.

За первые полтора месяца своей деятельности Минерва выдала 90 000 предупреждений и 20 000 запретов за словесные оскорбления и спам. Количество сообщений о токсичных сообщениях уменьшилось с 2 280 769 в августе до 1 821 723 в сентябре, что на 20,13%.

В целом, меньше уникальных игроков отправляют токсичные сообщения. В августе 247 243 уникальных игрока отправили хотя бы одно сообщение, помеченное как токсичное. В сентябре этот показатель снизился до 227 676 уникальных игроков, то есть примерно на 8%.

СМС ПРОВЕРКА SMURFS, БУСТЕРОВ И ДРУГОГО

Растущее беспокойство в нашем сообществе вызывает также наличие на платформе смурф-аккаунтов и бустеров.

Здесь мы решили применить более превентивный подход, введя проверку по SMS для помеченных учетных записей: каждая учетная запись, которая предположительно является смурфом, бустером, потенциальным читером или вообще токсичными, должна подтвердить свой номер телефона, прежде чем иметь возможность играть с любым официальным лицом. Конкурс FACEIT.

За последние два месяца для подтверждения номера телефона потребовалось более 250 000 аккаунтов. Из них 50 000 нелегальных учетных записей были заблокированы до того, как можно было играть.

В ближайшем будущем мы планируем сделать эту функцию доступной для организаторов, чтобы они могли ограничивать доступ к турнирам и хабам для пользователей без подтвержденного номера телефона.

ЧТО ДАЛЬШЕ

Обнаружение чата в игре - это только первое и наиболее простое из приложений Minerva и еще один пример, который служит первым шагом к нашему видению этого ИИ.

Мы очень рады этому фундаменту, поскольку он представляет собой прочную основу, которая позволит нам улучшать Minerva до тех пор, пока мы, наконец, не будем обнаруживать и устранять все виды оскорбительного поведения в режиме реального времени.

В ближайшие недели мы объявим о новых системах, которые поддержат Минерву в ее обучении.

Следите за обновлениями,

Команда FACEIT.

Мы будем рады услышать от вас больше. Пожалуйста, присылайте нам отзывы в Twitter, Reddit и на наших Форумах.

МЫ НАНИМАЕМ

Если у вас есть интерес и опыт в разработке решений такого типа или разработки в целом, ознакомьтесь с нашими доступными вакансиями на нашей странице вакансий.