Лидерство машинного обучения: шаблоны и стратегии — Flo Health

«Искусственный интеллект — это новое электричество». — Эндрю Нг

«Машинный интеллект — последнее изобретение, которое когда-либо понадобится человечеству». — Ник Бостром

Мы все слышали эти цитаты, а затем и другие. И как я сам практикую ИИ, как я могу не согласиться с их сутью? Мощь, которую можно использовать с помощью современного машинного обучения, действительно может изменить мир. Как раз в тот момент, когда люди начали задаваться вопросом, достигли ли мы нового плато, появились генераторы искусственного интеллекта, такие как Dall-E и Midjourney, и инструменты чата, такие как чат-бот OpenAI ChatGPT, чтобы продемонстрировать, что мы не собираемся прекращать получать благоговение в ближайшее время.

Тогда возникает вопрос: как вышеперечисленные технологии проявляются и влияют на компании, которые стремятся управлять данными, и как эти компании используют такие технологии для цифровой трансформации и репозиционирования себя на рынке? К сожалению, экстравагантная реклама таких достижений и большой энтузиазм, который они вызывают, как правило, подавляют даже самых осторожных и консервативных заинтересованных лиц и лиц, принимающих решения. Основываясь на эмпирических данных из бесед, которые я вел со многими коллегами, занимающимися машинным обучением, из различных компаний и отраслей, а также на онлайн-статистике и статьях, кажется, что большинство компаний не могут эффективно или осмысленно использовать или использовать машинное обучение.

Еще в 2020 году VentureBeat сообщил, что примерно 90% моделей ML никогда не попадают в производство. Это звучит ужасно, не так ли? Все эти ресурсы были направлены на обучение этих моделей только для того, чтобы они не оказали реального влияния на бизнес. Насколько ситуация могла улучшиться за последние два года? К сожалению, KDNuggets сообщил в 2022 году, что большинство специалистов по данным говорят, что только от 0 до 20% моделей, созданных для развертывания, дошли до цели.

Потерпите меня, но я боюсь, что будет еще хуже! Каким бы умопомрачительным и душераздирающим ни было то, что так мало моделей когда-либо попадают в производство, есть также аргументы в пользу тех, которые все же развертываются. Соответствуют ли они той цели, для которой были построены? И правильно ли используются их предсказания? За ними внимательно следят на предмет дрейфа? И постоянно ли пересматривается их влияние на фактические бизнес-показатели? Насколько я понимаю, не все компании понимают это правильно. И это не вина специалистов по данным или инженеров по машинному обучению; обычно это сигнализирует об отсутствии зрелого лидерства в области машинного обучения.

Стоит ли тогда удивляться, что наука о данных начала терять приоритет? В Интернете появились новые отчеты о вероятности наступления зимы ИИ, например, недавняя статья профессора Воутера ван Хесвейка. Профессор рассказывает об уменьшении финансирования, увольнении специалистов по данным и разочаровании из-за завышенных ожиданий. Разве наука о данных — это не земля обетованная, как все думали? Мое мнение, что потенциал действительно все еще есть. Ключ имеет правильную стратегию для ее реализации.

Я хотел бы поделиться своими мыслями о том, что я считаю правильным способом машинного обучения в отрасли — как делать машинное обучение прагматично и эффективно. Именно так мы стремимся работать в Flo Health, и хотя мы не всегда можем быть идеальными, наши результаты до сих пор показывают, что мы на правильном пути. Тоже не сложная стратегия. Предпосылка проста: все начинается с бизнеса. Машинное обучение — потенциально мощный инструмент, но не панацея от всех проблем/задач.

Я твердо убежден, что лучший способ проиллюстрировать и объяснить всегда — это использовать примеры и контрпримеры. Вот как я попытаюсь подойти к этому. Кроме того, хотя модели машинного обучения могут охватывать широкий спектр областей, от вариантов использования в медицине до машинного зрения, я ограничу свои примеры теми, которые относятся к коммерческому/маркетинговому сектору, так как он может иметь наибольшее совпадение между компаниями из разных областей. отрасли, в частности организации по производству продукции, такие как Flo Health. При этом какие закономерности приводят к описанным выше сбоям?

Отсутствие синхронизации между заинтересованными сторонами и отделом DS

Первый и самый простой случай — это когда отдел обработки данных работает с нездоровым уровнем автономии. В таких сценариях существует фундаментальный разрыв между отделом обработки данных и заинтересованными сторонами. Надлежащая дорожная карта для вариантов использования ML в основном отсутствует. Хуже того, когда дорожная карта присутствует, она упускает из виду основные проблемы и цели компании, поскольку они были бы точно определены настоящими экспертами — заинтересованными сторонами. В основном специалистам по данным/инженерам данных приходится создавать «полезные» информационные продукты, и хотя никто не должен подвергать сомнению блестящие умы моих коллег-практиков, я буду первым, кто усомнится в глубине их связи с бизнес-моделью компания, в которой они работают, и ее истинные приоритеты.

Будут верные идеи. «Давайте построим модель оттока!» Неплохо; Модель оттока — это святой Грааль среди моделей для большинства организаций, не так ли? И все же тот факт, что это не связано с желаниями и ближайшими планами заинтересованных сторон, означает, что его истинная ценность останется ограниченной. Какой прок в этих прогнозах оттока, если они не будут использованы для надлежащего обслуживания бизнеса? Потому что это то, что произойдет, если заинтересованные стороны вместо этого нацелятся на что-то другое (например, на ту новую кампанию, которую они хотят запустить, которая не может быть дальше от того, чтобы быть законно управляемой данными). Эту закономерность можно заметить в компаниях, где ожидается, что отдел обработки данных будет нести свой вес и влиять на бизнес самостоятельно. К сожалению, этого не произойдет.

В немного лучших случаях есть базовая синхронизация, но она недостаточно глубока, чтобы измерить истинный эффект развертываемых моделей машинного обучения. Рассмотрим этот пример: склонность к покупке модели. Звучит чрезвычайно полезно, не так ли? Он может быть построен для целей перекрестных продаж (например, какие текущие клиенты могут с большей вероятностью приобрести эту дополнительную услугу/продукт?). Это также может быть необходимо для целей активации в компаниях с бизнес-моделями freemium (например, какие текущие неплатящие клиенты, скорее всего, подпишутся?).

Допустим, отдел привлечения пользователей нашей вымышленной компании планирует кампанию по увеличению продаж. Синхронизированные с заинтересованными сторонами, заинтересованными в привлечении пользователей, специалисты по данным, которые рассматривали возможность создания модели склонности к покупке, продолжают это делать. Окончательная модель выдает вероятностные оценки, чтобы указать вероятность того, что клиент сделает покупку. Кампания не может быть запущена для каждого отдельного пользователя; это слишком дорого. Оценки модели помогают выбрать, на каких клиентов должна быть нацелена кампания. Таким образом, кампания более эффективна, потому что люди, на которых она нацелена, с большей вероятностью совершат покупку. Учитывая этот вариант использования, это, безусловно, шаг вперед — продукт машинного обучения, влияющий на кампанию и максимизирующий приобретение и доход. Но так ли оно адекватно или так хорошо, как я только что представил? К сожалению, чаще всего ответ нет. Позвольте мне объяснить.

В предложенном мной примере построенная модель не совсем точно предсказывает эффект «лечения». И под обращением я имею в виду взаимодействие с пользователем, push-уведомление, электронное письмо или, как бы то ни было, эта гипотетическая компания подойдет и попытается подтолкнуть к событию покупки. Следует ожидать, что таргетинг на людей, которые с наибольшей вероятностью совершат покупку, даст более высокий коэффициент конверсии, чем случайный выбор, и это, вероятно, будет правдой. Но вряд ли это будет оптимальным и мощным эффектом, каким могло бы быть. Некоторые клиенты, которые в противном случае могли бы совершить покупку, могут воспринять это взаимодействие как «помеху», заставив их передумать. А к клиентам, которые могли бы совершить покупку, если бы их подтолкнули, можно было вообще не обращаться, потому что изначально считалось, что у них низкая вероятность совершить покупку. Однако в большинстве случаев эти негативные эффекты никогда не фиксируются. Фундаментальное A/B-тестирование может многое рассказать о влиянии модели на кампанию, которое может быть гораздо менее значительным, чем предполагалось. Тем не менее, очень немногие организации делают все возможное, чтобы измерить такую ​​важную статистику.

В задачу этой статьи не входит подробное техническое объяснение соответствующих моделей, которые можно было бы использовать для такого варианта использования, но чтобы дать читателю представление, я упомяну такие понятия, как моделирование подъема и обучение с подкреплением с помощью циклы обратной связи для общих вариантов использования следующего наилучшего действия. Ключевым моментом здесь является то, что, когда связь между организацией, занимающейся наукой о данных, и заинтересованными сторонами бизнеса слаба, инструмент не всегда будет наилучшим образом соответствовать поставленной задаче. И хотя вы можете использовать нож, чтобы затянуть винт, отвертка всегда будет служить вам лучше.

Инженеры и ученые машинного обучения не участвуют в формировании дорожной карты

«Все в меру», — говорили древние греки, и это верно и здесь. Недостаточному вовлечению заинтересованных сторон не следует противопоставлять их полное командование. Структура, в которой специалисты по обработке и анализу данных и инженеры недостаточно вовлечены в генерацию идей, а заинтересованные стороны бизнеса делают каждый звонок самостоятельно, — это прямой путь к катастрофе. Заинтересованные стороны могут понимать проблемы, которые необходимо решить, лучше, чем специалисты по данным, но они недостаточно понимают инструменты машинного обучения, которые можно использовать для их решения. Один из способов, которым я видел этот манифест, — это склонность к покупке различных модных коробочных коммерческих инструментов и платформ машинного обучения, с которыми затем призваны работать специалисты по обработке и анализу данных. Часто несколько таких инструментов приобретаются избыточно, поскольку их функциональные возможности обычно в значительной степени совпадают. Затем привлекаются консультанты с этих платформ, чтобы помочь специалистам по данным и инженерам данных «соединить трубы», чтобы «космический корабль» мог работать. В конце концов заинтересованные стороны обнаруживают, что усилий, необходимых для того, чтобы это произошло, почти столько же, сколько им потребовалось бы для первоначального создания собственной платформы. Конечно, экономится некоторое время, но жертва обычно велика. Эти «космические корабли» стоят недешево.

Никогда не забывайте, что продукты Data Science по-прежнему являются программными продуктами.

Последний контрпример, в котором я, наконец, отойду от отношений с заинтересованными сторонами и углублюсь в саму организацию, занимающуюся наукой о данных, касается состава отдела. То, что я хочу здесь подчеркнуть, связано с балансом, который должен быть достигнут между научными/статистическими талантами в командах, а также бэкэнд/инженерными возможностями, которые дополняют и поддерживают его. Мне рассказывали и я видел слишком много примеров, когда компании инвестируют исключительно в великие научные умы — людей, пришедших из академических кругов с сильными докторскими диссертациями и отличным пониманием статистики, математики, алгоритмов, теорий машинного обучения и того, что происходит «под землей». капот." И не поймите меня неправильно; есть много случаев, когда такие профессионалы бесценны. Они вам нужны, но в меру. Создайте свой отдел обработки данных, в первую очередь, из таких профессионалов, и вы накопите технический долг быстрее, чем Усэйн Болт, пробежавший 100 м.

Некоторые директора не всегда понимают, что возможности, которые должен предлагать отдел обработки данных, по-прежнему являются программными продуктами. Лучшие практики в области разработки программного обеспечения известны уже давно. Они чувствуют себя «новыми» в пространстве науки о данных только потому, что многие практики не имеют такого опыта. Производственная модель — это не просто алгоритм, обученные веса, которые делают прогноз. Вам необходимо иметь надлежащие потоки данных со всей фильтрацией данных и проектированием, которые необходимо выполнить для создания функций модели. Выходные данные модели — это еще один поток данных, которым необходимо правильно управлять. Даже код, обучающий саму модель, каким бы изобретательным с научной точки зрения он ни был, должен быть удобочитаемым, ремонтопригодным и соответствовать лучшим практикам. Если пренебречь вышеперечисленным, последствия будут тяжелыми. Какими бы прекрасными ни были модели с научной точки зрения, их развертывание будет проблематичным, и отдел будет тратить все свое время на тушение пожаров и исправление ошибок, а не на создание чего-то нового.

Важность надежной платформы машинного обучения

Здесь необходимо привести пример создания надлежащих платформ машинного обучения для работы. Специалисты по данным должны иметь возможность работать эффективно, и только хорошие инженеры по данным/бэкенду могут позволить им достичь таких результатов. В Flo Health мы потратили время и ресурсы на создание надлежащей платформы машинного обучения для размещения наших моделей и обеспечения их надежной работы. Мы сотрудничаем с магазином функций Tecton, и на данный момент нам удалось внедрить в него более 1600 функций для обучающих моделей. Это сокращает как время, затрачиваемое специалистом по данным/инженером машинного обучения на обучение модели, так и время, необходимое для развертывания модели, когда она будет готова. Мы создали службы статистического мониторинга признаков, чтобы фиксировать дрейф признаков и быть первыми, кто выявляет проблемы в данных, вместо того, чтобы модель давала ошибочные результаты и узнавала об этом только тогда, когда уже слишком поздно и ущерб уже нанесен.

Подводя итог всем вышеизложенным идеям, совет следующий:

  • Установите тесные связи между заинтересованными сторонами бизнеса/продукта и организацией, занимающейся наукой о данных, активно вовлекая их обоих, начиная с генерации идеи и заканчивая ее реализацией.
  • Свяжите модели машинного обучения с нужными бизнес-показателями и отслеживайте не только их предсказательную способность для какой-либо целевой метки, но и их фактическое влияние на вариант использования, для поддержки которого они предназначены.
  • Поддержите своих специалистов по данным с помощью подходящих инженеров, чтобы расширить их возможности и убедиться, что ваши продукты данных будут надежными, масштабируемыми и выдержат испытание временем.
  • Создайте платформу для коллективной поддержки ваших возможностей моделирования, а не оставляйте их как независимые сервисы, оптимизируя свои процессы и сокращая время и затраты.

Наконец, последний совет, который я могу дать: Рим не за один день строился. Не начинайте с попытки построить космический корабль. Попробуйте построить некоторые из его компонентов. Даже грубые версии могут принести вам гораздо больше пользы, чем вы думаете, если они ориентированы на реальные потребности бизнеса и их эффективность измеряется должным образом. Когда у вас есть такие основы, вы можете повторять и расширять свои возможности, добавляя все больше и больше сложности.

Как упоминалось ранее, это некоторые из основных принципов, которым мы следуем в Flo Health, и они направили нас на правильный путь. Я надеюсь, что вышеизложенное будет полезным и значимым для других соучеников и заинтересованных лиц. Вы всегда можете связаться со мной, если хотите обсудить какие-либо идеи и концепции, которые я обсуждаю выше.

P.S. Flo Health набирает сотрудников! Посетите нашу страницу вакансий.