Этот контент изначально был размещен на Qwak.com
По мере того, как организации осваивают потенциал науки о данных и машинного обучения (МО), они сталкиваются с огромной проблемой операционализации этих процессов в своей технической среде и выбора правильных инвестиций в нужное время в соответствии со своими стратегическими целями.
В связи с этим перед лицами, принимающими решения, возникает большой вопрос: что лучше: создать платформу для анализа данных самостоятельно или приобрести ее у стороннего поставщика?
Построить или купить
Нет никаких сомнений в том, что сторонние инструменты и платформы стали важной частью того, как компании осуществляют управление данными и разработку моделей. Но часто возникает вопрос, должны ли платформы создаваться с нуля внутри компании или покупаться у сторонних поставщиков услуг.
Хотя сегодня во многих организациях работают высококвалифицированные специалисты, способные создавать решения с нуля, у обоих подходов есть свои плюсы и минусы. Дилемма часто сводится к выбору между уплатой лицензионных сборов за готовые программные платформы или инвестированием в внутреннюю команду, которая создаст программное обеспечение для решения конкретных организационных вопросов.
При принятии этого решения в игру вступает множество факторов, в том числе:
- Стоимость. Это, естественно, один из наиболее важных определяющих факторов. Часто бывает так, что создание собственного инструментария с нуля обходится дороже, чем просто его покупка или лицензирование.
- Время.Разработка, проектирование и развертывание пользовательской платформы может занять огромное количество времени, что может привести к потере возможностей при выполнении других важных задач. Напротив, развертывание готового решения часто бывает простым и беспроблемным.
- Добавление функций.Поставщики платформ обработки данных и машинного обучения постоянно обновляют свои продукты, добавляя новые функции и функции. Это очевидное преимущество по сравнению с созданием собственной платформы, где более быстрые итерации могут быть довольно сложными.
- Гибкость. Когда вы используете сторонний инструмент или платформу, есть вероятность, что они не будут интегрироваться с другими инструментами, используемыми вашей командой. Напротив, платформа, которую вы построили сами, может быть полностью согласована с потребностями вашей организации.
Создание или покупка платформы машинного обучения: что лучше?
Хотя ответ на этот вопрос полностью зависит от вашей организации, вполне вероятно, что покупка или лицензирование сторонней платформы будет лучшим вариантом. Он выигрывает, когда речь идет о ключевых определяющих факторах, таких как стоимость, время и функции, с единственным реальным недостатком, который заключается в том, что сторонняя платформа может быть относительно негибкой в зависимости от потребностей вашей организации.
С таким количеством платформ и программных решений для обработки данных, доступных в настоящее время на рынке, в сочетании с тем фактом, что создание собственной специальной платформы для обработки данных займет относительно много времени и потребует огромных первоначальных инвестиций, неудивительно, что все больше и больше предприятий обращаясь к платформам обработки данных и машинного обучения, таким как Qwak, и доверяя им всю тяжелую работу, когда дело доходит до разработки моделей.
Почему не стоит создавать собственную платформу машинного обучения
Теперь мы рассмотрим, почему мы считаем, что вам не следует создавать собственную платформу машинного обучения. Вот краткая инфографика, которую вы можете использовать в качестве краткого резюме:
Строительство требует много времени и сил
Специалисты по данным и инженеры тратят много времени на разработку решений для поддержки существующей инфраструктуры для выполнения проектов. Интенсивные инженерные решения, не связанные с наукой о данных, включая такие вещи, как отслеживание мониторинга, управление ресурсами, хранилища функций и обслуживающая инфраструктура, могут занимать до 65% времени среднего специалиста по данным. Это много
На самом деле это настолько большая проблема, что для нее существует даже «официальный» термин — скрытый технологический долг: идея о том, что определенная необходимая работа задерживается во время разработки другого программного продукта или проекта. команды машинного обучения, и создание собственного решения может занять от шести месяцев до года и более. И это не считая текущего обслуживания и управления, которые также могут истощать ресурсы, особенно если внутреннее решение недостаточно надежно построено. Это может даже потребовать специальной команды, что дорого.
Для строительства требуется собственная команда специалистов
Чтобы применить машинное обучение на практике, требуется много инженерных талантов. Впрочем, нам не нужно говорить вам об этом. Для любого проекта в каждой группе специалистов по обработке и анализу данных должна быть операционная группа, которая знает уникальные требования к развертыванию моделей машинного обучения, чтобы обеспечить бесперебойный и бесперебойный рабочий процесс.
Чтобы позаботиться о ресурсах, микросервисах, кластерах и других вещах, типичная команда машинного обучения состоит из инженеров-специалистов и DevOps. Благодаря сквозной платформе MLOps эти процессы могут быть полностью автоматизированы, что позволяет операционным группам сосредоточиться на оптимизации и максимальном использовании своей инфраструктуры. Чаще всего организация решает, что аутсорсинг — лучший вариант, чем платить за штатную команду.
Хотя создание специальной платформы может быть разумным вложением, организации должны иметь время и ресурсы, которые можно посвятить разработке, не отвлекаясь от своих текущих операций и целей.
Строительство намного дороже
Организации, решившие попробовать создать собственную внутреннюю платформу, часто сильно недооценивают затраты на это.
В отличие от этого, общая стоимость покупки или лицензирования сторонней платформы составляет небольшую часть этой суммы, если учесть, что они обычно создаются с готовыми функциями MLOps и быстрой безграничной масштабируемостью. В большинстве случаев фирмы платят фиксированную ежемесячную или годовую плату за неограниченный доступ к чрезвычайно мощным инструментам.
Строительство занимает больше времени, чтобы получить прибыль
На создание функционирующей инфраструктуры машинного обучения легко может уйти больше года, а на создание конвейера данных, способного приносить пользу (т. е. прибыль) вашей организации, часто может уйти больше времени. Крупные организации, такие как типичные FAANG, посвятили годы, огромные бюджеты и огромные команды для масштабирования и поддержки своих собственных платформ, чтобы оставаться конкурентоспособными. Однако для большинства это невыполнимо (и часто в любом случае не нужно).
Как мы уже упоминали, нет недостатка в фантастических платформах и инструментах машинного обучения, которые могут предложить все, что вам нужно для быстрого, эффективного и дешевого внедрения машинного обучения, позволяя вам получать прибыль намного быстрее, чем когда-либо. при создании собственного решения.
Сборка отнимает драгоценное время от разработки модели
Наконец, создание собственной платформы машинного обучения сопряжено с определенными издержками. Как мы упоминали ранее, 65% времени специалиста по обработке и анализу данных тратится на задачи, не связанные с наукой о данных, что может легко привести к технологическому долгу.
Однако, когда вы используете стороннюю платформу, такую как Qwak, ваши команды по работе с данными и инженеры могут на 100 % сосредоточить усилия на том, что имеет значение и для чего они были наняты, например, на ваших собственных задачах с данными и рабочих процессах разработки моделей машинного обучения. Внедрение комплексной платформы MLOps обеспечивает значительное конкурентное преимущество, которое позволяет масштабировать вашу разработку машинного обучения — единственным ограничением являются вы сами.
