TL;DR
В рамках миссии VESSL по созданию современной инфраструктуры, инструментов и рабочих процессов для машинного обучения сегодня мы выпускаем tvault. tvault — это локальный реестр моделей, созданный для того, чтобы помочь академическим исследователям в области машинного обучения быстрее итерировать свои модели без дополнительных затрат на ведение журналов. Вы можете думать об этом как о легком «git diff for ML», где вы можете отслеживать и хэшировать свои эксперименты, а также получать общее представление об изменениях между двумя экспериментами.
Проблема
За последний год мы познакомились с сотнями аспирантов, изучающих искусственный интеллект и машинное обучение, через VESSL для академиков и внедрение VESSL в масштабах всего кампуса. В то время как небольшая часть из них является активным пользователем полноценных инструментов отслеживания экспериментов, таких как VESSL Experiments и Weights & Biases, многие из академических исследователей, с которыми мы сталкиваемся, просто хотят начать работу с минимальной настройкой и сосредоточиться на самом важном. — модели. Учитывая, что ученые-исследователи работают более независимо и больше внимания уделяют алгоритмам, а не тонкой настройке с помощью нескольких итераций, это имеет смысл.
Как это работает
С помощью tvault вы можете начать работу с самой простой формой отслеживания экспериментов всего лишь с помощью pip install — без регистрации или дополнительной настройки — и управлять и сравнивать эксперименты в своем терминале.
Добавление tvault.log() в цикл обучения вашего кода создает локальный файл журнала в папке model_log с уникальным хэшем для вашей модели и идентификатором для каждого запуска. Этот файл журнала, по сути, является считыванием вашей модели, в котором хранится обзор модели и ключевые показатели, такие как точность, скорость обучения и оптимизатор, которые вы можете добавить с помощью тегов. Поскольку журналы tvault находятся в папке вашего проекта, вы также можете поделиться ходом своего эксперимента, когда вы отправляете git push в свою локальную кодовую базу, и сделать их общедоступными на GitHub, как только вы будете готовы опубликовать свое исследование.
все за 1 минуту
После того как вы вставите tvault.log() в цикл обучения вместе с метриками, которые хотите отслеживать, в виде тегов, вы сможете искать и сравнивать эксперименты с помощью простой команды CLI.
Поисковые эксперименты с find_flag
Вы можете искать свои эксперименты по хешу, результату или тегам, используя --find_flag и указав --condition. В приведенном ниже примере показаны все эксперименты с точностью от 50 до 100.
Сравните эксперименты с diff_flag
Параметр diff_flag tvault позволяет вам найти разницу между двумя моделями, указав хэш и индекс модели. tvault автоматически обнаруживает и отображает изменения в функциях при удалении git diffs, не связанных с моделью. Это полезно, когда у вас есть базовая модель, которую вы хотите повторить с различными гиперпараметрами и архитектурами более высокого уровня, не копаясь в вашем коде построчно.
Что дальше
В то время как MLOps имеет важное значение для производственного машинного обучения в масштабе и скорости, текущий ландшафт проектирования и инструментов может быть непосильным, особенно для дипломированных исследователей машинного обучения. Мы считаем, что минимально жизнеспособные инструменты, такие как tvault, которые дают пользователям мгновенную ценность с нулевыми накладными расходами, будут мотивировать их исследовать больше, а не просто игнорировать. Мы с нетерпением ждем возможности выпустить больше фреймворков с открытым исходным кодом, которые помогут инженерам и исследователям в области ИИ/МО начать работу с MLOps — например, шаблоны Terraform для настройки мультиоблачных кластеров Kubernetes.
Для тех, кто хочет внедрить полноценную, готовую к работе инфраструктуру искусственного интеллекта и MLOps в течение нескольких дней, а не месяцев, зарегистрируйте бесплатную учетную запись и начните обучение на https://vessl.ai.
—
Йонг Хи, менеджер по развитию
Дэвид О, стажер инженера по машинному обучению
