Машинное обучение и визуальный поиск: кто все понимает?
«Границы моего языка означают пределы моего мира» - Людвиг Витгенштейн
Исторически сложилось так, что во взаимоотношениях ввода-вывода при поиске преобладает текст. Несмотря на то, что выходные данные стали более разнообразными (например, результаты видео и изображений), входные данные были текстовыми. Это ограничило и сформировало потенциал поисковых систем, поскольку они пытаются извлечь больше контекстного значения из относительно статичного набора данных ключевых слов.
Системы визуального поиска пересматривают границы нашего языка, открывая новые возможности для общения между людьми и компьютерами. Если мы будем рассматривать язык как подвижную систему знаков и символов, а не как фиксированный набор устных или письменных слов, мы придем к гораздо более убедительной и глубокой картине будущего поиска.
Наша культура основана на визуальном восприятии, и это факт, что визуальные поисковые системы слишком стремятся извлечь выгоду из этого.
Уже сейчас существует множество конкретных технологий визуального поиска для электронной коммерции: Amazon, Walmart и ASOS - все в действии. Приложения этих компаний превращают камеру смартфона пользователя в инструмент визуального поиска, ища похожие предметы на основе всего, что находится в кадре. Однако это всего лишь один вариант использования, и потенциал визуального поиска намного больше, чем просто прямые транзакции электронной торговли.
После множества проб и ошибок эта технология достигла зрелости. Системы машинного обучения без учителя, лежащие в основе визуального поиска, только улучшаются в результате этого процесса.
Сейчас мы находимся на пороге точного визуального поиска в реальном времени, основанного на машинном обучении и искусственном интеллекте.
Ниже в этой статье будет рассмотрен прогресс, достигнутый тремя ключевыми игроками в этой отрасли: Pinterest, Google и Bing.
Технология визуального поиска Pinterest нацелена на то, чтобы занять позицию лидера поискового поиска. Их заявленная цель перекликается с вступительной цитатой из этой статьи: «Помогать вам находить вещи, когда у вас нет слов, чтобы их описать».
Вместо того, чтобы напрямую заниматься Google, Pinterest решил предложить пользователям и рекламодателям нечто немного отличное. Люди заходят в Pinterest, чтобы открывать новые идеи, создавать доски настроения и вдохновляться. Поэтому Pinterest призывает своих 200 миллионов пользователей «искать нестандартно», что можно расшифровать как мягкую насмешку над вездесущей панелью поиска Google.
Все это обеспечивается Pinterest Lens, сложным инструментом визуального поиска, который использует камеру смартфона для сканирования физического мира, идентификации объектов и выдачи связанных результатов. Он доступен через приложение для смартфона, но функцию визуального поиска Pinterest можно использовать и на компьютере через расширение Google Chrome.
Обширный набор данных Pinterest, содержащий более 100 миллиардов пинов, представляет собой идеальный учебный материал для приложений машинного обучения. В результате устанавливаются новые связи между физическим и цифровым мирами с использованием графических процессоров (GPU) для ускорения процесса.
На практике Pinterest Lens работает очень хорошо и со временем становится заметно лучше. Обнаружение изображений впечатляюще точное, и предложения по связанным пинам актуальны.
Ниже тот же объект был выбран для поиска с помощью Pinterest, а также визуального поиска Samsung:
Различия в результатах говорят сами за себя.
Слева Pinterest распознает форму объекта, его материал, его назначение, а также определяющие особенности дизайна. Это позволяет получить более глубокие результаты, чем прямой поиск другой черной кружки. Pinterest знает, что менее ощутимые стилистические детали - это то, что действительно интересует пользователей. Таким образом, мы видим результаты для кружек разного цвета, но схожего стиля.
Справа помощник Samsung Bixby распознает объект, его цвет и назначение. Результаты Samsung основаны на Amazon, и они намного менее вдохновляют, чем варианты, предлагаемые Pinterest. Изображение превращается в поиск по ключевому слову [кружки черного кофе], что делает визуальный элемент поиска несколько лишним.
Визуальные поисковые системы работают лучше всего, когда они выражают за нас то, что мы с трудом можем сказать словами. Pinterest понимает это обещание и выполняет его лучше других.
Визуальный поиск Pinterest: основные факты
- Более 200 миллионов пользователей в месяц
- Сосредоточен на "фазе открытия" поиска
- Pinterest Lens - центральная технология визуального поиска
- Отличная платформа для ритейлеров с очевидными возможностями монетизации
- Платная поисковая реклама - это основная область роста компании.
- Все более эффективные результаты визуального поиска, особенно на более глубоком уровне эстетики
Google сделал первые шаги в визуальном поиске, запустив Google Goggles. Это приложение для Android было запущено в 2010 году и позволяло пользователям выполнять поиск с помощью камеры смартфона. Например, он хорошо работает с известными достопримечательностями, но уже довольно давно не обновлялся.
Казалось маловероятным, что Google будет долго молчать о визуальном поиске, и разработка ввода-вывода в этом году показала, над чем поисковый гигант работал в фоновом режиме.
Google Lens, который будет доступен через приложение Photos и Google Assistant, станет значительным пересмотром более ранней инициативы Google Goggles.
Любое номенклатурное сходство с продуктом Pinterest может быть более чем случайным. В последнее время Google незаметно модернизировал свои поисковые системы по изображениям и визуализации, добиваясь результатов, похожих на формат Pinterest:
Продукт Google «Подобные товары» стал еще одним шагом к получению прибыли на этапе поиска результатов поиска, демонстрируя связанные результаты, которые могут еще больше возбудить любопытство потребителя.
Google Lens предоставит технологию обнаружения объектов, чтобы связать все это вместе в мощную систему визуального поиска. В формате BETA Lens предлагает следующие категории для визуального поиска:
- Все
- Одежда
- Обувь
- Сумки
- Солнцезащитные Очки
- Штрих-коды
- Продукты
- Места
- Кошки
- Собаки
- Цветы
Некоторым разработчикам была предоставлена возможность опробовать раннюю версию Lens, и многие из них сообщили о смешанных результатах:
Похоже, Google не распознает свой собственный домашний умный центр… (Источник: XDA Developers)
Google Lens находится на очень раннем этапе развития, поэтому мы можем ожидать, что эта технология значительно улучшится по мере того, как она учится на своих ошибках и успехах.
Когда это происходит, Google имеет уникальные возможности сделать визуальный поиск мощным инструментом как для пользователей, так и для рекламодателей. Возможности для онлайн-ритейлеров через платный поиск очевидны, но у обычных розничных продавцов есть также огромный потенциал для извлечения выгоды из гиперлокального поиска.
Несмотря на все свои впечатляющие достижения, Pinterest не обладает экосистемой, которая бы пронизывала все аспекты жизни пользователя так, как это может сделать Google. Создав новый смартфон Pixel, Google может использовать визуальный поиск наряду с голосовым поиском, чтобы объединить свое программное и аппаратное обеспечение. Для рекламодателей, использующих DoubleClick для управления своей поисковой и медийной рекламой, это представляет собой очень привлекательную перспективу.
Мы также должны ожидать, что в ближайшем будущем Google будет развивать эту технологию визуального поиска.
Google намерен открыть свой продукт ARCore для всех разработчиков, что принесет безграничные возможности для дополненной реальности. ARCore является прямым конкурентом ARKit от Apple и может предоставить ключ к раскрытию всего потенциала визуального поиска. Мы также не должны исключать еще одного шага на рынке носимых устройств, возможно, через новую версию Google Glass.
Визуальный поиск Google: основные факты
- Google Goggles был запущен в 2010 году как один из первых участников рынка визуального поиска.
- Очки по-прежнему хорошо работают на некоторых ориентирах, но с трудом выделяют объекты в переполненных кадрах.
- Запуск Google Lens запланирован на конец этого года (дата уточняется) в качестве полной модернизации Goggles.
- Объектив свяжет визуальный поиск с поиском Google и Google Maps.
- Обнаружение объектов не усовершенствовано, но продукт находится в БЕТА-версии
- Google имеет наилучшие возможности для создания рекламного продукта на основе своей системы визуального поиска, как только технология станет более точной.
Bing
Microsoft была очень тиха в этом вопросе с тех пор, как в 2012 году отказалась от своего продукта визуального поиска Bing. На самом деле он так и не стал популярным, и, возможно, у широкой публики еще не было аппетита к системе визуального поиска.
Недавно Bing сделал интересное возвращение в бой, объявив о полностью обновленной системе визуального поиска:
Это изменение курса было вызвано достижениями в области искусственного интеллекта, который может автоматически сканировать изображения и изолировать предметы.
Ранние версии этой функции поиска требовали ввода от пользователей, чтобы нарисовать рамки вокруг определенных областей изображения для дальнейшего изучения. Bing недавно объявил, что в этом больше не будет необходимости, так как технология была разработана для автоматизации этого процесса.
Расположение визуальных результатов поиска в Bing очень похоже на Pinterest. Если подражание - самая искренняя форма лести, Pinterest уже должен быть захвачен лести.
Технология визуального поиска может отточить объекты в большинстве изображений, а затем предложить дополнительные элементы, которые могут быть интересны пользователю. На данный момент это доступно только для ПК, но скоро будет добавлена поддержка для мобильных устройств.
Результаты местами неоднородны, но при обнаружении объекта делаются соответствующие предложения. В приведенном ниже примере поиск, выполненный с использованием изображения костюма, приводит к актуальным ссылкам для покупок:
Однако при этом не учитывается рубашка или галстук - единственный доступный для поиска аспект - это костюм.
Ситуация становится еще более неоднородной при поиске с использованием переполненных изображений. Поиск идей декора гостиной, сделанный с использованием изображения, принесет некоторые релевантные результаты, но не всегда отточит конкретные предметы.
Как и все технологии машинного обучения, этот продукт будет продолжать совершенствоваться, и на данный момент Bing на шаг впереди Google в этом аспекте. Тем не менее Microsoft не хватает пользовательской базы и мобильного оборудования, чтобы в долгосрочной перспективе начать настоящую атаку на рынок визуального поиска.
Визуальный поиск процветает на данных; в этом отношении и Google, и Pinterest превзошли Bing.
Визуальный поиск Bing: основные факты
- Первоначально запущен в 2009 г., но удален в 2012 г. из-за недостаточного распространения.
- Запущен повторно в июле 2017 года при поддержке искусственного интеллекта для идентификации и анализа объектов.
- Рекламодатели могут использовать визуальный поиск Bing для размещения изображений, доступных для покупок.
- Технология находится в зачаточном состоянии, но распознавание объектов довольно точное.
- На данный момент только настольный компьютер, но скоро появится и мобильная версия.
Итак, у кого лучшая система визуального поиска?
А пока Pinterest. Благодаря миллиардам точек данных и наличию опытных профессионалов в области поиска изображений, управляющих этой технологией, он обеспечивает наиболее плавную и точную работу. Он также делает что-то уникальное, улавливая стилистические особенности объектов, а не только их форму или цвет. Таким образом, он изменяет язык, имеющийся в нашем распоряжении, и расширяет границы возможного при поиске.
В последнее время Bing добился огромных успехов в этой сфере, но ему не хватает потрясающего приложения, которое выделило бы его настолько, чтобы привлечь внимание поисковиков из Google. Визуальный поиск Bing является точным и функциональным, но не создает соединений со связанными элементами, как это может сделать Pinterest.
Запуск Google Lens, несомненно, полностью встряхнет и этот рынок. Если Google сможет внедрить автоматическое распознавание объектов (что, несомненно, будет), Google Lens может стать продуктом, который связывает традиционный поиск с дополненной реальностью. Ресурсы и набор продуктов, имеющиеся в распоряжении Google, делают его вероятным победителем в долгосрочной перспективе.
Первоначально опубликовано на сайте searchchenginewatch.com.
