На "Мегамаркете" появился поиск по фотографиям

2023: Реализация возможности поиска вещей по фотографиям на базе платформы Layer

Находить понравившиеся одежду, обувь и аксессуары на Мегамаркете теперь поможет поиск по фотографиям. Пользователи могут загружать как фотографии отдельных предметов, так и целый образ — нейросеть подберет максимально похожие товары и предложит их списком. Об этом компания сообщила 7 ноября 2023 года.

Поиск по фотографиям работает благодаря технологии компьютерного зрения, которое было создано на основе платформы Layer от Сбера. Нейросеть обучалась более полутора лет — за это время через нее прошли миллионы фотографий из модных журналов, с дизайнерских показов и фотосессий.

Можно сказать, что поиск по фото становится своеобразным стандартом в категории Fashion. С его помощью можно найти как отдельные предметы гардероба, так и собрать полноценный лук — например, по примеру популярного стиля, образа любимой звезды или конкретной модели с показа. Так, можно взять фотографию из модного журнала и за несколько мгновений подобрать максимально похожие товары, — положить их в корзину и заказать. Точность у технологии очень высокая — согласно данным тестирования, точность достигает 98%, — рассказал Игорь Рожков, директор по маркетингу Мегамаркета.

Нейросеть распознает не только одежду, но и пол, а также возраст человека на снимке. Это стало возможным благодаря внедрению в Layer собственной, основанной на визуальном трансформере модели MiVOLO, которая существенно упрощает поиск и позволяет давать более точные рекомендации. Например, нейросеть не будет предлагать платья для взрослых, если на фотографии изображен ребенок, а также предложит мужские предметы гардероба, если на снимке мужчина.

Благодаря усовершенствованным алгоритмам MiVOLO превосходит многие другие модели. Так, она с легкостью справится с определением пола и предположит возраст даже в том случае, если в кадре нет лица или модель стоит спиной к камере. Нейросеть справляется лучше человека: как показывают тесты, при просмотре фотографий респонденты в среднем допускают погрешность до 7 лет при определении возраста, тогда как алгоритмы – до 4 лет.

Загрузить в поиск можно изображения форматов jpg, jpeg и png, при этом нет ограничений в размере фотографии. Выдача происходит по наибольшему совпадению, а при необходимости все товары можно легко отфильтровать по категориям.

Так как нейросеть тренировалась на самых разных фотографиях, фон не имеет значения — это может быть даже простой снимок, где человек на улице или среди разнообразных атрибутов для фотосессии. Стоит учесть, что, если нужно найти какой-то конкретный аксессуар, например, очки или сумку, то лучше выбирать фотографии, где они полностью в кадре и крупным планом, иначе нейросеть в качестве рекомендаций будет подбирать сразу все вещи со снимка, — добавил Игорь Рожков, директор по маркетингу Мегамаркета.