НИУ ВШЭ и МИСИС: LAPUSKA (LaPlacian UpScale Knowledge Alignment)

Продукт
Название базовой системы (платформы): Искусственный интеллект (ИИ, Artificial intelligence, AI)
Разработчики: Высшая школа экономики (НИУ ВШЭ), НИТУ МИСиС (Национальный исследовательский технологический университет)
Дата последнего релиза: 2023/11/29
Отрасли: Индустрия развлечений, досуг, спорт,  Сельское хозяйство и рыболовство,  Транспорт,  Фармацевтика, медицина, здравоохранение
Технологии: Системы видеоаналитики

Основные статьи:

2023: Представление обновленной архитектуры нейросети LAPUSKA

Ученые Университета МИСИС и НИУ ВШЭ 29 ноября 2023 года представили обновленную архитектуру нейронной сети LAPUSKA (LaPlacian UpScale Knowledge Alignment), способную значительно улучшить качество изображений. Предложенный подход позволяет обрабатывать фотографии в 2 раза быстрее по сравнению с выбранными аналогами. В будущем разработка исследователей поможет распознавать лица и точнее обрабатывать изображения.

Анализ и интерпретация изображений или видео с помощью машинного зрения, уже применяется в медицине, сельском хозяйстве, транспорте, индустрии развлечений и многих других областях. Перспективным направлением компьютерного зрения является супер-разрешение изображений, которое не просто увеличивает размер изображения, но и улучшает его качество. Это позволяет увидеть больше информации и деталей, которые были недоступны для человеческого зрения при низком разрешении фотографии.

соавтор исследования Илья Макаров, директор центра искусственного интеллекта НИТУ МИСИС, руководитель группы «ИИ в промышленности» Института AIRI

Технология получения изображений со сверхвысоким разрешением помогает преодолеть ограничения, присущие устройствам фото- и видеосъемки и может быть полезно в различных практических приложениях. Например, в области безопасности супер-разрешение изображений помогает увеличивать качество снимков с камер видеонаблюдения для распознавания лиц или номеров автомобилей, в области цифровой обработки изображений — помогает восстановить старые или поврежденные фотографии, а также улучшить качество фотографий, снятых в сложных условиях освещения или на большом расстоянии.

Существующие модели для получения изображений со сверхвысоким разрешением имеют значительные недостатки, например наиболее нейронные модели SRGAN и LapSRN требуют больших вычислительных затрат и значительного объема компьютерной памяти, что влияет на доступность их использования и время, необходимое для получения результа. LapSRN как правило, позволяет получить более сглаженные изображения, что приводит к потере некоторых мелких деталей, в то время как на изображениях, обработанных при помощи SRGAN, остается много цифрового шума.

Обновленная архитектура нейронной сети LAPUSKA для высокого разрешения изображений сочетает лучшие свойства существующих моделей SRGAN и LapSRN и устраняет их недостатки. Предлагаемая модель имеет качество, аналогичное LapSRN, но она более чем в 2 раза быстрее по времени обработки.

«
Архитектура предлагаемой нами нейронной сети состоит из нескольких сверточных слоев с разной структурой. В основе структуры сети лежит структура SRGAN, которая показала хорошие результаты во время обучения, и использует стратегию пост-апсемплинга, при которой признаки извлекаются непосредственно из входных данных LR набором остаточных блоков, а изображение масштабируется в конце распространения. Важным моментом в процессе обучения реализованных моделей являются обучающие данные. В данной работе было решено использовать датасет DIV2K, поскольку он содержит 800 обучающих цветных изображений RGB HR с соответствующими уменьшенными изображениями LR с различными коэффициентами, — сказал соавтор исследования Илья Макаров, директор центра искусственного интеллекта НИТУ МИСИС, руководитель группы «ИИ в промышленности» Института AIRI.
»



Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  VizorLabs (Визорлабс) (41)
  Вокорд (Vocord) (39)
  ВидеоМатрикс (Videomatrix) (32)
  VisionLabs (ВижнЛабс) (25)
  Simetra (ранее А+С Транспроект) (18)
  Другие (346)

  ВидеоМатрикс (Videomatrix) (9)
  Simetra (ранее А+С Транспроект) (6)
  VisionLabs (ВижнЛабс) (5)
  VizorLabs (Визорлабс) (5)
  SteadyControl (4)
  Другие (53)

  VizorLabs (Визорлабс) (11)
  ВидеоМатрикс (Videomatrix) (8)
  Nord Clan (Норд Клан) (4)
  Джей Эс Эй Групп (JSA Group) (3)
  SteadyControl (2)
  Другие (33)

  VizorLabs (Визорлабс) (13)
  SteadyControl (6)
  Ростелеком (3)
  VisionLabs (ВижнЛабс) (3)
  Транс-Телематика (3)
  Другие (37)

  SteadyControl (5)
  VizorLabs (Визорлабс) (2)
  NVI Solutions (Норд Вижен Интелледженс Солюшенс) (1)
  Simetra (ранее А+С Транспроект) (1)
  Softline (Софтлайн) (1)
  Другие (12)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Вокорд (Vocord) (9, 45)
  VizorLabs (Визорлабс) (9, 40)
  ВидеоМатрикс (Videomatrix) (17, 32)
  VisionLabs (ВижнЛабс) (13, 32)
  PTV Group (2, 25)
  Другие (338, 227)

  ВидеоМатрикс (Videomatrix) (9, 9)
  VisionLabs (ВижнЛабс) (3, 9)
  PTV Group (1, 6)
  Ростелеком (3, 5)
  VizorLabs (Визорлабс) (2, 5)
  Другие (16, 29)

  VizorLabs (Визорлабс) (7, 11)
  ВидеоМатрикс (Videomatrix) (7, 8)
  SteadyControl HoReCa (1, 3)
  SteadyControl (1, 3)
  VisionLabs (ВижнЛабс) (2, 2)
  Другие (18, 19)

  VizorLabs (Визорлабс) (4, 13)
  SteadyControl (1, 7)
  SteadyControl HoReCa (1, 7)
  Технологии безопасности дорожного движения (ТБДД) (1, 3)
  VisionLabs (ВижнЛабс) (1, 2)
  Другие (15, 18)

  SteadyControl (1, 5)
  SteadyControl HoReCa (1, 5)
  PTV Group (1, 1)
  VizorLabs (Визорлабс) (1, 1)
  Сколково Фонд (1, 1)
  Другие (5, 5)

Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Vizorlabs Платформенное решение видеоаналитики - 36 (11, 25)
  VisionLabs Luna - 33 (24, 9)
  PTV Visum - 25 (25, 0)
  SteadyControl Система контроля и управления персоналом - 23 (23, 0)
  Vocord Traffic - 18 (16, 2)
  Другие 194

  VisionLabs Luna - 11 (5, 6)
  PTV Visum - 6 (6, 0)
  Vizorlabs Платформенное решение видеоаналитики - 4 (0, 4)
  SteadyControl Система контроля и управления персоналом - 4 (4, 0)
  SecurOS - 3 (2, 1)
  Другие 21

  Vizorlabs Платформенное решение видеоаналитики - 7 (1, 6)
  SteadyControl Система контроля и управления персоналом - 3 (3, 0)
  VisionLabs Luna - 2 (1, 1)
  Vmx SILA: HSE - 2 (2, 0)
  Nord Clan: RDetector - 2 (2, 0)
  Другие 19

  Vizorlabs Платформенное решение видеоаналитики - 11 (2, 9)
  SteadyControl Система контроля и управления персоналом - 7 (7, 0)
  ТБДД: Азимут Комплексы фотовидеофиксации - 3 (3, 0)
  VisionLabs Luna - 2 (2, 0)
  Softlogic: SC-iMVS-RM3 Автокомплекс нейросетевого наблюдения для контроля объектов дорожной инфраструктуры - 2 (2, 0)
  Другие 7

  SteadyControl Система контроля и управления персоналом - 5 (5, 0)
  Vizorlabs Платформенное решение видеоаналитики - 1 (0, 1)
  NVI Solutions: owl.Guard - 1 (1, 0)
  Orwell 2k - 1 (1, 0)
  Softline Digital: RozniTech Платформа для сетевого ритейла (ранее Retailix.Ai) - 1 (1, 0)
  Другие 0