НИУ ВШЭ и МИСИС: LAPUSKA (LaPlacian UpScale Knowledge Alignment)

Основные статьи:

• Нейросети (нейронные сети)
• Видеоаналитика (термины, сферы применения, технологии)
• Компьютерное зрение (машинное зрение)

2023: Представление обновленной архитектуры нейросети LAPUSKA

Ученые Университета МИСИС и НИУ ВШЭ 29 ноября 2023 года представили обновленную архитектуру нейронной сети LAPUSKA (LaPlacian UpScale Knowledge Alignment), способную значительно улучшить качество изображений. Предложенный подход позволяет обрабатывать фотографии в 2 раза быстрее по сравнению с выбранными аналогами. В будущем разработка исследователей поможет распознавать лица и точнее обрабатывать изображения.

Анализ и интерпретация изображений или видео с помощью машинного зрения, уже применяется в медицине, сельском хозяйстве, транспорте, индустрии развлечений и многих других областях. Перспективным направлением компьютерного зрения является супер-разрешение изображений, которое не просто увеличивает размер изображения, но и улучшает его качество. Это позволяет увидеть больше информации и деталей, которые были недоступны для человеческого зрения при низком разрешении фотографии.

соавтор исследования Илья Макаров, директор центра искусственного интеллекта НИТУ МИСИС, руководитель группы «ИИ в промышленности» Института AIRI

Технология получения изображений со сверхвысоким разрешением помогает преодолеть ограничения, присущие устройствам фото- и видеосъемки и может быть полезно в различных практических приложениях. Например, в области безопасности супер-разрешение изображений помогает увеличивать качество снимков с камер видеонаблюдения для распознавания лиц или номеров автомобилей, в области цифровой обработки изображений — помогает восстановить старые или поврежденные фотографии, а также улучшить качество фотографий, снятых в сложных условиях освещения или на большом расстоянии.

Существующие модели для получения изображений со сверхвысоким разрешением имеют значительные недостатки, например наиболее нейронные модели SRGAN и LapSRN требуют больших вычислительных затрат и значительного объема компьютерной памяти, что влияет на доступность их использования и время, необходимое для получения результа. LapSRN как правило, позволяет получить более сглаженные изображения, что приводит к потере некоторых мелких деталей, в то время как на изображениях, обработанных при помощи SRGAN, остается много цифрового шума.

Обновленная архитектура нейронной сети LAPUSKA для высокого разрешения изображений сочетает лучшие свойства существующих моделей SRGAN и LapSRN и устраняет их недостатки. Предлагаемая модель имеет качество, аналогичное LapSRN, но она более чем в 2 раза быстрее по времени обработки.

Архитектура предлагаемой нами нейронной сети состоит из нескольких сверточных слоев с разной структурой. В основе структуры сети лежит структура SRGAN, которая показала хорошие результаты во время обучения, и использует стратегию пост-апсемплинга, при которой признаки извлекаются непосредственно из входных данных LR набором остаточных блоков, а изображение масштабируется в конце распространения. Важным моментом в процессе обучения реализованных моделей являются обучающие данные. В данной работе было решено использовать датасет DIV2K, поскольку он содержит 800 обучающих цветных изображений RGB HR с соответствующими уменьшенными изображениями LR с различными коэффициентами, — сказал соавтор исследования Илья Макаров, директор центра искусственного интеллекта НИТУ МИСИС, руководитель группы «ИИ в промышленности» Института AIRI.