CARA (Cognitive Augmented Reality Assistant)

Продукт
Название базовой системы (платформы): Microsoft Hololens
Разработчики: Калифорнийский технологический институт (Caltech)
Дата премьеры системы: декабрь 2018 г

2018: Анонс продукта

В декабре 2018 года стало известно, что на базе очков дополненной реальности Microsoft HoloLens исследователи Калифорнийского технологического института (Caltech), США, разработали помощника для слепых людей. Проект носит название CARA (Cognitive Augmented Reality Assistant, виртуальный помощник на основе технологии дополненной реальности) и помогает идентифицировать окружающие объекты.

С помощью компьютерного зрения помощник проверяет объекты вокруг человека и называет их. Чем ближе пользователь к объекту, тем выше тон голоса. Устройство работает в трех режимах.

  • Режим прожектора. Помощник называет объект только, если пользователь смотрит на него;

  • Режим сканирования. Помощник называть все, что видит камера HoloLens;

  • Целевой режим. Данный режим позволяет пользователю сосредоточиться только на одном объекте, если ему нужно идти где-то рядом с ним.

В статье «Augmented Reality Powers a Cognitive Assistant for the Blind» сотрудники института пишут, что «объединили современные аппаратные средства и алгоритмы компьютерного зрения для разработки ПО, которое позволяет объектам «разговаривать»». Разработкой помощника занималась команда под руководством выпускника Caltech Ян Лю (Yang Liu).

AR-очки Microsoft начали помогать слепым ориентироваться в пространстве
AR-очки Microsoft начали помогать слепым ориентироваться в пространстве

СARA был протестирован на нескольких слепых добровольцах в лаборатории Caltech и показал хорошие результаты. Пользователи смогли пройти по зданию, используя подсказки помощника, который сообщал, где следует повернуть, подняться по лестнице и взяться за перила.

Разработчики уверены, что по мере совершенствования технологий банки, гостиницы, музеи и торговые центры смогут предоставлять CARA в качестве услуги своим клиентам и сделают общественные места более доступными для людей с нарушением зрения.

«
Представьте, что вы находитесь в мире, где все объекты вокруг вас имеют голоса и могут говорить с вами, — говорит Маркус Майстер (Markus Meister), один из авторов исследования и сотрудник Caltech. — Куда бы вы ни направили свой взгляд, разные объекты, на которых вы фокусируетесь, оживают и называют себя. Можете ли вы представить, какого жить в таком мире и выполнять различные задачи, для которых мы обычно используем зрение? Это то, что мы сделали здесь, — дали вещам голоса.[1][2]
»

Примечания



СМ. ТАКЖЕ (1)