VR-лук для запуска роя дронов

2022: Разработка VR-лука для дронов

В конце октября 2022 года в «Сколково» сообщили о том, что разработали метод развёртывания роя спасательных и исследовательских дронов. Используя шлем виртуальной реальности и тактильный интерфейс, оператор имитирует серию выстрелов из лука, направляя каждый дрон в заданную точку. Для предотвращения столкновений дронов используется глубокое обучение с подкреплением.

Оператор роя дронов использует VR-шлем, перчатки с маркерами и тактильный дисплей. Вокруг «лучника» располагается система захвата движения в составе нескольких IR-камер — они регистрируют положение перчаток и дронов. Благодаря тактильному дисплею оператор чувствует, как при изменении расстояния между перчатками меняется натяжение виртуальной тетивы, и использует эту обратную связь, чтобы задать расстояние до точки, где должен оказаться дрон. При этом VR-шлем в режиме реального времени визуализирует баллистическую траекторию дрона. Когда оператор разжимает кулак, это действие регистрирует камера, и дрон направляется по заданной траектории.

В России разработали VR-лук для запуска дронов

Как только дрон достигает цели, он переводится на традиционный способ управления и переходит к выполнению своей миссии. Это может быть спасательная операция, обнаружение лесных пожаров, мониторинг состояния природных ресурсов, загрязнения окружающей среды, определение индекса роста (NDVI) сельскохозяйственных культур, геологоразведка, осмотр или техническое обслуживание объектов инфраструктуры.

По словам разработчиков, благодаря использованию в новом методе глубокого обучения с подкреплением, дроны способны предвидеть столкновения с другими дронами и соответствующим образом перестраивать свою траекторию.

Цель наших исследований — преодолеть ещё более сложный вызов: каким образом пользователь без опыта управления дроном сможет в считанные секунды развернуть целый рой, — говорит руководитель исследования и лаборатории интеллектуальной космической робототехники Сколтеха доцент Дмитрий Тетерюков.