Visual-Robotics Bridge (VRB)

Продукт
Разработчики: Университет Карнеги - Меллона (Carnegie Mellon University)
Дата премьеры системы: июнь 2023 г.
Отрасли: Информационные технологии
Технологии: Робототехника

2023: Анонс продукта

В середине июня 2023 года группа исследователей из Университета Карнеги-Меллона представила модель Visual-Robotics Bridge (VRB) для обучения роботов домашним делам, таким как поднятие трубки телефона, открытие ящиков и т. п.

До 2023 года ученые обучали роботов, физически показывая им, как выполняется та или иная задача, или тренируя их в течение нескольких недель в симулированной среде. Оба эти метода требуют много времени и ресурсов и часто оказываются безуспешными.

Группа исследователей представила модель Visual-Robotics Bridge (VRB) для обучения роботов домашним делам

Команда из Университета Карнеги-Меллона утверждает, что предложенная ими модель, VRB, способна заставить робота выучить задачу всего за 25 мин, и это без участия людей или симулированной среды. Эта работа может радикально улучшить методы обучения роботов и может позволить роботам обучаться на огромном количестве доступных в интернете и видео.

VRB представляет из себя усовершенствованную версию In-the-Wild Human Imitating Robot Learning (WHIRL), модели, которую исследователи ранее использовали для обучения роботов. Разница между WHIRL и VRB заключается в том, что в первом случае требуется, чтобы человек выполнял задачу перед роботом в определенной среде. После наблюдения за человеком робот может выполнить задачу в той же среде. Однако в VRB человек не требуется, и при определенной практике обучаемый робот может имитировать действия человека даже в условиях, отличных от тех, что показаны на видео.

Модель VRB работает на основе аффорданс - концепции, объясняющей возможность действия на объект. Дизайнеры используют эту концепцию, чтобы сделать продукт удобным для пользователя и интуитивно понятным.

В ходе исследования ученые из Университета Карнеги-Меллона сначала заставили роботов просмотреть несколько видеороликов из больших наборов видеоданных, таких как Ego4d и Epic Kitchen. Эти обширные данные были разработаны для обучения программ ИИ человеческим действиям. Затем они использовали аффорданс, чтобы роботы поняли точки соприкосновения и шаги, которые делают действие завершенным, и, наконец, они протестировали две роботизированные платформы в различных реальных условиях в течение 200 часов. Оба робота успешно выполнили 12 задач, которые люди выполняют практически ежедневно в своих домах, например, открыли банку с супом, взяли трубку телефона, подняли крышку, открыли дверь, выдвинули ящик и т. д. На следующих этапах разработчики надеются использовать VRB для обучения роботов более сложным многоэтапным задачам.[1]

Примечания



СМ. ТАКЖЕ (1)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot (Промобот) (31)
  Яндекс (Yandex) (14)
  Cognitive Pilot (Когнитив Роботикс) (14)
  Nvidia (Нвидиа) (11)
  Сбербанк (10)
  Другие (502)

  ABB Group (7)
  Promobot (Промобот) (4)
  Ростелеком (3)
  АББ Россия (ABB) (3)
  IPavlov (Айпавлов) (2)
  Другие (59)

  Mains Lab (Мэйнс Лаборатория) (2)
  Яндекс (Yandex) (2)
  Московский центр инновационных технологий в здравоохранении (2)
  YaCuAi (1)
  НИТУ МИСиС (Национальный исследовательский технологический университет) (1)
  Другие (45)

  Департамент информационных технологий Москвы (ДИТ) (3)
  Яндекс (Yandex) (2)
  Инфосистемы Джет (2)
  Fora Robotics (Фора Роботикс) (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Другие (46)

  Университет Иннополис (2)
  Геоскан (Geoscan) (2)
  Яндекс (Yandex) (2)
  Наносемантика (Nanosemantics Lab) (2)
  Сбер Бизнес Софт (2)
  Другие (47)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot (Промобот) (9, 32)
  ABB Group (8, 23)
  Cognitive Pilot (Когнитив Роботикс) (3, 21)
  Cognitive Technologies (Когнитивные технологии) (1, 21)
  Яндекс (Yandex) (2, 11)
  Другие (571, 143)

  ABB Group (2, 11)
  Promobot (Промобот) (2, 4)
  Cognitive Technologies (Когнитивные технологии) (1, 2)
  Cognitive Pilot (Когнитив Роботикс) (1, 2)
  Gaskar Group (Гаскар Интеграция) (1, 2)
  Другие (10, 11)

  Бирюч-НТ Инновационный Центр (2, 1)
  Эфко ГК (2, 1)
  Транспорт будущего (2, 1)
  НИТУ МИСиС (Национальный исследовательский технологический университет) (1, 1)
  РОББО (ранее ScratchDuino, СкретчДуино) (1, 1)
  Другие (13, 13)

  Fora Robotics (Фора Роботикс) (1, 2)
  3D Bioprinting Solutions (3Д Биопринтинг Солюшенс) (1, 1)
  Dobot (Shenzhen Yuejiang Technology) (1, 1)
  Intuitive Surgical (1, 1)
  НИТУ МИСиС (Национальный исследовательский технологический университет) (1, 1)
  Другие (5, 5)

  Яндекс (Yandex) (1, 2)
  Pudu Robotics (Pudu Technology) (1, 2)
  Intuitive Surgical (1, 1)
  Геоскан (Geoscan) (1, 1)
  КиберСклад (1, 1)
  Другие (0, 0)

Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot - 28 (26, 2)
  Cognitive Agro Pilot Система автоматического вождения - 21 (21, 0)
  ABB IRB Промышленные роботы - 19 (19, 0)
  Искусственный интеллект (ИИ, Artificial intelligence, AI) - 15 (0, 15)
  Da Vinci (робот-хирург) - 11 (11, 0)
  Другие 103

  ABB IRB Промышленные роботы - 8 (8, 0)
  Promobot - 5 (4, 1)
  YuMi (Мобильный коллаборативный робот) - 4 (4, 0)
  Gaskar Group Hive Автономные дронопорты - 2 (2, 0)
  Cognitive Agro Pilot Система автоматического вождения - 2 (2, 0)
  Другие 8

  Hi-Fly Cargo - 1 (1, 0)
  Smart Meal Service: Lunch fastPass Робот-кассир - 1 (1, 0)
  Cognitive Agro Pilot Система автоматического вождения - 1 (1, 0)
  ABB IRB Промышленные роботы - 1 (1, 0)
  Искусственный интеллект (ИИ, Artificial intelligence, AI) - 1 (0, 1)
  Другие 7

  For-1 Антропоморфный робот - 2 (2, 0)
  Dobot CR-серия Коллаборативные роботы - 1 (1, 0)
  Robotech: RP-серия Роботы-паллетайзеры - 1 (1, 0)
  Da Vinci (робот-хирург) - 1 (1, 0)
  МИСиС и 3D Bioprinting Solutions: 3D-биопринтер в виде роборуки для применения в операционной in situ - 1 (1, 0)
  Другие 1

  Pudu CC1 Робот-уборщик - 2 (2, 0)
  Яндекс.Ровер - 2 (2, 0)
  Геоскан БАС (Беспилотные авиационные системы самолетного типа) - 1 (1, 0)
  Роботы КиберСклад - 1 (1, 0)
  Другие 0