| Разработчики: | |
| Дата премьеры системы: | март 2023 г. |
| Отрасли: | Информационные технологии |
| Технологии: | Робототехника, Роботы Промышленные, Роботы Сервисные, Средства разработки приложений |
Содержание |
История
2023: Анонс продукта
6 марта 2023 года исследователи из компании Google и Берлинского технического университета представили открытую мультимодальную языковую модель на основе искусственного интеллекта для обучения автономных роботов.
Проект носит название PaLM-E. Модель объединяет язык и компьютерное зрение для управления роботами. В общей сложности, как отмечается, доступны 562 млрд параметров, что обеспечивает максимальную гибкость. Модель, в частности, позволяет роботу выполнять широкий спектр задач на основе голосовых команд человека без необходимости постоянного переобучения. Иными словами, робот воспринимает директивы на естественном языке, анализирует их и немедленно приступает к работе.
Например, если роботу приказано «принеси мне рисовые чипсы из ящика стола», PaLM-E оперативно создаст план действий на основе команды и своего поля зрения. Затем мобильная роботизированная платформа с автоматизированной рукой полностью автономно выполнит все необходимые операции.
PaLM-E получает данные от камеры робота и анализирует окружение без необходимости предварительного описания сцены. Это означает, что человеку не нужно аннотировать визуальные данные. Более того, PaLM-E может реагировать на изменения окружающей обстановки во время выполнения задачи.
PaLM-E базируется на существующей масштабной языковой модели, известной как PaLM (схожа с технологией ChatGPT). Она интегрирована с сенсорной информацией и роботизированным управлением. Система непрерывно наблюдает за своим окружением и кодирует полученные данные в последовательность «векторов», подобно тому, как слова кодируются в «языковые токены». Таким образом, сенсорная информация воспринимается аналогично обработке голосовых команд. Кроме того, PaLM-E может передавать знания и навыки, полученные от предыдущих задач, к новым, что приводит к повышению эффективности.[1]
Примечания
Подрядчики-лидеры по количеству проектов
Promobot (Промобот) (31) Cognitive Pilot (Когнитив Роботикс) (14) Яндекс (Yandex) (14) Nvidia (Нвидиа) (11) Инфосистемы Джет (10) Другие (510) ABB Group (7) Promobot (Промобот) (4) Ростелеком (3) АББ Россия (ABB) (3) Ronavi Robotics, Ронави Роботикс (ранее Ронави логистические системы) (2) Другие (59) Mains Lab (Мэйнс Лаборатория) (2) Яндекс (Yandex) (2) Московский центр инновационных технологий в здравоохранении (2) Синимекс (Cinimex) (1) Джей Эс Эй Групп (JSA Group) (1) Другие (45)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Promobot (Промобот) (10, 32) ABB Group (8, 23) Cognitive Pilot (Когнитив Роботикс) (3, 21) Cognitive Technologies (Когнитивные технологии) (1, 21) Яндекс (Yandex) (2, 11) Другие (594, 144) ABB Group (2, 11) Promobot (Промобот) (2, 4) Cognitive Pilot (Когнитив Роботикс) (1, 2) Gaskar Group (Гаскар Интеграция) (1, 2) Ronavi Robotics, Ронави Роботикс (ранее Ронави логистические системы) (1, 2) Другие (10, 11) Транспорт будущего (2, 1) Бирюч-НТ Инновационный Центр (2, 1) Эфко ГК (2, 1) Smart Meal Service (Смарт Мил Сервис) (1, 1) YaCuAi (1, 1) Другие (13, 13) Fora Robotics (Фора Роботикс) (1, 2) Яндекс (Yandex) (1, 1) Aripix Robotics (Арипикс Роботикс) (1, 1) Rozum Robotics (Розум Роботикс) (1, 1) Роботех (Robotech) (1, 1) Другие (5, 5) Pudu Robotics (Pudu Technology) (1, 2) Яндекс (Yandex) (1, 2) Геоскан (Geoscan) (1, 1) Intuitive Surgical (1, 1) Unitree Robotics (1, 1) Другие (1, 1)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
Promobot - 28 (26, 2) Cognitive Agro Pilot Система автоматического вождения - 21 (21, 0) ABB IRB Промышленные роботы - 19 (19, 0) Искусственный интеллект (ИИ, Artificial intelligence, AI) - 16 (0, 16) Da Vinci (робот-хирург) - 11 (11, 0) Другие 102 ABB IRB Промышленные роботы - 8 (8, 0) Promobot - 5 (4, 1) YuMi (Мобильный коллаборативный робот) - 4 (4, 0) Gaskar Group Hive Автономные дронопорты - 2 (2, 0) Cognitive Agro Pilot Система автоматического вождения - 2 (2, 0) Другие 8 Cognitive Agro Pilot Система автоматического вождения - 1 (1, 0) Hi-Fly Cargo - 1 (1, 0) ABB IRB Промышленные роботы - 1 (1, 0) Эфко: Hi-Fly Taxi Аэротакси - 1 (1, 0) Искусственный интеллект (ИИ, Artificial intelligence, AI) - 1 (0, 1) Другие 7 For-1 Антропоморфный робот - 2 (2, 0) Dobot CR-серия Коллаборативные роботы - 1 (1, 0) Robotech: RP-серия Роботы-паллетайзеры - 1 (1, 0) Da Vinci (робот-хирург) - 1 (1, 0) МИСиС и 3D Bioprinting Solutions: 3D-биопринтер в виде роборуки для применения в операционной in situ - 1 (1, 0) Другие 1 Яндекс.Ровер - 2 (2, 0) Pudu CC1 Робот-уборщик - 2 (2, 0) Искусственный интеллект (ИИ, Artificial intelligence, AI) - 2 (0, 2) Геоскан БАС (Беспилотные авиационные системы самолетного типа) - 1 (1, 0) Роботы КиберСклад - 1 (1, 0) Другие -2 Подрядчики-лидеры по количеству проектов
Солар (ранее Ростелеком-Солар) (46) Финансовые Информационные Системы (ФИС, FIS, Финсофт) (15) Форсайт (11) Axiom JDK (БеллСофт) ранее Bellsoft (10) Бипиум (Bpium) (10) Другие (393) Солар (ранее Ростелеком-Солар) (8) Финансовые Информационные Системы (ФИС, FIS, Финсофт) (4) Консом групп, Konsom Group (КонсОМ СКС) (2) ЛАНИТ - Би Пи Эм (Lanit BPM) (2) IFellow (АйФэлл) (2) Другие (30) Солар (ранее Ростелеком-Солар) (10) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (3) Форсайт (3) Cloud.ru (Облачные технологии) ранее SberCloud (2) КРИТ (KRIT) (2) Другие (13)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Солар (ранее Ростелеком-Солар) (2, 48) Microsoft (41, 47) Oracle (49, 26) Hyperledger (Open Ledger Project) (1, 23) IBM (33, 18) Другие (607, 308) Солар (ранее Ростелеком-Солар) (1, 8) Финансовые Информационные Системы (ФИС, FIS, Финсофт) (1, 4) Microsoft (4, 3) Oracle (2, 3) SAP SE (2, 2) Другие (16, 19) Солар (ранее Ростелеком-Солар) (1, 11) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 3) Форсайт (1, 3) Cloud.ru (Облачные технологии) ранее SberCloud (1, 2) Сбербанк (1, 2) Другие (9, 9) Солар (ранее Ростелеком-Солар) (1, 6) Unlimited Production (Анлимитед Продакшен, eXpress) (1, 6) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4) Мобильные ТелеСистемы (МТС) (1, 4) SL Soft (СЛ Софт) (1, 3) Другие (14, 24) Unlimited Production (Анлимитед Продакшен, eXpress) (1, 4) Мобильные ТелеСистемы (МТС) (2, 3) Солар (ранее Ростелеком-Солар) (1, 3) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2) Axiom JDK (БеллСофт) ранее Bellsoft (1, 1) Другие (14, 14)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
Solar appScreener (ранее Solar inCode) - 48 (48, 0) Hyperledger Fabric - 23 (23, 0) Windows Azure - 20 (20, 0) FIS Platform - 15 (15, 0) EXpress Защищенный корпоративный мессенджер - 12 (12, 0) Другие 315 Solar appScreener (ранее Solar inCode) - 8 (8, 0) FIS Platform - 4 (4, 0) Парадокс: MES Builder - 2 (2, 0) Java - 2 (2, 0) Siemens Xcelerator - 2 (2, 0) Другие 21 Solar appScreener (ранее Solar inCode) - 11 (11, 0) Форсайт. Мобильная платформа (ранее HyperHive) - 3 (3, 0) BSS Digital2Go - 3 (3, 0) Cloud ML Space - 2 (2, 0) Axiom JDK (ранее Liberica JDK до 2022) - 1 (1, 0) Другие 7 Solar appScreener (ранее Solar inCode) - 6 (6, 0) EXpress Защищенный корпоративный мессенджер - 6 (6, 0) МТС Exolve - 4 (4, 0) РЖД и Робин: Облачная фабрика программных роботов - 3 (3, 0) Форсайт. Мобильная платформа (ранее HyperHive) - 3 (3, 0) Другие 12 EXpress Защищенный корпоративный мессенджер - 4 (4, 0) Solar appScreener (ранее Solar inCode) - 3 (3, 0) МТС Exolve - 2 (2, 0) Т1: Сфера Платформа производства ПО - 1 (1, 0) BSS Digital2Go - 1 (1, 0) Другие 10 
