Eureka

2023: Анонс продукта

20 октября 2023 года исследовательское подразделение Nvidia Research сообщило о разработке системы Eureka на основе искусственного интеллекта, предназначенной для обучения роботов сложным навыкам. В результате, машины получают возможность выполнять некоторые действия даже лучше людей.

В основу Eureka легла большая языковая модель GPT-4, разработанная в OpenAI. Обучение осуществляется в приложении Nvidia Isaac Gym, предназначенном для моделирования физических процессов. При этом нейросеть самостоятельно пишет алгоритмы вознаграждения для обучения ботов, которые в данном случае усваивают навыки методом проб и ошибок. Nvidia заявляет, что программы поощрения, созданные Eureka, в более чем 80% задач превосходят по эффективности аналоги, написанные экспертами. В результате, производительность ботов увеличивается в среднем более чем на 50%.

Разработана система Eureka для обучения роботов сложным навыкам

Обучение с подкреплением позволило добиться впечатляющих успехов за последнее десятилетие (к 2023 году), однако некоторые проблемы все еще сохраняются. Eureka — это первый шаг на пути к разработке новых алгоритмов, которые объединяют методы генеративного искусственного интеллекта и обучения с подкреплением для решения сложных задач, — говорит Анима Анандкумар (Anima Anandkumar), старший директор по ИИ-исследованиям компании Nvidia.

В ходе экспериментов система Eureka обучила роботизированную руку выполнять быстрые трюки с вращением ручки пальцами. Кроме того, этот ИИ-агент позволил быстро обучить машины другим действиям, таким как манипулирование ножницами, броски мяча, открывание/закрывание ящиков и шкафов и пр. Eureka получает сводную информацию о процессе обучения и дает указание языковой модели по оптимизации функций вознаграждения. Таким образом, ИИ самосовершенствуется.^[1]

Примечания