| Разработчики: | |
| Дата премьеры системы: | июль 2020 г |
| Технологии: | Планшетные компьютеры и смартфоны, Средства разработки приложений |
2020: Раскрытие исходных кодов
10 июля 2020 года Google представила новую ИИ-систему, которая позволяет управлять портативными устройствами, в частности смартфоном, с помощью естественного языка. Новинка под названием Mapping Natural Language Instructions to Mobile UI Action Sequences прежде всего полезной для слабовидящих людей.
В отчете с конференции Ассоциации вычислительной лингвистики (ACL) за 2020 год представлены подробности относительно функционирования ИИ-системы. Исследователи предлагают метод управления смартфонами с помощью естественного языка. Представленная исходная база команд для ИИ позволяет достичь эффективного взаимодействия между несколькими устройствами. Запрограммированная база команд обрабатывает запрос от пользователя, предсказывает последовательность действий приложения, а также экраны и интерактивные элементы для перехода с одного экрана на другой.
Используя ИИ, разработчики уже создали три набора инструкций, которые можно использовать для многоступенчатой работы со смартфонами. Более того, у организаторов проекта уже есть приблизительно 300 тыс одношаговых команд, которые предназначены для пользовательского интерфейса. Ожидается, что они будут функционировать практически на всех устройствах с ОС Android.
В рамках тестирования технологии ИИ успешно удалось перевести естественную речь пользователя в действия, точность составила 89,21%. Все же при усложнении произношения команд, а также при создании искусственных команд во время проговаривания эффективность значительно сокращалась (до 70,59%). Разработчики компании уверены, что в будущем производительность будет улучшена.
Все наработки разработчиков будут в открытом доступе на ресурсе GitHub. Исследователи Google не против получить профессиональную помощь от коллег, так как уверены, что этот проект может стать первым шагом для решения проблемы управления устройствами с помощью естественного языка.[1][2]
Примечания
Подрядчики-лидеры по количеству проектов
Солар (ранее Ростелеком-Солар) (46) Финансовые Информационные Системы (ФИС, FIS, Финсофт) (15) Форсайт (11) Axiom JDK (БеллСофт) ранее Bellsoft (10) Бипиум (Bpium) (10) Другие (393) Солар (ранее Ростелеком-Солар) (8) Финансовые Информационные Системы (ФИС, FIS, Финсофт) (4) Консом групп, Konsom Group (КонсОМ СКС) (2) ЛАНИТ - Би Пи Эм (Lanit BPM) (2) IFellow (АйФэлл) (2) Другие (30) Солар (ранее Ростелеком-Солар) (10) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (3) Форсайт (3) Cloud.ru (Облачные технологии) ранее SberCloud (2) КРИТ (KRIT) (2) Другие (13)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Солар (ранее Ростелеком-Солар) (2, 48) Microsoft (41, 47) Oracle (49, 26) Hyperledger (Open Ledger Project) (1, 23) IBM (33, 18) Другие (607, 308) Солар (ранее Ростелеком-Солар) (1, 8) Финансовые Информационные Системы (ФИС, FIS, Финсофт) (1, 4) Microsoft (4, 3) Oracle (2, 3) SAP SE (2, 2) Другие (16, 19) Солар (ранее Ростелеком-Солар) (1, 11) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 3) Форсайт (1, 3) Cloud.ru (Облачные технологии) ранее SberCloud (1, 2) Сбербанк (1, 2) Другие (9, 9) Солар (ранее Ростелеком-Солар) (1, 6) Unlimited Production (Анлимитед Продакшен, eXpress) (1, 6) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4) Мобильные ТелеСистемы (МТС) (1, 4) SL Soft (СЛ Софт) (1, 3) Другие (14, 24) Unlimited Production (Анлимитед Продакшен, eXpress) (1, 4) Мобильные ТелеСистемы (МТС) (2, 3) Солар (ранее Ростелеком-Солар) (1, 3) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2) Axiom JDK (БеллСофт) ранее Bellsoft (1, 1) Другие (14, 14)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
Solar appScreener (ранее Solar inCode) - 48 (48, 0) Hyperledger Fabric - 23 (23, 0) Windows Azure - 20 (20, 0) FIS Platform - 15 (15, 0) EXpress Защищенный корпоративный мессенджер - 12 (12, 0) Другие 315 Solar appScreener (ранее Solar inCode) - 8 (8, 0) FIS Platform - 4 (4, 0) Парадокс: MES Builder - 2 (2, 0) Java - 2 (2, 0) Siemens Xcelerator - 2 (2, 0) Другие 21 Solar appScreener (ранее Solar inCode) - 11 (11, 0) Форсайт. Мобильная платформа (ранее HyperHive) - 3 (3, 0) BSS Digital2Go - 3 (3, 0) Cloud ML Space - 2 (2, 0) Axiom JDK (ранее Liberica JDK до 2022) - 1 (1, 0) Другие 7 Solar appScreener (ранее Solar inCode) - 6 (6, 0) EXpress Защищенный корпоративный мессенджер - 6 (6, 0) МТС Exolve - 4 (4, 0) РЖД и Робин: Облачная фабрика программных роботов - 3 (3, 0) Форсайт. Мобильная платформа (ранее HyperHive) - 3 (3, 0) Другие 12 EXpress Защищенный корпоративный мессенджер - 4 (4, 0) Solar appScreener (ранее Solar inCode) - 3 (3, 0) МТС Exolve - 2 (2, 0) Т1: Сфера Платформа производства ПО - 1 (1, 0) BSS Digital2Go - 1 (1, 0) Другие 10 Подрядчики-лидеры по количеству проектов
X-Com (Икс ком) (18) Softline (Софтлайн) (15) Samsung Electronics (11) Мобайл Информ (Mobile Inform Group) Адванст Мобилити Солюшинз (11) Кортис (7) Другие (87) X-Com (Икс ком) (8) Кортис (7) Softline (Софтлайн) (3) Samsung Electronics (2) Мобайл Информ (Mobile Inform Group) Адванст Мобилити Солюшинз (2) Другие (19)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Samsung Electronics (35, 22) Мобайл Информ (Mobile Inform Group) Адванст Мобилити Солюшинз (6, 12) Apple (19, 9) Digma (9, 4) Huawei Device (7, 2) Другие (400, 21) Digma (2, 4) Samsung Electronics (2, 3) Мобайл Информ (Mobile Inform Group) Адванст Мобилити Солюшинз (2, 2) Apple (1, 1) Motorola Mobility Holdings (1, 1) Другие (1, 1) Huawei Consumer Business Group (CBG) (1, 1) Infinix Mobile (1, 1) Huawei Device (1, 1) Другие (0, 0)Данные не найдены
Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
Samsung Galaxy (серия смартфонов) - 21 (4, 17) Мобайл Информ: MIG T-серия Планшетные компьютеры - 8 (8, 0) Apple iPad - 5 (5, 0) Apple iPhone - 4 (2, 2) Digma CITI Планшетные компьютеры - 3 (3, 0) Другие 13 Samsung Galaxy (серия смартфонов) - 4 (0, 4) Digma CITI Планшетные компьютеры - 3 (3, 0) Мобайл Информ: MIG S-серия смартфонов - 1 (1, 0) Apple iPad Pro - 1 (1, 0) Digma EVE Планшетные компьютеры - 1 (1, 0) Другие -2 
