Cognitive Feedback

Основные статьи:

• Нейросети (нейронные сети)
• Что такое интернет вещей (Internet of Things, IoT)
• Интернет вещей в сельском хозяйстве (IoTAg)
• ИТ в агропромышленном комплексе в мире
• ИТ в агропромышленном комплексе России
• Искусственный интеллект в сельском хозяйстве (АПК)

2023: Разработка технологии Cognitive Feedback

Российский разработчик систем автономного управления сельхозтранспортом, компания Cognitive Pilot («дочка» Сбера и Cognitive Technologies) сообщила 12 апреля 2023 года о разработке технологии класса R2D (Robot to Driver - взаимодействие робота с водителем) для агро-роботов. Ее аналоги на апрель 2023 года не известны.

Фактически, речь идет о формировании рынка R2D-решений». По оценкам ассоциации «ИнтерАгроТех» его объем в России уже к 2026 году может превысить 6 млрд. руб, сообщили в компании Cognitive Pilot.

Объем мирового рынка технологий и оборудования для беспилотной сельхозтехники, по данным аналитиков ReportLinker, в 2022 году оценивался в 79.5 млрд долл. Ожидается, что к 2030 году этот показатель составит 231.8 млрд. долл. при динамике 14.3% в год.

Вместе с созданием систем автономного управления сельхозтехникой на основе ИИ, компания активно занимается разработкой сервисных, аналитических, телематических и иных решений, позволяющих сделать работу в этой зоне эффективной и комфортной. Компания подтверждает статус трендсеттера и продолжает открывать технологические рынки, сказала генеральный директор Cognitive Pilot Ольга Ускова.

Одной из существенных проблем при промышленном использовании умных автопилотов для сельхозтехники являлось отсутствие обратной связи комбайнера или тракториста с роботом.

Механизаторы во многом готовы доверять искусственному интеллекту, но в частных беседах они нередко сетовали на отсутствие обратной связи с автопилотом, информации о том, насколько надежно проходит его работа, не возникла ли проблемная или нештатная ситуация. Иногда комбайнеры перестраховывались и переходили на ручной режим, когда им казалось, что камера засорилась или участок сложный, что снижало эффективность работ, пояснили в компании Cognitive Pilot.

Для решения этой и смежных с ней задач, компания Cognitive Pilot разработала технологию Cognitive Feedback, которая позволяет на протяжении всей работы автопилота определять уровень надежности работы ИИ и взаимодействовать с механизатором - информировать его об отсутствии проблем, а также потенциальных случаях ненадежной работы искусственного интеллекта, предупреждать о возникновении проблемных ситуаций, причиной которых могут быть тяжелые погодные условия (густой туман, пыль), плохое состояние поля, загрязнение датчика камеры и т.д. Тогда на этом участке комбайнер должен перейти на ручной режим управления.

Для построения системы оценки надежности работы системы автономного управления сельхозтехникой на основе ИИ Cognitive Agro Pilot специалистами компании была создана архитектура нейронной сети. Ее возможности можно наглядно продемонстрировать на примере умной уборки рядковых культур (кукуруза, подсолнечник и др.). В рамках данной архитектуры стало возможным определение каждой изолированной друг от друга компоненты междурядья (см. рис.). Благодаря этому сеть более детализировано распознает рядки, что положительно сказывается на точности и плавности управления комбайном.

Сравнение уровня детализации рядков на разных сетях. Слева используется подход, где каждая компонента изолирована друг от друга. Справа представлен подход классической семантической сегментации. На дальнем плане хорошо видно, что сеть семантической сегментации не способна разделять рядки.

Сравнение уровня детализации рядков на разных сетях. Слева используется подход, где каждая компонента изолирована друг от друга. Справа представлен подход классической семантической сегментации. На дальнем плане хорошо видно, что сеть семантической сегментации не способна разделять рядки.

Далее, на основании анализа каждой компоненты рядка, создается комплексная оценка надежности работы нейросети на всем кадре. В случае уборки урожая по кромке (пшеница, ячмень, овес и т.д.) система определяет геометрию границы скошено/нескошено на основании ее анализа и возвращает оценку надежности. Если геометрия границы между данными областями ожидаемая, то показатель надежности высокий. Если оставлялись непрокошенные участки, надежность низкая. Это дает представление о том, насколько устойчиво работает нейросеть на участке уборки урожая в режиме робота. Оценка надежности варьируется от 0 до 100, и уровень выше шестидесяти считается надежным показателем. Cognitive Feedback позволяет автоматически определять проблемные сцены - сцены с низким показателем надежности нейросети. Они передаются инженерам, после чего проводится анализ данных локаций и, при необходимости, запускается процесс обновления нейронной сети.

Система также позволяет собирать аналитику, крайне необходимую для анализа проблемных зон, развития и улучшения системы. Встроенная в агропилот подсистема мониторинга позволяет в режиме реального времени создавать отчеты о движении комбайна, его скорости и геолокации. Данные о ходе работ с борта машины передаются по встроенному GSM–модему. В процессе уборки полей в телеметрию также записывается информация о том, в каком режиме работал агропилот.

Наконец, система позволят контролировать ситуации, когда агропилот не был задействован при высоком уровне надежности системы искусственного интеллекта. Иными словами, если механизатор умышленно отключил автопилот и передает эти данные владельцу хозяйства.

По мнению экспертов, Cognitive Feedback позволит повысить эффективность уборки на 20-25% за счет четкого понимания механизатором уровня надежности работы ИИ и его адекватной реакции на ситуацию на поле, устранения проблем, за счет использования аналитики, а также контроля за механизатором и минимизации человеческого фактора.