Всем известно, что в свое время умельцы из Boston Dynamics создали робособаку, чтобы на камеру пинать её ногами. Ну, Дикий Запад, ковбои, Горбатая гора — оно и понятно. А вот ученые потомки Марка Теренция Варрона из Италии, кажется, нашли для квадрупеда более полезную роль: отправили на ферму наблюдать за коровами и курицами 😎
🤖 Команда исследователей с Апеннин научила робособаку Unitree GO2 в реальном времени определять, где находятся животные и что они делают. Казалось бы заменить пушистых овчарок не проблема, но это только на первый взгляд — распознавать разных животных, их позу и состояние — сложная вычислительная задача, которая не всегда по зубам моделям на борту у киберпса.
Что там по техническим подробностям?
► Внутри робота стоит стандартный NVIDIA Jetson Orin NX с 16 Гб памяти, лидар для 3D-картирования пространства и камера Intel RealSense, которая снимает примерно каждые 0,375 секунды. Чтобы квадрупед научился детектировать коров и куриц в окружающем пространстве, учёные портировали ему кастомные вариации нейросети YOLOv11x. Вообще говоря, YOLO (You Only Look Once) — известное и широко используемое семейство моделей для обнаружения объектов с помощью компьютерного зрения за один проход нейросети, что обеспечивает высокую скорость в реальном времени.
► Конкретно YOLOv11x заточена на сегментацию, оценку позы объекта и вычислительную эффективность, но при этом всё равно очень «тяжелая» для автономной работы. Поэтому итальянцы также применили архитектуру LeYOLO, позволяющую сохранить высокую точность детекции при низких вычислительных затратах в условиях ограниченных ресурсов. Так появились YOLO‐Cows для рогатых, и YOLO‐Chicken для яйценоских.
► Все эти ухищрения понадобились для того, чтобы параллельно запустить ещё и модель DARTEMIS для анализа действий объекта — поведения животных. Лучшая SOTA-модель сейчас создана этой же группой, называется ARTEMIS. За счёт обработки мультимодальных данных она показывает высокие значения Mean Average Precision (mAP) — метрики, оценивающей то, насколько хорошо модель находит объекты разных классов и корректно их локализует.
► Её также потребовалось «облегчить» для квадрупеда, поэтому итальянцы применили дистилляцию знаний по старине Джеффри Хинтону, — и создали унимодальную модельку DARTEMIS для обработки исключительно видеофреймов.
🐄 После всех этих танцев с бубном и нейросетями последовала проверка системы в реальных условиях — в коровнике (кто бывал, поймет) и на открытом пастбище. Коровы, кстати, быстро заинтересовались странным металлическим псом: подходили к нему, нюхали и разглядывали. Правда, если робот надолго останавливался, интерес пропадал. Влияла ли робособака на надои — история умалчивает.
🐓 На этом правнуки титанов Возрождения не успокоились и отправили Unitree GO2 ещё и к курам. Те сначала отнеслись к металлическому пришельцу без энтузиазма: держались от него подальше и убегали, если робот приближался слишком быстро. Поэтому в основном его оставляли неподвижным или двигали медленно. Через некоторое время пернатые возвращались к своим обычным делам — бродили по курятнику, что-то клевали и осматривались.
Получилось забавно: корова, увидев робопса, подходит выяснить, что это за странная хрень. Курица сначала убегает, а потом успокаивается.
Что в итоге?
► Точность распознавания движений коров пока не очень высокая — mAP составил 46,9, что даже ниже «облегченного» порога в 0,5. Но для начала неплохо. А вот с курами по неизвестным причинам вышло отлично: DARTEMIS распознавал поведение птиц с mAP 82,9, что уже близко к идеальной оценке.
❤️ Возможно, это первый случай, когда ИИ официально оказался способнее в понимании кур, чем коров.
🤖 Зачем вообще учить робота понимать поведение коров? Например, чтобы автоматически следить за состоянием животных и замечать изменения в их поведении, которые могут быть важны для ухода и содержания. Применение ИИ для обработки информации на птицефабриках, например, пищания птенцов, уже насчитывает около пяти лет — и помогает элиминировать стрессогенные факторы, экономя кучу денег.
💚💚💚💚💚 | Хабр
