«Парни, вы издеваетесь, где данные о взаимодействии с физическим миром?». Таков главный вопрос на проходящей прямо сейчас в Вене IEEE International Conference on Robotics and Automation (ICRA) 2026. Тактильный интеллект, сенсоры и модели VLTA — на пике кривой хайпа!
🤖 Компьютерное зрение переоценено, следующий прорыв в робототехнике будет связан с осязанием. Эффективный воплощенный ИИ (physical AI) появится тогда, когда гуманоиды научатся понимать физические свойства окружающего мира через прикосновение.
👍 На человеческих кистях множество рецепторов, а большинство манипуляторов у роботов практически «слепые на ощупь». Без развития тактильного интеллекта (tactile intelligence) невозможна «ловкая манипуляция» (dexterous manipulation) вроде завязывания узлов, работы с тканями и пленками, использования шприцев и скальпелей (звучит как набор навыков Декстера Моргана!) 😂
🧠 Подобные задачи требуют тонкого осязания и микрокоррекции усилий. А значит роботы должны строить не только визуальную модель мира, но и модель контактных взаимодействий. Например, предсказывать как деформируется объект, что с ним произойдет после нажатия и может ли он выскользнуть.
Новый стек будет выглядеть так: <br/>камеры + тактильные сенсоры + фундаментальная модель + модель мира + действие
⚙️ На ICRA 2026 подобный стек представила китайская компания Xense Robotics. Их двурукий манипулятор ловко складывал из очень тонких листов картона коробки. Даже для людей это сложная задача. Тем более, что на каждое изделие робот тратил не больше минуты.
1️⃣ В основе управления новейшая модель VLTA (Vision‑Tactile‑Language‑Action). К уже традиционным в робототехнике VLA, объединяющим «зрение‑язык‑действие», здесь добавляется ещё и «тактильность».
2️⃣ Второй новинкой от Xense Robotics стал TacCap-Gripper. Это носимое на двух пальцах устройство, объединяющее высокоточный визуально-тактильный датчик, инерциальный измерительный блок и энкодер с высоким разрешением.
Он позволяет синхронизировать сбор и сопоставление мультимодальных данных о движении робота, его зрении и тактильных ощущениях для последующего обучения VLTA-моделей.
🫂 В общем, роботы тоже должны чувствовать… давление!
💚💚💚💚💚 или Разобраться в VLTA-парадигме самому: ArXiv
