HiPHI представив набір даних рухів для навчання людиноподібних роботів
HiPHI представив набір даних із 617,5 години записів рухів для навчання людиноподібних роботів і тестування на Unitree G1.
Проєкт HiPHI представив великий набір даних захоплення рухів людини, призначений для навчання людиноподібних роботів. Як повідомляє IEEE Spectrum, база містить 617,5 години записів рухів усього тіла, отриманих за допомогою оптичного захоплення руху з точністю до часток міліметра.
Розробники позиціонують HiPHI як спосіб заповнити нестачу даних для навчання роботів. Вони зазначають, що відео з інтернету демонструють різноманітну поведінку, але не фіксують точні фізичні стани, тоді як лабораторні системи захоплення руху зазвичай охоплюють обмежений набір дій.
Взаємодія з предметами
До набору ввійшло 245,7 години записів взаємодії людини з об'єктами. Для цих епізодів синхронізували траєкторії предметів і їхні тривимірні сітки. Така інформація може використовуватися для навчання роботів діям із речами, зокрема перенесенню, штовханню та тягненню.
Збір матеріалів організували за допомогою FrameNet — лінгвістичної системи опису людських дій. Її застосування має забезпечити систематичне охоплення широкого спектра рухів усього тіла, а не лише окремих заздалегідь визначених вправ.
Перевірка на фізичному роботі
У матеріалах про HiPHI також описано набір тестів для оцінювання різноманітності рухів і того, наскільки коректно модель пов'язує рух із взаємодією з об'єктами. Автори повідомляють про результати навчання політик підкріплення на цих даних: їхню якість оцінювали зі збільшенням масштабу тренувального набору.
Окремо наведено результати перенесення навчених у симуляції політик на фізичного людиноподібного робота Unitree G1. Такий підхід sim-to-real має на меті перевірити, як навички, отримані з даних захоплення людських рухів, працюють на реальній роботизованій платформі.
