HiPHI зібрав 617,5 години рухів людей для навчання гуманоїдів
HiPHI містить 617,5 години записів рухів людей і дані про взаємодію з предметами для навчання гуманоїдних роботів.
Білий документ про набір даних HiPHI описує 617,5 години записів рухів усього тіла людини, створених для навчання гуманоїдних роботів. Дані отримали за допомогою оптичного захоплення руху з точністю до часток міліметра. Як повідомляє IEEE Spectrum, матеріал також наводить результати застосування політик, навчених на цих даних, на фізичному гуманоїдному роботі Unitree G1.
Рухи та взаємодія з предметами
До HiPHI входять 245,7 години даних про взаємодію людини з об’єктами. Для таких записів синхронізовано траєкторії предметів і їхні тривимірні сітки. Це дає змогу використовувати набір для навчання роботів завданням із предметами, зокрема перенесенню, штовханню та тягненню.
У документі зазначено, що відео з інтернету демонструють різноманітну поведінку, однак не фіксують точні фізичні стани. Лабораторні системи захоплення руху, своєю чергою, забезпечують точні записи, але зазвичай охоплюють обмежений набір дій.
Систематизація дій
Для організації збору рухів у HiPHI застосували FrameNet — лінгвістичну систему опису людських дій. Вона має допомогти систематично охоплювати широкий спектр рухів усього тіла. Окрім самого набору даних, документ описує набір тестів для оцінювання різноманітності рухів і коректності взаємодії з предметами.
Автори також повідомляють, що політики навчання з підкріпленням, треновані на цих записах руху, поліпшуються зі збільшенням обсягу даних. Окремо розглянуто перенесення навчених у симуляції політик на реального гуманоїдного робота.
