Вчені з Сінгапуру та Китаю запропонували новий підхід до навчання роботів, який може спростити та покращити процес навчання за допомогою відео з інтернету. Науковці використовують відеозаписи для демонстрації повсякденних завдань — такий метод дозволяє роботам навчатися на будь-яких демонстраційних відео, знайдених в інтернеті, замість того, щоби використовувати спеціальні відео для конкретних завдань.
Дослідники пояснили: розробка роботів, здатних ефективно виконувати побутові чи промислові завдання, є складною задачею. Багато методів навчання базуються на імітаційному навчанні, де роботам показують відео з людьми, що виконують потрібні завдання. Ці техніки потребують великої кількості демонстраційних даних, які важко зібрати і які коштують недешево.
Новий підхід складається з трьох основних компонентів: Real2Sim, Learn@Sim та Sim2Real. Найважливішим з них є Real2Sim, який відстежує рухи об’єктів на відео та відтворює їх у моделі в симуляції. Метод використовує точні цифрові представлення геометрії, форми та динаміки об’єктів. Після відтворення людської демонстрації у симуляції компонент Learn@Sim знаходить точки захоплення та розміщення, які дозволяють роботу виконувати ті ж дії за допомогою навчання з підкріпленням. Потім ці дії переносяться на реального робота, що є третім етапом Sim2Real.
Дослідники протестували свою методику на завданні зав’язування краватки, яке вважається складним для роботів. Новий підхід дозволив машині успішно виконати це завдання. Вчені переконані – у майбутньому технологія може бути застосована до інших складних завдань маніпуляції роботами. Вони сподіваються, що цей метод спростить процес навчання роботів через імітаційне навчання, що призведе до нових досягнень у їхніх навичках.