Разработчики Google представили фреймворк SEED RL, позволяющий сократить расходы на обучение ИИ облачным распределением на множество удаленных машин, пишет Hightech+.
Это откроет доступ начинающим стартапам к сложным и дорогостоящим технологиям машинного обучения, которые прежде были по корману только крупным компаниям и лабораториям. Так, по данным исследования Университета Вашингтона за 2019 год, две недели обучения ИИ стоят в среднем 25 тысяч долларов.
Элемент обучения SEED RL масштабируется на тысячи ядер, а число агентов — на тысячи машин. Алгоритм V-trace предсказывает распределение действий, а R2D2 — выбирает действие на основе его предсказанной ценности.
Для оценки SEED RL разработчики использовали несколько популярных вариантов: среду Arcade Learning Environment, системы DeepMind Lab и Google Research Football. Им удалось решить ранее нерешенную задачу Google Research Football и добиться 2,4 млн кадров в секунду с 64 ядрами Cloud TPU. Это новый рекорд по сравнению с прошлым достижением распределенного агента.
Результаты SEED RL показывают значительное ускорение обучения, а его стоимость его использования намного ниже, чем графических процессоров. Эксперты считают, что благодаря SEED RL обучение с подкреплением получило возможность использовать потенциал акселераторов наравне с другими методами глубокого обучения.
Фото: Reuters
