Amazon відкрила TorchNeuron для запуску PyTorch на чипах Trainium

Amazon представила TorchNeuron — відкритий бекенд, який дає змогу запускати на її ШІ-чипах Trainium наявний код PyTorch без повного переписування. Інструмент вийде у публічну бета-версію 20 жовтня та підтримуватиме Trainium2 і Trainium3, повідомляє The Next Web.

Запуск без переписування коду

За даними Amazon, для переходу на Trainium розробникам достатньо змінити одне налаштування пристрою в коді. TorchNeuron інтегрується із вбудованою у PyTorch системою додавання нового апаратного забезпечення, тому мають працювати стандартні інструменти тестування та масштабування.

У демонстрації Amazon використала той самий скрипт навчання моделі на стандартному чипі та на Trainium. Компанія заявила, що в обох випадках модель навчалася з однаковою швидкістю. Інструмент поширюватимуть за ліцензією Apache 2.0.

Обмеження першої версії

Початкова версія TorchNeuron не підтримує частину можливостей PyTorch, зокрема динамічні форми вхідних даних. У блозі PyTorch також зазначено, що приблизно 22 тисячі тестів PyTorch поки пропускаються.

Серед ранніх користувачів інструменту Amazon назвала стартапи голосового ШІ Cartesia та Deepgram, а також Lieber Institute for Brain Development, який застосовує його в дослідженнях ліків. Підтримку Trainium у свої інструменти також додала Hugging Face.

Конкуренція на ринку ШІ-обчислень

Запуск TorchNeuron є частиною конкуренції Amazon з Nvidia, чиї чипи та програмне забезпечення CUDA домінують у сфері ШІ-обчислень. У квітні генеральний директор Amazon Енді Джессі заявляв, що бізнес кастомних чипів компанії може сягнути 50 млрд доларів. Нині Amazon повідомляє про річний темп доходів цього напряму понад 25 млрд доларів.

Одним із партнерів запуску стала Decart — стартап, що розробляє програмне забезпечення для ШІ-чипів. Раніше повідомлялося, що Amazon вела переговори щодо його придбання.