AWS випустила TorchNeuron для запуску PyTorch на чипах Trainium
AWS випустила TorchNeuron, щоб запускати застосунки PyTorch на чипах Trainium без переписування коду.
Amazon Web Services випустила інструмент TorchNeuron, який має спростити перенесення застосунків штучного інтелекту, створених із використанням PyTorch, на власні чипи AWS Trainium. За даними TechCrunch, для запуску таких застосунків на Trainium розробникам достатньо змінити один рядок конфігурації без переписування коду.
Сумісність із PyTorch
PyTorch — безплатний відкритий інструментарій для створення, навчання та запуску моделей ШІ. AWS стверджує, що з ним написано близько 85% застосунків штучного інтелекту. Фреймворк спочатку розробила Facebook, а з 2022 року його підтримує Linux Foundation.
Новий інструмент адаптований із PyTorch, тому, за задумом AWS, розробники, які вже працюють із цим фреймворком, зможуть користуватися TorchNeuron без опанування нового середовища. Компанія прагне конкурувати з програмною екосистемою Nvidia, чия CUDA роками забезпечувала тісну підтримку застосунків на PyTorch для графічних процесорів компанії.
Ставка на власну хмарну інфраструктуру
AWS заявляє, що Trainium може використовуватися як для навчання моделей, так і для інференсу — застосування вже навченої моделі, зокрема для відповідей користувачам. Віцепрезидент із технологічного програмного забезпечення AWS Annapurna Labs Колін Брейс сказав, що поєднання навчання та інференсу на одній платформі має поліпшити економіку повного робочого навантаження.
Як приклад AWS навела сервіс голосового ШІ Deepgram, який, за твердженням компанії, після переходу на Trainium із нативною підтримкою PyTorch обробляє на 70% більше аудіо за кожен долар за збереження виробничого рівня точності.
Компанія також повідомила про намір передавати до основного проєкту PyTorch зміни, покликані прибрати код, що прив'язує фреймворк до конкретних чипів. AWS заявляє, що метою є зробити PyTorch більш незалежним від апаратного забезпечення для всієї спільноти розробників.
