Google відкрила TorchTPU для перенесення PyTorch-застосунків на власні чипи

Google оголосила про відкриття коду TorchTPU — своєї версії PyTorch, що дає змогу запускати застосунки штучного інтелекту на чипах Tensor Processing Units та переносити їх у Google Cloud без переписування коду. Як повідомляє TechCrunch, розробникам для перенесення на TPU достатньо змінити конфігурацію застосунку.

PyTorch є популярним відкритим набором інструментів для створення, навчання та запуску моделей ШІ. Його розробила Meta у 2016 році, а у 2022 році компанія передала проєкт Linux Foundation. За деякими оцінками, PyTorch використовують у 85% застосунків зі штучним інтелектом. Багато його функцій спочатку створювалися для роботи з графічними процесорами Nvidia, які вже тоді були стандартним обладнанням для досліджень у сфері ШІ.

Інтеграція з інструментами розробки

Google заявила, що працювала з Meta, Hugging Face, Inferact — розробником vLLM, RadixArk — розробником SGLang, а також іншими учасниками галузі. Це мало забезпечити сумісність функцій і бібліотек TorchTPU з популярними інструментами розробки ШІ.

Компанія також представила TPU agent suite — окремий інструмент для перенесення застосунків на її чипи та хмарну платформу, який допомагатиме виправляти помилки в цьому процесі. Крім того, Google оновила LiteRT — інструмент для запуску ШІ на смартфонах, ноутбуках і вбудованих пристроях, щоб він краще працював із застосунками PyTorch.

Аналогічне рішення Amazon

Днем раніше Amazon випустила власну версію PyTorch під назвою TorchNeuron. Вона дає змогу переносити ШІ-застосунки на чипи Trainium і в AWS без переписування коду. Amazon також повідомила про намір передати до основного проєкту PyTorch код, який відокремлює низку функцій від чипів Nvidia та робить їх доступнішими для різного обладнання.

Нові інструменти Google та Amazon спрощують роботу з альтернативними до Nvidia чипами й відповідними хмарними сервісами, однак сам по собі такий перенос не означає автоматичної відмови розробників від обладнання Nvidia.