Google використала процесори AMD Epyc для конфіденційної системи TPU 8tx

Google використала процесори AMD Epyc для конфіденційної системи TPU 8tx

Google представила конфіденційну TPU 8tx на базі прискорювачів TPU та процесорів AMD Epyc Turin для захищених ШІ-обчислень.

Google представила систему TPU 8tx для конфіденційних обчислень зі штучним інтелектом, у якій її прискорювачі TPU працюють із процесорами AMD Epyc п’ятого покоління Turin. Як повідомляє TechRadar, компанії називають її першою хмарною TPU-системою з апаратно захищеними конфіденційними обчисленнями.

TPU 8tx доповнила сімейство TPU восьмого покоління разом із системою TPU 8i Max. Вона використовує кремній TPU 8t, представлений для навчання моделей, але має мережу Boardfly із меншою затримкою, яку застосовують у TPU 8i. Google заявляє про зниження затримки до двох разів порівняно з TPU 8t майже без втрати продуктивності.

 

Захист даних під час роботи моделей

 

За даними AMD, процесори Epyc відповідають за оркестрацію, підготовку даних і високошвидкісне з’єднання з прискорювачами. Технологія Secure Encrypted Virtualization має поширювати захищене середовище на TPU: система перевіряє ідентичність і конфігурацію безпеки кожного прискорювача перед доступом до захищеної пам’яті.

AMD зазначає, що запити, ваги моделей та проміжні дані залишаються зашифрованими в пам’яті хост-системи й під час передавання. Google заявила, що конфіденційні дані та ваги моделей будуть захищеними й ізольованими навіть під час активного використання. Систему позиціонують для регульованих галузей і державних структур, які хочуть навчати або донавчати моделі на приватних даних без переміщення інформації між кластерами.

 

Чому обрали AMD Epyc

 

Для TPU 8tx Google не використала власний серверний процесор Axion на архітектурі Neoverse V2. У документації Google перелік підтримуваних конфігурацій Confidential VM складається з машин на AMD SEV та Intel TDX і не містить інстансів C4A або N4A на Axion. Там також зазначено, що TPU наразі не можна під’єднувати до Confidential VM.

AMD повідомила, що фахівці Google з безпеки провели поглиблену перевірку прошивки її процесора безпеки, а SEV уже використовується в сервісах Google Confidential VM, Confidential GKE, Confidential Space, Spark і Dataflow. За даними ServeTheHome, вибір Epyc Turin також пов’язаний із підтримкою інтерфейсу PCIe Gen5 x16, який використовує TPU 8t.

Керівник напряму ШІ та обчислювальної інфраструктури Google Cloud Марк Ломайєр заявив журналістам, що окремі клієнти зможуть розгортати TPU 8tx у власних дата-центрах.