Google представила TPU 8i Max і 8tx для ШІ-агентів та захищених обчислень
Google представила TPU 8i Max для ШІ-агентів із довгим контекстом і TPU 8tx для конфіденційного інференсу.
Google розширила лінійку процесорів Tensor Processing Unit восьмого покоління двома спеціалізованими системами: TPU 8i Max для роботи ШІ-агентів із довгим контекстом та TPU 8tx для конфіденційного інференсу й невеликих тренувальних завдань. Про це повідомляє BBC News.
TPU 8i Max поєднує в одному корпусі два чипи TPU 8i. За даними Google, це подвоює обчислювальні ресурси, обсяг вбудованої SRAM-пам’яті та пропускну здатність HBM-пам’яті порівняно з базовою TPU 8i, водночас дозволяючи розмістити більше кремнію в наявному серверному просторі.
Система для довгого контексту
Компанія позиціонує TPU 8i Max для агентних завдань, у яких моделі опрацьовують великі контекстні вікна. У таких сценаріях зростає обсяг KV-кешу — даних, які модель використовує під час генерації наступних токенів. Подвоєна пропускна здатність HBM має допомогти обробляти ці дані швидше.
На основі характеристик TPU 8i видання оцінює продуктивність TPU 8i Max приблизно у 20,2 петафлопса FP4, обсяг SRAM — у 768 МБ, а пропускну здатність HBM — приблизно у 17,2 ТБ/с. Google також розвиває програмні інструменти для роботи агентів: TPU Sync переносить великі KV-кеші з HBM у пам’ять хоста та експериментально — у спільне сховище.
Конфіденційний інференс
TPU 8tx створено на тому самому кремнії, що й TPU 8t, однак систему оптимізували для захищеного та конфіденційного інференсу. Апаратна ізоляція має захищати чутливі дані, зокрема ваги моделей, під час обробки. Цільовими користувачами Google називає регульовані компанії та державні установи, яким потрібно працювати з приватними даними й власними моделями.
На відміну від TPU 8t і TPU 8i з Arm-процесорами Axion, TPU 8tx використовує процесор AMD EPYC п’ятого покоління. Також система отримала мережу Boardfly замість 3D-тору, який застосовується в TPU 8t. Google заявляє, що Boardfly може забезпечити до удвічі нижчу затримку порівняно з TPU 8t майже без втрати продуктивності.
Обидві нові системи позначені як такі, що з’являться незабаром.
