Стартап Cerebras представив "найшвидший у світі" ШІ-процесор із 4 трлн транзисторів

Американський стартап Cerebras Systems презентував Wafer Scale Engine 3 - спеціалізований чіп для навчання передових моделей штучного інтелекту. Розробники стверджують, що співвідношення продуктивність/енергоспоживання у WSE-3 вдвічі краще, ніж у попередника. Ключові характеристики Wafer Scale Engine 3:

• 4 трлн транзисторів і 900 000 ядер;
• 5-нм техпроцес TSMC;
• 44 ГБ вбудованої SRAM-пам'яті і до 1,2 ПБ (петабайт) зовнішньої пам'яті;
• Продуктивність на рівні 125 петафлопс у піковому режимі;
• Пропускна здатність - 21 Пбайт/с.

Чіп являє собою пластину площею 462 см², тобто трохи більшу, ніж iPad Pro 11". Процесор встановлюється у вигляді основи для обчислювальної платформи Cerebras CS-3 з енергоспоживанням 23 кВт. CS-3 вчетверо потужніший за платформу Nvidia DGX з 16 прискорювачами H100, якщо рахувати за операціями FP16 (числа з плаваючою комою розміром 16 біт). Архітектура дає змогу спантеличити CS-3 навчанням моделей розміром до 24 трлн параметрів без сегментації. Для порівняння, розмір моделі OpenAI GPT-4 - 1,7 трлн параметрів. На налаштування моделі з 70 млрд параметрів у CS-3 піде один день.