Чому NPU стали стандартом у нових ноутбуках
NPU дедалі частіше з’являються в ноутбуках для енергоощадної роботи ШІ, однак програм із їхньою підтримкою поки небагато.
Нейропроцесори NPU дедалі частіше встановлюють у ноутбуки середнього та преміального класу, хоча перелік програм, які повною мірою використовують цей компонент, поки залишається обмеженим. NPU призначений для виконання завдань штучного інтелекту зі значно меншим енергоспоживанням, ніж центральний або дискретний графічний процесор.
Обробка ШІ без зайвого навантаження
Як повідомляє Engadget, NPU оптимізований передусім для інференсу — етапу, коли вже навчена модель виконує поставлене завдання. Такі чипи спеціалізуються на матричних обчисленнях і нелінійних функціях активації, потрібних нейромережам. За оцінкою видання, NPU може виконувати відповідне завдання приблизно за 2 Вт, тоді як дискретна графіка ноутбука для подібної роботи може споживати понад 100 Вт.
Практичними сценаріями для NPU є розмиття фону під час відеодзвінків, придушення шуму, переклад у реальному часі та локальне індексування пошуку. Завдяки нижчому споживанню енергії такі функції можуть працювати постійно, менше впливаючи на заряд батареї та нагрівання пристрою. Водночас для навчання моделей або запуску великих локальних мовних моделей на кшталт Llama 70B усе ще потрібна дискретна відеокарта з достатнім обсягом відеопам’яті.
Вимоги до ноутбуків із Windows ШІ
Поширення NPU пов’язане з вимогами сертифікації Microsoft Copilot+ PC. Для доступу до певних локальних функцій штучного інтелекту Windows пристрій має отримати щонайменше 40 TOPS продуктивності саме від NPU, а також мати 16 ГБ оперативної пам’яті та 256 ГБ сховища. Продуктивність у TOPS вимірює швидкість виконання операцій, пов’язаних зі ШІ.
Qualcomm Snapdragon X Elite і Plus одними з перших запропонували NPU на 45 TOPS. Intel Lunar Lake забезпечує до 48 TOPS, AMD Ryzen AI 300 — 50 TOPS, а процесори Intel Core Ultra Series 3, відомі як Panther Lake, також мають NPU продуктивністю 50 TOPS. Snapdragon X2 Elite підвищив цей показник до 85 TOPS.
У Windows 11 завантаження NPU можна переглянути в диспетчері завдань. Серед програм і функцій, що вже задіюють цей блок, видання називає Windows Studio Effects, Live Captions, Recall, Click to Do, придушення шуму в Teams і Zoom, а також окремі можливості Adobe Creative Cloud. Під час тесту локальної моделі Mistral 7B через Intel OpenVINO NPU був завантажений на 98%, тоді як використання центрального процесора становило 3%.