Ентузіаст запустив ШІ-модель на 2,8 трлн параметрів без GPU
Ентузіаст запустив Kimi K3 із 2,8 трлн параметрів на Xeon і Intel Optane PMem 200 без відеокарти, але зіткнувся з нагріванням пам’яті.
Користувач Reddit, який облаштував домашню серверну лабораторію, запустив ШІ-модель Kimi K3 від Moonshot AI із 2,8 трлн параметрів лише на процесорі та пам’яті Intel Optane PMem 200. Для інференсу він використав 40-ядерний процесор Intel Xeon Scalable третього покоління, без відеокарти. Швидкість роботи системи з 1-бітною квантизацією становила 0,85 токена за секунду, повідомляє Tom's Hardware.
У 3-бітному варіанті квантизації продуктивність знизилася до 0,75 токена за секунду. Один із коментаторів підрахував, що завдання обсягом 50 тисяч токенів за темпу близько одного токена на секунду може виконуватися приблизно 13 годин. Водночас такий темп може бути прийнятним для пакетних завдань, що запускаються на ніч.
Пам’ять замість відеокарти
Intel представила серію Optane Persistent Memory 200 у 2020 році для серверних процесорів Xeon Scalable третього покоління. Модулі випускалися місткістю 128 ГБ, 256 ГБ і 512 ГБ. На двосокетних платформах вони забезпечують у середньому до 32% більшу пропускну здатність пам’яті, ніж перше покоління Optane PMem 100.
У цьому експерименті застосовано режим App Direct, за якого Optane доступна програмному забезпеченню як окрема постійна область пам’яті. Це дає змогу точніше визначати, де розміщувати тензори моделі. Мінімальна спільнотна квантизація Kimi K3, за даними видання, потребує щонайменше 610 ГБ оперативної пам’яті, тому вживані модулі Optane можуть бути дешевшою альтернативою еквівалентному обсягу DRAM.
Проблема з охолодженням
Під тривалим навантаженням модулі Optane сильно нагрівалися, створюючи ризик для сусідньої серверної DRAM. Автор збірки назвав активне охолодження модулів обов’язковим і встановив два вентилятори-нагнітачі потужністю 12 Вт, спрямовані на пам’ять.
За специфікаціями Intel, для охолодження Optane PMem 200 потрібен примусовий потік повітря зі швидкістю від 2,4 до 2,7 метра за секунду. Кожен модуль виділяє 12 або 15 Вт тепла незалежно від місткості. Теплове обмеження для них спрацьовує за 83°C, а аварійне вимкнення — за 85°C. Автор проєкту планує додати відеокарти, а також розмістити частини моделі в DRAM як швидшому рівні пам’яті поряд з Optane.
