Modal планує запустити AI-пісочниці на процесорах Nvidia Vera

Хмарна компанія Modal планує перевести свій продукт Sandboxes для запуску AI-агентів на процесори Nvidia Vera з архітектурою Arm. Це стане першим переходом Modal від чипів архітектури x86, які використовують Intel та AMD.

У власних тестах компанії сервер на базі Vera зміг обробити до вдвічі більше завдань, ніж сервер Intel, коли на ньому одночасно запускали велику кількість контейнерів. Результати цих випробувань незалежно не перевірялися, повідомляє The Next Web.

Тестування під контейнерним навантаженням

Для перевірки процесора Modal створила бенчмарк із 50 завдань для програмування, зокрема компіляції програмного забезпечення та пошуку файлів. За послідовного виконання Vera часто випереджав рішення Intel, AMD та Amazon, хоча не в усіх тестах і перевага була невеликою.

За щільного розміщення контейнерів різниця, за оцінкою Modal, зростала: Vera зберігав швидкість виконання завдань, тоді як чипи-конкуренти досягали межі продуктивності. Компанія пов'язує це з високою пропускною здатністю пам'яті процесора.

Навантаження AI-агентів

Sandboxes є ізольованими обчислювальними середовищами, де AI-агенти запускають написаний ними код. Modal зазначає, що такі навантаження складно прогнозувати: агент може простоювати в очікуванні моделі штучного інтелекту, а під час інсталяції програмного забезпечення різко збільшувати споживання обчислювальних ресурсів. На одному сервері паралельно працюють сотні таких середовищ, тому стрибок навантаження одного клієнта може впливати на роботу іншого.

Nvidia представила Vera у березні як центральний процесор для AI-агентів. Він має 88 ядер. Modal вважає високий показник пропускної здатності пам'яті важливим для фонових агентів програмування та навчання з підкріпленням, де дорогі графічні процесори можуть простоювати, доки завершується робота CPU. Компанія не назвала дату, коли пісочниці на базі Vera стануть доступними клієнтам.