HPE описала підхід до оцінки економіки корпоративного ШІ
HPE запропонувала оцінювати корпоративний ШІ за вартістю корисного бізнес-результату та ефективністю використання ресурсів.
Компанія HPE у матеріалі, опублікованому на платформі MIT Technology Review, закликала компанії оцінювати корпоративні системи штучного інтелекту не лише за вартістю токенів або годин роботи графічних процесорів, а й за сукупною ціною корисного бізнес-результату. Водночас видання зазначає, що текст підготувала HPE, а не редакція MIT Technology Review.
За описом HPE, ШІ в бізнесі переходить від окремих експериментів із чатботами та помічниками до взаємопов’язаних виробничих систем, що поєднують моделі, агентів і дані. Компанія пропонує відстежувати витрати на завершення завдань, які бізнес може використати, зокрема на вирішений запит або завершений робочий процес.
Використання обчислювальних ресурсів
HPE назвала завантаженість обчислювальних ресурсів одним із центральних чинників економіки ШІ. На її думку, простої графічних процесорів, фрагментовані навантаження та використання надто великих моделей збільшують ціну кожного корисного результату. Компанія виокремила три моделі роботи: створення власної інфраструктури, використання ресурсів на вимогу від великих хмарних провайдерів і інтегровану приватну платформу з виділеними потужностями.
Використання API або хмарних сервісів, за позицією HPE, може бути доцільним для експериментів і непередбачуваного попиту. За сталих і критично важливих навантажень компаніям, на думку виробника, слід враховувати не лише обсяг спожитих ресурсів, а й ефективність їхньої експлуатації.
Приватна платформа та вимірювання витрат
HPE стверджує, що власна інфраструктура сама по собі не гарантує кращої економіки. Вона потребує достатнього попиту та операційної дисципліни, щоб ресурси не стали невикористаним капіталом. Серед інструментів підвищення ефективності компанія назвала розподіл завдань між моделями залежно від потрібної якості, планування навантажень, поділ GPU та керування KV-кешем.
Компанія просуває HPE Private Cloud AI як готову основу для приватного ШІ, що поєднує інфраструктуру, програмне забезпечення, моделі, інструменти управління та послуги. За даними HPE, у незалежному тестуванні, замовленому компанією, інтегрована платформа для кількох навантажень за високого рівня використання забезпечила нижчу ефективну вартість токена, ніж повторна оренда еквівалентних потужностей. HPE застерегла, що фактичні результати залежать від структури навантажень і рівня завантаження.
