HPE пропонує оцінювати корпоративний ШІ за вартістю корисного результату
HPE пропонує компаніям оцінювати ШІ за сукупною вартістю корисного результату та ефективністю використання обчислювальних ресурсів.
Компанія HPE у спонсорському матеріалі про корпоративний штучний інтелект закликала бізнес оцінювати такі системи не лише за ціною токенів або годин роботи графічних процесорів, а за сукупною вартістю корисного для компанії результату. Йдеться про всі витрати на платформу, моделі, операції та обчислювальні потужності, необхідні для виконання запиту чи завершення робочого процесу.
Матеріал, опублікований MIT Technology Review, був підготовлений HPE, а не редакцією видання. У ньому зазначено, що корпоративний ШІ переходить від окремих експериментів із чатботами та помічниками до взаємопов’язаних виробничих навантажень із моделями, агентами та даними.
Три підходи до інфраструктури
HPE виокремлює три моделі організації ШІ-інфраструктури: власний спеціально зібраний стек, використання хмарних сервісів за запитом та інтегровану приватну платформу з виділеними потужностями. Власна інфраструктура, за оцінкою компанії, дає гнучкість, але потребує постійної перевірки середовища зі зміною моделей і політик.
Хмарні сервіси можуть бути доцільними для експериментів або непередбачуваного попиту, однак витрати зростають із кожним запитом чи дією агента. Для постійних і критично важливих навантажень компаніям пропонують оцінювати не тільки спожиті ресурси, а й ефективність їх використання.
Використання потужностей і контроль витрат
У HPE наголошують, що володіння графічними процесорами саме по собі не гарантує кращої економіки. Для цього потрібні достатній попит та операційна дисципліна, зокрема планування навантажень, добір моделі відповідно до складності завдання, поділ GPU і керування кешем KV. Невикористані GPU, розпорошені навантаження та надмірно великі моделі, як зазначається, підвищують собівартість корисного результату.
Компанія також повідомила, що її HPE Private Cloud AI містить інфраструктуру, програмне забезпечення, моделі, інструменти управління та послуги, а також передбачає 90-денну взаємодію з інженерами для запуску початкових сценаріїв. За даними незалежного тестування, замовленого HPE, інтегрована платформа за високого завантаження та одночасної роботи з кількома навантаженнями мала нижчу ефективну вартість токена, ніж повторна оренда еквівалентних потужностей. Компанія застерегла, що фактичні результати залежать від структури навантажень і рівня використання ресурсів.
