Конкуренція в корпоративному ШІ зміщується до інфраструктури обслуговування моделей
Корпоративний ШІ дедалі більше залежить від інфраструктури інференсу, керування пам’яттю та оптимізації витрат.
У корпоративному застосуванні штучного інтелекту конкурентна перевага дедалі більше залежить не від вибору конкретної моделі, а від інженерної системи, що забезпечує її роботу в продуктивному середовищі. Йдеться про архітектуру, керування пам’яттю, планування запитів та оптимізацію інференсу, які визначають надійність, вартість і масштабованість сервісу.
Як зазначено в матеріалі MIT Technology Review, на етапі експериментів компанії переважно оцінюють точність моделі. Після запуску в роботу ключовими стають затримка відповіді, кількість одночасних запитів, навантаження на пам’ять, використання графічних процесорів, витрати на інфраструктуру та коливання трафіку.
Архітектура залежить від завдання
Універсально найкращої моделі чи архітектури немає, стверджує автор матеріалу. Асистент для клієнтів, якому потрібні швидкі відповіді, має інші вимоги, ніж система обробки документів, здатна виконувати завдання вночі. Внутрішній сервіс пошуку знань і платформа підтримки клієнтів із великим потоком звернень можуть використовувати одну базову модель, але потребуватимуть різних систем її обслуговування.
Модель із дещо кращими відповідями не обов’язково буде оптимальним вибором для промислового використання, якщо вона подвоює витрати на інференс або не вкладається у вимоги щодо затримки. Ціль полягає у виборі достатнього рівня інтелекту за вартістю, яка відповідає конкретному робочому навантаженню.
Пам’ять і планування запитів
Рішення щодо архітектури впливають на використання пам’яті, а воно — на кількість паралельних запитів, пакетну обробку та планування. Під час інференсу ваги моделі залишаються незмінними, однак кеш ключів і значень, або KV-кеш, зростає разом із кількістю активних запитів і довжиною контексту. Через це система може відчувати нестачу доступної пам’яті графічного процесора навіть за наявності обчислювального ресурсу.
Матеріал радить спочатку вимірювати показники, визначати головне обмеження, усувати його та повторно оцінювати результат. Лише після цього доцільно застосовувати такі підходи, як квантування, спекулятивне декодування чи оптимізовані механізми уваги.
Системи мають бути гнучкими
Оскільки моделі, обладнання та методи оптимізації змінюються, інфраструктура має дозволяти оцінювати й замінювати компоненти без повної перебудови платформи. Системи, побудовані навколо вимог робочого навантаження, чітких рівнів сервісу та вимірюваної економіки, дають змогу перетворити зміну моделі на рішення з оцінювання та налаштування, а не на повний архітектурний перезапуск.
Матеріал підготувала компанія EXL; його не писала редакція MIT Technology Review.
