EXL назвала інфраструктуру ключем до ефективного впровадження ШІ
EXL пояснила, чому для масштабного використання ШІ важливі архітектура, пам’ять, планування навантаження та витрати на інференс.
Компанія EXL у партнерському матеріалі, опублікованому MIT Technology Review, заявила, що конкурентна перевага бізнесу у сфері штучного інтелекту дедалі більше залежить не лише від вибору моделі, а й від інженерної системи для її роботи в реальному середовищі. Автори називають таку систему сервісною інфраструктурою, до якої входять архітектура, керування пам’яттю, планування завдань та оптимізація обчислень.
Матеріал створила EXL, а не редакція MIT Technology Review. У ньому йдеться, що після переходу від експериментів до промислового використання компанії мають оцінювати, чи здатні вони надавати можливості ШІ надійно, економно та у великому масштабі.
Архітектура залежить від завдання
EXL зазначає, що універсально найкращої моделі або архітектури не існує: вимоги до асистента для клієнтів із швидкими відповідями відрізняються від вимог до системи обробки документів, яка може працювати вночі. На вибір інфраструктури впливають затримка відповіді, кількість одночасних запитів, навантаження на пам’ять, використання графічних процесорів, вартість інфраструктури та непередбачуваний трафік.
За оцінкою авторів, модель із дещо кращими відповідями не обов’язково буде оптимальним виробничим рішенням, якщо вона вдвічі збільшує витрати на інференс або не відповідає вимогам до швидкості роботи застосунку. Тому пропонується добирати можливості моделі до конкретних потреб бізнесу, а не оплачувати надлишкову продуктивність.
Пам’ять і навантаження на GPU
У матеріалі наголошують на взаємозв’язку технічних рішень: архітектура впливає на використання пам’яті, керування пам’яттю — на кількість паралельних запитів, а вона, своєю чергою, визначає пакетування, планування, завантаження GPU та затримку. Лише після цього, за твердженням EXL, повною мірою можуть спрацювати такі методи, як квантування, спекулятивне декодування чи оптимізовані механізми уваги.
Як приклад автори наводять кеш ключів і значень, який під час інференсу зростає разом із кількістю активних запитів і довжиною контексту. Через це система може відчувати нестачу доступної пам’яті GPU навіть за наявності обчислювального ресурсу. EXL радить спочатку вимірювати головне обмеження системи, усувати його, повторно оцінювати результат і лише тоді переходити до наступного вузького місця.
Компанія також вважає, що інфраструктуру слід проєктувати з урахуванням майбутньої заміни моделей, оновлення обладнання та появи нових методів оптимізації. За такого підходу зміна моделі може бути рішенням з оцінювання та конфігурації, а не вимагати повної перебудови платформи.
