Snowflake закликала бізнес добирати ШІ-моделі під конкретні завдання
Snowflake закликає підприємства добирати ШІ-моделі за завданнями та контролювати якість, швидкість і витрати.
Компанія Snowflake просуває підхід, за якого підприємства добирають моделі штучного інтелекту відповідно до конкретних робочих завдань, балансуючи якість результату, швидкість і вартість використання. Про це в інтерв’ю TechRadar розповіла менеджерка з продуктового маркетингу ШІ Snowflake Грейс Адамсон.
За її словами, на початковому етапі розвитку генеративного ШІ бізнес переважно прагнув застосовувати найпотужніші моделі для досягнення найвищої якості відповідей або розв’язання складних задач. Тепер компанії переходять від експериментів до оцінювання конкретного бізнес-ефекту та віддачі від кожної ШІ-взаємодії.
Маршрутизація за типом запиту
Адамсон зазначила, що не всі корпоративні завдання потребують моделей передового рівня. Повторювані операції, зокрема класифікація, узагальнення чи вилучення даних із документів, можуть виконувати ефективніші моделі, включно з відкритими, за нижчою ціною. Водночас складні запити, які потребують глибшого міркування, можуть спрямовуватися до потужніших моделей.
Для цього Snowflake пропонує динамічну маршрутизацію моделей у Cortex AI Gateway. За описом компанії, система автоматично визначає модель, яка найкраще поєднує якість, швидкість і вартість для певного сценарію. Користувачам не потрібно постійно обирати модель, тоді як адміністратори можуть визначати доступних постачальників та моделі з урахуванням регіональних і регуляторних вимог.
Контроль витрат і результатів
Представниця Snowflake наголосила, що стандартизація всіх процесів на одній моделі створює ризик переплати. За її словами, у внутрішньому тестуванні агенти з динамічною маршрутизацією створили конвеєр dbt із до трьох разів вищою токенною ефективністю, ніж підхід із використанням лише моделей передового рівня, за збереження однакової якості.
Компаніям також варто відстежувати шаблони використання, продуктивність моделей, затримки, споживання токенів і розподіл витрат між командами, вважає Адамсон. Snowflake заявляє, що її платформа дає змогу встановлювати ліміти витрат і квоти, а також прив’язувати витрати до конкретних команд.
Для оцінювання віддачі від ШІ Адамсон радить вимірювати результати щодо цілей окремої ініціативи. Загальну продуктивність можна оцінювати за часом до отримання цінності, швидкістю завершення проєктів або задоволеністю працівників, а виявлення шахрайства, зниження ризиків чи додатковий дохід — за конкретними фінансовими показниками.
