Інференс ШІ збільшує витрати компаній на зберігання даних

Витрати на зберігання даних можуть стати суттєвою частиною бюджету інфраструктури штучного інтелекту, оскільки кожен запит до моделі залишає серверні дані — журнали, кешований контекст, проміжні результати, резервні копії та записи перевірок безпеки. Про це йдеться в матеріалі MIT Technology Review, підготовленому компанією WD.

На відміну від навчання моделі, яке має визначений початок і завершення, інференс відбувається постійно щоразу, коли система відповідає на запит. Дані від результатів роботи моделей накопичуються й можуть зберігатися довше, навіть коли потреба в обчислювальних ресурсах знижується.

Відео створює більший серверний слід

За внутрішніми вимірюваннями WD, 8-секундний ролик, який користувач отримує як файл 720p розміром 3,97 МБ, залишав на серверній частині понад 500 МБ пов’язаних даних. Це приблизно у 130 разів більше за розмір кінцевого файла. Для довших відео з вищою роздільною здатністю серверний обсяг може сягати сотень гігабайтів на один кліп.

McKinsey прогнозує середньорічне зростання попиту на інференс ШІ на 35% до 2030 року, тоді як для навчання моделей цей показник становитиме 22%. За прогнозом, наприкінці десятиліття інференс формуватиме понад 40% сукупного попиту дата-центрів.

Архіви можуть стати робочими даними

У глобальному опитуванні IDC, профінансованому WD, 95% із 763 опитаних ІТ- і бізнес-керівників повідомили про зростання обсягів даних через генеративний ШІ за останні 12 місяців. Близько 61% респондентів заявили про збільшення щонайменше на 25%.

96% учасників цього ж опитування очікують, що для підтримки інференсу або систем із доповненою генерацією пошуку RAG їм знадобиться швидше отримувати дані з архівів. У матеріалі зазначається, що дані, які раніше зберігалися лише як архівні, дедалі частіше можуть використовуватися повторно у нових ШІ-завданнях. Тому компаніям пропонують планувати зберігання з урахуванням усього життєвого циклу даних, а не лише продуктивності під час навчання моделей.