ШІ-агенти на OpenRouter використали у п’ять разів більше токенів за людей

ШІ-агенти на платформі OpenRouter у серпні використали 7,3 трлн токенів проти 1,4 трлн токенів, згенерованих користувачами-людьми. Таким чином, обсяг використання токенів агентами був приблизно у п’ять разів вищим, повідомляє Tom’s Hardware.

Генеральний директор Futurum Group Деніел Ньюман, посилаючись на дані OpenRouter та графік Andreessen Horowitz, заявив, що це співвідношення зростатиме до десятикратного і більше. Водночас наведена статистика охоплює одну платформу та вимірює обсяг токенів, а не витрати на їх обробку.

Зростання агентного трафіку

За даними керівника напряму аналітики OpenRouter Пітера Вокера, у лютому використання токенів агентами вперше перевищило людський трафік. Відтоді до серпня обсяг токенів, що припадає на агентів, зріс у 14 разів, тоді як використання людьми збільшилося у 2,8 раза. Змішана категорія, яка може охоплювати взаємодію за участі і людей, і агентів, за цей період зросла у 4,7 раза.

OpenRouter класифікує API-ключі як агентні, змішані або людські за зведеною оцінкою із семи сигналів. Серед них — частота викликів інструментів, кількість кроків у діалозі та часові проміжки між зверненнями.

Кешування збільшує потребу в пам’яті

Понад 85% токенів, використаних агентами, припадає на кешовані запити. Це означає, що агенти значною мірою повторно зчитують контекст, який уже обробляли. Кешовані токени дешевші за обробку запиту з нуля, однак збережений контекст усе одно потребує пам’яті.

Моделі утримують цей контекст у KV-кеші. Andreessen Horowitz пов’язує зростання такого навантаження з попитом на високошвидкісну пам’ять HBM, а Tom’s Hardware зазначає, що KV-кеш уже перевищує доступну місткість HBM у графічних процесорах. У матеріалі також наведено дані консалтингової компанії для кол-центрів: під час вересневого використання її агентів у Claude Code 96% вхідних даних становило повторне зчитування старих розмов.