Apple об’єднала зусилля з Nvidia для підвищення швидкості генерації тексту великими мовними моделями (LLM). Ця співпраця ґрунтується на раніше розробленій Apple технології Recurrent Drafter (ReDrafter).
У рамках співпраці Apple інтегрувала ReDrafter з Nvidia TensorRT-LLM, фреймворком, призначеним для прискорення продуктивності LLM на відеокартах компанії. Ця інтеграція дала змогу в 2,7 раза збільшити швидкість генерації маркерів під час тестування моделі з десятками мільярдів параметрів. Нова система знижує затримки та енергоспоживання, використовуючи меншу кількість GPU.
Nvidia вже внесла зміни в свої оператори для кращої підтримки ReDrafter, дозволяючи розробникам машинного навчання використовувати переваги більш швидкої генерації токенів.