Nvidia представила генеративного чат-бота, який здатний працювати локально на комп’ютері з Windows. Доступ до інтернету при цьому не потрібен.
У програмі можна вибрати одну з двох великих мовних моделей – Mistral або Llama 2. Chat with RTX може сканувати локальні файли та знаходити відповіді в них.
Підтримуються файли з розширеннями *.txt, *.pdf, *.doc, *.docx і *.xml. Крім цього, нейромережа Chat with RTX здатна збирати інформацію з відео і плейлистів на YouTube. Оскільки нейромережа працює локально і не звертається до хмарних серверів, усі дані користувача залишаються безпосередньо на комп’ютері.
Для запуску нейромережі на комп’ютері знадобиться щонайменше відеокарта RTX серії 30 або 40 з 8 ГБ відеопам’яті, 16 ГБ оперативної пам’яті та достатній обсяг дискового простору. Наприклад, один лише інсталяційний файл важить 35 гігабайт, при тому, що це лише “технічна демонстрація”.