Юрист зібрав приватний ШІ-сервер із восьми вживаних Nvidia V100
Юрист зібрав приватний ШІ-сервер із восьми Nvidia V100 для обробки юридичних файлів без передавання їх у хмару.
Юрист повідомив про складання приватного сервера для запуску ШІ-моделі DeepSeek V4.1 Flash, щоб робочі матеріали у справах не залишали офіс. Система працює на восьми вживаних серверних графічних прискорювачах Nvidia Tesla V100 покоління 2018 року та, за вимірами власника, може генерувати до 215 токенів за секунду під час роботи з кодом.
Про конфігурацію, оприлюднену автором у Reddit, повідомляє Tom's Hardware. Сервер використовують щодня для первинного опрацювання матеріалів: він читає папки з документами, виокремлює факти, дати й цифри, готує резюме та перші варіанти рутинних документів. Автор наголосив, що жоден результат не надсилають без перевірки людиною.
Конфігурація та пам’ять
Вісім Tesla V100-SXM2 мають по 32 ГБ пам’яті HBM2 кожна. Прискорювачі розміщені на двох платах по чотири карти: всередині кожної плати вони з’єднані через NVLink, тоді як обмін між двома платами відбувається через PCIe. За словами автора, така схема дала змогу тримати у відеопам’яті активну частину моделі, тоді як приблизно 110 ГБ таблиць Engram зберігаються в оперативній пам’яті системи.
Ваги DeepSeek V4.1 Flash у застосованому стисненні займають 248,8 ГБ. У сервері також встановлені процесор AMD Threadripper Pro 3945WX із 12 ядрами, вісім модулів DDR4 RDIMM по 32 ГБ та два блоки живлення сумарною потужністю 2800 Вт, підключені до окремих офісних електроліній. Власник придбав кожну чотирикартову плату приблизно за 2400 доларів.
Швидкість обробки документів
Для юридичних текстів сервер, за наведеними вимірами, досягає до 118 токенів за секунду. За довжини запиту в 128 тисяч токенів перший токен з’являвся приблизно через 59,2 секунди, а швидкість генерації юридичного тексту становила 111 токенів за секунду. Модель підтримує контекст обсягом до 524 тисяч токенів.
Автор зазначив, що за три дні до оновлення конфігурації такий самий запуск на чотирьох V100 забезпечував лише 36–38 токенів за секунду. Під час налаштування також сталися два перезавантаження хост-системи через фатальну помилку PCIe; причину власник назвав непідтвердженою.
