Судовий юрист із Південної Кароліни Нік Мермігес розповів про нові модифікації свого приватного AI-сервера, зібраного на базі восьми вживаних графічних чипів Nvidia V100. Завдяки доопрацюванням йому вдалося перевести приблизно 80% робочих процесів системи з 2-бітної точності на 4-бітну конфігурацію near-NVFP4. Одночасно розробник збільшив обсяг оперативної пам’яті сервера до 1 терабайта та додав відеокарту RTX 3090.
Для оптимізації програмної частини та написання спеціальних кернелів автор використовував штучний інтелект, зокрема моделі Claude Code. Проєкт, який спочатку називався «Volta sPLIt», тепер отримав назву «Volta Max uPLIft» на честь компанії Proprietary Legal Intelligence. Завдяки технічним змінам система тепер може опрацьовувати кілька запитів одночасно, а не обмежуватися лише одним.
Оновлення позитивно позначилося на точності роботи моделі, хоча й дещо знизило швидкість генерації тексту. Генерація коду сповільнилася в середньому на 3–30%, а юридичні дописи створюються на 9–23% повільніше залежно від довжини запиту. Водночас паралельна обробка двох запитів збільшила загальну продуктивність до 159 токенів на секунду проти майже 119 токенів для одного запиту.
Автор проєкту зазначає, що головною перевагою залишається безпека даних, адже вся інформація залишається всередині офісу без передачі стороннім сервісам. Попри застарілу архітектуру відеокарт Nvidia V100, які функціонують на останній підтримуваній гілці драйверів R580, ентузіаст продовжує шукати способи витиснути максимум продуктивності зі свого заліза для юридичної практики.
Джерела: tomshardware.com




