Один із користувачів Reddit успішно запустив велику мовну модель Moonshot AI Kimi K3, яка налічує 2,8 трильйона параметрів, без залучення графічних процесорів. Для цього ентузіаст використав серверний процесор 3rd-gen Xeon Scalable з 40 ядрами та зняту з виробництва пам’ять другого покоління Intel Optane PMem 200. Проєкт став розвитком попередньої подібної ініціативи іншого користувача, який експериментував із першим поколінням Optane на початку цього року.
Через величезний розмір моделі навіть найменша спільнотна квантизація потребує щонайменше 610 ГБ оперативної пам’яті. Використання вживаних модулів Optane стало одним із небажаних, але доступних способів досягти такої ємності в домашніх умовах, оскільки ціни на стандартну пам’ять DRAM залишаються дуже високими. Ентузіаст зазначив, що модулі Optane обійшлися йому у «фракцію» від вартості еквівалентного обсягу звичайної пам’яті.
Intel випустила серію Optane Persistent Memory 200 у 2020 році спеціально для платформ із процесорами Xeon третього покоління у варіантах на 128, 256 та 512 гігабайтів. На відміну від першого покоління, ці модулі працюють на вищій ефективній швидкості та забезпечують на третину більшу пропускну здатність. Автор збірки задіяв режим App Direct Mode, який дозволяє софту напряму мапити окрему енергонезалежну область пам’яті для точнішого контролю над тензорами моделі.
Проте робота на такому залізі має суттєві обмеження щодо продуктивності. Навіть із 1-бітною квантизацією швидкість генерації становить лише 0,85 токена на секунду, а під час використання 3-бітної квантизації вона падає до 0,75 токена на секунду. Коментатори підрахували, що стандартне завдання на 50 тисяч токенів виконуватиметься близько 13 годин, хоча для фонових нічних обчислень швидкість не є критичною.
Головною технічною проблемою стало тепловиділення: під час тривалого навантаження модулі Optane нагріваються настільки сильно, що це може загрожувати сусіднім компонентам. Корпорація Intel закладає у специфікаціях необхідність примусового обдуву повітрям зі швидкістю до 2,7 метра на секунду, що є стандартним для дата-центрів. Щоб уникнути троттлінгу на позначці 83 градуси Цельсія та аварійного вимкнення при 85 градусах, ентузіаст встановив для охолодження модулів два потужні вентилятори на 12 В.
Опубліковані показники швидкості були досягнуті до проведення додаткового тонкого настроювання кількості потоків чи NUMA-афінності, тому в майбутньому показники можуть дещо покращитися. У планах експериментатора — додати до системи графічні адаптери, задіяти частину моделі в швидкій DRAM як кеш поряд з Optane та провести нові тести.
Джерела: tomshardware.com
