Сучасні покупці нових ноутбуків усе частіше помічають, що їхні пристрої обладнані NPU — спеціалізованими нейронними процесорами для виконання завдань зі штучного інтелекту. Подібні чипи споживають значно менше енергії порівняно з центральними чи графічними процесорами, витрачаючи приблизно 2 Вт замість понад 100 Вт. Сьогодні такі компоненти стали стандартним оснащенням для середньобюджетних і преміальних лептопів.
За даними аналітичної компанії Gartner, ПК із підтримкою штучного інтелекту на базі NPU вже охоплюють понад половину світових постачань. Однак виробники інтегрують це «залізо» переважно через нові вимоги до сертифікації. У 2024 році Microsoft встановила мінімальний поріг у 40 TOPS продуктивності виділеного NPU для нових комп’ютерів, інакше пристрої ризикують залишитися без нових функцій Windows AI. В результаті ринок апаратного забезпечення стрімко заповнився такими чипами, тоді як програмне забезпечення поки що відстає.
Для чого потрібен нейронний процесор
Головне завдання NPU — прискорення інференсу, тобто фази запуску вже навченої моделі, а не самого тренування. Нейромережі виконують велику кількість матричних множень і нелінійних активаційних функцій, для чого чипи й оптимізовані. Наприклад, розмиття фону під час відеодзвінків зазвичай навантажує центральний або графічний процесор, що швидко виряджає акумулятор і підвищує температуру пристрою. NPU виконує подібні фонові завдання з мінімальними енерговитратами.
Водночас для тренування моделей або роботи з великими локальними мовними моделями на кшталт Llama 70B потужності NPU недостатньо, і тут досі потрібна дискретна відеокарта. Хмарні сервіси на зразок ChatGPT чи Gemini також обробляють запити на серверах провайдерів. Наразі реальні сценарії використання NPU обмежуються постійними фоновими задачами: ефектами для вебкам’єри, придушенням шуму, перекладом у реальному часі чи локальним пошуком.
Потужність чипів та ситуація з софтом
Першими на ринку з’явилися процесори Snapdragon X Elite і Plus від Qualcomm із 45- TOPS нейронним блоком Hexagon. Згодом з’явилися рішення Intel Lunar Lake з показником до 48 TOPS та AMD Ryzen AI 300 на 50 TOPS. Процесори Intel Core Ultra Series 3 пропонують 50 TOPS, а Qualcomm анонсувала чипи Snapdragon X2 Elite із продуктивністю до 85 TOPS. Попри щорічне зростання цих показників, кількість програм, які задіюють NPU, залишається невеликою.
У звичайному середовищі Windows 11 навантаження на NPU найчастіше дорівнює нулю. Серед програм, які використовують чип, виділяються фірмові ефекти Windows Studio, живі субтитри, Recall, функції Teams і Zoom, а також окремі інструменти Adobe Creative Cloud. Експерименти із запуск локальних відкритих моделей, наприклад Mistral 7B через спеціальні інструменти на кшталт OpenVINO, показують, що NPU здатний виконувати завдання без сповільнення інших системних процесів, проте для цього користувачеві потрібні технічні навички та специфічний софт.
Джерела: engadget.com




