Компанія Meta офіційно презентувала Muse Spark Open — новий відкритий проект, який розробники називають найпотужнішою американською моделлю з відкритими вагами на сьогодні. Штучний інтелект створений переважно для складних завдань програмування, глибокого аналізу коду та довготривалих агентних процесів. Архітектура моделі поєднує мультимодальні можливості, дозволяючи обробляти не лише текст, а й зображення, аудіо та відео.
Загальна кількість параметрів Muse Spark Open становить 816 мільярдів, із яких активними для кожного токена є 42 мільярди завдяки сучасному підходу Mixture-of-Experts. Контекстне вікно моделі сягає одного мільйона токенів. Для локального запуску розробники радять використовувати зв’язку з кількох комп’ютерів Mac Studio, оснащених новітніми чипами M5 Ultra від Apple.
Завдяки уніфікованій пам’яті Apple Silicon інтегрований графічний процесор здатен задіяти до 512 ГБ пам’яті на один пристрій. Поєднавши два таких комп’ютери, користувачі отримують конфігурацію, яка завдяки швидкій смузі пропускання працює як єдиний суперкомп’ютер із терабайтом пам’яті. У компанії зазначили, що подібна локальна система дозволяє виконувати повноцінні інженерні та мультимедійні завдання прямо на десктопі.
Представники Meta наголосили, що успішний запуск моделі на Mac став можливим завдяки тривалій тісній співпраці з інженерами Apple. Керівник напряму AI у Meta Александр Ванг зауважив в інтерв’ю для Axios, що обидві компанії раді знову плідно співпрацювати після періоду прохолодних відносин. Вагому роль у налагодженні цього партнерства відіграв колишній топменеджер Apple Деніел Гросс.
Ваги Muse Spark Open вже стали доступними для завантаження на платформі Hugging Face. Попри те, що покупка необхідного апаратного забезпечення вимагає значних інвестицій, відкритий реліз надає дослідникам і розробникам потужний інструмент для локальних експериментів у повністю приватному середовищі.
Джерела: engadget.com, 9to5mac.com, huggingface.co
