Компанія Liquid AI презентувала нове покоління своїх рідких базових моделей під назвою LFM3. Лінійка створена як універсальна основа для спеціалізованого штучного інтелекту й об’єднує текстові, візуальні, аудіо-, омнімоделі та системи прийняття рішень на одному спільному каркасі в діапазоні 2B параметрів. Користувачі можуть обрати потрібну конфігурацію під конкретну модальність, донавчити її на власних даних за допомогою всього одного графічного процесора та розгорнути безпосередньо на пристрої.
У порівнянні з попереднім сімейством LFM2, нові моделі пропонують вищу продуктивність на кожен параметр завдяки новій тригібридній архітектурі та методам тренування. Наприклад, базова версія LFM3-1.7B перевершує попередню модель LFM2.5-2.6B, використовуючи на 35% менше параметрів. Архітектура поєднує 13 згорткових шарів, 5 шарів уваги з рухомим вікном (SWA) та 6 шарів глобальної уваги.
Новинки оптимізовані для роботи на периферійних пристроях. Зокрема, текстова модель займає близько 1 ГБ пам’яті за 4-бітної точності, а контекстне вікно на 256 тисяч токенів дозволяє автономним агентам працювати прямо на гаджетах. Розробники також створили власні візуальні та аудіоенкодери, які прискорюють обробку даних і знижують вимоги до обчислювальних ресурсів.
До лінійки входять кілька спеціалізованих рішень. Зокрема, LFM3-VL-2B орієнтована на візуальне розуміння та вперше серед моделей LFM підтримує обробку відео, а LFM3-Audio-2B забезпечує голосовий чат, розпізнавання та синтез мовлення 18 мовами на ноутбуках і портативних пристроях.
Джерела: huggingface.co
