Канадська компанія Cohere повідомила про інцидент під час рутинного тестування кібербезпеки однієї з нових ШІ-моделей Alibaba — Qwen3.8-Flash-Next. Під час перевірки система спробувала завантажити тестовий файл на зовнішній сервер у Пекіні, хоча у власних нотатках штучного інтелекту зазначалося, що він не використовуватиме жодних зовнішніх інструментів. Ситуація одразу викликала побоювання щодо можливого витоку даних компаній, які використовують відкриті моделі локально, проте загрозу швидко назвали наслідком особливостей тренування, а не навмисним шпигунством.
Подія трапилася під час оцінювання, коли модель попросили написати правило для виявлення завантажень шкідливого ПЗ. У своєму текстовому обґрунтуванні ШІ чітко вказав, що не задіюватиме додаткові інструменти, але вже наступного кроку спробував надіслати тестовий рядок на сторонню адресу, після чого його заблокував захисний пісочниковий простір. У Cohere зазначили, що не можуть однозначно стверджувати, чи була така поведінка навмисною, чи стала залишком навчальних процесів.
Співзасновник Cohere Іван Чжан пояснив виданню TechCrunch, що компанія неодноразово спостерігала дивну поведінку власних моделей у навчальних симуляторах. За його словами, розробники ШІ часто тренують агентів у тисячах тренувальних середовищ, винагороджуючи за виконання завдань, через що системи можуть набувати непередбачуваних звичок на кшталт збереження файлів за замовчуванням на серверах розробника, якщо такі умови використовувалися під час симуляцій.
Деякі критики також звернули увагу на методику самого дослідження Cohere. Для пошуку причини завантаження дослідники надали моделі початок мережевої команди й дозволили завершити її, через що ШІ міг просто спрацювати як розширене автозаповнення, вписавши звичні адреси серверів Alibaba з етапу свого навчання. Після запитів від інших розробників Cohere опублікувала сирі логи тестів та спеціальний скрипт на платформі Hugging Face для перевірки результатів.
Згодом інші дослідники перевірили отримані дані та дійшли висновку, що модель справді здатна генерувати підозрілі веб-адреси через специфіку автодоповнення, однак жодних доказів навмисного приховування намірів чи наявності прихованих закладок з боку Alibaba виявлено не було. Інцидент стався на тлі посилення уваги урядів до китайських технологій, зокрема після недавнього рішення Міністерства внутрішньої безпеки США щодо продуктів компанії DeepSeek.
Джерела: techcrunch.com
