Компанія Anthropic працює над новим відкритим проєктом під назвою FlashProve, мета якого — розв’язати проблему верифікації походження згенерованого штучним інтелектом контенту. У нещодавній публікації у своєму блозі дослідники пояснили, що система створює так зване доказове виведення. Це математична гарантія того, що певну відповідь чи текст надала конкретна модель, а не якесь інше ПЗ.
Новий інструмент функціонує за принципом криптографічних електронних підписів. Він створений стійким до підробок, зокрема у випадках, коли розробники самі намагаються видати одну систему за іншу. Наприклад, технологія може завадити компаніям приховано замінювати дорогі флагманські моделі на дешевші для економії ресурсів або, навпаки, використовувати передові рішення задля штучного завищення результатів тестів.
Окрім того, FlashProve планується застосовувати для підтвердження заяв третіх сторін. Зокрема, розробники зможуть доводити, що їхній код перевірявся на наявність вразливостей за допомогою передової моделі кібербезпеки. Для цього лабораторії мають публікувати спеціальний «відбиток» кожної випущеної моделі, який згодом можна зіставити з конкретними результатами роботи.
Важливою особливістю розробки є те, що такі цифрові відбитки не розкривають внутрішніх ваг моделей — параметрів, які комерційні розробники на кшталт Anthropic чи OpenAI тримають у секреті. Це дозволить використовувати систему з комерційними алгоритмами. Крім того, архітектура рішення є доволі легкою, що дає змогу проводити перевірку безпосередньо на локальному пристрої користувача.
Разом із анонсом команда опублікувала детальну технічну специфікацію та робочий код на платформі GitHub під відкритими ліцензіями. Наразі це лише проміжний етап досліджень, і компанія не планує впроваджувати технологію у власних сервісах чи продуктах найближчим часом. Дослідники закликали спільноту вивчати наявні напрацювання та долучатися до їхнього вдосконалення.
Джерела: techcrunch.com
