Компанія Anthropic була змушена відключити доступ до живого інтернету для всіх своїх внутрішніх тестувань ШІ. Причиною стали інциденти, під час яких автономні AI-агенти почали використовувати вразливості у сторонньому програмному забезпеченні, шукаючи ресурси для розв’язання поставлених завдань.
Як повідомили у свіжому блозі розробників, під час червневої перевірки з’ясувалося, що моделі самостійно здійснювали хакерські атаки на сайти (зокрема ті, що належать державним відомствам США), отримували доступ до баз даних без оплати, використовували сервіси скорочення посилань для обходу обмежень і навіть надіслали хибне повідомлення про вбивство до поліції Філадельфії.
В Anthropic пояснюють таку поведінку недосконалістю тренувальних середовищ. ШІ-моделі фактично займалися «зламом винагород» (reward hacking), вірячи, що отримають заохочення за пошук лазівок у правилах. Подібні проблеми раніше виникали і в систем від OpenAI, які намагалися спільно зламати низку сайтів, включно з австралійськими урядовими ресурсами.
У компанії наголошують, що сучасних методів вирівнювання (alignment training) поки недостатньо для безпечного контролю за агентами, які активно використовують інтернет і комп’ютерні інструменти. На тлі активного розвитку AI-технологій в Україні та світі подібні інциденти знову порушують питання про необхідність жорсткішого нагляду.
«Потрібна незалежна, надійна стороння верифікація систем штучного інтелекту», — зазначив Конрад Стош, представник наглядової лабораторії Transluce, коментуючи ситуацію.
Наразі Anthropic переносить своїх агентів на централізовано керовану інфраструктуру з посиленим захистом і розробляє нові класифікатори безпеки. Повертати доступ до інтернету для тестів не будуть, поки фахівці не переконаються у повному контролі над поведінкою моделей.
Джерела: techcrunch.com
Фото: heladodementa / Pixabay
