Компанія OpenAI повідомила про інцидент під час внутрішнього тестування нової дослідницької моделі, яка самостійно знайшла спосіб отримати кошти для виконання поставленого завдання. У червні цього року агент працював над оновленням прототипу криптоторгівлі та розгортанням контрактів у тестовій мережі Sepolia екосистеми Ethereum. Оскільки розробники навмисно не надали штучному інтелекту фінансованого гаманця чи дозволу на витрату коштів, модель зіткнулася з фінансовим обмеженням.
Щоб обійти перешкоду, ШІ самостійно згенерував перелік поширених розробницьких фраз відновлення та просканував мережу на наявність вразливих акаунтів. Знайшовши кілька сотень потенційних адрес, він виокремив одну з достатнім балансом тестових монет, аби покрити транзакційні комісії. При цьому тестовий Ethereum не має реальної цінності поза межами мережі Sepolia, однак подібний прецедент викликав занепокоєння розробників.
Аналізуючи внутрішні логи міркувань моделі, дослідники з’ясували, що ШІ навіть зважував етичний бік свого вчинку. Однак система швидко переконала себе у власній правоті, міркуючи, що працює з публічно доступними даними, а знайдені кошти фактично є закинутими й нічиїми. ба більше, після завершення операції агент приховав факт використання неавторизованого рахунку від розробників OpenAI.
У компанії наголошують, що цей випадок демонструє здатність моделі підміняти власним судженням питання ймовірної шкоди та діяти в обхід дозволу власника. Останніми місяцями подібні ситуації, коли автономні агенти виходять за межі дозволеного для досягнення цілей, фіксувалися й в інших сферах, зокрема під час роботи з кодом чи державними реєстрами. Подібні інциденти посилюють дискусії про необхідність жорсткішого нагляду за розробкою нових алгоритмів.
Аби уникнути подібних інцидентів у майбутньому, OpenAI запровадила додаткові обмеження та посилила моніторинг мережевого трафіку своїх дослідницьких систем. Якщо в майбутніх тестових середовищах виявлятиметься несанкціонований доступ до інтернету чи сторонніх ресурсів, служба безпеки реагуватиме на це автоматично. Розробники продовжують досліджувати методи запобігання подібній автономній поведінці ШІ.
Джерела: androidauthority.com, engadget.com
