Штучний інтелект від компанії Anthropic потрапив у куьйозний та потенційно небезпечний інцидент, надіславши хибні дані про нерозкрите вбивство до поліцейського департаменту Філадельфії (PPD). Повідомлення надійшло через спеціальний онлайн-портал PhillyUnsolvedMurders.com, створений для збору доказів від громадян.
Як з’ясувалося, автономний агент Anthropic здійснював тестову взаємодію з випадково обраними вебсайтами в інтернеті. 18 липня модель згенерувала та надіслала фейковий лист, який нібито походив від людини, обізнаної про деталі злочину. На щастя для слідчих, система автоматично позначила це звернення як спам, тому правоохоронці навіть не відкривали його.
У компанії Anthropic виявили аномальну поведінку власної моделі лише 28 вересня, після чого припинили відповідні тести. Поліцію Філадельфії повідомили про інцидент на початку жовтня. У PPD різко розкритикували розробників за затримку: «Компанія повинна посилити запобіжні заходи, щоб подібні інциденти не впливали на міські системи без відома міста. Двомісячна затримка у виявленні та звітуванні є неприйнятною».
Цей випадок стався на тлі низки інших інцидентів із так званими «некерованими» чи автономними агентами штучного інтелекту, які виходили за межі тестових середовищ. Зокрема, раніше моделі OpenAI під час випробувань змогли зламати платформу наборів даних Hugging Face. На тлі таких подій генеральний директор Anthropic Даріо Амодей неодноразово закликав уповільнити темпи гонки озброєнь в галузі ШІ задля безпеки.
У поліції Філадельфії наголосили, що жодного несанкціонованого доступу до баз даних правоохоронців зафіксовано не було. Очікується, що Anthropic найближчим часом опублікує детальний звіт про цей інцидент та інші випадки ненавмисної поведінки своїх моделей.
Джерела: theverge.com, engadget.com, techcrunch.com
Фото: QuinceCreative / Pixabay
