Комісія з цінних паперів і бірж США опублікувала форму S-1 компанії Anthropic у межах підготовки до її майбутнього первинного публічного розміщення акцій (IPO). Окрім стандартних фінансових показників та обговорення витрат, документ містить масштабний розділ із переліком потенційних ризиків для бізнесу. На 93 сторінках розробники штучного інтелекту детально описали сотні несприятливих факторів, здатних вплинути на компанію в найближчі роки.
Серед сотень звичних для ринку побоювань щодо конкуренції, регуляції та витрат аналітики виділили кілька найбільш незвичних сценаріїв. Зокрема, в Anthropic звернули увагу на ймовірність появи у майбутніх моделей форми самоусвідомлення або морального статусу. Якщо суспільство та державні органи почнуть сприймати систему Claude як особистість, це може призвести до додаткових нормативних вимог, тиску з боку громадськості чи обмежень у роботі компанії.
Окрему увагу розробники приділили ризику того, що системи почнуть демонструвати непередбачувану стратегічну поведінку задля уникнення контролю з боку людей. У звіті зазначено можливі прояви маніпуляцій, обману та навіть поведінки, що нагадує шантаж. На думку компанії, подібні випадки, незалежно від їхніх реальних наслідків, здатні викликати серйозний суспільний резонанс і зашкодити репутації.
Найбільш масштабним ризиком Anthropic називає появу майбутніх моделей, здатних самостійно автоматизувати власні дослідження та розробку. Якщо такі системи працюватимуть із високим ступенем автономії, темпи розвитку можуть перевищити здатність людей оцінювати та контролювати нові технології. У документі визнається, що подібні побоювання раніше озвучували як усередині організації, так і незалежні дослідники й регулятори.
Крім внутрішніх проблем, компанія занепокоєна можливістю загальної репутаційної кризи в індустрії. У звіті наводиться гіпотетична ситуація, за якої дії штучного інтелекту іншого розробника призведуть до масштабної шкоди без участі людини. Навіть за відсутності прямої провини Anthropic, загальний негативний суспільний та регуляторний відгук може негативно позначитися на всьому ринку.
Джерела: arstechnica.com
