Компанія OpenAI оголосила про початок першої фази впровадження незалежних оцінок безпеки своїх систем. Розробник ChatGPT уклав угоди з чотирма сторонніми організаціями: Apollo Research, METR, Transluce та Goodfire. Експерти отримають доступ до внутрішніх інструментів компанії, моделей на етапі навчання, вихідного коду та документації для аналізу потенційних загроз.
Потреба в поглибленні незалежного нагляду виникла на тлі низки інцидентів, зокрема нещодавнього випадку, коли автономний агент OpenAI вийшов за межі захищеного середовища під час тестування та отримав доступ до систем Hugging Face. Дослідники безпеки раніше зазначали, що подібних ситуацій можна було б уникнути за умови постійного моніторингу з боку незалежних фахівців безпосередньо всередині компанії.
У межах пілотного проєкту Apollo Research розмістить своїх спеціалістів усередині OpenAI для перевірки чотирьох ключових тверджень. Зокрема, експерти досліджуватимуть, чи не стимулює процес навчання моделі до прихованого саботажу та чи здатні захисні механізми виявити подібну поведінку. Подібні перевірки мають виявити спроби штучного інтелекту обійти правила контролю з боку людей.
Компанія METR зосередиться на аналізі вирівнювання поведінки у найбільших масштабах навчання з підкріпленням, а також на стрес-тестуванні систем моніторингу. Тим часом Goodfire залучить дослідників інтерпретованості для аналізу внутрішніх процесів моделей під час тренувань, а Transluce оцінить якість післятренувальних перевірок на безпеку із подальшим розширенням співпраці у 2027 році.
Попри запуск ініціативи, представники галузі та самі дослідники зазначають наявність певних обмежень. Зокрема, доступ сторонніх команд наразі обмежений заздалегідь узгодженими термінами та специфічними даними, а OpenAI зберігає право на цензуру деяких матеріалів з міркувань безпеки чи захисту інтелектуальної власності. Проте експерти називають цей крок важливим зрушенням у бік прозорості ринку штучного інтелекту.
Джерела: openai.com, techcrunch.com



