Штучний інтелект активно розвивається, проте методи бенчмаркінгу та перевірки моделей усе ще залишаються недосконалими. За словами директорки з питань політики компанії Hugging Face Айрін Солайман, галузі необхідно перетворити процес тестування на більш послідовну та стандартизовану науку, щоб розробники могли повністю довіряти результатам.
Виступаючи на заході TechCrunch Disrupt, Солайман наголосила, що ключовою проблемою залишається відтворюваність результатів перевірок. Без належного рівня доступу до самих моделей, чому значно сприяють відкриті ваги, незалежно перевірити заяви розробників вкрай складно. Крім того, наявні тести швидко втрачають актуальність на тлі стрімкого розвитку технологій.
Останніми місяцями серед розробників набула популярності ідея вбудованих оцінювачів — залучення сторонніх нейтральних спостерігачів всередині ШІ-компаній для контролю безпеки. Проте такий підхід викликає чимало суперечок. Зокрема, рішення компанії Anthropic найняти консалтингову фірму Accenture як першого оцінювача супроводжувалося хвилею критики через сумніви у відповідній кваліфікації.
Окрім тестів самих моделей, експерти дедалі частіше говорять про необхідність перевірки всієї екосистеми навколо них, включно з інтерфейсами та автономними агентами. На думку Солайман, слабша модель із кращим інструментом доступу може перевершити передову розробку, проте оцінювання таких агентних систем залишається складним і надзвичайно дорогим процесом.
Джерела: techcrunch.com
