Команда Hugging Face презентувала інструмент ThinkingBox, створений для оцінки та покращення роботи автономних ШІ-агентів за допомогою перевірки кінцевого стану баз даних. Проєкт покликаний розв’язати проблему, коли агенти звітують про виконання завдання, хоча фактичні зміни в базі даних свідчать про протилежне.
Бенчмарк ThinkingBox-Bench містить 507 завдань, які надають агенту реальний бекенд та набір інструментів, а після завершення роботи перевіряють зміни в базах даних. Під час попередніх тестувань розробники виявили розрив між загальною успішністю моделей та їхньою стабільністю на дистанції. Наприклад, деякі великі моделі успішно виконували завдання з першої спроби, але показували низькі результати повторюваності на всіх двадцяти спробах.
Для виправлення цього розриву розробники вирішили перетворити перевірку стану бази даних на функцію винагороди для навчання. Вони сформували тренувальний пул завдань поза бенчмарком, оцінюючи їхню складність відносно базової політики моделі. Це дозволило відібрати оптимальні сценарії для тренування без марної трати обчислювальних ресурсів на занадто прості чи нездійснені завдання.
Провівши донавчання моделі Qwen3.8-27B за методом GRPO протягом п’ятдесяти кроків, дослідники протестували її на закритому бенчмарку. Середній показник успішності зріс з 51,70% до 60,78%. Водночас кількість завдань, які модель успішно виконувала на всіх двадцяти спробах без жодної помилки, зросла з 38 до 107.
Автори проєкту наводять приклад із корпоративним бронюванням готелів, де зміна умов вимагала схвалення менеджера. До навчання базова модель у більшості спроб змінювала бронювання всупереч правилам компанії, тоді як після навчання агенти стабільно дотримувалися необхідних протоколів у всіх тестових запусків.
Вихідний код та інструменти ThinkingBox тепер доступні на платформі GitHub для дослідників і розробників. У майбутньому команда планує продовжити роботу над покращенням надійності ШІ-систем, які взаємодіють із реалістичними корпоративними базами даних та робочими бекендами.
Джерела: huggingface.co
