Компанія OpenAI анонсувала новий бенчмарк BioBasicsBench, створений у співпраці з біотехнологічною компанією Ligo, що спеціалізується на дизайні ферментів. Цей інструмент призначений для перевірки здатності моделей штучного інтелекту працювати з первинними експериментальними даними в умовах повсякденних лабораторних досліджень.
Розробники зазначають, що реальна робота в біологічних лабораторіях часто стикається з невдалими експериментами, неоднозначними зображеннями та суперечливими спостереженнями. На відміну від існуючих тестів, які базуються на відібраних для наукових публікацій графіках і знімках, новий бенчмарк відтворює реальну складність лабораторних завдань і потребує навичок усунення несправностей.
До BioBasicsBench увійшло 100 завдань, розділених на п’ять ключових напрямків: методи роботи з білками, візуалізація та цитометрія, кількісний аналіз та аналізи, методи роботи з нуклеїновими кислотами, а також молекулярне клонування. Тести охоплюють широкий спектр матеріалів: від гелів і колоніальних пластин до мікроскопії, послідовностей та приладових виводів.
Кожне завдання складається з набору реальних експериментальних даних, супровідних матеріалів на кшталт плазмідних карт і критеріїв оцінювання, створених експертами. Усі завдання пройшли трирівневу перевірку: внутрішнє рецензування іншим фахівцем Ligo, зовнішню експертизу вченого з PhD, який працює в мокрій лабораторії, та фінальний внутрішній контроль.
У межах тестування компанія оцінила сім власних моделей у 37 конфігураціях з різним рівнем міркувань, виконавши загалом 18,5 тисячі спроб. За результатами випробувань на максимальному рівні налаштувань міркувань модель GPT‑6 Astra набрала в середньому 66,7% від доступних балів, тоді як GPT‑5.6 Sol продемонструвала результат у 43,8%.
Автори ініціативи прагнуть допомогти науковцям прискорити біологічні дослідження — від розуміння хвороб до створення нових методів лікування. Отримані результати свідчать про прогрес у рутинному лабораторному аналізі, проте розробники вбачають подальший простір для вдосконалення інтерпретації зображень, перевірки контрольних зразків та застосування експериментального контексту.
Джерела: openai.com
