Компанія Google оновила свій внутрішній бенчмарк Android Bench, призначений для перевірки здатності штучного інтелекту допомагати розробникам у написанні коду для платформи Android. Тест враховує специфічні нюанси мобільної розробки та найкращі практики галузі, а також демонструє середню вартість використання кожної моделі.
В оновленні від 26 жовтня розробники додали показники рівня міркувань, а також результати нових моделей від OpenAI та Anthropic разом із власною розробкою Google — Gemini 4 Argon. Перше місце в оновленому рейтингу зайняла модель Claude Sonnet 5.5, яка показала рівень успішного проходження тестів на рівні 40% та показник завершення завдань у 80,9%.
Другу позицію посіла Claude Opus 5.5, додана до списку на початку жовтня. Особливу увагу експертів привернула нова модель OpenAI GPT-6.1 Sol із показником успішності 29,3% та завершенням завдань на рівні 82,8%, при цьому її вартість виявилася значно нижчою порівняно з лідерами від Anthropic.
Власна модель від Google, Gemini 4 Argon, дебютувала у списку лише на п’ятому місці, опинившись позаду інших сучасних передових систем. Вона поступилася навіть моделі Claude Fable 5.1 із показником успішності у 21,3%, завершенням завдань на рівні 81,8% та середньою вартістю у 267,70 долара.
Раніше, одразу після анонсу Gemini 4 Argon, в інсайдерських коментарях зазначалося, що модель іноді стикається з труднощами при виконанні певних завдань з програмування, хоча самі представники Google наполягають на високій ефективності системи.
Джерела: 9to5google.com
