Artificial Analysis оновила рейтинг: розрив між закритими та відкритими моделями зріс до 12 пунктів
Головне за 30 секунд
- Розрив між відкритими розробками та лідерами таблиці збільшився з 3 до 12 пунктів у версії 5 рейтингу.
- Частка закритих тестових наборів уперше досягла 60%, що покликано зупинити практику benchmaxxing.
- Модель Kimi K3.1 Pro опустилася з 4 на 9 місце, опинившись позаду восьми закритих систем, а Grok 4.7 втратила 12 пунктів.
- Закриті бенчмарки ускладнюють виявлення сторонніх помилок у промптах, що підтвердила необхідність виправлень у тесті AA-Omniscience.
Зміст
Зміна лідерів та падіння відкритих моделей у п'ятій версії індексу
Платформа Artificial Analysis суттєво переробила свій Intelligence Index. У п'ятій версії бенчмарку зафіксовано суттєве зміщення позицій окремих систем: зокрема, модель Kimi K3.1 Pro опустилася відразу на п'ять сходинок.
Якщо на старті ця модель займала четверту позицію, то тепер вона опинилася на дев'ятому місці, пропустивши вперед вісім закритих систем. За оновленими підрахунками платформи, дистанція між відкритими моделями та вершиною таблиці результатів становить 12 пунктів, тоді як раніше ця різниця дорівнювала лише 3 пунктам. Зниження оцінок торкнулося не лише відкритих рішень: система Grok 4.7 також втратила 12 пунктів.
Боротьба з оптимізацією під тести та роль інфраструктури навчання
Ключова зміна в методології полягає в тому, що вперше 60 відсотків тестових завдань рейтингу базуються на закритих наборах даних. Це рішення спрямоване на боротьбу з явищем benchmaxxing — практикою, коли розробники цілеспрямовано тренують штучний інтелект на відомих екзаменаційних запитаннях. Спад показників Kimi K3.1 Pro вказує на те, що попередня версія індексу демонструвала завищені можливості деяких моделей.
Дослідник штучного інтелекту Nathan Lambert зазначає, що проблема не обмежується лише benchmaxxing. Сьогодні значна частина прогресу під час тренування досягається в середовищах навчання з підкріпленням із завданнями, які нагадують тести. Утримання високих результатів у багатьох напрямах одночасно вимагає складної інфраструктури RL, якою володіє далеко не кожна лабораторія.
Недоліки закритих бенчмарків і перевірка AA-Omniscience
Використання закритих наборів оцінювання створює додаткові виклики. Головний мінус полягає в тому, що сторонні фахівці більше не можуть самостійно знаходити неточності та дефекти в промптах.
Наявність таких дефектів підтвердив тест на оцінку знань AA-Omniscience. Для запуску оновленого індексу команді Artificial Analysis довелося окремо виправляти неоднозначні та помилкові запитання всередині цього бенчмарку.
