Співзасновник Anthropic Джек Кларк переніс прогноз щодо самовдосконалення ШІ на 2027 рік

Що сталося

Дослідницька лабораторія P-Zero Research представила новий бенчмарк TasteVal, який вимірює здатність систем штучного інтелекту самостійно проєктувати експерименти та інтерпретувати їхні результати. Дослідники називають цю здатність «дослідницьким смаком» (research taste). Згідно з даними співзасновника Anthropic Джека Кларка, цей показник подвоюється приблизно кожні три місяці, починаючи з грудня 2025 року, хоча діапазон подвоєння становить від 1,7 до 5,0 місяців.

Бенчмарк фокусується на двох аспектах: проєктуванні експериментів та правильній інтерпретації результатів. Вибір найперспективніших дослідницьких напрямів у тест не входить — це завдання вже визначено заздалегідь. Вісім завдань охоплюють вибір даних для навчання, претрейнінг та фінтюнінг мовних моделей, навчання на людських уподобаннях, а також захист від зловмисних промптів. Для виконання експериментів використовується фіксований агент кодування на одному графічному процесорі Nvidia H100 із лімітом у 40 годин обчислень або 120 годин реального часу.

У порівнянні брали участь 24 експерти з таких компаній, як OpenAI, Google DeepMind, Nvidia та Microsoft Research. Топова модель Anthropic Opus 5.5 досягла коефіцієнта обчислень (compute multiplier) 2,3, випередивши експертів і досягнувши їхніх результатів із менш ніж половинними обчисленнями. Статистичний діапазон цього показника коливається від 1,15 до 4,37. Кожне випробування коштувало приблизно одну тридцяту від середньої вартості експертної спроби. На тлі таких результатів Джек Кларк переніс свій прогноз щодо появи рекурсивного самовдосконалення (RSI), коли штучний інтелект розроблятиме власних наступників, із 2028 на 2027 рік.

Кого це стосується

Ці зміни стосуються розробників штучного інтелекту, дослідницьких лабораторій, інженерів та фахівців у галузі цифрових технологій. Питання переходить від оцінки сильної продуктивності моделей до того, наскільки незалежну дослідницьку роботу можуть виконувати мовні моделі. Критики раніше зазначали, що складні навички на кшталт дослідницького смаку, творчості та довгострокового планування залишаються поза межами досяжності ШІ, однак нові тести частково спростовують цю тезу щодо планування й оцінки експериментів.

Водночас дослідження команди з Університету Фудань показує, що практичний розрив усе ще залишається значним: агенти ШІ генерували до 55 відсотків пропозицій щодо методології, але люди приймали понад 85 відсотків фінальних рішень. Крім того, самі автори бенчмарку визнають, що їхні результати можуть переоцінювати швидкість покращення дослідницького смаку через швидку та дешеву перевірку завдань.

Що робити

Оскільки тенденція до автоматизації дослідницьких завдань прискорюється, фахівцям і дослідникам варто готуватися до таких змін:

• Стежити за еволюцією автономних агентів: Враховувати в робочих процесах, що штучний інтелект почне самостійно формувати експерименти та перевіряти гіпотези в межах вузьких дослідницьких завдань.
• Зважати на ризики верифікації: Готуватися до того, що зі зростанням частки автономних досліджень людям стане складніше перевіряти й контролювати кожен етап генерації та оцінки результатів моделей.
• Спрямовувати фокус на стратегічне планування: Оскільки моделі краще справляються з тактичним проєктуванням експериментів, людська експертиза все більше зміщуватиметься у бік вибору довгострокових цілей та генерації принципово нових напрямів досліджень.

Чого поки не відомо

У відкритих джерелах та самому дослідженні наразі не уточнюється повний перелік усіх моделей, що тестувалися за межами згадки Anthropic Opus 5.5, а також невідомо, чи збережеться така швидкість подвоєння показників у майбутньому на ширшому колі завдань, оскільки висновки базуються на обмеженому наборі перевірок.