Adobe та UC San Diego створили ШІ-агента EditAgent для професійного редагування зображень

Поєднання спеціалізованих інструментів та універсальних моделей

Дослідники з Adobe Research та UC San Diego створили систему EditAgent, яка виконує редагування зображень подібно до професійного користувача Photoshop. Традиційні ШІ-агенти зазвичай ділять складні запити на кроки й повторюють невдалі спроби з тими самими інструментами, оцінюючи результат візуально. EditAgent працює інакше: система розбиває завдання на підетапи та добирає під кожен із них відповідний інструмент, після чого порівнює результат з оригіналом за допомогою вимірюваних числових показників.

Тестування на 600 редагуваннях із «сліпою» оцінкою п'ятьма фахівцями показало, що універсальний редактор Flux-2-Klein-9B не зміг видати прийнятний результат у 42,7% випадків. Повторні спроби із цим самим редактором майже не дали користі. Натомість спеціалізовані інструменти виправили близько двох третин цих збоїв, продемонструвавши високу ефективність у завданнях на збільшення масштабу, обертання та підвищення різкості.

Паралельна генерація та числова оцінка результатів

Дослідники порівняли два підходи до роботи агента: покрокове послідовне вдосконалення та паралельне створення кількох версій. Ітеративне доопрацювання накопичує дрібні помилки, оскільки кожен новий крок спирається на вже модифіковане зображення. У 78,5% порівнянь фахівці віддали перевагу варіантам, створеним паралельно безпосередньо з оригіналу. Крім того, такий підхід потребував удвічі менше перевірочних проходів.

Для оцінки варіантів EditAgent застосовує стандартну мовну модель, яка за один прохід аналізує створені версії. Модель отримує детальний верифікаційний запис: фрагмент відредагованої ділянки великим планом, карту змін та статистичні показники яскравості й кольору. Наприклад, під час завдання з м'якого освітлення універсальний редактор переекспонував кадр і зробив колірну гаму теплішою, тоді як спеціалізований інструмент зберіг задані параметри.

Ефективність перевірки та вирішення конфліктів редагування

На бенчмарку з 600 редагувань оцінювали здатність моделі-судді обирати результат, який фахівці визнали придатним. Без верифікаційних записів жодна із семи протестованих мовних моделей не змогла зрівнятися з найкращими рішеннями на кшталт EditScore, натренованими на оцінках людей. Проте з даними верифікації всі сім стандартних моделей перевершили спеціалізовані аналоги: зокрема, Qwen3.8-27B обирала якісний варіант у 81,3% випадків порівняно з 74,8% у EditScore-72B.

Також EditAgent контролює, щоб подальші зміни не скасовували попередні. Наприклад, якщо команда додати денне світло призводить до очищення попередньо матового скла у вікні, агент фіксує та усуває цей конфлікт.

Високі обчислювальні витрати та синтез навчальних даних

EditAgent покращив показники відкритих редакторів Qwen-Image-Edit-2511 та Flux-2-Klein-9B на трьох бенчмарках і випередив сім інших ШІ-агентів. На бенчмарку EdiVal версія Qwen на третьому раунді редагування перевершила комерційні моделі Seedream 4.0 та GPT-Image-1.5. Проте системі потрібно приблизно вдесятеро більше обчислювальних ресурсів, ніж окремому редактору, а її підсумкова точність залежить від підключених інструментів.

Оскільки агент зберігає лише перевірені результати, дослідники використали його для формування 26 000 прикладів навчальних даних. Моделі, налаштовані на цих матеріалах, показали вищу якість на всіх трьох тестах. Для порівняння, навчальні дані, згенеровані безпосередньо FLUX, навпаки погіршили роботу цієї моделі.

У червні Adobe інтегрувала ШІ-агентів у Photoshop, Premiere та інші програми Creative Cloud у форматі публічної бета-версії. Водночас розробники з Black Forest Labs представили модель Flux 3 Image Klein з 5,6 млрд параметрів, яка замінила протестовану в дослідженні версію і, згідно з внутрішніми тестами, випереджає комерційну Flux 2 Pro.