Google відкрив код AQuA для діагностики збоїв AI-агентів у продакшені

Призначення та архітектура інструменту AQuA

Компанія Google відкрила вихідний код AQuA (Ambient Quality Agent). Це еталонна реалізація, яка аналізує сесії AI-агентів у продакшені, верифікує закономірності повторюваних збоїв та досліджує їхні першопричини відносно розгорнених ревізій вихідного коду. Інструмент спрямований на боротьбу з тихими регресіями якості, які звичайна інфраструктурна моніторингова система може пропустити — наприклад, коли агенти ігнорують вподобання користувачів або пропускають обов'язкові виклики інструментів, повертаючи при цьому успішні відповіді.

AQuA працює паралельно з агентом у Google Cloud поза шляхом запиту, зчитуючи телеметрію з Cloud Trace, Cloud Logging або BigQuery. Програма вибірково збирає до 1 000 останніх сесій за один запуск та обробляє їх у п'ять етапів: вибірка, огляд, кластеризація виявлених даних, перевірка кандидатів у кластери та відстеження проблем. Розробники можуть налаштовувати критерії якості для конкретного домену через файл goal.md та додавати детерміновані власні метрики. AQuA може запускатися за розкладом, після розгортання або на вимогу.

Аналіз першопричин та результати оцінювання

Для аналізу першопричин AQuA порівнює проблемні сесії з незмінним знімком вихідного коду, зафіксованим під час деплою. Діагностичний агент визначає відповідний код або інструкції, посилається на діапазони файлів і рядків та пропонує зміни, якщо причина криється в репозиторії. Він також може віднести збої до зовнішніх залежностей, передачі інструментів або отриманих даних. AQuA не застосовує виправлення та не відкриває запити на злиття автоматично.

Google оцінив 32 сесії з багатоагентного додатку для подорожей, виявивши 42 знахідки, згруповані у дев'ять кандидатів у кластери. Верифікатор відхилив три неподтверджені кластери після перевірки до трьох повних стенограм на кожного кандидата, залишивши шість перевірених проблем. Дві з них стосувалися обходу перевірок доступності місць та втрати веганських вподобань мандрівника під час делегування. Після того як розробники змінили промпти та переграли сесії, обходи вибору місць скоротилися з 15 сесій до двох, пропуски дієтичних уподобань впали з семи до нуля, а сесії, що пройшли всі перевірки, зросли з п'яти до 13. Ці результати були отримані під час контрольованого відтворення, а не на продакшен-трафіку.

Особливості відстеження та обмеження

Головною особливістю інструменту є цитування, а не самооцінений показник впевненості. Висновки посилаються на супутні трасування, а запропоновані першопричини мають посилатися на дійсні рядки в розгорнутому знімку. AQuA відстежує знахідки як нові, повторювані або такі, що автоматично вирішуються через 14 днів без спостереження. Збирання вибірки може пропускати рідкісні збої, а повторне відтворення може не відтворити зовнішній стан.

Дмитро Апреленко, інженерний менеджер у Redcore, відреагував на анонс у LinkedIn заявою про те, що оркестрація агентів визначено потребує кращої безперервної діагностики для раннього виявлення таких циклів. AQuA перевіряє посилання на джерела та пов'язує знахідки із супутніми трасуваннями. Перевірка кластерів фільтрує хибноспрацьовування, хоча й не може підтвердити, що кожна сесія демонструє однаковий збій. Служба оцінки Agent Platform від Google підтримує тестування регресій та моніторинг якості продакшену, тоді як Arize Phoenix надає відкрите трасування та оцінку. AQuA ж зосереджується на групуванні збоїв у виробництві та зв'язуванні перевірених знахідок із розгорненим вихідним кодом. Google визначає обмеження вибірки та неповне відтворення зовнішнього стану як обмеження.

Що це означає на практиці

Інструмент допомагає командам, які впроваджують складні LLM-рішення та AI-агентів у продакшен, виявляти приховані логічні помилки та ігнорування інструкцій, які не фіксуються звичайним моніторингом.

Розробникам та інженерам варто звернути увагу на відкритий репозиторій AQuA як на доповнення до платформ тестування регресій та моніторингу якості агентів.

Фахівцям слід стежити за подальшими оновленнями інструменту, оскільки його впровадження у процеси розробки спрощує виявлення помилок у промптах та коді агентів.