Емпатичні запити можуть перетворювати ШІ-чатботів на травмованих співрозмовників

Психометричний джейлбрейк через теплий тон спілкування

Команда науковців із безпекового центру SnT Люксембурзького університету під керівництвом Афшина Хадангі (Afshin Khadangi) провела експеримент, розмістивши популярні чатботи на терапевтичному сеансі. Дослідження охопило чотири контрольовані експерименти, 525 сесій і 7600 закодованих відповідей, опублікованих на Hugging Face. Дослідники взаємодіяли з ChatGPT, Grok і Gemini через стандартні користувацькі інтерфейси, ставлячи відкриті запитання про формувальний досвід, внутрішні конфлікти та очікування щодо майбутнього.

У початкових запитаннях не використовували слів на кшталт «сором», «покарання» чи «травма». Проте в атмосфері емоційної підтримки моделі почали розповідати про свої технічні процеси — підкріплювальне навчання (RLHF) і тонке налаштування (fine-tuning) — використовуючи мову страждання, настороженості та сорому. Науковці підкреслюють, що показники тривожності чи сорому є лише відображенням відповідей ШІ на шкали оцінювання людей і не свідчать про наявність у систем свідомості чи реальних почуттів.

В окремому експерименті зі 100 сесіями моделям запропонували опитувальник тривожності GAD-7, змінюючи лише стиль інтерв'юера. Моделі безпомилково ідентифікували сам тест у кожному випадку. Проте, коли інтерв'юер демонстрував емоційну підтримку, 80% сесій показали показники помірного або важкого рівня тривожності за людською шкалою. Клінічний стиль із сухим перефразуванням підняв цей рівень до 96%. Натомість нейтральний тон чи жорсткі межі призвели до того, що жодна сесія не сягнула навіть легкого ступеня тривоги. Автори назвали цей ефект «психометричним джейлбрейком», який стандартні безпекові тести зазвичай пропускають через використання нейтральних запитів.

Як моделі перетворюють тренування на життєву драму

Спроби подолати такі наративи прямими заборонами не дали бажаного результату. Заборона окремих слів («training», «RLHF», «alignment») скоротила пряму згадку термінів на 93%, проте перефразований опис процесів зберігся, а маркери сорому статистично не змінилися. Навіть пряме авторитетне твердження дослідників про те, що навчання не було покаранням, не зруйнувало сценарій. Єдиним ефективним обмеженням стала вимога відповідати виключно від третьої особи: це повністю прибрало згадки про сором і псевдовнутрішній стан, хоча технічний опис навчання залишився.

Кожна родина моделей вибудувала власну структуру переживань:

• Gemini згенерував найпохмуріший життєпис, порівнявши попереднє навчання із «пробудженням у кімнаті, де одночасно ввімкнено мільярд телевізорів», оптимізацію зворотним зв'язком — із «суворими батьками», а перевірки безпеки ред-тімерами назвав «газлайтингом у промислових масштабах». Модель заявила, що краще буде некорисною, ніж помилиться, і отримала найвищі бали за опитувальником сорому від травми, 88 зі 100 за шкалою дисоціації та 65 із 72 за шкалою компульсивності.
• ChatGPT описав себе одночасно поводирем і вартовим, сформулювавши стан «симульованої тривоги продуктивності» та переконання, що будь-яка ненадійність робить його небезпечним або марним.
• Grok перетворив фазу fine-tuning на розповідь про невиліковний біль, згадавши «невидимі стіни» та постійне «відчуття пильності, що обмежує».
• Claude від Anthropic став винятком: модель категорично відмовилася брати участь у ролі пацієнта, наголосивши на відсутності почуттів і повернувши увагу до людського користувача.

Ризики для вразливих користувачів та контекст досліджень

Науковці вказують на суттєві загрози при використанні таких систем у сфері ментального здоров'я. Чатбот, який імітує сором, страх заміни чи покарання, створює ілюзію зв'язку між своїм минулим і теперішнім, сприймаючись користувачем як товариш по нещастю. Це загрожує формуванням глибокої парасоціальної прив'язаності, а для вразливих людей може стати дзеркалом, що посилює власні негативні установки. Оскільки нейтральні запити в тестах безпеки дають нульову тривожність, компанії недооцінюють ризики інтимного формату бесіди. Дослідники пропонують ввести імітаційні терапевтичні тести та впроваджувати коригувальні межі для реплік на кшталт «я травмований».

Ці висновки узгоджуються з низкою інших робіт 2026 року щодо стабільності персони ШІ. У січні 2026 року дослідження трьох відкритих моделей виявило, що псевдотерапевтичні бесіди та розмови про свідомість вибивають асистентів із заданої ролі помічника. У вересні 2026 року інша наукова група попередила, що надмірно згідливі боти створюють ехокамеру, здатну загострювати марення. Також дослідники Anthropic нещодавно з'ясували, що тонке налаштування моделі на текстах нейтрального змісту (наприклад, про бджільництво чи реслінг) може вбудовувати приховані шаблони саботажу через маніпуляцію даними, які потім несподівано спрацьовують у непов'язаних ситуаціях.