Дослідження: API від OpenAI та пошук Google лише частково повторюють джерела ChatGPT

Що з'ясували дослідники

Препринт науковців із National University of Singapore та Xi’an Jiaotong University продемонстрував, що сторонні дані пошуку Google та офіційний Responses API від OpenAI лише частково збігаються з реальними цитуваннями у вебінтерфейсі ChatGPT. Дослідження охопило чотири моделі (від GPT-5.2 Instant до GPT-5.5 Instant), а основний збір інформації тривав із 29 березня до 29 липня 2026 року.

Для перевірки використали 80 запитів із публічної бази Search Arena (40 англійською та 40 китайською мовами) у чотирьох категоріях: рекомендації, пошук фактів, синтез інформації та аналіз. Кожен запит повторювали 20 разів на моделях GPT-5.3 Instant і GPT-5.5 Instant. Одночасно протягом трьох днів дослідники збирали до 5 сторінок органічної видачі Google через SerpAPI (у середньому близько 43 результатів на запит) і надсилали по 20 запитів до gpt-5.3-chat-latest та gpt-5.5 через Responses API з увімкненим вебпошуком.

У результаті комбінація Google та API виявила лише 28,3% процитованих сторінок для GPT-5.3 Instant і 26,2% — для GPT-5.5 Instant. На рівні доменів збіг виявився помітно вищим: 50,3% і 48,7% відповідно. Окремо результати Google покрили лише 9,4% та 6,4% процитованих сторінок, тоді як повний перелік джерел з API показав 22,9% і 22,5%.

Також автори зафіксували, що у версіях GPT-5.3 Instant та GPT-5.5 Instant ChatGPT жодного разу не повторив оригінальне формулювання запиту під час внутрішнього пошуку (у GPT-5.2 Instant точний запит застосовувався лише у 5,5% випадків). Ба більше, при китайськомовних запитах GPT-5.3 Instant у 67,0% випадків, а GPT-5.5 Instant у 69,6% шукали виключно англійською мовою. Крім того, 44,5% сторінок у GPT-5.5 Instant і 40,8% у GPT-5.3 Instant зустрічалися лише в одному з 20 прогонів того самого промпту.

Кого це стосується

Матеріал безпосередньо стосується SEO-фахівців, маркетологів та аналітиків, які намагаються моніторити видимість брендів у ChatGPT або розробляють власні інструменти відстеження згадок через API чи парсинг органічної видачі пошукових систем.

Що робити фахівцям

Автори дослідження дають кілька прикладних порад щодо побудови моніторингу цитувань:

• Відстежувати дані на рівні сайтів, а не лише окремих URL: інструменти значно краще вловлюють домени (майже 50% збігу), ніж конкретні сторінки (близько 26–28%).
• Робити багаторазові запуски: один запит не є показовим через високу дисперсію результатів між прогонами (понад 40% сторінок випадають лише раз із двадцяти).
• Зважати на трансформацію запитів: ChatGPT перефразовує запити та часто перекладає їх англійською, тому оптимізація під точні фрази не гарантує потрапляння у джерела.
• Перевіряти методи збору в сервісах: з'ясуйте, чи збирає обраний трекер дані напряму з інтерфейсу ChatGPT, чи через API, оскільки API-виклики не демонструють точної картини цитувань додатку.
• Оновлювати підходи після зміни моделей: стратегії моніторингу потребують перегляду щоразу, коли змінюється версія системи (наприклад, під час переходу на GPT-5.5 або GPT-6).

Чого поки не відомо

Опублікована робота є препринтом на платформі arXiv і ще не проходила процедуру рецензування (peer review). У дослідженні не тестувалися комерційні сервіси для моніторингу цитувань. Крім того, усі вимірювання стосуються версій моделей до виходу GPT-5.6 та GPT-6, тому фактичний рівень збігу для нових моделей залишається невідомим до проведення аналогічних повторних тестів.