Аналіз мережевих даних Google і ChatGPT: як виявити внутрішні параметри ранжування
Головне за 30 секунд
- Перевірка мережевих запитів Fetch/XHR у браузері дозволяє бачити службові параметри пошукових систем та штучного інтелекту.
- Видалення параметра _fmt у запиті Google відкрило дані про site_quality_score, частоту документів і семантичні класи.
- Google оцінив знайдену вразливість у 13 337 доларів через високу ймовірність експлуатації та значний вплив.
- На вибірці з 4,8 мільйона запитів натреновано модель DistilBERT для передбачення семантичного класу запиту в Google.
Зміст
Що виявив аналіз мережевих запитів Google та ChatGPT
Під час аналізу мережевої вкладки Network у Chrome DevTools розробник сервісу AlsoAsked Марк Вільямс-Кук виявив вразливість у Google. Знайшовши асинхронний callback URL із параметром _fmt: prog, дослідники прибрали цей параметр. У відповідь пошукова система повернула структуровані внутрішні дані, які не призначалися для публічного перегляду: оцінки якості сайту (site_quality_score), показники IDF (inverse document frequency), час останнього суттєвого оновлення сторінки в epoch time, IP-адресу сервера та семантичний клас запиту (rq_semantic_class).
Через рік після знахідки про проблему повідомили компанію. Програма Google Vulnerability Reward Program виплатила винагороду в розмірі 13 337 доларів США, вказавши на високу ймовірність експлуатації методології зловживань та її високий вплив.
На основі зібраних 4,8 мільйона англомовних запитів автор з'ясував, що Google ділить запити на вісім семантичних класів. Використовуючи модель DistilBERT (вона на 40% менша, на 60% швидша за BERT та зберігає близько 96% її продуктивності), дослідник витратив близько 50 годин навчання на ноутбуці та створив безкоштовний сервіс QueryClassifier для прогнозування класів і відповідних блоків видачі (SERP features).
Аналогічний підхід до аналізу запитів ChatGPT дозволив дослідити набори джерел, часові вікна свіжості інформації та підтвердити, що сервіс продовжує зчитувати Reddit, навіть коли перестає його цитувати.
Кого стосуються ці дані
Інформація стосується SEO-фахівців, розробників аналітичних сервісів і контент-стратегів. Вона демонструє, як архітектура пошукових систем передає сигнали між підсистемами (наприклад, Google Superroot) та браузером користувача через звичайні запити Fetch/XHR.
Що робити оптимізаторам
Спеціалістам не обов'язково мати команду аналізу даних, щоб шукати корисну інформацію у мережевих відповідях сервісів. Практичні кроки полягають у наступному:
- Відкривати вкладку Network (клавіша F12), фільтрувати запити за Fetch/XHR та вивчати вкладки Headers, Response і EventStream під час роботи з Google чи ChatGPT.
- Звертати увагу на семантичну класифікацію запитів під час побудови контентних планів, оскільки клас запиту корелює з блоками SERP, які показує пошуковик.
- Використовувати агенти для автоматизації рутинного аналізу мережевих логів — наприклад, інструменти на базі Playwright, щоб збирати відповіді у фоновому режимі.
