OpenAI та Cloudflare проіндексували сотні мільйонів сторінок завдяки мережевим сигналам
Головне за 30 секунд
- Пілотний проєкт охопив лише близько 1% мережі Cloudflare, але дозволив знайти сотні мільйонів нових вебсторінок.
- Сигнали мережі допомагають боту OAI-SearchBot виявляти корисні сторінки навіть за відсутності зворотних посилань.
- Утиліта Cloudflare AI Crawl Control дозволяє окремо керувати доступом краулерів для пошуку та для навчання ШІ.
- Спільна робота технологій дає змогу краулерам уникати зациклень, дублікатів і шкідливих сторінок.
Зміст
Що сталося
Компанії Cloudflare та OpenAI опублікували перші результати спільного дослідження, яке розпочалося в липні. Використовуючи мережеві сигнали лише з 1% мережі Cloudflare, OpenAI вдалося виявити та проіндексувати сотні мільйонів нових сторінок для пошукової системи ChatGPT.
Алгоритми оцінюють такі параметри, як свіжість оновлення контенту, якість трафіку та фактичні зміни на сторінці. Це дає змогу виявляти корисні матеріали — наприклад, інструкції до побутової техніки, актуальну інформацію про паспортні збори чи меню ресторанів — навіть якщо на них немає посилань з інших ресурсів.
Крім того, сигнали Cloudflare допомагають роботам уникати зайвих запитів до несучих сторінок, редиректів та дублікатів, а також виявляти зламані сторінки зі шкідливими формами входу без блокування всього домену.
Кого це стосується
Це рішення має значення для власників вебсайтів, SEO-фахівців та контент-менеджерів, чиї ресурси обслуговуються через Cloudflare або які прагнуть отримувати трафік із пошуку ChatGPT.
OpenAI розділяє сканування для пошуку та для навчання моделей за допомогою двох різних ботів: OAI-SearchBot відповідає за пошукові результати, а GPTBot збирає дані для тренування ШІ. Налаштування у файлі robots.txt або в панелі Cloudflare дозволяють гнучко регулювати доступ кожного з них.
Що робити
Для контролю за діяльністю штучного інтелекту на вашому сайті виконайте наступні кроки:
- Скористайтеся інструментом AI Crawl Control у панелі Cloudflare (доступний на всіх тарифних планах), щоб побачити, які саме боти відвідують ресурс.
- За потреби дозвольте роботу OAI-SearchBot індексувати сайт для пошуку в ChatGPT, але забороніть GPTBot, якщо не бажаєте, щоб ваш вміст використовувався для навчання моделей ШІ.
- Перевірте серверні логи та теги UTM/referrer, щоб коректно відстежувати переходи користувачів із ChatGPT на ваші сторінки.
Чого поки не відомо
У звітах не наведено точних цифр щодо загального обсягу сканування чи зменшення навантаження на сервери. Також поки відсутня статистика про те, як часто знайдені нові сторінки цитуються в ChatGPT і скільки реальних переходів вони згенерували.
Точна дата повноцінного запуску цієї функції для всіх користувачів Cloudflare залишається невідомою, хоча раніше згадувався плановий період протягом 2026 року.
