Перехід на CDN без перевантаження сервера та блокування Googlebot
Головне за 30 секунд
- Перехід на CDN знижує час відповіді, що сигналізує системам Google про можливість пришвидшити сканування
- При «холодному» (порожньому) кеші CDN перший запит до кожної URL є cache miss і йде безпосередньо на основний сервер
- Суцільний захист від ботів без винятків блокує Googlebot, що призводить до випадання сторінок із Пошуку Google
- Перед повноцінним запуском рекомендовано здійснювати попередній прогрів кешу (pre-warm)
- Для тимчасового обмеження навантаження на origin рекомендується використовувати коди 429 або 503
Зміст
Чому після підключення CDN зростає інтенсивність сканування
Впровадження мережі доставки контенту (CDN) дає змогу розподілити ресурси сайту між швидкими крайовими серверами (edge servers), зменшуючи затримку для відвідувачів та захищаючи основний сервер (origin server) від високого трафіку. Однак у період переходу власники сайтів нерідко стикаються зі стрімким зростанням автоматизованого трафіку на основний сервер.
Це відбувається через особливості розрахунку ліміту спроможності сканування (hostload) краулерами Google:
- Повільні відповіді зменшують швидкість сканування: коли час відповіді зростає, робочий процес Googlebot сповільнюється, щоб не перевантажувати сервер і не погіршувати досвід користувачів.
- Швидкі та стабільні відповіді прискорюють процес: після перенаправлення DNS на швидку мережу CDN час з'єднання та відповіді суттєво зменшується. Алгоритми сприймають це як сигнал про підвищену потужність інфраструктури й за наявності попиту на сканування (crawl demand) збільшують ліміт хоста.
Проблема «холодного» кешу та поведінка ботів
Підвищений рівень сканування не викликав би проблем, якби CDN повністю поглинала запити на крайових серверах. Проте нова CDN починає роботу з порожнім («холодним») кешем.
Під час першого запиту до URL на крайовому сервері виконується пошук файлу (HTML, CSS, JavaScript, зображень тощо). Оскільки копії ще немає, виникає промах кешу (cache miss). Крайовий сервер звертається до основного сервера (origin), запитує вміст, зберігає копію в кеші й видає її клієнту. Лише наступні запити до цієї ж URL стають cache hits і обробляються без звернення до origin.
Реальні користувачі зазвичай відвідують обмежений набір популярних сторінок, які швидко прогрівають кеш. Натомість робота краулерів полягає в систематичному дослідженні всієї структури URL. Оскільки вони заходять на велику кількість сторінок уперше, кожен унікальний запит створює cache miss і проходить напряму до основного сервера, створюючи на нього підвищене навантаження.
Небезпека суцільного захисту від ботів
Сплеск автоматизованих запитів у логах сервера під час прогріву кешу іноді спонукає адміністраторів вмикати суцільний захист від ботів у панелі CDN або WAF (Web Application Firewall). Використання правил блокування без винятків створює серйозну проблему.
Якщо CDN або WAF запитує проходження CAPTCHA, краулери Google не можуть пройти перевірку. Залишивши суцільний захист увімкненим без перевірених списків дозволів, сайти залишають Googlebot на сторінці помилки. З точки зору пошукової системи сайт виглядає зламаним або навмисно обмеженим. У результаті краулери знижують активність, а сторінки та товари починають випадати з Пошуку Google.
Рекомендації з налаштування CDN
Щоб перехід на CDN пройшов без шкоди для основного сервера та індексації, варто дотримуватися кількох правил:
- Дозвольте перевірених ботів: у налаштуваннях CDN та фаєрвола увімкніть дозвіл для перевірених роботів (verified bots), щоб вони оминали CAPTCHA. Для ідентифікації можна використовувати публічні IP-діапазони Google або обмежувати конкретних небажаних ботів через robots.txt.
- Попередньо прогрівайте кеш (pre-warm): перед перенаправленням усього трафіку програмно викличте через CDN найбільш відвідувані сторінки та популярні URL із контрольованою швидкістю.
- Використовуйте коди 429 або 503 у разі перевантаження: якщо обсяг сканування створює критичне навантаження на origin під час прогріву кешу, налаштуйте повернення HTTP-статусів 429 (Too Many Requests) або 503 (Service Unavailable) на короткий проміжок часу (від кількох годин до 1–2 днів).
Що це означає на практиці
Під час міграції на новий CDN SEO-фахівцям та вебмайстрам слід заздалегідь підготувати перелік найважливіших URL для попереднього прогріву кешу. Обов'язково перевірте налаштування WAF та CDN, щоб переконатися, що перевірені боти Googlebot включені до списку винятків і не блокуються перевірками CAPTCHA чи статусом 403. У випадку критичного навантаження на origin-сервер тимчасово застосовуйте відповіді 429 або 503, але утримуйтеся від суцільного блокування трафіку.
