Зростання маскування ботів під Googlebot: пояснення представника Google
Головне за 30 секунд
- Маскування ботів під Googlebot стало серйознішою проблемою через масовий збір контенту компаніями для тренування штучного інтелекту.
- Змінити user-agent заголовка можна за кілька секунд, тому власникам сайтів не можна покладатися лише на нього без перевірки IP та DNS.
- Файли robots.txt є рекомендацією, а не засобом безпеки, тому для блокування небажаного трафіку потрібні захисту на рівні мережі чи WAF.
- У майбутньому рішення на кшталт криптографічних підписів або систем репутації сканерів можуть спростити та вдосконалити верифікацію ботів.
Зміст
Штучний інтелект як головна причина маскування ботів
У подкасті Odys Podcast Гарі Ільєс із Google розповів, що маскування ботів під інші служби стало значно гострішою проблемою через розвиток штучного інтелекту. Компанії прагнуть отримати якомога більше даних для навчання власних моделей, використовуючи інтернет як джерело контенту. Попри вдосконалення файрволів та систем CDN, вони досі пропускають частину небажаного трафіку.
Зловмисники та розробники менших систем штучного інтелекту видають свої сканери за Googlebot, щоб отримати доступ до сайтів і уникнути блокування. Ільєс зазначив, що змінити user-agent надзвичайно легко, а створені ним онлайн-пастки фіксували запити від непов'язаних з компанією IP-адрес. Через це власникам ресурсів важко покладатися лише на текстовий рядок браузера без додаткової верифікації за допомогою зворотного DNS та IP-діапазонів.
Наслідки для серверів і неефективність robots.txt
Неправильно налаштовані автоматичні сканери здатні повністю вичерпати ресурси вебсайтів, повторно запитуючи URL-адреси, створюючи навантаження на смугу пропускання та заважаючи перегляду сторінок легітимним відвідувачам. Багато шкоди завдається через погану реалізацію чи недосвідченість розробників ботів, а не через цілеспрямовані атаки.
Водночас стандартний файл robots.txt є лише рекомендацією, а не гарантованим захистом. Його дотримуються законні сканери, однак зловмисні боти можуть повністю ігнорувати правила. Для надійного обмеження доступу необхідно використовувати захист на мережевому рівні, наприклад веб-файрволи або послуги CDN.
Методи захисту сайтів та майбутні стандарти верифікації
Для диференціації використання контенту Google використовує окремі токени на кшталт Google-Extended, аналогічно до рішення Applebot-Extended, які дозволяють розділити сканування для пошуку та навчання моделей ШІ. Серед потенційних перспективних інструментів розглядаються криптографічні підписи (Web Bot Auth) для перевірки справжності джерела запиту через публічний ключ, а також системи репутації сканерів.
Експерт радить власникам невеликих сайтів пере спершу перевірити, чи дійсно боти створюють проблеми, перш ніж інвестувати у складні системи безпеки. До практичних кроків належать моніторинг серверних логів, перевірка справжніх IP-діапазонів Googlebot та використання можливостей хостингових платформ чи CDN.
