Експертні статті про SEOКонтактиRSShello@linksgauge.com

SEO

Правила robots.txt від Google: AI-краулери, емодзі та специфікація RFC 9309

Редакція LinksGauge2 хв читання

Файл robots.txt та налаштування сканування ботами

Головне за 30 секунд

  • Файл robots.txt діє згідно зі стандартом RFC 9309 і регулює лише доступ до сканування сторінок, а не подальше використання даних.
  • Для заблокування ботів ШІ слід вказувати їхні конкретні user-agent, оскільки вигадані директиви парсери ігнорують.
  • Назви user-agent можуть містити лише латинські літери та дефіси, тоді як емодзі та нелатинські символи в шляхах URL вимагають percent-encoding.
Зміст

Правила роботи з robots.txt та ШІ-краулерами

Представники Google Gary Illyes та Cherry Prommawin у відеопроєкті Non-Canonical Cabinet детально розібрали синтаксис файлу robots.txt та його відповідність стандарту RFC 9309. Головний висновок полягає в тому, що robots.txt є протоколом переваг доступу (access-preference protocol): він вказує краулерам, які сторінки можна сканувати, але не регулює використання вже отриманого вмісту.

Парсер Google підтримує чотири основні директиви: user-agent, allow, disallow та sitemap. Будь-які непідтримувані або вигадані команди (наприклад, спроби заборонити навчання ШІ за допомогою нестандартного тексту) просто мовчки ігноруються системою, після чого сторінки можуть бути проскановані.

Кого стосуються роз'яснення Google

Ця інформація важлива для:

  • SEO-фахівців та вебмайстрів: які налаштовують доступ роботів до сайту або намагаються заблокувати збір даних для моделей генеративного ШІ;
  • Власників сайтів з міжнародними URL: де використовуються символи нелатинських алфавітів або емодзі в шляхах сторінок.

Що робити вебмайстрам та SEO-фахівцям

Щоб уникнути помилок під час налаштування сканування, дотримуйтесь таких практичних рекомендацій:

  1. Використовуйте точні user-agent: для заборони доступу конкретному боту ШІ прописуйте його офіційний ідентифікатор у директиві User-agent. Спроби створити вигадані правила навчання не спрацюють.
  2. Застосовуйте percent-encoding: у назвах user-agent дозволені лише латинські літери та дефіси. Якщо шлях URL містить емодзі або нелатинські символи, кодуйте їх у percent-encoded формат, щоб запобігти помилкам у краулерів інших пошукових систем.
  3. Перевіряйте синтаксис: некоректний інтервал або помилка в команді призведуть до того, що парсер проігнорує весь рядок. Коментарі з символом # зберігати можна, але самі директиви мають відповідати RFC 9309.
  4. Зважайте на обмеження протоколу: robots.txt не є засобом безпеки й не гарантує, що просканований вміст не буде використано для навчання моделей ШІ після його завантаження.