Експертні статті про SEOКонтактиRSShello@linksgauge.com

SEO

Google підтримає спільний стандарт Robots.txt для керування навчанням ШІ

Редакція LinksGauge2 хв читання

Спільний токен для керування навчанням штучного інтелекту у файлі robots.txt

Головне за 30 секунд

  • Google планує підтримати новий спільний параметр у файлі robots.txt для контролю навчання ШІ у 2027 році.
  • Вебмайстри зможуть використовувати єдиний токен політики замість налаштування окремих правил для кожного розробника ШІ.
  • Існуючий параметр Google-Extended продовжуватиме функціонувати та матиме пріоритет у разі точного вказування.
  • Ініціатива базується на розробках робочої групи AIPREF у рамках Інженерної ради інтернету (IETF).
Зміст

Єдиний токен політики для всіх розробників штучного інтелекту

Компанія Google повідомила про плани підтримати спільний механізм контролю навчання штучного інтелекту у файлі robots.txt. Новий підхід базується на напрацюваннях робочої групи AIPREF у межах Інженерної ради інтернету (IETF).

Замість того, щоб прописувати окремі директиви для кожного розробника ШІ, власники сайтів зможуть застосовувати єдиний «токен політики» (policy token). Це дозволить в один крок висловити свої уподобання щодо використання контенту одразу для кількох систем штучного інтелекту.

Як новий механізм взаємодіятиме з Google-Extended

Якщо вебсайт використовує спільний токен заборони навчання у своєму robots.txt, і при цьому в ньому не вказано окремих правил для Google-Extended, Google сприйматиме це як заборону для Google-Extended. Інші постачальники моделей ШІ зможуть обробляти цей сигнал аналогічно.

Водночас існуючі корпоративні елементи управління продовжать працювати. Власники сайтів матимуть змогу комбінувати загальні індустріальні сигнали з точними налаштуваннями для конкретних компаній. Сайти, які окремо дозволяють Google-Extended, залишаться доступними для відображення у відповідях і отримання переходів через заземлення в додатках Gemini.

Стандартизація та терміни впровадження

Пропозиція розроблена з урахуванням відгуків видавців, громадських організацій та регуляторів, а також узгоджується з Кодексом практики ЄС для постачальників моделей ШІ загального призначення в межах EU AI Act, де robots.txt визнано основним машинозчитуваним способом вираження схильностей видавців.

Google планує впровадити підтримку нового контролю разом із іншими розробниками ШІ у 2027 році та обіцяє інформувати про подальший прогрес стандартизації через IETF.