С 15 сентября 2026 года Cloudflare изменил правила по умолчанию: боты, которые собирают контент для обучения нейросетей, теперь блокируются автоматически на страницах с рекламой. Звучит полезно, но под блок попадают и обычные поисковые краулеры. Разбираемся, что случилось и как проверить свой сайт за полчаса.
Что изменилось
Cloudflare разделил всех ИИ-ботов на три категории и дал владельцам сайтов отдельные переключатели для каждой:
- Search — краулеры, которые индексируют страницы, чтобы позже отвечать на вопросы со ссылкой на источник. Классические поисковики и ответные движки.
- Agent — агенты, которые читают страницу в реальном времени по запросу человека: чат-боты, браузерные агенты.
- Training — боты, которые забирают контент для обучения моделей. Сюда же относятся смешанные краулеры, которые работают и на поиск, и на обучение.
До сентября блокировка была опцией. С 15 сентября на страницах с рекламой Training и Agent блокируются по умолчанию, Search остаётся разрешённым.
Почему это опасно для обычного сайта
Главный риск в том, как Cloudflare обрабатывает смешанные краулеры. Googlebot, Applebot и Bingbot работают на несколько целей сразу: они и индексируют для поиска, и собирают данные для своих ИИ-систем. По правилам Cloudflare такой бот попадает под самое строгое ограничение из применённых.
Сценарий: сайт на бесплатном тарифе Cloudflare, реклама включена, владелец ничего не настраивал. С 15 сентября Googlebot начинает получать блок на рекламных страницах. Внешне ничего не ломается: сайт открывается, заказы идут. Но Google перестаёт видеть обновления каталога.
Один из разработчиков, с которым мы обсуждали эту тему, зафиксировал у своего клиента потерю 22% трафика за пять дней после 15 сентября. Поисковик просто перестал находить новые товары.
Показательный факт от самого Cloudflare: на один переход с Google приходится около 14 обращений краулера, у OpenAI этот показатель 1 700, у Anthropic 73 000. Идея понятна: обучающие боты читают сайт в тысячи раз чаще, чем приводят посетителей. Но механика дефолтной блокировки задела и поисковые системы.
Как проверить свои настройки
Проверка занимает около получаса. Идём по шагам.
Шаг 1. Откройте панель Cloudflare, раздел Security Settings, пункт Configure AI bot policies. В нём три переключателя: Search, Agent, Training. У каждого три состояния: блок на всех страницах, блок только на страницах с рекламой, разрешить.
Шаг 2. Проверьте, кто у вас в блоке. Если сайт на бесплатном тарифе и создан после 15 сентября, Training и Agent скорее всего заблокированы на рекламных страницах. Это дефолт, который вы не включали.
Шаг 3. Решите, что блокировать. Для коммерческого сайта безопасный вариант: Training блокировать, Search разрешить, Agent на своё усмотрение. Агенты не приводят трафик напрямую, но пользователи могут спрашивать про вашу компанию через чаты, и полная блокировка тут сомнительна.
Шаг 4. Проверьте логи. Блок Cloudflare работает на сетевом уровне, запрос не доходит до сервера. В robots.txt блокировка не отражается: файл может разрешать Googlebot, а на деле краулер получает отказ выше. Единственное место, где это видно, это логи Cloudflare. Сравните количество обращений Googlebot до и после 15 сентября: резкое падение на рекламных страницах и есть тот самый блок.
Что это значит для бизнеса
Если коротко: делать ничего не значит теперь иметь блокировку. Раньше бездействие оставляло сайт открытым, теперь для части сайтов бездействие закрывает его от поисковых краулеров.
Потеря трафика из Google проявляется не сразу: страницы продолжают ранжироваться по старым данным, пока поисковик не попытается переиндексировать каталог. Пять дней, неделя, две недели. Поэтому проверять стоит сейчас, не дожидаясь падения позиций.
Мы проверяем настройки Cloudflare всем клиентам, чьи сайты стоят за этим CDN. Если ваш сайт на Cloudflare и вы не уверены, что политики настроены правильно, напишите нам, поможем разобраться.
Комментарии