Эра примитивных файрволов, работающих по принципу «включено-выключено», официально завершена. Cloudflare отправила на свалку истории единую кнопку блокировки ИИ-краулеров, заменив ее системой гранулярного контроля. Теперь трафик жестко сегментируется на три типа: поисковая индексация, обучение моделей и действия автономных агентов. Это не просто косметическое обновление интерфейса, а тектонический сдвиг в архитектуре сети. Мэттью Принц, глава Cloudflare, фактически бросает вызов бигтеху, который годами навязывал владельцам сайтов кабальные условия: либо вы разрешаете нам выкачивать контент для обучения нейросетей, либо исчезаете из поисковой выдачи. По данным Cloudflare, в июне 2026 года боты впервые в истории обошли людей по объему трафика — этот «рубикон» Мэттью Принц ожидал увидеть как минимум на полтора года позже.
Развод поиска и обучения
Новая структура разделяет ботов на три категории: Search (поиск), Training (обучение) и Agent (агенты). Раньше тот же Googlebot был «швейцарским ножом»: он и индексировал страницы для поиска, и одновременно пополнял датасеты для обучения ИИ. Cloudflare дает владельцам ресурсов инструмент, чтобы прекратить этот паразитизм. Если бот пытается усидеть на двух стульях, система применит к нему самые жесткие правила из установленных владельцем сайта. Это ставит техногигантов перед неприятным выбором: либо инвестировать в разделение своих краулеров по функционалу, либо столкнуться с полной блокировкой на площадках, которые дорожат своей интеллектуальной собственностью, но хотят оставаться в поиске. На наш взгляд, это первый реальный рычаг давления на компании, привыкшие считать чужой контент бесплатным сырьем.
Экономика рекламного веба: последняя линия обороны
С 15 сентября 2026 года Cloudflare меняет правила игры для рекламных площадок. На сайтах с объявлениями боты категорий Training и Agent будут блокироваться по умолчанию. Логика здесь цинично прозрачна: реклама нацелена на живых людей. ИИ-краулеры не кликают по баннерам и не приносят ROI, они лишь потребляют ресурсы серверов и воруют смыслы. Таким образом создается защищенный периметр для «человеческого» интернета. Для корпоративного сегмента запускается BotBase — прозрачная база данных, позволяющая понять, дает ли конкретный бот ссылку на источник или просто пережевывает и воспроизводит контент целиком. Это превращает данные из публичного достояния в актив, которым можно и нужно торговать выборочно.
В июне 2026 года Мэттью Принц констатировал, что боты окончательно захватили интернет, превысив объем человеческого трафика — событие, которое он прогнозировал лишь на конец 2027-го.
Взрывной рост автоматизации заставил пересмотреть понятие «верифицированного» бота. Если раньше этот статус был универсальным пропуском, то теперь даже «белые» боты обязаны доказывать свою честность в рамках каждой отдельной категории. Бремя доказательства полезности перекладывается на плечи разработчиков ИИ. Им придется обосновывать свое присутствие на каждом конкретном ресурсе, а не заходить с ноги через общий черный ход.
Если стандартным состоянием коммерческого веба станет тотальный запрет на бесплатное обучение, техногигантам придется раскупорить свои кубышки. Эпоха бесконтрольного сбора данных подходит к концу, уступая место рынку, где за каждый байт для обучения ИИ придется платить звонкой монетой или гарантированным трафиком.