ВОЙНЫ ИИ-ПОИСКОВЫХ РОБОТОВ СОЗДАЮТ СКРЫТОЕ КОНКУРЕНТНОЕ ПРЕИМУЩЕСТВО ДЛЯ НАТИВНЫХ РЕКЛАМОДАТЕЛЕЙ

На протяжении трех десятилетий протокол robots.txt базировался на одном-единственном щедром предположении: любой бот может быть допущен, если издатель прямо не запрещает этого. Это положение, установленное в 1994 году в виде неформального джентльменского соглашения между первыми веб-роботами, тихо регулировало отношения между создателями контента и автоматизированными агентами в течение всей истории коммерческого интернета. Теперь же, всего за несколько месяцев, некоторые из самых известных новостных медиа полностью изменили это предположение — и цифры, лежащие в основе их решения, показывают, почему возврата уже не будет.

Reuters и Time перешли на конфигурации по умолчанию с запретом в мае 2026 года, присоединившись к People Inc. и The Atlantic, которые ранее в течение года внедрили аналогичные настройки со списками разрешений. Вместо поддержания постоянно растущего списка блокировок известных нарушителей, эти издания теперь по умолчанию блокируют всё и разрешают доступ только тем краулерам, которые прошли одобрение. Логика проста, но разрушительна для старой модели: вы не можете заблокировать бота, о котором никогда не слышали.

Масштаб проблемы ощущается остро. Когда People Inc. перешла со списка блокировок на список разрешений, количество заблокированных user agent'ов резко возросло с примерно 2100 до более чем 30 000 — цифру, которую вице-президент по инновациям Линдсей Ван Кирк озвучила на мероприятии IAB Tech Lab в конце мая. Это означает, что десятки тысяч краулеров беспрепятственно проникали, потребляли ресурсы серверов и собирали контент без разрешения только потому, что никто не удосужился вручную внести каждого из них в список блокировок. Теперь People Inc. предоставляет доступ всего 38 утверждённым краулерам, блокируя миллионы ежедневных несанкционированных попыток скрапинга.

Соблюдение — или его отсутствие — сделало этот переход неизбежным. Согласно отчёту Tollbit, на который ссылается Search Engine Journal, 30% всех сборов данных ботами ИИ не соответствовали явным разрешениям в файле robots.txt. Когда почти треть автоматизированного трафика просто игнорирует правила, система, основанная на добровольном соблюдении, перестаёт работать как система вообще. Издатели обнаружили, что участвуют в асимметричной игре: тщательно обновляют текстовые файлы, которые значительная часть ботов даже не удосуживается прочитать.

Институциональная реакция отрасли подтверждает, что это не временный конфликт. IAB Tech Lab выпустил новые рекомендации по стратегиям управления ботами и краулерами, открыв документ для публичных комментариев до конца июня 2026 года. В руководстве признаётся, что тотальное блокирование ботов больше нецелесообразно, и вместо этого описываются различные подходы с учётом операционных, финансовых и стратегических компромиссов. Оно дополняет недавно выпущенный IAB Tech Lab API CoMP V1 — платформу, предназначенную для стандартизации взаимодействия и разрешений между системами ИИ и издателями, по сути создавая инфраструктуру для веба с разрешениями.

Между тем растет коллективное влияние. Коалиция SPUR, которая разрабатывает общие стандарты лицензирования и использования контента, расширилась до 36 организаций-членов, добавив 30 новых издателей за один месяц. Как отметил Search Engine Journal, сайту, блокирующему ИИ-боты, легко можно не обращать внимания — но координирующая общую позицию группа из 36 издателей представляет совершенно иные условия для переговоров.

Глава профессиональных продуктов агентства Reuters Джош Лондон сообщил Digiday, что теперь издание одобряет бот только в случае, если он предлагает "справедливый обмен" по четырём направлениям: лицензионные платежи, реферальный трафик, функциональность сайта или поддержка монетизации. Действующий файл robots.txt агентства Reuters точно отражает данный расчёт: именованные боты от Amazon, Google, Bing, Yahoo и OpenAI пропускаются, а всё остальное наталкивается на стену. Другими словами, свободно сканируемая информационная сеть заменяется чем-то, что гораздо больше похоже на закрытый рынок, — и шлагбаумы опускаются быстрее, чем большинство рекламодателей понимают.

Цифры, лежащие в основе экосистемы AI-роботов, впечатляют, и они объясняют, почему издатели в панике. Согласно данным, проанализированным Search Engine Journal, агент пользователя ChatGPT теперь отвечает более чем за 96% всего трафика ботов ИИ, обращаясь к сайтам в режиме реального времени от имени пользователей, задающих вопросы, сравнивающих продукты и принимающих решения о покупке. Однако доминирование OpenAI — лишь часть картины. GPTBot составляет примерно 55% объёма краулинга для обучения ИИ, в то время как OAI-SearchBot обрабатывает около 47% активности краулинга поиска ИИ, что означает, что OpenAI одновременно является крупнейшим игроком во всех слоях — обучении, поиске и взаимодействии с пользователями. И у неё достаточно компании.

Кривые роста других краулеров вызывают не меньшее беспокойство. Рост краулера ClaudeBot, принадлежащего компании Anthropic, составил 800% только в период с ноября по декабрь 2025 года. Краулер ByteSpider, используемый для создания продуктов ИИ от ByteDance, вырос на 138% за тот же период наблюдения. Краулер NotebookLM от Google вырос на 144%, поскольку исследователи и сотрудники в сфере знаний использовали его для получения актуального контента, а обращения пользователей Gemini продолжают на этом фоне быстро расти. Пожалуй, наиболее игнорируемым из всех остаётся Applebot, который отвечает примерно за 30% поискового трафика ИИ, причём большинство команд по поиску и маркетингу даже не отслеживают его.

Это не постепенная эволюция. Активность агентов ИИ растёт на 150% в месяц, на долю агентов ИИ сейчас приходится 15% всего трафика на веб-сайты, и по прогнозам, к концу 2026 года активность агентов превысит поиск, инициированный людьми. Ситуация с краулерами стала настолько хаотичной, что поддержание актуального чёрного списка фактически невозможно. Когда компания People Inc. перешла от чёрного списка к подходу с белым списком, количество блокируемых user agents возросло с примерно 2 100 до более чем 30 000. Именно этот разрыв — между тем, что, по мнению издателей, они контролируют, и тем, с чем они действительно сталкиваются — и вызывает распространение реакции «запрещать по умолчанию».

На этом фоне появляется Microsoft с совершенно иным сообщением. Выступая на мероприятии AdExchanger по программатике и искусственному интеллекту, вице-президент Microsoft по продуктам для издателей Нихил Коляр призвал издателей и ритейлеров открыть свои сайты для индексации ИИ вместо того, чтобы противостоять этому процессу. Его аргумент был прямым: поскольку четыре из пяти веб-сайтов в настоящее время блокируют ботов ИИ, контент и товары этих издателей «непонятны агентам», что означает «ваш бизнес закрыт», «вы не получите ни открытий, ни рекомендаций, в которых участвуете, ни спроса». Microsoft также указала на свою Платформу контента издателей как на добросовестный механизм заключения лицензионных соглашений, отметив различие между использованием данных издателей для «обучения» и для «обоснования» моделей ИИ.

У обеих сторон есть обоснованные позиции, и именно это делает это напряжение столь продуктивным для рекламодателей, использующих встроенную рекламу, которые понимают его последствия. У издателей есть основания утверждать, что чрезмерное распространение и непредсказуемость краулеров делают бесконтрольную открытость невозможной — обучение ИИ не следует линейному графику, а анализ логов после завершения процессов больше не достаточно. Microsoft права в том, что полная блокировка краулеров исключает издателей из совершенно нового слоя открытий. Но вот ключевой вывод, о котором недостаточно говорят обе стороны: каждая стена, возведённая вокруг контента премиальных издателей, ухудшает качество и полноту универсальных инструментов ИИ, от которых маркетологи, аналитики и руководители зависят при сборе конкурентной разведки. Когда ChatGPT, Gemini или Perplexity больше не могут сканировать Reuters, Time или The Atlantic, сформированные ими ответы становятся менее авторитетными, менее актуальными и менее полными. Фрагментация — это не только проблема издателей или платформ. Она создаёт слепые зоны в тех самых инструментах, которые сегодня большинство маркетинговых команд считают всеведущими.

Вот структурная реальность, которую упускают большинство маркетинговых команд: блокировка издателей направлена на краулеры редакционного контента, а не на инфраструктуру показа рекламы. Это два принципиально разных архитектурных уровня интернета, и стена, возведенная вокруг одного, практически не влияет на другой.

Когда агентство Reuters обновляет свой файл robots.txt, чтобы внести в белый список только одобренные парсеры, или когда компания People Inc. ежедневно блокирует от 30 000 до 35 000 различных парсеров, они защищают свой редакционный контент — статьи, расследования и оригинальную журналистику, представляющие их основную интеллектуальную собственность. Но нативная реклама не существует на этом уровне. Креативы нативной рекламы, размещения спонсируемого контента и программная рекламная инвентаризация проходят через платформы сторон спроса, рекламные сети и специализированные системы распространения, функционирующие на совершенно отдельной инфраструктуре. Эти системы не зависят от индексации открытого веба для своей работы. Они никогда не зависели.

Рассмотрим, как нативная реклама на самом деле доходит до потребителя. Бренд создает рекламный блок. Этот блок попадает в программную экосистему — платформа стороннего спроса делает ставку на инвентарь, рекламный сервер доставляет креатив, срабатывают пиксели отслеживания, и весь жизненный цикл фиксируется в собственных базах данных, поддерживаемых рекламной сетью. Ни одна из этих активностей не регулируется файлом robots.txt. Ничего из этого нет в редакционной CMS, которую публикаторы укрепляют. Сам креатив, параметры таргетинга, данные об эффективности и история размещения существуют в параллельной экосистеме данных, которую платформы конкурентной разведки могут напрямую отслеживать через библиотеки рекламы, API уровня сети и собственную инфраструктуру краулинга, которая взаимодействует с рекламными биржами, а не с редакционными страницами.

Эта параллельная экосистема огромна и быстро растет. Как сообщалось в MarTech, в этом году американские компании потратят 57 миллиардов долларов на рекламу с использованием ИИ, что составит около 12% от общего объема рекламных расходов. Эти инвестиции направляются в системы, предназначенные для непрерывной оптимизации креативов, автономной закупки медийной рекламы и диалогового поиска, которые генерируют богатые конкурентные данные, поступающие по каналам, на которые блокировка со стороны издателей не оказывает никакого влияния. Специально созданные инструменты для шпионажа за рекламой, отслеживающие эти сети, продолжат собирать варианты креативов, отслеживать стратегии размещения и сопоставлять показатели эффективности, в то время как универсальные инструменты ИИ теряют видимость редакционного контента, окружающего эти размещения.

Ирония в том, что вице-президент Microsoft по продуктам для издателей призвал издателей не блокировать ИИ-ботов, предупредив, что в противном случае "ваш бизнес закрыт" и "вы не получаете охвата, рекомендаций и не участвуете в создании спроса". Но даже при том, что, по данным Microsoft, уже четыре из пяти веб-сайтов блокируют ИИ-краулеры, рекламная инфраструктура, на которую полагаются эти издатели для получения дохода, по-прежнему открыта по своей сути. Издатели не могут закрыть свои системы показа рекламы, не разрушив при этом одновременно собственную монетизацию — биржи рекламы, серверные платформы для продавцов и обертки для заголовочного аукциона требуют открытого программного доступа для функционирования.

Это создает асимметрию, которой могут воспользоваться рекламодатели с нативной рекламой. Редакционный слой становится недоступным для ИИ, но рекламный слой остается полностью открытым. Платформы конкурентной разведки, которые напрямую подключаются к рекламным сетям, сканируют библиотеку рекламы Meta, отслеживают центр прозрачности рекламы Google и контролируют программатик-размещения через собственную инфраструктуру, сохранят — а с точки зрения относительных показателей даже усилит — свое преимущество в видимости. Бренды, запускающие нативные кампании через такие системы, не теряют данные; они действуют в той части открытого веба, к которой «войны краулеров» не могут добраться. В то время как конкуренты, полагающиеся на обобщение редакционного контента с помощью универсального ИИ, оказываются все более слепыми, рекламодатели, работающие в рамках программатик-экосистемы, сохраняют всестороннюю видимость того, что работает, на что идут расходы и где появляются новые возможности.

Спросите у ChatGPT, какие нативные объявления размещает ваш конкурент на крупном новостном издании, и вы получите что-то, похожее на ответ. В нем может упоминаться кампания шестимесячной давности, сделаны выводы из блога, в котором бренд был упомянут мимоходом, или просто выдумано правдоподобное размещение в СМИ, которого никогда не существовало. Ответ придет с одинаковым уверенным тоном, независимо от того, является ли он точным, устаревшим или полностью вымышленным. И основа этого ответа разрушается быстрее, чем осознают большинство маркетологов.

Причина кроется в структуре. Поскольку Reuters и Time теперь блокируют AI-ботов по умолчанию — разрешая доступ только утверждённым краулерам через строгие белые списки — универсальные ИИ-системы, такие как ChatGPT и Perplexity, теряют доступ к тем средам издателей, где существует нативная реклама. Компания People Inc. обнаружила, что переход с чёрного списка на белый увеличил количество блокируемых user agent с приблизительно 2100 до более чем 30 000. Это не просто незначительное сокращение доступа к сканированию; это практически полное ограничение доступа для всех неодобренных ботов. Когда базовые данные для обучения и извлечения устаревают или полностью исчезают, любой запрос конкурентной разведки, который вы выполняете через инструмент общего назначения на базе ИИ, становится менее надёжным — несмотря на то, что интерфейс создаёт ощущение большей авторитетности.

Reuters применяет то, что её руководитель Reuters Professional назвал «тестом справедливого обмена ценностью» к каждому краулеру, который оценивает: платит ли этот бот за контент по лицензии, возвращает ли трафик, поддерживает ли сайт в рабочем состоянии или способствует монетизации? Универсальные ИИ-краулеры, извлекающие редакционный контент для генерации ответов в чатах, обычно не соответствуют ни одному из этих четырёх критериев. Однако специализированные платформы рекламной аналитики работают на принципиально иных условиях. Они либо подключаются напрямую к API рекламных сетей в рамках партнёрских соглашений, либо поддерживают согласованные отношения с краулерами издателей, либо отслеживают публично размещённые рекламные объявления — то самое рекламное пространство, которое издатели хотят, чтобы было видимо, потому что видимость — это и есть главная цель размещения рекламы.

Это различие имеет огромное значение. Новые рекомендации IAB Tech Lab по управлению ботами и сканерами прямо указывают, что тотальное блокирование ботов больше нецелесообразно, поскольку AI-системы глубоко интегрированы в экосистему веба. Вместо этого предлагается система разрешений через API CoMP, разработанная для поддержки структурированной коммуникации между AI-системами и издателями в отношении условий доступа. Специализированные платформы для анализа рекламы — это как раз тот тип инструментов, которые созданы для работы в рамках таких разрешительных структур: они имеют четкие коммерческие отношения, определенные сценарии использования и не извлекают редакционный контент без компенсации.

Разрыв, который образуется, в реальном времени продолжает расширяться. Каждый издатель, переходящий к политике запрета по умолчанию, ухудшает данные, доступные универсальным инструментам ИИ, в то время как специализированные платформы в значительной степени остаются не затронутыми. Специализированный инструмент конкурентного анализа, получающий данные через API Taboola или Outbrain, индексирующий креативы, показываемые через программную нативную рекламу, или ведущий подобранную базу данных активных кампаний, продолжит видеть полную картину. ChatGPT увидит лишь то, что успел собрать до того, как дверь закрылась.

Маркетологи, привыкшие задавать чатботу вопросы о конкурентной среде, строят свою стратегию на всё более ненадёжной основе. Удобство на лицо, но качество данных стремительно ухудшается. В это же время команды, инвестирующие в специализированные платформы для анализа рекламы, незаметно наращивают преимущество, которое возрастает с каждым обновлением файла robots.txt, поскольку чем больше издателей ограничивают доступ, тем шире становится информационный ров вокруг платформ, созданных для работы в рамках правил, а не в обход им.

Цифры вскрывают рынок, бредущий во сне к структурному недостатку. Когда 81% организаций всё ещё относят ИИ-агентов к той же категории, что и устаревших ботов, применяя правила доступа, созданные для совершенно иной эпохи веба, они говорят вам кое-что важное: большинство брендов не задумывались о том, что произойдёт в дальнейшем, когда цепочка поставки информации, на которую они привыкли полагаться, начнёт поставлять неполную, устаревшую или прямо сфабрикованную информацию. А когда 77% брендов, у которых вообще есть политика в отношении агентов, ограничивают лишь краулеры для обучения — шаг, характерный для издателей, а не для брендов, — разрыв между теми, кто понимает новую реальность, и теми, кто не понимает, превращается в настоящее конкурентное преимущество.

Этот ров создан не одной отдельно взятой технологией. Он создан благодаря комбинации специализированных инструментов анализа рекламы, прямого доступа к данным и аналитиков-людей, которые могут обобщать то, что не могут автоматизированные системы. Учтите, что находится на кону: ведущие рекламодатели уже внедряют циклы непрерывной оптимизации креативов, в которых ИИ оценивает сигналы вовлеченности и автоматически изменяет сообщения для улучшения результатов. Эти циклы зависят от двух входов — данных о производительности первой стороны и конкурентного контекста. Первый вход в значительной степени зависит от самого бренда. Второй — это там, где войны краулеров создают несимметрию, которую большинство маркетологов пока не осознали.

Скорость итераций креативов — тестирование сотен вариаций, реакция на действия конкурентов, использование культурных моментов — настолько хороша, насколько хорошим является качество поступающего конкурентного сигнала. Если ваш цикл оптимизации основан на универсальной модели ИИ, которая индексировала native-рекламные объявления конкурентов несколько месяцев назад или выдумывает детали кампании, поскольку никогда не имела доступа к системе показа рекламы, ваша «непрерывная оптимизация» работает с призраком. Вы боксируете тень, в то время как ваш конкурент в реальном времени изучает ваши реальные удары через библиотеки объявлений, инструменты мониторинга на уровне сети и прямой API-доступ к данным о размещении, которые никогда не подпадали под ограничения robots.txt.

Именно здесь гибридный подход — специализированные инструменты плюс ручная модерация — становится решающим. Независимые от краулеров информационные каналы получают данные из источников, недоступных для универсальных моделей: рекламные библиотеки издателей, данные программной подачи ставок, инструменты прозрачности рекламы в социальных сетях и проприетарные сети мониторинга, которые отслеживают показы рекламы на уровне отображения, а не содержимого. Затем специалисты-аналитики интерпретируют эти необработанные данные, выявляя закономерности в позиционировании конкурентов, сдвигах расходов и креативной стратегии, которые ни одна автоматизированная система не в состоянии надежно интерпретировать самостоятельно. Как задокументировано в AdExchanger, отраслевые эксперты в целом согласны с тем, что ИИ наилучшим образом работает в качестве помощника, и что людям нужно не просто присутствовать в процессе, а возглавлять его.

Бренды, которые создают такую инфраструктуру сегодня, делают это не потому, что это модно. Они делают это, потому что фрагментация открытого интернета превращает универсальный ИИ в постоянно менее надежного рассказчика о конкурентной действительности. Каждый издатель, ограничивающий доступ краулеров, каждая платформа, ограничивающая обмен данными, каждый новый ИИ-агент, которого обрабатывают как десятилетнего бота, а не представителя потребителя — каждое из этих событий ухудшает представление универсальных моделей о рекламной среде, в то время как специализированные, независимые от краулеров каналы остаются совершенно нетронутыми.

Таким образом, ров представляет собой простую, но труднодостижимую цель: инвестируйте в источники данных, которые не зависят от открытого индексируемого веба, дополните их аналитиками-людьми, способными извлекать стратегические выводы из первичных данных о размещении, и встраивайте полученные сведения непосредственно в свои циклы оптимизации креативов. Бренды, которые сделают это, будут действовать с более точной и полной картиной активности конкурентов по сравнению с теми, кто ждёт, что ChatGPT суммирует то, что он уже не может увидеть.