Cloudflare’s new policy pushes AI companies to pay for publishers’ content
A Cloudflare acaba de estabelecer um novo prazo para o setor de IA, a fim de separar os rastreadores da web utilizados para fins de pesquisa tradicionais, como o Google Search, daqueles utilizados para agentes de IA e treinamento. A partir de 15 de setembro de 2026, as configurações padrão da Cloudflare bloquearão rastreadores de “uso misto” em qualquer página que hospede anúncios, anunciou a empresa na quarta-feira.
Isso significa que os rastreadores que combinam pesquisa, uso de agentes e treinamento serão impedidos de rastrear esses sites por padrão, a menos que o proprietário do site ajuste as configurações de outra forma. Essas alterações nas configurações padrão se aplicarão a novos clientes da Cloudflare, a novos sites criados por clientes existentes e a todos os clientes gratuitos atuais, afirma a empresa.
A medida pode afetar a forma como os provedores de modelos de IA conseguem acessar conteúdo da web para fins de treinamento e para ajudar a alimentar seus serviços de agentes.
A Cloudflare destaca que a maioria dos proprietários de sites deseja que seu conteúdo seja encontrável por meio de buscas e, muitas vezes, também por meio de serviços de IA, mas querem proteção contra a divulgação gratuita de sua propriedade intelectual.
A Cloudflare destaca especificamente o “maior mecanismo de busca do mundo” (claramente uma referência ao Google!) como tendo acesso a cerca de “duas vezes mais informações” do que outras empresas de IA, pois o gigante das buscas dificulta que os clientes permaneçam localizáveis sem que seu conteúdo seja utilizado para IA.
O Google já contestou essa generalização no passado, observando que oferece um bot chamado Google Extended, que permite aos proprietários de sites optar por não ter seu conteúdo utilizado para treinamento e produtos e serviços de IA, como o Gemini Apps e a Vertex API. Seu uso não afeta a inclusão de um site na Pesquisa do Google. No entanto, o Googlebot, carro-chefe da gigante da tecnologia, rastreia para a Pesquisa, incluindo recursos de IA como o AI Overviews e o AI Mode.
“Agora que a maior parte do tráfego na Internet é não humano, precisamos ir além e agir mais rapidamente para que um ecossistema sustentável possa surgir”, disse o cofundador e CEO da Cloudflare, Matthew Prince, ao anunciar a notícia, referindo-se ao recente marco em que os bots ultrapassaram o tráfego humano online pela primeira vez. Não se esperava que essa mudança ocorresse antes do próximo ano.
“As novas ferramentas e parcerias da Cloudflare proporcionam aos proprietários de sites maior visibilidade e oportunidades comerciais, além de beneficiar empresas de IA que possuem bots com intenções claras e transparentes. Esperamos que as alterações padrão que propomos incentivem os rastreadores de uso misto a separar a pesquisa do uso de agentes e do treinamento”, disse Prince.
Embora a Cloudflare ofereça diversos produtos para ajudar os usuários a lançarem seus próprios sistemas de IA, a empresa também lançou uma série de ferramentas para dar aos editores mais controle sobre seu conteúdo na era da IA. Nos últimos anos, a Cloudflare lançou ferramentas para combater bots de IA, incluindo um marketplace que permite que sites cobrem dos bots de IA pelo scraping, chamado Pay Per Crawl.
Este último agora também está evoluindo para o “Pay Per Use”, informou a empresa, o que permitirá que os editores cobrem das empresas de IA quando seu conteúdo gerar valor, e não apenas quando for acessado.
A mudança também pode ajudar a economizar largura de banda e recursos computacionais dos editores para os provedores de modelos de IA, já que os dados da Cloudflare sugeriram que mais de 50% do tráfego de rastreamento proveniente de rastreadores de IA é gasto na recuperação repetida de páginas inalteradas.
Para colocar isso em prática, a Cloudflare está inicialmente trabalhando com dois parceiros: a Ceramic.ai e a You.com. Quando um editor adere ao programa, ele é remunerado quando seu conteúdo aparece nos resultados de busca da IA da Ceramic ou quando a You.com acessa uma parte de seu conteúdo premium.
Outras empresas de IA podem adaptar esse modelo à sua forma de atuação, afirma a Cloudflare.
