Crawlers de IA (GPTBot e outros)
Bots de empresas de IA que coletam conteúdo dos sites - para treinamento ou para responder em tempo real.
Crawlers de IA são bots usados por empresas de IA para coletar conteúdo da internet: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot e outros. Alguns coletam dados para treinar modelos; outros acessam páginas em tempo real para responder a perguntas específicas dos usuários - são funções diferentes, com consequências distintas para quem publica conteúdo. Quem publica pode gerenciar o acesso no arquivo robots.txt, bloqueando ou permitindo cada bot. Essa decisão já faz parte da estratégia: o bloqueio protege o conteúdo contra o uso em treinamento, mas também pode tirar o site das respostas de IA - um canal usado por cada vez mais pessoas para buscar informações.