llms.txt: bots de IA realmente leem esse arquivo?

👁 113 leituras

O site tem um arquivo llms.txt com 230 linhas e 170 links para páginas importantes, gerado automaticamente pelo WordPress. Analisei 13 dias de logs do servidor, de 24 de outubro a 5 de novembro de 2026: 1.832.096 requisições. Nesse período, houve mais de 61 mil requisições identificadas como bots da OpenAI, Anthropic e Perplexity. Quantas vezes algum deles abriu o llms.txt? Nenhuma.

Escrevo sobre isso porque o llms.txt costuma aparecer como primeiro passo para melhorar a presença no ChatGPT. Meus logs mostram outra coisa. Aqui estão os números, o método que usei e os comandos para você fazer a mesma verificação.

O que é llms.txt

É uma proposta de Jeremy Howard, apresentada em 3 de setembro de 2024 e descrita em llmstxt.org. O arquivo fica na raiz do site, no endereço /llms.txt, e é um texto simples em Markdown. O único elemento obrigatório é um cabeçalho H1 com o nome do site. Depois, pode haver uma breve descrição em forma de citação e seções H2 com listas de links para páginas que o modelo de linguagem deveria ler primeiro. A ideia é oferecer um resumo: em vez de vasculhar menus, anúncios e scripts, o modelo recebe um índice fácil de processar.

Meu arquivo começa com um título que identifica o site, inclui uma descrição do site e uma seção “Sobre a fonte”, com autor e método, seguida por grupos de links: ferramentas, status de serviços em tempo real, preços e comparações. Há também um llms-full.txt, versão com o conteúdo completo, que ocupa 7,34 MB e tem 80.795 linhas.

Isso não é um padrão de nenhuma organização. O arquivo não aparece na documentação dos bots da OpenAI, Anthropic ou Perplexity. O Google se pronunciou diretamente sobre o assunto, como explico adiante.

O que os logs mostraram

O servidor registra cada requisição com endereço IP, data, caminho, código de resposta e identificação do navegador, chamada de user agent. Extraí dos arquivos diários todas as visitas a /llms.txt, /llms-full.txt e /robots.txt e, separadamente, contei as requisições dos bots de IA ao site inteiro.

O llms.txt recebeu 95 visitas, e o llms-full.txt, 22. Quem mais baixou o arquivo foi o SEOJuice, ferramenta de auditoria de SEO, com 26 acessos. Em seguida vieram agentwebmap-bot (15), o crawler de conjuntos de dados code-docs-corpus (7), Googlebot (4), algumas ferramentas de auditoria de sites e várias visitas de navegadores comuns, provavelmente de profissionais que queriam ver como o arquivo era.

Nos dados brutos, encontrei também uma visita de cada um destes bots: GPTBot, OAI-SearchBot, ClaudeBot e PerplexityBot, além de outros. Parecia promissor até eu conferir os horários. Todas as visitas vieram do mesmo endereço IP polonês, em um intervalo de 13 segundos, em 30 de outubro, entre 00:03:13 e 00:03:26, cada uma com uma identificação de bot diferente. Foi um teste de acesso que eu mesmo executei enquanto ajustava o gerador do arquivo. O GPTBot verdadeiro não acessa o site por uma conexão residencial na Polônia.

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
(18 identificações, um endereço IP, 13 segundos)

Depois de desconsiderar essa sequência, nenhum bot da OpenAI, Anthropic ou Perplexity baixou o llms.txt. Fiz também a verificação inversa: usei as listas oficiais de endereços IP publicadas pela OpenAI e pela Perplexity para filtrar as visitas ao arquivo. Nenhuma veio desses endereços.

Os bots acessam o site, mas não o llms.txt

Isso não significa que os bots de IA desconheçam meu site. Nos mesmos 13 dias:

* Apenas requisições de faixas oficiais de IP publicadas pela OpenAI e pela Perplexity. Os números de ClaudeBot, Claude-User, GPTBot e Googlebot se baseiam na identificação do bot, sem verificação do endereço IP. Período: 24/10 a 5/11/2026; logs do servidor do site.

O OAI-SearchBot acessou 3.484 URLs diferentes, e o PerplexityBot, 3.774. Os dois encontram páginas no mapa do site e por meio de links, assim como o Googlebot. Para que precisariam de um índice no llms.txt se já leem as páginas originais?

Um detalhe me surpreendeu. Das 19.921 requisições do OAI-SearchBot, apenas 5.259 eram páginas. O restante incluía arquivos CSS, scripts e 7.364 chamadas aos meus próprios contadores de estatísticas, que só são executados no navegador. A conclusão: o robô de busca do ChatGPT renderiza páginas com JavaScript. Se você mede cliques com um script próprio, filtre esse tráfego para evitar inflar as estatísticas.

Quem realmente acessa o site a pedido de um usuário

O ChatGPT-User é o mais interessante. Essa identificação aparece quando alguém faz uma pergunta no ChatGPT e o modelo acessa um site para responder. Em 13 dias, foram 2.219 visitas de endereços da OpenAI a 790 páginas diferentes. No topo da lista, depois da página inicial (388 vezes), estavam: quando serão as eleições (56), calendário de IA (22), preço do ChatGPT na Polônia (18) e a comparação ChatGPT Plus ou Pro (14).

Há um padrão: o chat acessa páginas quando a pergunta envolve algo específico que muda, como datas, preços na moeda polonesa original e comparações de planos. Notei o mesmo nos dados do Bing, que descrevi no artigo sobre como o Copilot cita o site. O modelo não precisa do meu resumo. Precisa de uma página que apresente a informação atual logo no início, com a data da consulta.

Cuidado com bots falsos

O Perplexity-User apareceu nos logs em 540 requisições, mas nenhuma veio de um endereço da Perplexity. Todas buscavam arquivos como /.env, /.env.production ou /config/gcp-credentials.json. São scanners que se passam por bots de IA na esperança de que administradores os deixem entrar sem verificação. Das 2.782 visitas identificadas como ChatGPT-User, 563 também não vieram da OpenAI.

Uma dica prática: não permita acesso só porque o user agent diz “GPTBot”. Confira o endereço IP na lista oficial e, se não for possível, trate a identificação como uma declaração, não como prova.

O que diz o Google

Em seu guia de otimização para buscas com IA, o Google diz que não é preciso criar arquivos de IA ou Markdown para aparecer na busca, inclusive nos recursos generativos, porque o buscador não os utiliza. O llms.txt é mencionado separadamente: você pode mantê-lo, mas isso não vai ajudar nem prejudicar sua visibilidade no Google, que ignora o arquivo. O trecho entrou na documentação em junho de 2026. Um ano antes, Gary Illyes, do Google, já havia dito publicamente a mesma coisa.

Os quatro acessos do Googlebot ao llms.txt não mudam essa conclusão. O Googlebot acessa qualquer URL que encontra em links, então também chegou a esse arquivo.

Minha conclusão: vou manter o arquivo, mas não vou pagar por ele

Não vou remover o llms.txt. Ele é gerado automaticamente, não faz mal e é lido por ferramentas de SEO e alguns crawlers menores. Se a OpenAI ou a Anthropic começarem a usá-lo no futuro, estará pronto.

Mas, se alguém vender a você a “implementação de llms.txt” como forma de conseguir recomendações no ChatGPT, você está pagando demais. Nos meus logs, o arquivo serve para ferramentas de auditoria, não para modelos. Uma hora de trabalho em uma página com preço, data e resposta no primeiro parágrafo tende a valer mais.

Os logs indicam o que realmente funciona:

• Permita o acesso dos bots certos. OAI-SearchBot e PerplexityBot ajudam a garantir presença nos buscadores dos chats. Se você os bloquear no robots.txt ou no firewall da hospedagem, seu site deixa de aparecer nos índices deles. Permitir ou não o GPTBot, usado para treinamento, é uma decisão separada.
• Tenha um site rápido e sem bloqueios. O ChatGPT-User acessa a página sob demanda, durante a conversa. Se o site demora a responder ou exibe uma tela de verificação para saber se o visitante é humano, a página simplesmente não será incluída na resposta.
• Publique informações específicas que mudam. As páginas mais acessadas pelo chat respondiam a perguntas sobre datas, preços ou diferenças entre planos. O modelo não tem essas informações na memória e precisa buscá-las.
• Meça em vez de adivinhar. Os logs do servidor são gratuitos e mostram quais páginas os bots acessam, tanto por iniciativa própria quanto a pedido dos usuários.

Como verificar no seu site

Você precisa dos logs brutos de acesso da hospedagem. Geralmente eles ficam em uma pasta chamada logs no painel ou podem ser baixados como arquivos compactados. Estas três linhas de comando são um bom começo:

# 1. quem baixa o llms.txt (endereço, data, identificação)
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. quantas requisições os bots de IA fazem ao site inteiro
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. quais páginas o ChatGPT acessa a pedido dos usuários
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Por fim, compare os endereços IP com as listas da OpenAI - os arquivos chatgpt-user.json, searchbot.json e gptbot.json no site openai.com - e da Perplexity. Sem essa etapa, você também contará scanners, como aconteceu na minha primeira análise.

Essa medição é a primeira etapa do meu curso GEO: como fazer sua empresa ser recomendada pelo ChatGPT. São 29 aulas: do conjunto de perguntas feitas por clientes de um setor à verificação de acesso dos bots de IA ao site e à elaboração de um relatório para o cliente. O curso também está no pacote kombAIn, junto com outros 27 cursos do laboratório de inteligência artificial. Você encontra uma visão geral dos outros cursos na lista de cursos de IA. Explico o conceito no glossário: GEO.

Fontes e data da verificação

Logs e arquivos verificados em 6/11/2026.

• Logs de acesso do servidor, de 24/10 a 5/11/2026 (1.832.096 requisições); análise própria
• llmstxt.org - proposta do llms.txt, Jeremy Howard, 3/9/2024
• Google Search Central - guia de otimização para buscas com IA (trecho sobre llms.txt)
• OpenAI - informações sobre OAI-SearchBot, GPTBot e ChatGPT-User, além das listas de endereços IP
• Perplexity - informações sobre PerplexityBot e Perplexity-User
• Anthropic - bots ClaudeBot, Claude-User e Claude-SearchBot
• Search Engine Roundtable, 24/7/2025 - Gary Illyes: o Google não oferece suporte ao llms.txt

// continue lendoNão una arquivos CSS: medi o impacto no desempenhoBenchmarksDetectores de IA: como funcionam, precisão e o que fazer com a notaGeralUpscaler de IA: como melhorar a qualidade de fotosGeral