Quem coleta conteúdo do seu site
Robôs de IA percorrem seu site e coletam textos para treinamento ou para citar em respostas. São coisas diferentes, e você pode controlá-las separadamente. Escolha quem pode acessar seu site para que eu gere regras para robots.txt e llms.txt, um bloqueio rigoroso para o servidor e verifique como seu domínio está configurado agora.
Veja o que seu domínio permite hoje
Busco no domínio informado apenas os arquivos robots.txt e llms.txt, ou seja, dois arquivos que já são públicos, e verifico como cada robô da lista abaixo se comporta neles. Esta é a única ferramenta deste conjunto que acessa a rede. Limite: vinte verificações por hora.
Kogo wpuszczasz
Coletar conteúdo para treinar um modelo e citá-lo na resposta de um mecanismo de busca são duas coisas diferentes. A primeira não traz nada para você; a segunda pode gerar tráfego. Por isso, vale a pena separá-las, em vez de bloquear tudo com uma única regra.
Wpisy do robots.txt
Adicione isso ao final do arquivo existente. Mantenha as regras dos robôs de busca como estão, pois estas entradas não se aplicam a eles.
Blokada po stronie serwera
Plik llms.txt
O inverso do bloqueio: um pequeno arquivo na raiz do domínio que explica aos modelos o que é este site e o que vale a pena citar dele. Não tem efeito vinculante e não é um padrão acordado com os operadores, mas leva cinco minutos para criar e algumas ferramentas o leem. Se você quer aparecer nas respostas dos chats, vale a pena ter um.
Antes de bloquear tudo
Bloquear também significa cortar o tráfego
Os robôs identificados como mecanismos de busca criam índices que os chats usam para apresentar links. Bloqueá-los significa que seu site não aparece nas respostas, mas o da concorrência aparece. É um custo real, não uma hipótese.
O Google envolve duas coisas diferentes
O Google-Extended diz respeito ao uso de conteúdo para treinar modelos e não afeta a posição nos resultados da busca comum. O Googlebot comum é uma entrada separada, que você não deve alterar se quiser receber tráfego dos resultados de busca.
A lista muda
Os nomes dos robôs aparecem e desaparecem, e os operadores adicionam novos sem avisar. Esta lista reflete a situação atual e deve ser comparada de tempos em tempos com os registros do seu servidor, pois eles mostram quem realmente acessa seu site.