Glossário de IA / Moderação de conteúdo

🛡️ Segurança e qualidade

No contexto da IA, moderação é a verificação automática de conteúdo em busca de categorias proibidas: violência, conteúdo sexual, discurso de ódio e automutilação. Os filtros analisam tanto o que o usuário escreve quanto o que o modelo gera - e os próprios sistemas de moderação também são modelos de IA. Para quem desenvolve aplicativos, os provedores oferecem ferramentas de moderação específicas, que vale a pena integrar antes e depois do modelo principal. Para os usuários, a moderação pode ser frustrante quando há falsos positivos - ela é responsável pelas recusas a pedidos inofensivos, mas que parecem ambíguos.