Transformer

Transformer é uma arquitetura de rede neural apresentada por pesquisadores do Google no artigo “Attention Is All You Need”, de 2017. Sua ideia central é o mecanismo de atenção, que permite ao modelo avaliar quanto cada palavra do texto se relaciona com as outras, independentemente da distância entre elas. Foi o transformer que possibilitou o salto de qualidade que observamos nos últimos anos: ele se adapta muito bem ao aumento da quantidade de dados e do poder computacional. A letra “T” no nome GPT vem justamente de transformer; praticamente todos os principais modelos de linguagem são baseados nessa arquitetura.