Como a OpenAI escalou a memória do ChatGPT para 1 bilhão de usuários
A OpenAI detalhou como escala o armazenamento do ChatGPT para mais de 1 bilhão de usuários. Veja os principais desafios e aprendizados sobre infraestrutura de IA.
👁 116 leituras
A OpenAI publicou a segunda parte de um guia técnico sobre como escalar a infraestrutura de armazenamento do ChatGPT, que já ultrapassou a marca de 1 bilhão de usuários. É raro uma empresa desse porte revelar parte dos bastidores de engenharia de um produto que, em apenas dois anos, se tornou um dos aplicativos de crescimento mais rápido da história da internet.
1 bilhão de usuários: um desafio de engenharia
A escala descrita pela OpenAI é difícil de dimensionar. O ChatGPT precisou de apenas cinco dias para chegar a 1 milhão de usuários após seu lançamento, em novembro de 2022. Para comparar, o Instagram levou dois meses e meio, e a Netflix, mais de três anos. Hoje, a empresa fala em mais de 1 bilhão de usuários, o que significa que a infraestrutura precisou crescer em um ritmo sem precedentes entre os aplicativos de IA para consumidores.
cada conversa com o ChatGPT gera dados: histórico, contexto, preferências do usuário e arquivos e documentos enviados. Nos planos pagos, também há artefatos criados por ferramentas como DALL-E ou o interpretador de código. Não se trata de um problema simples de banco de dados. É um desafio que exige uma arquitetura bem planejada para a persistência de dados, capaz de operar em tempo real, com confiabilidade e alcance global.
Por que armazenar dados é tão difícil
No universo dos grandes modelos de linguagem, a discussão costuma se concentrar no poder de computação: número de GPUs, custo de treinamento e capacidade de processamento de inferências. O armazenamento é menos chamativo, mas igualmente essencial. Quando alguém abre uma conversa no ChatGPT, o sistema precisa recuperar rapidamente todo o contexto: mensagens anteriores, arquivos enviados e eventuais instruções de sistema definidas pelo usuário ou pelo operador da API. Com 1 bilhão de usuários e bilhões de conversas, isso significa lidar com um volume de dados comparável ao das maiores redes sociais do mundo.
O modelo tradicional de banco de dados - contratar uma solução pronta de um provedor de nuvem e escalar verticalmente - deixa de funcionar a partir de certo porte. Empresas como Meta, Google e Amazon enfrentaram o mesmo problema há uma década e o resolveram criando sistemas próprios e altamente especializados: Cassandra, Bigtable e DynamoDB. Como empresa relativamente jovem, a OpenAI precisou lidar com a mesma questão em ritmo acelerado, mantendo ao mesmo tempo um produto usado todos os dias por centenas de milhões de pessoas.
O que a série técnica da OpenAI revela sobre o setor
O fato de a OpenAI ter decidido descrever esses desafios publicamente, em uma série com várias partes, é significativo por si só. Esse tipo de iniciativa pode cumprir vários objetivos. Primeiro, ajudar no recrutamento: engenheiros querem trabalhar em problemas que estão no limite das possibilidades tecnológicas, não em mais um sistema CRUD. Segundo, fortalecer a reputação entre profissionais de tecnologia: mostrar que a empresa entende seus próprios desafios e consegue explicá-los com precisão ajuda a criar confiança entre desenvolvedores que usam a API. Por fim, também tem um papel educativo para o setor de IA, que cresce tão rápido que o conhecimento sobre como escalar sistemas em produção é extremamente valioso.
Google já seguiu um caminho parecido com publicações sobre MapReduce e Bigtable; o Facebook descreveu o Haystack, seu sistema de armazenamento de fotos; e a Netflix publicou sobre sua arquitetura de recomendações. Cada um desses documentos virou uma referência para o setor por anos.
Google · Suas fontesBrilhe mais no seu Google com um cliqueAdicionar às fontes preferidas →O que empresas europeias podem aprender com a arquitetura da OpenAI
Para empresas europeias que implementam soluções baseadas em modelos de linguagem, a série técnica da OpenAI tem valor prático, mesmo que nenhuma delas opere na escala de 1 bilhão de usuários. Os desafios enfrentados pela OpenAI hoje podem atingir, nos próximos anos, qualquer empresa que desenvolva assistentes de IA com memória de longo prazo: escritórios de advocacia que armazenam o histórico de casos, plataformas de comércio eletrônico que criam experiências personalizadas ou sistemas de atendimento ao cliente que mantêm o contexto de relacionamentos de vários anos.
As normas europeias, em especial o Regulamento Geral sobre a Proteção de Dados (RGPD), acrescentam requisitos para o armazenamento e a exclusão de dados que não existem da mesma forma nos Estados Unidos. Isso significa que a arquitetura de armazenamento de sistemas de IA na Europa precisa considerar o direito ao apagamento, as restrições à transferência de dados para fora do Espaço Econômico Europeu e os requisitos de localização do armazenamento. Por isso, a maneira como a OpenAI lida com esses problemas no nível da infraestrutura também pode ser uma lição valiosa para engenheiros que trabalham sob a legislação europeia.
A série técnica da OpenAI lembra que por trás de cada janela de chat simples há uma infraestrutura tão complexa quanto os sistemas que sustentam redes financeiras globais. Construí-la no ritmo imposto pelo mercado é um dos maiores desafios de engenharia da atualidade.
Tópicos relacionados no Centelharm
