Um computador de 1979 com 64 KB de memória e processador de 6 MHz acaba de rodar um modelo de inteligência artificial com rede neural e transformers, chegando a 100% de precisão na tarefa proposta. O experimento foi conduzido por Dave Plummer, o engenheiro da Microsoft responsável pelo Gerenciador de Tarefas do Windows, e do lendário Pinball Space Cadet. A intenção dele não era impressionar ninguém com proeza técnica, mas justamente o contrário: tirar o verniz de misticismo da IA e mostrar o que ela tem dentro.
O computador e o modelo
O equipamento usado foi um PDP-11/44, minicomputador lançado pela Digital Equipment Corporation em 1979 como sucessor dos modelos 11/45 e 11/70, sendo o último PDP-11 construído sem um microprocessador. Plummer usou uma unidade com processador de 6 MHz, 64 KB de RAM e uma placa de cache adicional, e sobre essa base rodou o ATTN-11, um transformer de camada única e cabeça de atenção única escrito em linguagem de montagem para PDP-11 pelo desenvolvedor Damien Boureille. O modelo tem apenas 1.216 parâmetros, usa aritmética de ponto fixo e a precisão foi reduzida a 8 bits na passagem direta, com cada ciclo de processamento otimizado manualmente para que o treinamento coubesse dentro de um tempo razoável.
A tarefa e o resultado
A tarefa ensinada ao modelo parece simples, mas não é: inverter uma sequência de oito dígitos. O PDP-11 não recebe a regra de inversão pronta, ele precisa descobrir o padrão a partir dos exemplos de treinamento, o que, segundo Plummer, captura o mecanismo central de como grandes modelos de linguagem como o ChatGPT funcionam. Após cerca de 350 ciclos de treinamento, o modelo atingiu 100% de precisão, e o processo inteiro levou 3,5 minutos na máquina de 1979.
Plummer descreve o que acontece durante o treinamento sem metáforas: “O modelo começa burro. A perda começa alta. A precisão tropeça como um homem tentando montar um móvel da IKEA no banco traseiro de uma van em movimento. E então, em algum ponto, os pesos se estabilizam em um padrão, a atenção descobre o mapa de inversão, e a máquina cruza aquela linha invisível de adivinhar para saber.” A conclusão dele é direta: “Não é magia de IA. É a máquina atualizando repetidamente a força de milhares de pequenos elos ponderados para que a próxima resposta seja ligeiramente menos errada do que a última.
O engenheiro que mantém o canal Dave’s Garage no YouTube, argumenta que os grandes modelos de linguagem atuais fazem exatamente o mesmo, apenas em uma escala aritmética muito maior. E deixa uma observação sobre o momento atual do setor: qualquer empresa que retome a obsessão com eficiência e otimização, no estilo que máquinas com restrições severas de hardware exigem, sai na frente enquanto a disputa por poder computacional aperta.
