O aluno Gabriel Ribeiro conquistou o terceiro lugar no Best Papers Award do Brazilian Conference on Intelligent Systems (BRACIS) 2026 com uma pesquisa desenvolvida no FutureLab, laboratório do Departamento de Ciência da Computação (DCC) da UFMG. Aluno do Departamento de Matemática da Universidade, Gabriel realizou o estudo sob orientação do professor do DCC Heitor S. Ramos e de Pedro H. Barros, ex-doutorando do Departamento e pesquisador ligado ao laboratório. O trabalho, intitulado Characterizing Grokking via Topological Data Analysis in a Small Transformer Model, foi apresentado oralmente por Gabriel entre os dias 19 e 22 de outubro, em Cuiabá (MT).
O artigo tem como coautores Pedro H. Barros, Heitor S. Ramos e Petrônio Silva. A pesquisa investiga o fenômeno conhecido como grokking, no qual uma rede neural passa da memorização dos dados de treinamento à generalização, muitas vezes após um período prolongado de aprendizado. O estudo busca compreender como a estrutura das representações internas do modelo muda durante esse processo.
Para isso, os pesquisadores utilizaram técnicas de Análise Topológica de Dados, por meio de homologia persistente, e estimativas de dimensão intrínseca para acompanhar as representações de diferentes camadas de um pequeno modelo Transformer treinado em tarefas de aritmética modular. A análise mostrou que a generalização bem-sucedida frequentemente coincide com uma redução da dimensão intrínseca e uma estabilização das características topológicas. Já os modelos que não conseguiram generalizar apresentaram representações de maior dimensionalidade e estruturas topológicas instáveis.
Os resultados sugerem que o grokking pode ser interpretado como uma transição gradual para representações internas mais simples e organizadas. A abordagem oferece uma perspectiva topológica para investigar as mudanças que ocorrem nas redes neurais durante o aprendizado e sua relação com a capacidade de generalização.
O BRACIS é um evento científico dedicado à pesquisa em sistemas inteligentes, que reúne pesquisadores e estudantes para apresentar e discutir trabalhos na área.
