O artigo How Reliable Are LLM Evaluations of Microservice Architecture Diagrams? recebeu o prêmio de melhor artigo do Simpósio Brasileiro de Componentes, Arquiteturas e Reutilização de Software (SBCARS). O trabalho é de autoria de João Luiz Cerqueira, aluno de graduação do Departamento de Ciência da Computação (DCC) da UFMG, Mateus Dutra, aluno de mestrado do DCC, Eduardo Figueiredo, docente do DCC, e Gustavo do Vale, docente da Universidade Federal de Lavras (UFLA).
A pesquisa investiga a confiabilidade do uso de Modelos de Linguagem de Grande Porte (LLMs) na avaliação automatizada de diagramas de arquitetura de sistemas baseados em microsserviços. Os pesquisadores desenvolveram um método baseado em cinco critérios de qualidade: clareza, consistência, completude, precisão e nível de detalhamento.
O estudo avaliou diagramas em formatos visual (PNG) e textual (SVG/XML), utilizando dois modelos multimodais, GPT-5 e Claude Sonnet 4.6. Para verificar a confiabilidade das avaliações, 16 engenheiros de software participaram de uma auditoria que serviu como referência para 360 avaliações e 253 comparações entre justificativas produzidas pelos modelos.
Os resultados indicam uma concordância razoável entre as avaliações dos LLMs e as avaliações humanas, com melhor desempenho na análise de completude e menor alinhamento no critério de clareza. Os especialistas também demonstraram preferência pelas justificativas produzidas a partir das imagens dos diagramas, escolhidas em 60,8% dos casos em que houve uma preferência definida.
Segundo os autores, os resultados mostram que LLMs podem apoiar revisões arquiteturais em estágios iniciais, ajudando a identificar possíveis problemas e priorizar pontos para análise. “Essas descobertas sugerem que os LLMs podem apoiar efetivamente revisões arquiteturais em estágios iniciais, mas suas avaliações ainda exigem validação de especialistas”, destacam os pesquisadores.
O SBCARS é um dos principais eventos brasileiros dedicados à pesquisa em componentes, arquiteturas e reutilização de software e reúne pesquisadores, estudantes e profissionais da área de Engenharia de Software. O evento ocorreu entre os dias 8 e 11 de setembro, em São Paulo, durante o Congresso Brasileiro de Software: Teoria e Prática (CBSoft).
