Processo Seletivo: IA Responsável, Avaliação de Modelos, LLMs, Alinhamento e Interpretabilidade – DCC/UFMG
Regime de contratação: Bolsista de Pesquisa
Dedicação: 20h
Duração: 6 meses com reavaliação para 12 meses
Modalidade de trabalho: Híbrido, com atividades remotas e encontros presenciais no DCC/UFMG
Professor orientador: Wagner Meira Júnior – DCC/UFMG
Quantidade de vagas: Definido com base na procura
Bolsa: R$800,00 a R$1500,00 com base em experiencia e progresso no curso.
Caso tenha alguma dúvida, envie-as para o email: speedbolsas@gmail.com

Inscrição pelo formulário: https://forms.gle/eJtYmo6rarfQofGu6

Descrição do projeto
O projeto tem como objetivo levar alunos de graduação para atuar em pesquisa aplicada e científica na área de Inteligência Artificial Responsável, com foco em avaliação, auditoria, alinhamento e interpretabilidade de modelos de linguagem e sistemas baseados em IA. Os bolsistas participarãodo desenvolvimento de metodologias, experimentos, benchmarks, análises e ferramentas voltadas a compreender como modelos de IA se comportam em diferentes tarefas, contextos sociais, domínios científicos e cenários de tomada de decisão. De forma geral, o projeto busca investigar como modelos de linguagem, agentes baseados em LLMs e sistemas de IA generativa produzem respostas, selecionam evidências, organizam argumentos, expressam incerteza, reproduzem vieses, respondem a diferentes enquadramentos e tomam decisões em tarefas sensíveis. A pesquisa combina técnicas de aprendizado de máquina, processamento de linguagem natural, ciência de dados, avaliação experimental, análise de comportamento de modelos e interpretabilidade, com potencial de aplicação em diferentes áreas da ciência e da
sociedade. Os alunos poderão atuar tanto em linhas mais técnicas, envolvendo programação, coleta de dados, engenharia experimental, uso de APIs, modelos abertos e análise quantitativa, quanto em linhas mais metodológicas, envolvendo construção de benchmarks, anotação de dados, avaliação humana, análise de resultados e escrita científica.

Tópicos de interesse
O projeto inclui, mas não se limita, aos seguintes temas:
• Avaliação de modelos de linguagem de grande escala;
• Auditoria de vieses, robustez, segurança e comportamento de LLMs;
• Alinhamento de modelos e análise de preferências;
• Interpretabilidade e análise de representações internas de modelos;
• Avaliação de agentes baseados em LLMs, incluindo busca, recuperação de evidências, seleção
de fontes e geração de respostas;
• Construção de benchmarks para IA responsável;
• Análise de framing, incerteza, persuasão, omissão de evidências e diversidade epistêmica em
respostas de modelos;
• Uso de modelos de linguagem em diferentes contextos científicos, sociais e informacionais;
• Desenvolvimento de pipelines experimentais para coleta, execução, logging e avaliação de
modelos;
• Visualização e análise de dados experimentais.

Objetivos
• Desenvolver metodologias para avaliar o comportamento de modelos de IA em tarefas abertas, sensíveis e dependentes de contexto.
• Construir benchmarks e protocolos experimentais para analisar dimensões como viés, robustez, calibração, incerteza, diversidade de perspectivas, uso de evidências e consistência entre
modelos.
• Investigar como modelos de linguagem respondem a diferentes formas de enquadramento de
uma mesma tarefa, avaliando mudanças em tom, certeza, seleção de informações, recomendações e justificativas.
• Auditar agentes baseados em LLMs ao longo de suas trajetórias completas de decisão, incluindo geração de consultas, recuperação de documentos, escolha de fontes, seleção de evidências, citações e resposta final.
• Explorar técnicas de interpretabilidade para compreender como certos comportamentos aparecem nas representações internas dos modelos, especialmente em tarefas relacionadas a
julgamento, alinhamento, segurança e tomada de decisão.
• Desenvolver ferramentas, scripts e pipelines reprodutíveis para experimentação com modelos
fechados via API e modelos abertos executados localmente.
• Produzir resultados científicos com potencial de publicação em conferências e workshops nacionais e internacionais nas áreas de IA, NLP, ciência de dados, web, sociedade e computação
responsável.

Atividades previstas
Os bolsistas poderão participar de atividades como:
• Leitura e discussão de artigos científicos recentes sobre IA responsável, LLMs, alinhamento,
interpretabilidade e avaliação de modelos;
• Implementação de scripts para execução de experimentos com modelos de linguagem;
• Coleta, organização e limpeza de dados textuais;
• Construção de prompts, tarefas, benchmarks e conjuntos de avaliação;
• Execução de experimentos com modelos abertos e fechados;
• Análise quantitativa e qualitativa dos resultados;
• Desenvolvimento de métricas e visualizações;
• Organização de logs experimentais e documentação de código;
• Participação em reuniões de pesquisa;
• Apoio na escrita e elaboração de artigos científicos.

Pré-requisitos
Não é necessário ter experiência prévia em pesquisa, mas espera-se que o candidato tenha interesse real em aprender e colaborar.

Etapas do processo seletivo
1. Fase 1 – Seleção curricular: análise do formulário de inscrição, histórico, experiências
anteriores e interesses de pesquisa.
2. Fase 2 – Entrevista remota: conversa breve para entender motivação, disponibilidade,
interesses e encaixe com as linhas do projeto.