O professor Leandro Marcolino, da Universidade de Lancaster, UK, que está em visita ao Departamento de Ciência da Computação (DCC) da UFMG pelo Programa CAPES – PRINT, irá proferir, presencialmente, na próxima sexta-feira (1º), às 10 horas, na sala 2077 do Instituto de Ciências Exatas (ICEx), a palestra “Certificação de Políticas em Aprendizado por Reforço para Sistemas Multi-agentes Cooperativos”. Abaixo veja o resumo da palestra e a biografia do professor:
Resumo:
Aprendizado por reforço em sistemas multi-agentes cooperativo (c-MARL) é amplamente utilizado em cenários críticos de segurança, portanto a análise de robustez destes sistemas é muito importante. Porém, a comunidade científica ainda não abordou a certificação de robustez em c-MARLs. Neste trabalho, nós propomos um novo método de certificação, sendo o primeiro trabalho a apresentar uma abordagem escalável para c-MARLs determinarem ações com garantias de limites certificadas. A certificação de c-MARL impõe dois desafios fundamentais em comparação com sistemas com um único agente: (i) a incerteza acumulada com o aumento do número de agentes; (ii) a potencial falta de impacto quando a ação de um único agente é modificada na recompensa global do time. Esses desafios nos previne de usar diretamente os algoritmos existentes. Portanto, nós aplicamos a técnica de “taxa de descoberta falsa (FDR)” considerando a importância de cada agente para certificar a robustez de cada estado. Também propomos um algoritmo baseado em árvore de busca para encontrar o limiar mínimo da recompensa global dentro da certificação de perturbação mínima. Como nosso método é geral, ele também pode ser aplicado em ambientes com um único agente. Nós mostramos empiricamente que nossos limites certificados são bem mais justos que os dados pelos métodos do estado da arte em certificação para aprendizado por reforço. Nós também avaliamos o nosso método em dois algoritmos c-MARL populares: QMIX e VDN, em dois ambientes diferentes, com dois e quatro agentes. Os resultados experimentais mostram que nosso método pode certificar a robustez de todos os modelos c-MARL em vários ambientes. Nossa ferramenta, CertifyCMARL, está disponível em https://github.com/TrustAI/CertifyCMARL.
Biografia:
Leandro Soriano Marcolino é lecturer (professor adjunto) na Universidade de Lancaster. Obteve seu doutorado na Universidade do Sul da Califórnia (USC), orientado por Milind Tambe. Ele publica em várias conferências e revistas de IA, robótica, aprendizado de máquina e visão computacional, como: AAAI, AAMAS, CVPR, TPAMI, IJCAI, NeurIPS, ICRA, e IROS. Recebeu os prêmios de melhor dissertação e melhor pesquisador assistente do Departamento de Ciência da Computação da USC, teve um artigo nomeado para melhor artigo da conferência líder em sistemas multi-agente AAMAS, e teve seu trabalho de graduação selecionado como o melhor do país pela Sociedade Brasileira de Computação. Leandro completou seu mestrado no Japão (com a altamente competitiva bolsa Monbukagakusho), e sua graduação no Brasil na Universidade Federal de Minas Gerais (recebendo uma medalha de ouro por terminar o curso com as mais altas notas). Seus interesses de pesquisa incluem trabalho em time em sistemas multi-agente, aprendizado de máquina, robótica; com ênfase em coordenação e colaboração. Leandro têm conduzido sua pesquisa no contexto de vários domínios, como enxame de robôs, jogos, e computação criativa.
