---

Information extracted from Lattes platform

Last update: 2023/07/31

ORCID: https://orcid.org/0000-0001-8156-9941

---

Current projects

2021 a Atual	Cooperação de agentes robóticos e humanos e percepção multimodal para o monitoramento de regiões Recentemente, testemunhamos o crescimento do uso de veículos autônomos e de técnicas de percepção para reduzir os custos e a exposição de humanos a situações de risco. Nesse contexto, aplicações como monitoramento ambiental, tarefas de busca e salvamento, vigilância, entre outras, podem se beneficiar da utilização de times heterogêneos de agentes, por exemplo, formados por robôs de diferentes tipos e humanos. Este projeto propõe um sistema de percepção e navegação integrado para o monitoramento de grandes áreas. Dentre os problemas específicos a serem abordados estão o planejamento de caminhos e coordenação de múltiplos agentes, a fusão de dados de diferentes fontes (e.g., áudio, vídeo, tridimensional), a análise de movimentação de agentes humanos, e a seleção de informações relevantes em grandes massas de dados, como vídeos longos do monitoramento. Integrantes: Mário Fernando Montenegro Campos (coordenador), Luiz Chaimowicz, Douglas Macharet, NASCIMENTO, ERICKSON, Michel Melo Silva, Thiago Luange Gomes, Felipe Gomes de Oliveira.
2021 a Atual	Agentes Inteligentes em Robótica e Jogos Digitais IV O objetivo principal desse projeto é investigar, desenvolver e avaliar algoritmos para agentes inteligentes em robótica e jogos digitais. Em especial, nesse projeto pretendemos investigar a aplicação do Aprendizado por Reforço em diferentes frentes de pesquisa. Mais especificamente pretende-se trabalhar em diferentes vertentes de pesquisa. A primeira delas consiste no desenvolvimento de algoritmos para grandes grupos de agentes robóticos, geralmente chamados de enxames de robôs. Nesse projeto, vamos investigar a aplicação do aprendizado por reforço bem como de outras técnicas na navegação e segregação de enxames robóticos. Pretendemos também dar continuidade aos trabalhos de exploração e mapeamento com múltiplos robôs, uma tarefa fundamental para a autonomia de agentes robóticos. Nosso foco principal vai ser em tarefas de busca e resgate e tarefas de monitoramento, duas áreas com diversas aplicações em potencial. Já em um contexto mais específico de jogos digitais, iremos trabalhar em duas frentes: (i) desenvolvimento de agentes para jogos com grandes espaços de estados e ações, e (ii) geração procedural de conteúdo. No primeiro tema, iremos investigar e desenvolver algoritmos para que agentes sejam capazes de aprender e tomar decisões estratégicas em jogos complexos, onde os espaços de estados e ações sobre os quais o agente deve trabalhar são muito grandes. Dois exemplos são os Jogos de Estratégia em Tempo Real e os Jogos de Cartas Colecionáveis. Já no contexto de geração procedural de conteúdo, iremos trabalhar no desenvolvimento de sistemas de iniciativa mista, onde os agentes inteligentes trabalham em conjunto com designers em um processo de co-criação de conteúdo. Projeto vinculado a Bolsa de Produtividade em Pesquisa do CNPq Integrantes: Luiz Chaimowicz (coordenador).
2019 a Atual	Aprendizagem de Agentes em Jogos Digitais Na área IA para jogos, um tema de pesquisa novo e que tem atraído bastante atenção recentemente é o desenvolvimento de agentes genéricos, que possam jogar diferentes jogos sem um conhecimento específico do seu domínio. Para isso, o agente deverá aprender as regras e características do jogo bem como aperfeiçoar o seu desempenho de forma a competir contra outros agentes ou seres humanos. Essa área recebeu o nome de General Game Playing (GGP). O objetivo do projeto é desenvolver agentes inteligentes que sejam capazes de jogar diferentes tipos de jogos, contribuindo para essa área. Para isso, serão aplicadas técnicas modernas de busca em espaço de estados e aprendizado de máquina para o desenvolvimento dos agentes, e serão realizados experimentos quantitativos e qualitativos em diferentes ambientes. Em especial, esse projeto irá focar em uma das vertentes do projeto que é a aprendizagem de máquina. Pretendemos explorar os conceitos de aprendizagem, especialmente o aprendizado por reforço, na criação de agentes que possam aprender a jogar diferentes jogos, se adaptando dinamicamente aos adversários em ambientes dinâmicos e com grandes espaços de estado. Integrantes: Luiz Chaimowicz (coordenador).
2019 a Atual	Apprentice: Aprendizagem por Reforço na Execução de Tarefas Colaborativas em Sistemas Multiagentes Recentemente o interesse no desenvolvimento de robôs autônomos para aplicações de uso geral tem muito crescido, especialmente tendo em vista a diminuição de custos associados a diversas atividades e a redução da exposição desnecessária de seres humanos a situações de risco. Nesse contexto, uma ampla gama de aplicações pode se beneficiar da utilização de múltiplos veículos autônomos, tais quais o monitoramento ambiental, missões de busca e salvamento, vigilância e cobertura de grande áreas, e coleta de dados em redes de sensores sem fio, entre outras. Porém, apesar do emprego de múltiplos agentes agregar diversos benefícios, como aumento na robustez e (na maioria dos casos) redução no tempo de cumprimento das tarefas, muitos desafios relacionados à coordenação, controle e planejamento entre os agentes também precisam ser considerados. Assim sendo, o objetivo principal desse projeto de pesquisa é a proposição e o desenvolvimento de novos métodos de coordenação e cooperação em sistemas multirrobôs, especialmente explorando abordagens e técnicas de aprendizagem de máquina, como aprendizagem por reforço. Integrantes: Douglas Macharet (coordenador), Luiz Chaimowicz, Mário Fernando Montenegro Campos, Armando Alves neto, Erickson Rangel do Nascimento, Felipe Gomes de Oliveira.
2017 a Atual	MULTIVISÃO Sistema de Identificação e Rastreamento Multivisão de Equipamentos e Peças em Construção e Manufatura Este projeto tem como objetivo principal desenvolvimento um sistema de telepresença robótico que permita a realização de visitas remotas a obras e a construção de um modelo tridimensional virtual realístico para visualização de uma determinada obra bem como o acompanhamento de sua evolução. Como objetivos secundários tem-se o estudo, desenvolvimento e avaliação de algoritmos e técnicas para a fusão de dados obtidos por diferentes sensores para se realizar a identificação, rastreamento e consulta de equipamentos envolvidos nessas obras. Integrantes: Mário Fernando Montenegro Campos (coordenador), Luiz Chaimowicz, Douglas Macharet, NASCIMENTO, ERICKSON.

Current applied research projects

See all projects in Lattes

---

Recent publications

Articles in journals

An SMDP approach for Reinforcement Learning in HPC cluster schedulers
2023. Future Generation Computer Systems.
Exploring reinforcement learning approaches for drafting in collectible card games
2023. ENTERTAINMENT COMPUTING.
HeRo 2.0: a low-cost robot for swarm robotics research
2023. AUTONOMOUS ROBOTS.
Towards sample efficient deep reinforcement learning in collectible card games
2023. ENTERTAINMENT COMPUTING.
Prediction-free, real-time flexible control of tidal lagoons through Proximal Policy Optimisation: A case study for the Swansea Lagoon
2022. OCEAN ENGINEERING.
Chemistry-Inspired Pattern Formation With Robotic Swarms
2022. IEEE ROBOTICS AND AUTOMATION LETTERS.
Deep Learning Techniques for Explainable Resource Scales in Collectible Card Games
2022. IEEE Transactions on Games.
Cooperative Localization and Mapping with Robotic Swarms
2021. JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS.
Spatial segregative behaviors in robotic swarms using differential potentials
2020. Swarm Intelligence.
A New Non-Deterministic Drama Manager for Adaptive Interactive Storytelling
2020. ENTERTAINMENT COMPUTING.
Algorithm Selection in Adversarial Settings: From Experiments to Tournaments in StarCraft
2019. IEEE Transactions on Games.
PSO-based Strategy for the Segregation of Heterogeneous Robotic Swarms
2019. Journal of Computational Science.

Papers in conferences

On the Challenges of Generating Pixel Art Character Sprites Using GANs
2022. Eighteenth AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
A DRL Approach for Object Transportation in Complex Environments
2022. 2022 Latin American Robotics Symposium (LARS), 2022 Brazilian Symposium on Robotics (SBR), and 2022 Workshop on Robotics in Education (WRE).
Analysis and Compilation of Normal Map Generation Techniques for Pixel Art
2022. 2022 21st Brazilian Symposium on Computer Games and Digital Entertainment (SBGames).
Generating Pixel Art Character Sprites using GANs
2022. 2022 21st Brazilian Symposium on Computer Games and Digital Entertainment (SBGames).
Exploring Deep Reinforcement Learning for Battling in Collectible Card Games
2022. 2022 21st Brazilian Symposium on Computer Games and Digital Entertainment (SBGames).
Flocking-Segregative Swarming Behaviors using Gibbs Random Fields
2021. 2021 IEEE International Conference on Robotics and Automation (ICRA).
Stand by me: Learning to keep cohesion in the navigation of heterogeneous swarms
2021. 4th International Symposium on Swarm Behaviors and Bio-Inspired Robotics.
Cooperative Object Transportation using Gibbs Random Fields
2021. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).
On the Impact of MDP Design for Reinforcement Learning Agents in Resource Management
2021. Brazilian Conference on Intelligent Systems - BRACIS.
Birds in Boots: Learning to Play Angry Birds with Policy-Guided Search
2021. AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment (AIIDE2021).
On the Evaluation of Force Feedback Augmented Teleoperation of Excavator-like Mobile Manipulators
2020. 16th IEEE International Conference on Automation Science and Engineering.
Towards a common environment for learning scheduling algorithms
2020. IEEE International Symposium on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS).
Drafting in Collectible Card Games via Reinforcement Learning
2020. Simpósio Brasileiro de Jogos e Entretenimento Digital.
SwarMap: Occupancy Grid Mapping with a Robotic Swarm
2019. 2019 19th International Conference on Advanced Robotics (ICAR).
Análise Espaço-Temporal para Auxílio no Design de Jogos Digitais
2019. Brazilian Symposium on Games and Digital Entertainment.
Realimentação de Força para Teleoperação de Escavadeiras
2019. ANAIS DO 14º SIMPóSIO BRASILEIRO DE AUTOMAçãO INTELIGENTE.

Extended abstracts in conferences

Reinforcement Learning in Collectible Card Games: Preliminary Results on Legends of Code and Magic
2019. Brazilian Symposium on Games and Digital Entertainment.
Continuous Outcome Prediction of League of Legends Competitive Matches Using Recurrent Neural Networks
2018. Brazilian Symposium on Games and Digital Entertainment (SBGames 2018) - Computing Track.
Uma abordagem de aprendizado supervisionado para recomendação de puzzles em um jogo casual
2016. Simpósio Brasileiro de Jogos e Entretenimento Digital (SBGames).
A Tutor Agent for MOBA Games
2015. Simpósio Brasileiro de Jogos e Entretenimento Digital (SBGames).
Utilizando meta-design para customização de conteúdo em um portal de jogos educativos
2013. 12th Brazilian Symposium on Human Factors in Computing Systems (IHC '13).

Abstracts in conferences

Control of Shape and Distribution for Swarming Behaviors
2004. AMS Meeting - Special Session on mathematical Problems in Robotics.

See all publications in Lattes

---

Current students

MS

Maurício Ferrari Santos Corrêa. Desenvolvimento de um Arcabouço para Experimentação com Enxames de Robôs (título provisório). Início: 2023. Universidade Federal de Minas Gerais (Orientador principal)
Marcelo Harry Diniz Lemos. Aprendizado de Algoritmos em Jogos Digitais (Título Provisório). Início: 2021. Universidade Federal de Minas Gerais (Orientador principal)
Tiago Negrisoli de Oliveira. Balanceamento de Dificuldades utilizando aprendizado por reforço (título provisório). Início: 2021. Universidade Federal de Minas Gerais (Orientador principal)
Tiago de Rezende Alves. Navegação de robós aéreos (título provisório). Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)

PhD

Flávio Roberto dos Santos Coutinho. Procedural Content Generation for games with mixed-initiative based on Machine Learning. Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)
Alysson Ribeiro da Silva. Reinforcement Learning for Robot Navigation in Search and Rescue Missions. Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)
Ronaldo e Silva Vieira. Aprendizado por reforço em jogos de cartas colecionáveis (título provisório). Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)
Paulo Alfredo Frota Rezeck. A Stochastic Approach to Generate Emergent Behaviors in Robotic Swarms. Início: 2019. Universidade Federal de Minas Gerais (Orientador principal)

See all students in Lattes

---