Data e hora: sexta, 27 de outubro de 2023, às 10h.
Local: sala 2077 (ICEx)
Palestrante: Diego Mesquita, Fundação Getúlio Vargas
Título: Federated Contrastive GFlowNets
Resumo: Generative Flow Networks (GFlowNets) são poderosos amostradores para distribuições suportadas em espaços de objetos composicionais (por exemplo, sequências e grafos), com aplicações que variam desde o design de sequências biológicas até a descoberta causal. No entanto, não existem abordagens fundamentadas para lidar com GFlowNets em configurações federadas, onde a distribuição-alvo resulta de uma combinação de recompensas (possivelmente sensíveis) de diferentes partes. Para preencher essa lacuna, propomos o Federated Contrastive GFlowNet (FC-GFlowNet), um framework de divisão e conquista para o aprendizado federado de GFlowNets, exigindo um único passo de comunicação. Primeiro, cada cliente aprende um GFlowNet localmente para amostrar de forma proporcional à sua recompensa. Em seguida, o servidor reúne as redes de políticas locais e as agrega para impor um equilíbrio federado (federated balance, FB), que garante de forma comprovada a correção do FC-GFlowNet. Além disso, nossa análise teórica se baseia em um conceito inovador, que chamamos de equilíbrio contrastivo (contrastive balance, CB). O CB impõe condições necessárias e suficientes para a corretude de GFlowNets genéricas (não federados). Empiricamente, atestamos o desempenho de FC-GFlowNets em quatro cenários controlados : grid world, geração de sequências e multiconjuntos, e inferência filogenética bayesiana. Nossos experimentos também sugerem que, em alguns casos, o objetivo de equilíbrio contrastivo pode acelerar o treinamento de GFlowNets convencionais.
Short bio: Diego Mesquita obteve seu doutorado em ciência da computação pela Aalto university (2021) e, desde 2022, é professor adjunto na escola de matemática aplicada da Fundação Getúlio Vargas. Anteriormente, ele obteve seus diplomas de graduação e mestrado da Universidade Federal do Ceará. Em termos de pesquisa, Diego Mesquita se dedica à pesquisa fundamental em Machine Learning, com ênfase especial em métodos probabilísticos e redes deep learning geométrico. Seus trabalhos nesses tópicos figuram em veículos prestigiosos de Machine Learning como AISTATS, NeurIPS, UAI.
