---

Information extracted from Lattes platform

Last update: 2023/08/28

ORCID: https://orcid.org/0000-0002-8889-1586

---

Current projects

2021 a Atual	[FAPESP MCTI/CGI] Análise de dados heterogêneos em computação urbana Este projeto tem como objetivo a investigação científica na área de Computação Urbana, onde serão propostos novos métodos de análise de dados de sensoriamento social (sensoriamento participativo, análise de redes sociais e sensoriamento oportunístico) e sensoriamento remoto no contexto de ambientes urbanos. Inicialmente, investigaremos novas formas de representação das séries temporais coletadas através do sensoriamento social baseada na representação de padrões ordinais. Em seguida, proporemos métricas extraídas das representações propostas para avançar o estado-da-arte em mineração de séries temporais para dados de Computação Urbana. Neste projeto, também será investigada a análise de dados de mobilidade urbana e redes sociais, bem como a análise de imagens de sensoriamento remoto em regiões urbanas. Em suma, este projeto apresenta o a proposta investigação científica em quatro linhas: (i)~mineração de séries temporais para Computação Urbana, (ii)~análise de sensoriamento social e mobilidade urbana, (iii) Redes veiculares, Internet das coisas e redes de sensores sem fio e (iv)~análise de imagens de sensoriamento remoto para ambientes urbanos. Integrantes: Heitor Soares Ramos Filho (coordenador), Jefersson Alex dos Santos, Antonio Alfredo Ferreira Loureiro, Alejandro César Frery Orgambide, Leandro Villas, João Guilherme Maia.
2021 a Atual	[Instituto Serrapilheira] Dense Labeling of Remote Sensing Images in the Wild Automatic geographic mapping using Remote Sensing Images (RSIs) as a data source is usually modeled as a supervised classification problem. In this context, dense pixel labeling also called semantic segmentation or pixel-wise classification is a computer vision task that has made great strides in recent years mainly due to the emergence of new approaches based on deep convolutional networks. Remote sensing applications have also benefited from these advances. Several studies have been noted for the high level of quality obtained in the creation of geographic maps in an automated way through the use of semantic segmentation techniques. An important issue, however, is that the advances shown are generally evaluated in relatively well-controlled environments. A number of challenges emerge when these approaches are employed on more specific applications, such as class imbalance, underrepresentation of some classes, and presence of pixels of unknown classes during the prediction phase. In the case of geographic mapping by means of remote sensing images, there are also problems of geographic and temporal domain shift. In addition, sample annotation depends on expert users, imposing restrictions on the volume of annotated data available. In this project, we will address the challenges for the effective use of supervised learning in dense pixel labeling through the study and development of new approaches to increase the robustness of the models to these restrictions. The effectiveness and suitability of the proposed methods will be evaluated in two main applications: detection of rural roads in the Amazon rainforest and Cerrado savanna; and monitoring of urban housing conditions and their relationship with outbreaks of Dengue disease. Integrantes: Jefersson Alex dos Santos (coordenador), Keiller Nogueira, Hugo de Oliveira, Renato Assunção, José Marcato, Heitor Soares Ramos Filho, Fabrício Murai, Francisco Chiaravalloti Neto, Raoni Rajão.
2020 a Atual	[FAPESP] Uso de sensoriamento remoto e inteligência artificial para prever áreas com alto risco de infestação por Aedes aegypti e arboviroses O atual panorama epidemiológico no Brasil é preocupante, pois nos últimos anos foram notificados milhares de casos de dengue (DEN), zika (ZIK) e chikungunya (CHIK). Essas arboviroses e suas complicações são problemas de saúde pública importantes, e os estudos realizados no estado de São Paulo são extremamente fragmentados, quase sempre sem relacionar a tríplice vetor x população x ambiente. O mosquito Aedes aegypti tem papel fundamental na disseminação de todos esses agravos, mas existe uma grande dificuldade para identificar áreas de risco tendo como base somente os indicadores entomológicos tradicionalmente utilizados (Breteau, Predial e de Recipientes). Nosso objetivo neste trabalho é desenvolver um modelo para identificar áreas de alto risco para infestação por Ae. aegypti e ocorrência de arboviroses (DEN, ZIK e CHIK) baseado na quantificação de fêmeas adultas do vetor, nas características físicas, econômicas, sociais e climáticas das regiões. O estudo será realizado na área urbana do município de Campinas, estado de São Paulo. Utilizaremos, para seu desenvolvimento, técnicas de Inteligência Artificial e deep learning para classificação das imagens de sensoriamento remoto, além de modelagens Bayesianas que relacionem o número de fêmeas do Ae. Aegypti, bem como casos de DEN, ZIK e CHIK com características socioambientais. Pretende-se desenvolver metodologias para identificar áreas de alto risco e espera-se encontrar um padrão espacial de ocorrência que aponte para áreas de maior risco e que poderia fornecer informações úteis para as atividades de controle e vigilância. Esses métodos, bem como parte ou todo o conjunto de resultados obtidos por meio dessas tecnologias, após validação, poderiam ser regularmente adotados para gestão da saúde pública, otimizando recursos e tempo na identificação de áreas de risco para a ocorrência desses agravos, priorizando a aplicação de medidas de vigilância e controle nessas regiões. Integrantes: Francisco Chiaravalloti Neto (coordenador), Jefersson Alex dos Santos, Gerson Laurindo Barbosa, José Alberto Quintanilha, Marcia Caldas de Castro, Marta Blangiardo, Maurício Lacerda Nogueira, Monica Pirani, Valmir Roberto Andrade.
2018 a Atual	[FAPEMIG Universal] LittleBigData: Reconhecimento de padrões em grandes bases de imagens utilizando pequenos conjuntos de dados anotados A área de reconhecimento de padrões em imagens vêm obtendo diversos avanços nos últimos anos. O desenvolvimento de tecnologias como as abordagens baseadas em aprendizado profundo (deep learning) têm estabelecido o estado da arte em diversas aplicações de Visão Computacional. No entanto, essas abordagens necessitam de grandes conjuntos de amostras para treinamento e isso impossibilita seu uso direto para resolver problemas em áreas mais específicas como medicina, forense digital, agricultura ou biodiversidade. A anotação de amostras nas principais aplicações dessas áreas deve ser feita por usuários especialistas (médicos, peritos, pesquisadores, etc). Esse processo geralmente é custoso e até mesmo inviável em diversas ocasiões. Detecção de câncer, por exemplo, depende do diagnóstico e do registro preciso de diversos pacientes ao longo dos anos para a obtenção de um conjunto de amostras representativo. Em aplicações agrícolas e de biodiversidade é comum a necessidade de deslocar equipes de especialistas em áreas de difícil acesso para anotar adequadamente uma determinada espécie de planta. Desse modo, esse projeto propõe o desenvolvimento de novas abordagens para lidar com o reconhecimento de padrões em aplicações que requerem o processamento de grande conjuntos de imagens mas que possuem restrição com relação à quantidade de amostras disponíveis. A pesquisa focará esforços nas seguintes frentes visando mitigar os problemas do aprendizado supervisionado à partir de poucas amostras em grandes bases de imagens: (1) estudo e desenvolvimento de técnicas para transferência de conhecimento de bases préexistentes como forma de enriquecer o conjunto de amostras inicial; (2) estudo de algoritmos e estruturas de indexação de imagens para garantir escalabilidade das abordagens desenvolvidas; e (3) desenvolvimento de abordagens baseadas em aprendizado ativo para auxiliar usuários especialistas na anotação de amostras relevantes. Integrantes: Jefersson Alex dos Santos (coordenador), Arnaldo de Albuquerque Araújo, Silvio Jamil Ferzoli Guimarães, William Robson Schwartz, Mário Sérgio Ferreira Alvim Jr, MACHADO, ALEXEI M. C..

Current applied research projects

See all projects in Lattes

---

Recent publications

Articles in journals

Fully convolutional open set segmentation
2023. MACHINE LEARNING (DORDRECHT. ONLINE).
Outlier Exposure for Open Set Crop Recognition From Multitemporal Image Sequences
2023. IEEE Geoscience and Remote Sensing Letters.
Facing the Void: Overcoming Missing Data in Multi-View Imagery
2023. IEEE Access.
A New Similarity Space Tailored for Supervised Deep Metric Learning
2023. ACM Transactions on Intelligent Systems and Technology.
Weakly Supervised Few-Shot Segmentation via Meta-Learning
2023. IEEE TRANSACTIONS ON MULTIMEDIA.
Integrating remote sensing and machine learning to detect turbidity anomalies in hydroelectric reservoirs
2023. SCIENCE OF THE TOTAL ENVIRONMENT.
A systematic review on open-set segmentation
2023. COMPUTERS & GRAPHICS-UK.
An overview on Meta-learning approaches for Few-shot Weakly-supervised Segmentation
2023. COMPUTERS & GRAPHICS-UK.
Open Set Semantic Segmentation for Multitemporal Crop Recognition
2022. IEEE Geoscience and Remote Sensing Letters.
Self-Supervised Learning for Seismic Image Segmentation From Few-Labeled Samples
2022. IEEE Geoscience and Remote Sensing Letters.
The IEEE GRSS Brazil Chapter: 2020 Activities [Chapters]
2022. IEEE Geoscience and Remote Sensing Magazine.
AiRound and CV-BrCT: Novel Multi-View Datasets for Scene Classification
2021. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing.
A genetic algorithm approach for image representation learning through color quantization
2021. MULTIMEDIA TOOLS AND APPLICATIONS.
Semantic segmentation of citrus-orchard using deep neural networks and multispectral UAV-based imagery
2021. PRECISION AGRICULTURE.
Semantic Segmentation of Tree-Canopy in Urban Environment with Pixel-Wise Deep Learning
2021. Remote Sensing.
An Introduction to Deep Morphological Networks
2021. IEEE Access.
Water tank and swimming pool detection based on remote sensing and deep learning: Relationship with socioeconomic level and applications in dengue control
2021. PLoS One.
From video pornography to cancer cells: a tensor framework for spatiotemporal description
2020. MULTIMEDIA TOOLS AND APPLICATIONS.
Facing Erosion Identification in Railway Lines Using Pixel-Wise Deep-Based Approaches
2020. Remote Sensing.
Truly Generalizable Radiograph Segmentation with Conditional Domain Adaptation
2020. IEEE Access.
A Soft Computing Approach for Selecting and Combining Spectral Bands
2020. Remote Sensing.
From 3D to 2D: transferring knowledge for rib segmentation in chest X-rays
2020. PATTERN RECOGNITION LETTERS.
A Soft Computing Framework for Image Classification Based on Recurrence Plots
2019. IEEE Geoscience and Remote Sensing Letters.
Spatio-Temporal Vegetation Pixel Classification by Using Convolutional Networks
2019. IEEE Geoscience and Remote Sensing Letters.
Dynamic Multicontext Segmentation of Remote Sensing Images Based on Convolutional Networks
2019. IEEE Transactions on Geoscience and Remote Sensing.
Magnitude-Orientation Stream network and depth information applied to activity recognition
2019. JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION.
Towards better exploiting convolutional neural networks for remote sensing scene classification
2017. Pattern Recognition.
Interactive Multiscale Classification of High-Resolution Remote Sensing Images
2013. IEEE J-STARS.
Multiscale Classification of Remote Sensing Images
2012. IEEE Transactions on Geoscience and Remote Sensing.
A relevance feedback method based on genetic programming for classification of remote sensing images
2011. Information Sciences.

Papers in conferences

CoDA-Few: Few Shot Domain Adaptation for Medical Image Semantic Segmentation
2023. 18th International Conference on Computer Vision Theory and Applications.
Conditional Reconstruction for Open-Set Semantic Segmentation
2022. 2022 IEEE International Conference on Image Processing (ICIP).
Seeing without Looking: Analysis Pipeline for Child Sexual Abuse Datasets
2022. FAccT '22: 2022 ACM Conference on Fairness, Accountability, and Transparency.
ChessMix: Spatial Context Data Augmentation for Remote Sensing Semantic Segmentation
2021. 2021 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI).
Segmentation of Tree Canopies in Urban Environments Using Dilated Convolutional Neural Network
2021. IGARSS 2021 2021 IEEE International Geoscience and Remote Sensing Symposium.
Machine Learning Bias in Computer Vision: Why do I have to care?
2021. 2021 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI).
Learning to Segment Medical Images from Few-Shot Sparse Labels
2021. 2021 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI).
Opening Deep Neural Networks With Generative Models
2021. 2021 IEEE International Conference on Image Processing (ICIP).
Towards Open-Set Semantic Segmentation Of Aerial Images
2020. 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS).
An End-To-End Framework For Low-Resolution Remote Sensing Semantic Segmentation
2020. 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS).
Brazildam: A Benchmark Dataset For Tailings Dam Detection
2020. 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS).
Water Tanks and Swimming Pools Detection in Satellite Images: Exploiting Shallow and Deep-Based Strategies
2020. Workshop de Visão Computacional.
Evaluating Deep Contextual Description of Superpixels for Detection in Aerial Images
2019. IGARSS 2019 2019 IEEE International Geoscience and Remote Sensing Symposium.
How Effective Is Super-Resolution to Improve Dense Labelling of Coarse Resolution Imagery?
2019. SIBGRAPI.
A Tool for Bridge Detection in Major Infrastructure Works Using Satellite Images
2019. 2019 XV Workshop de Visão Computacional (WVC).
SkeleMotion: A New Representation of Skeleton Joint Sequences based on Motion Information for 3D Action Recognition
2019. 2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS).

Extended abstracts in conferences

Deep Open-Set Segmentation in Visual Learning
2022. 2022 35th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI).
Domain Generalization in Medical Image Segmentation via Meta-Learners
2022. 2022 35th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI).

Abstracts in conferences

RECOD @ Placing Task of MediaEval 2016: A Ranking Fusion Approach for Geographic-Location Prediction of Multimedia Objects.
2016. MediaEval.
e-phenology: monitoring leaf phenology and tracking climate changes in the tropics
2014. European Geosciences Union General Assembly, 2014.
NPDI Find Porn: Uma Ferramenta para Detecção de Conteúdo Pornográfico
2014. roceedings of the XIV Simpósio Brasileiro de Segurança da Informação e de Sistemas Computacionais.
Semi-automatic Classification of Remote Sensing Images
2013. Conference on Graphics, Patterns, and Images (SIBGRAPI).
Classificação Semi-automática de Regiões em Imagens de Sensoriamento Remoto Utilizando Realimentação de Relevância
2010. I Simpósio de Processamento de Sinais da UNICAMP.

See all publications in Lattes

---

Current students

MS

Bruno Augusto Alemão Monteiro. Self-supervised strategies for pattern recognition in geophysical imaging. Início: 2021. Universidade Federal de Minas Gerais (Orientador principal)
Lucas Costa de Faria. Detecção Automática de Estradas Rurais por Meio de Imagens Aéreas. Início: 2021. Universidade Federal de Minas Gerais (Orientador principal)

PhD

Pedro Henrique Targino Gama. Meta learning Approaches for Few-Shot Semantic Segmentation with Sparse Labels. Início: 2021. Universidade Federal de Minas Gerais (Orientador principal)
Érico Marco Dias Alves Pereira. Robust Content-based Estimation of Image Geolocation. Início: 2021. Universidade Federal de Minas Gerais (Orientador principal)
João José de Macedo Neto. Deep-based approaches for multimedia Child Sexual Abuse Material Recognition. Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)
Cristiano Neves Rodrigues. Interactive Learning for Semantic Segmentation in the Wild. Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)
Camila Laranjeira da Silva. Seeing without Looking: Analysis Pipeline for Child Sexual Abuse Material. Início: 2020. Universidade Federal de Minas Gerais (Orientador principal)
Matheus Barros Pereira. Hierarchical Approaches for Remote Sensing Image Semantic Segmentation. Início: 2019. Universidade Federal de Minas Gerais (Orientador principal)
Edemir Ferreira de Andrade Junior. Mapeamento geográfico utilizando imagens aéreas de múltiplas bases de conhecimento. Início: 2016. Universidade Federal de Minas Gerais (Orientador principal)

See all students in Lattes

---