O crescimento exponencial da quantidade de informação multimídia (imagens, vídeo, som, etc.) disponível na WEB exige que arcabouços robustos sejam criados para indexar tamanha quantidade de dados visando a sua recuperação. Apesar do grande esforço da comunidade científica em desenvolver esses arcabouços, muito há de ser desenvolvido em termos de semântica da informação multimídia agregado ao aprendizado de máquina. Neste mesmo sentido, a modelagem 3D de cidades históricas brasileiras é pertinente a indexação de informação multimídia. Tal modelagem permite a reconstrução 3D de fachas de prédios históricos. Dessa forma, torna-se possível a viagem virtual por cidades históricas. Por outro lado, a evolução da tecnologia dos aparelhos de exames médicos (PET-SCAN, Cone-Beam CT, IRM) visando a análise de patologias trouxe imagens e vídeo com muito mais informação se comparadas as de uma década atrás. Este ganho de informação não é aproveitado pelos métodos atuais de extração de características de imagens e vídeos para indexação destes exames médicos. O trabalho aqui proposto abordará o problema de segmentação de imagens e vídeo, extração de informação e sua representação semântica por aprendizado, com aplicações em três domínios específicos, ligados aos temas de pesquisa mais importantes das instituições participantes: recuperação de imagens e vídeo por conteúdo; auxílio ao diagnóstico médico por meio de análise de imagens e vídeos; e modelagem e reconstrução 3D de fachadas de prédios históricos. Com a realização deste projeto, pretende-se gerar: 1) desenvolver e evoluir os sistemas de recuperação de imagens e vídeo; 2) Novos métodos para extração de características de imagens e vídeos de exames médicos permitindo uma indexação mais eficaz e auxiliando ao diagnóstico; 3) Um software de navegação interativa pela cidade de Ouro Preto, com sua modelagem e reconstrução 3D.