Titulo Estágio
Tracking 3D de Entidades Dinâmicas em Ambientes Florestais
Áreas de especialidade
Sistemas Inteligentes
Engenharia de Software
Local do Estágio
Instituto de Sistemas e Robótica (ISR), Universidade de Coimbra - Pólo II
Enquadramento
O rastreamento (ou tracking) de entidades dinâmicas no ambiente é essencial para a compreensão do meio envolvente por parte das máquinas florestais autónomas do futuro. No âmbito do projecto SEMFIRE [1], pretende-se dotar um robô terrestre de grande porte com a capacidade de identificar e rastrear entidades dinâmicas e consequentemente registá-las num mapa 3D em redor do robô, garantindo a segurança das equipas de limpeza florestal, seres humanos e a fauna local, que partilham o ambiente com o robô.
Palavras-chave: Tracking Dinâmico; Registo 3D; Robótica Florestal; Percepção Artificial, Deep Learning.
Objetivo
O principal objectivo deste trabalho passa pela integração de métodos de rastreamento (ou tracking) de entidades dinâmicas presentes em meio florestal numa mapa semântico 3D do ambiente, permitindo o acompanhamento destas entidades, através do registo 3D, garantindo assim a sua segurança.
O sistema sensorial do robô é composto por diversas câmaras de diferentes modalidades (profundidade, multispectral, termal) e outros sensores (por ex. laser 3D) que estarão à disposição do aluno. Pretende-se que o aluno estude e teste técnicas de tracking multimodais baseadas em aprendizagem deep learning, e implemente o registo 3D destas entidades sobre um mapa semântico do ambiente [2], obtido através da máquina semi-autónoma instrumentada baseada em ROS [3].
Referências:
[1] M. S. Couceiro, D. Portugal, J. F. Ferreira, R. P. Rocha: “SEMFIRE: Towards a new generation of forestry maintenance multi-robot systems”, In 2019 IEEE/SICE International Symposium on System Integration (SII), pp. 270-276.
Disponível em: https://home.isr.uc.pt/~david.portugal/Pubs/2019_CPFR_IEEE_SI2019.pdf e http://semfire.ingeniarius.pt
[2] G. S. Martins, J. F. Ferreira, D. Portugal, M. S. Couceiro, "MoDSeM: Towards Semantic Mapping with Distributed Robots". In Proc. of Towards Autonomous Robotic Systems 2019 (TAROS 2019), Queen Mary University of London, UK, July. 3-5, 2019. Disponível em: https://home.isr.uc.pt/~david.portugal/Pubs/2019_MFPC_TAROS.pdf
[3] ROS.org: Powering the World’s Robots [Online]. Disponível em: www.ros.org
[4] L. Schürmann: "TR-SEMFIRE-4-vA: Dynamic Entity Tracking Using Multispectral Images in Forestry Scenarios". SEMFIRE Internal Report, UC, Feb. 2021.
Plano de Trabalhos - Semestre 1
• Revisão aprofundada da literatura de tracking de entidades e objectos dinâmicos em ambientes florestais e das técnicas existentes para rastreamento e registo 3D em geral.
• Familiarização com a Framework ROS: Robot Operating System e eventual framework de treino e deployment para tracking de entidades dinâmicas.
• Design de um pipeline de processamento, com base no trabalho anterior de levantamento, no âmbito do projecto SEMFIRE.
• Escrita do Relatório Intermédio.
Plano de Trabalhos - Semestre 2
• Estudo de desempenho pormenorizado de um conjunto seleccionado de técnicas do estado da arte “prontas a usar” para tracking (por ex. [4]), aproveitando trabalho exploratório prévio.
• Implementação do método de tracking e registo 3D, testando-o, validando e comparando-o com outras técnicas sobre datasets reais recolhidos com o sistema sensorial do robô para limpeza florestal, e/ou potencialmente outros datasets de benchmarking.
• Escrita da Dissertação.
Condições
Esta metodologia resultará numa técnica com comprovado desempenho em termos de resultados de rastreamento e registo 3D, que será devidamente demonstrada pelo aluno e documentada na sua Dissertação de Mestrado.
Observações
Este trabalho de dissertação irá decorrer tanto no Instituto de Sistemas e Robótica da Universidade de Coimbra (ISR-UC).
Orientador (ISR): Doutor David Portugal, david.portugal@deec.uc.pt
Co-orientador (ISR): Doutor João Filipe Ferreira, jfilipe@isr.uc.pt
Orientador
David Portugal
david.portugal@deec.uc.pt 📩