Titulo Estágio
Tracking de Entidades Dinâmicas em Ambientes Florestais
Áreas de especialidade
Sistemas Inteligentes
Engenharia de Software
Local do Estágio
ISR e Ingeniarius, Lda.
Enquadramento
Consultar Versão Online em: https://home.isr.uc.pt/~david.portugal/Msc/2019-20_Dynamic_Tracking.pdf
O rastreamento (ou tracking) de entidades dinâmicas no ambiente é essencial para a compreensão do meio envolvente por parte das máquinas florestais autónomas do futuro. No âmbito do projecto SEMFIRE [1], pretende-se dotar um robô terrestre de grande porte com a capacidade de identificar e rastrear entidades dinâmicas e consequentemente registá-las num mapa 3D em redor do robô, garantindo a segurança das equipas de limpeza florestal, seres humanos e a fauna local, que partilham o ambiente com o robô.
O principal objectivo deste trabalho passa assim pela implementação de métodos de rastreamento (ou tracking) de entidades dinâmicas presentes em meio florestal, permitindo o seu acompanhamento, através do registo 3D, garantindo assim a sua segurança. O sistema sensorial do robô é composto por diversas câmaras de diferentes modalidades (profundidade, multispectral, termal) e outros sensores (por ex. laser 3D) que estarão à disposição do aluno. Pretende-se que o aluno estude técnicas de tracking multimodais eventualmente baseadas em aprendizagem deep learning, e implemente o registo 3D destas entidades numa camada de mapeamento semântico da arquitectura de percepção [2] da máquina autónoma instrumentada, baseada em ROS [3].
Palavras-chave: Tracking Dinâmico; Registo 3D; Robótica Florestal; Percepção Artificial, Deep Learning.
Referências:
[1] M. S. Couceiro, D. Portugal, J. F. Ferreira, R. P. Rocha: “SEMFIRE: Towards a new generation of forestry maintenance multi-robot systems”, In 2019 IEEE/SICE International Symposium on System Integration (SII), pp. 270-276.
Disponível em: https://home.isr.uc.pt/~david.portugal/Pubs/2019_CPFR_IEEE_SI2019.pdf e http://semfire.ingeniarius.pt
[2] G. S. Martins, J. F. Ferreira, D. Portugal, M. S. Couceiro, "MoDSeM: Towards Semantic Mapping with Distributed Robots". In Proc. of Towards Autonomous Robotic Systems 2019 (TAROS 2019), Queen Mary University of London, UK, July. 3-5, 2019. Disponível em: https://home.isr.uc.pt/~david.portugal/Pubs/2019_MFPC_TAROS.pdf
[3] ROS.org: Powering the World’s Robots [Online]. Disponível em: www.ros.org
[4] C. Dondrup, N. Bellotto, F. Jovan, & M. Hanheide: “Real-time multisensor people tracking for human-robot spatial interaction”. In Workshop on Machine Learning for Social Robotics at International Conference on Robotics and Automation (ICRA 2015). Disponível em: http://eprints.lincoln.ac.uk/17545/1/dondrup.pdf e https://www.youtube.com/watch?v=zdnvhQU1YNo
Objetivo
Para cumprir o objectivo primordial do trabalho, o aluno:
• Fará uma revisão aprofundada da literatura de tracking de entidades e objectos dinâmicos em ambientes florestais e das técnicas existentes para rastreamento e registo 3D em geral.
• Desenhará uma pipeline de processamento, com base no trabalho anterior de levantamento, no âmbito do projecto SEMFIRE.
• Efectuará um estudo de desempenho pormenorizado de um conjunto seleccionado de técnicas do estado da arte “prontas a usar” para tracking (por ex. [4]), aproveitando trabalho exploratório prévio.
• Irá implementar o método de tracking e registo 3D, testando-o, validando e comparando-o com outras técnicas sobre datasets reais recolhidos com o sistema sensorial do robô para limpeza florestal, e/ou potencialmente outros datasets de benchmarking.
Plano de Trabalhos - Semestre 1
• Revisão aprofundada da literatura de tracking de entidades e objectos dinâmicos em ambientes florestais e das técnicas existentes para rastreamento e registo 3D em geral.
• Familiarização com a Framework ROS: Robot Operating System e eventual framework de treino e deployment para tracking de entidades dinâmicas.
• Design de um pipeline de processamento, com base no trabalho anterior de levantamento, no âmbito do projecto SEMFIRE.
• Escrita do Relatório Intermédio.
Plano de Trabalhos - Semestre 2
• Estudo de desempenho pormenorizado de um conjunto seleccionado de técnicas do estado da arte “prontas a usar” para tracking (por ex. [4]), aproveitando trabalho exploratório prévio.
• Implementação do método de tracking e registo 3D, testando-o, validando e comparando-o com outras técnicas sobre datasets reais recolhidos com o sistema sensorial do robô para limpeza florestal, e/ou potencialmente outros datasets de benchmarking.
• Escrita da Dissertação.
Condições
Esta metodologia resultará numa técnica com comprovado desempenho em termos de resultados de rastreamento e registo 3D, que será devidamente demonstrada pelo aluno e documentada na sua Dissertação de Mestrado.
Observações
Este trabalho de dissertação irá decorrer tanto no Instituto de Sistemas e Robótica da Universidade de Coimbra (ISR-UC) como na empresa Ingeniarius, Lda., líder do consórcio SEMFIRE.
Orientador (ISR): Doutor David Portugal, david.portugal@deec.uc.pt
Co-orientador (ISR): Doutor João Filipe Ferreira, jfilipe@isr.uc.pt
Orientador
David Portugal
david.portugal@deec.uc.pt 📩