Titulo Estágio
Segmentação Semântica em Ambientes Florestais
Áreas de especialidade
Sistemas Inteligentes
Engenharia de Software
Local do Estágio
ISR e Ingeniarius, Lda.
Enquadramento
Consultar Versão Online em: https://home.isr.uc.pt/~david.portugal/Msc/2019-20_Semantic_Segmentation.pdf
A segmentação de imagens é essencial para a compreensão do meio envolvente por parte das máquinas florestais autónomas do futuro. No âmbito do projecto SEMFIRE [1], pretende-se dotar um robô terrestre de grande porte com a capacidade de segmentar imagens, permitindo a identificação de material combustível para limpeza florestal e outras classes de objectos e entidades consideradas relevantes, como por ex: pessoas, animais, árvores de diferentes tipos, plantas rasteiras, vergetação arbórea, etc., que partilham o ambiente com o robô.
O principal objectivo deste trabalho passa assim pela implementação de métodos de segmentação semântica de imagem que permitam a identificação clara dos diferentes objectos e entidades presentes em meio florestal. O sistema sensorial do robô é composto por diversas câmaras de diferentes modalidades (profundidade, multispectral, termal) e outros sensores (por ex. laser 3D) que estarão à disposição do aluno. Pretende-se que o aluno estude técnicas de segmentação, eventualmente baseadas em aprendizagem deep learning, e as teste, compare, implemente e integre na arquitectura de percepção da máquina autónoma instrumentada, baseada em ROS [2].
Palavras-chave: Segmentação Semântica; Robótica Florestal; Percepção Artificial, Redes Neuronais, Deep Learning.
Referências:
[1] M. S. Couceiro, D. Portugal, J. F. Ferreira, R. P. Rocha: “SEMFIRE: Towards a new generation of forestry maintenance multi-robot systems”, In 2019 IEEE/SICE International Symposium on System Integration (SII), pp. 270-276. Disponível em: https://home.isr.uc.pt/~david.portugal/Pubs/2019_CPFR_IEEE_SI2019.pdf e http://semfire.ingeniarius.pt
[2] ROS.org: Powering the World’s Robots [Online]. Disponível em: www.ros.org
[3] A. Milioto, C. Stachniss: “Bonnet: An Open-Source Training and Deployment Framework for Semantic Segmentation in Robotics using CNNs”. Disponível em: https://arxiv.org/pdf/1802.08960.pdf
Objetivo
Para cumprir o objectivo primordial do trabalho, o aluno:
• Fará uma revisão aprofundada da literatura de segmentação semântica aplicada em ambientes florestais e das técnicas existentes para segmentação em geral.
• Desenhará uma pipeline de processamento, com base no trabalho anterior de levantamento, no âmbito do projecto SEMFIRE.
• Efectuará um estudo de desempenho pormenorizado de um conjunto seleccionado de técnicas do estado da arte “prontas a usar” (por ex., Bonnet [3]), aproveitando trabalho exploratório prévio.
• Irá implementar o método, validando e comparando-o com outras técnicas de segmentação semântica sobre datasets reais recolhidos com o sistema sensorial do robô para limpeza florestal, e/ou potencialmente outros datasets de benchmarking.
Plano de Trabalhos - Semestre 1
• Revisão aprofundada da literatura de segmentação semântica aplicada em ambientes florestais e das técnicas existentes para segmentação em geral.
• Familiarização com a framework de treino e deployment de Segmentação Semântica.
• Design de um pipeline de processamento, com base no trabalho anterior de levantamento, no âmbito do projecto SEMFIRE.
• Escrita do Relatório Intermédio.
Plano de Trabalhos - Semestre 2
• Estudo de desempenho pormenorizado de um conjunto seleccionado de técnicas do estado da arte “prontas a usar” (por ex., Bonnet [3]), aproveitando trabalho exploratório prévio.
• Implementação do método, validando e comparando-o com outras técnicas de segmentação semântica sobre datasets reais recolhidos com o sistema sensorial do robô para limpeza florestal, e/ou potencialmente outros datasets de benchmarking.
• Escrita da Dissertação.
Condições
Esta metodologia resultará numa técnica com comprovado desempenho em termos de resultados de segmentação no terreno, que será devidamente demonstrada pelo aluno e documentada na sua Dissertação de Mestrado.
Observações
Este trabalho de dissertação irá decorrer tanto no Instituto de Sistemas e Robótica da Universidade de Coimbra (ISR-UC) como na empresa Ingeniarius, Lda., líder do consórcio SEMFIRE.
Orientador (ISR): Doutor David Portugal, david.portugal@deec.uc.pt
Co-orientador (ISR): Doutor João Filipe Ferreira, jfilipe@isr.uc.pt
Orientador
David Portugal
david.portugal@deec.uc.pt 📩