Titulo Estágio
Hololens cork visualizer
Áreas de especialidade
Sistemas de Informação
Sistemas de Informação
Local do Estágio
DEI
Enquadramento
A fabricação de rolhas de cortiça natural em Portugal é um processo que combina alta tecnologia e métodos industriais com conhecimento e experiência da manufatura tradicional, que é passado de geração a geração desde o séc XIX. As rolhas de alta qualidade passam por diversas etapas de controle de qualidade e classificação das suas características e defeitos realizadas manualmente, de forma sensorial, principalmente por inspeção visual. Este trabalho manual e altamente especializado é fundamental para garantir a qualidade do produto que é comercializado.
Atualmente, atrair jovens trabalhadores e treiná-los para estas funções é um ponto problemático para a sustentabilidade dessa indústria. Agilizar este processo e incentivar o envolvimento das novas gerações é uma preocupação importante dos fabricantes em Portugal. Neste sentido, este projeto visa explorar as tecnologias e ferramentas de realidade aumentada (RA) para a criação de tutoriais interativos, que utilizam conteúdo digital pré-produzido, onde a informação relativa às características específicas das rolhas (defeitos, anomalias, qualidades, etc.) será combinada com informação gerada com base no conhecimento tácito dos especialistas e trabalhadores com larga experiência e projetada virtualmente em rolhas reais para visualização através de dispositivo do tipo óculos de RA (nomeadamente o Ms-hololens). Há dois momentos principais onde a perícia dos trabalhadores é determinante: na escolha do local de furação das rolhas nas tiras de cortiça; na separação das rolhas em categorias representantes dos seus defeitos. Neste projeto, iremos focar no segundo, onde a inspeção manual das rolhas e defeitos de rolhas é realizada manualmente, rolha-a-rolha.
O ponto de partida para a implementação de uma aplicação de RA que permita projetar conteúdo gráfico de forma virtual em sobreposição à rolha real é a deteção da posição e orientação da rolha, em tempo real, utilizando as imagens da camera RGB e de profundidade do Hololens. Aqui, duas abordagens podem ser exploradas: utilização de algoritmos de aprendizagem de máquina (AM) para deteção direta da rolha por análise de sua textura e contorno; criação de um suporte com marcadores do tipo ArUco (ou similares) que indica a posição e orientação espacial da rolha.
Ultrapassar este desafio não só permitirá a criação de aplicações e tutoriais que poderão ser utilizados em contexto de treinamento de trabalhadores, mas também, numa etapa futura, permitirá a utilização de RA no processo de controle de qualidade na linha de produção. O que torna este um projeto com alto potencial de aplicação no contexto real de produção das rolhas.
Objetivo
O foco principal deste projeto é a exploração e desenvolvimento de técnicas para deteção automática da posição e orientação de rolhas de cortiça natural através de algoritmos de (AM) para manuseamento livre, e através da deteção de marcadores do tipo ArUco para manuseamento por suporte.
Desta forma podemos delinear os seguintes objetivos:
• Estudo do estado da arte do uso de RA em contexto industrial
• Estudo do estado da arte da deteção de posição e orientação de objetos através de imagens RGB e RGB-D
• Desenvolvimento de uma aplicação de testes para comparar diferentes estratégias de deteção da posição e orientação de rolhas utilizando as imagens RGB-D do Ms-Hololens
• Desenvolvimento de um protótipo de tutorial interativo para visualização de defeitos e anomalias de rolhas com Ms-Hololens
Plano de Trabalhos - Semestre 1
Estudo do estado da arte do uso de RA em contexto industrial.
Estudo do estado da arte da deteção de posição e orientação de objetos através de imagens RGB e RGB-D.
Desenvolvimento de uma aplicação de testes para comparar diferentes estratégias de deteção da posição e orientação de rolhas utilizando as imagens RGB-D do Ms-Hololens.
Plano de Trabalhos - Semestre 2
Desenvolvimento de um protótipo de tutorial interativo para visualização de defeitos e anomalias de rolhas com Ms-Hololens.
Etapa de testes e validação das aplicações desenvolvidas junto a trabalhadores especializados da indústria da cortiça na empresa CorkSupply.
Escrita da dissertação
Condições
O trabalho será realizado no VRLab - DEI, que conta com as tecnologias necessárias para o desenvolvimento (Ms-Hololens, Vr-ready PC e laptop, RGB-D cameras).
O projeto será co-orientado pelo Dr. Antonio César Ferreira, coorenador de inovação e desenvolvimento de produtos na empresa CorkSupply, uma das maiores fabricantes do ramo da cortiça.
Observações
Bibliografia:
Kalaitzakis, M., Cain, B., Carroll, S., Ambrosi, A., Whitehead, C., & Vitzilaios, N. (2021). Fiducial markers for pose estimation: Overview, applications and experimental comparison of the artag, apriltag, aruco and stag markers. Journal of Intelligent & Robotic Systems, 101, 1-26.
Marullo, G., Tanzi, L., Piazzolla, P., & Vezzetti, E. (2022). 6D object position estimation from 2D images: a literature review. Multimedia Tools and Applications, 1-39.
Osborne, M., & Mavers, S. (2019, October). Integrating augmented reality in training and industrial applications. In 2019 Eighth International Conference on Educational Innovation through Technology (EITT) (pp. 142-146). IEEE.
Orientador
André Perrotta
avperrotta@dei.uc.pt 📩