Titulo Estágio
Geração de Dados para Modelos de Visão Computacional na Identificação de Garrafas de Gás
Áreas de especialidade
Sistemas Inteligentes
Engenharia de Software
Local do Estágio
Instituto Pedro Nunes, Coimbra (Laboratório de Informática e Sistemas)
Enquadramento
O setor de revenda de gás engarrafado enfrenta desafios de eficiência, tanto na disponibilidade 24/7 quanto na otimização logística do reabastecimento. Para responder a estes desafios, o IPN colabora no desenvolvimento de uma solução inovadora, o Smart Dispenser, que consiste em dispensadores automáticos de garrafas de gás geridos por aplicação móvel. Uma componente crítica deste sistema é a validação da devolução ou troca de garrafas através de Inteligência Artificial (IA) e visão computacional, garantindo a prevenção de fraudes sem intervenção humana. Já existe um protótipo com modelos treinados em dados laboratoriais, mas é fundamental expandir e diversificar o conjunto de dados com exemplos realistas para assegurar a robustez do sistema em ambiente de produção. Este estágio foca-se na recolha de dados reais e na exploração de técnicas avançadas de geração de dados sintéticos para enriquecer o treino dos modelos de IA.
Objetivo
O objetivo principal deste estágio é investigar, desenvolver e avaliar métodos para a recolha e geração de dados (reais e sintéticos) para treinar modelos de visão computacional destinados à identificação e validação de garrafas de gás. O estagiário deverá:
- Planear e executar a recolha de dados em ambiente real, simulando condições de produção.
- Investigar e implementar técnicas de geração de dados sintéticos, explorando:
- Renderização fotorealista (ex: com recurso ao Unreal Engine).
- Fotogrametria e reconstrução 3D, analisando abordagens de state-of-the-art como Neural Radiance Fields (NeRF)¹ e Gaussian Splatting².
- Comparar a eficácia dos dados sintéticos versus dados reais no treino e desempenho dos modelos de IA.
- Contribuir para a criação de um dataset robusto e diversificado que melhore a precisão e a fiabilidade dos modelos de deteção de fraude.
¹ Mildenhall, B., et al. (2021). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Communications of the ACM, 65(1), 99–106.1
² Kerbl, B., et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, 42(4), 1–14.
Plano de Trabalhos - Semestre 1
Durante o 1º semestre, o projeto será composto pelas seguintes fases de desenvolvimento:
F1 – Análise do estado da arte (20% do semestre): Investigação aprofundada de técnicas de recolha de dados, geração de dados sintéticos (renderização, fotogrametria, NeRF, Gaussian Splatting, Grut) e seu impacto em modelos de visão computacional.
F2 – Levantamento de requisitos e planeamento (20% do semestre): Definição detalhada dos requisitos para os dados (variedade de garrafas, condições de iluminação, ângulos), planeamento da recolha de dados reais e seleção das ferramentas para geração de dados sintéticos.
F3 – Preparação e prototipagem (50% do semestre): Montagem do ambiente para recolha de dados reais; desenvolvimento inicial e testes de protótipos para geração de dados sintéticos com as tecnologias selecionadas.
F4 – Relatório intermédio (10 %): Elaboração e entrega do relatório intermédio.
Plano de Trabalhos - Semestre 2
Durante o 2º semestre, o projeto será composto pelas seguintes fases de desenvolvimento:
F5 – Implementação e Recolha (60% do semestre): Execução da recolha de dados reais em larga escala; implementação das pipelines de geração de dados sintéticos; anotação e preparação dos datasets.
F6 – Testes e Avaliação (30% do semestre): Treino e avaliação de modelos de IA com os novos datasets (reais, sintéticos e mistos); análise comparativa dos resultados; otimização dos processos de geração e dos modelos.
F7 – Relatório de projeto (10% do semestre): Consolidação dos datasets, elaboração do relatório final do projeto e documentação dos métodos desenvolvidos.
Condições
Este trabalho será integrado num projeto de investigação cofinanciado, sendo que o aluno poderá candidatar-se a uma bolsa de investigação para licenciado no âmbito deste projeto, nos termos da legislação aplicável e regulamentos do IPN. O valor da bolsa é de 1040,98€, em linha com a tabela de bolsas de investigação da FCT.
Observações
Áreas de especialidade:
Visão Computacional
Inteligência Artificial
Geração de Dados Sintéticos
Machine Learning
Orientador
Alcides Manuel de Almeida Marques
alcides.marques@ipn.pt 📩