Titulo Estágio
Geração de Dados para Modelos de Visão Computacional na Identificação de Garrafas de Gás
Local do Estágio
Instituto Pedro Nunes, Coimbra (Laboratório de Informática e Sistemas)
Enquadramento
O setor de revenda de gás engarrafado enfrenta desafios de eficiência, tanto na disponibilidade 24/7 quanto na otimização logística do reabastecimento. Para responder a estes desafios, o IPN colabora no desenvolvimento de uma solução inovadora, o Smart Dispenser, que consiste em dispensadores automáticos de garrafas de gás geridos por aplicação móvel. Uma componente crítica deste sistema é a validação da devolução ou troca de garrafas através de Inteligência Artificial (IA) e visão computacional, garantindo a prevenção de fraudes sem intervenção humana. Embora já exista um protótipo com modelos treinados em dados laboratoriais, é fundamental expandir e diversificar o conjunto de dados com exemplos realistas e sintéticos para assegurar a robustez do sistema em ambiente de produção. Este estágio foca-se não apenas na recolha de dados reais e na geração de dados sintéticos avançados, mas também no treino, avaliação e validação de modelos de visão computacional para a identificação e validação de garrafas de gás. Além disso, o estágio abordará a otimização da pipeline de geração de dados sintéticos para melhorar a eficiência e o desempenho dos modelos.
Objetivo
O objetivo principal deste estágio é investigar, desenvolver e avaliar métodos para a recolha e geração de dados (reais e sintéticos), bem como treinar, validar e otimizar modelos de visão computacional para a identificação e validação de garrafas de gás. O estagiário deverá:
- Planear e executar a recolha de dados em ambiente real, simulando condições de produção.
- Investigar e implementar técnicas avançadas de geração de dados sintéticos, como renderização fotorealista (ex: Unreal Engine), fotogrametria, Neural Radiance Fields (NeRF) e Gaussian Splatting.
- Treinar modelos de visão computacional utilizando diferentes combinações de dados reais e sintéticos (ex: apenas reais, apenas sintéticos, mistos).
- Desenvolver e aplicar métodos de validação para avaliar o realismo e a utilidade dos dados sintéticos, comparando-os com dados reais.
- Avaliar e comparar o desempenho dos modelos treinados, analisando como o tipo e a qualidade dos dados afetam a precisão, robustez e generalização.
- Otimizar a pipeline de geração de dados sintéticos (ex: automação ou ajuste de parâmetros) para melhorar a eficiência e o desempenho dos modelos.
O projeto já conta com um conjunto significativo de dados reais recolhidos em laboratório (>3000 fotos anotadas), e irá trabalhar integrado numa equipa multi-disciplinar que participará no desenvolvimento de funcionalidades mais especializadas (ex: criação de meshes e cenários usando o Unreal Engine, transporte de materiais e recolha de dados reais em ambiente real, anotação de dados).
Plano de Trabalhos - Semestre 1
Durante o 1º semestre, o projeto será composto pelas seguintes fases de desenvolvimento:
F1 – Análise do estado da arte (20% do semestre): Investigação aprofundada de técnicas de recolha de dados, geração de dados sintéticos (renderização, fotogrametria, NeRF, Gaussian Splatting, Grut) e seu impacto em modelos de visão computacional.
F2 – Levantamento de requisitos e planeamento (20% do semestre): Definição detalhada dos requisitos para os dados (variedade de garrafas, condições de iluminação, ângulos), planeamento da recolha de dados reais e seleção das ferramentas para geração de dados sintéticos.
F3 – Preparação e prototipagem (50% do semestre): Montagem do ambiente para recolha de dados reais; desenvolvimento inicial e testes de protótipos para geração de dados sintéticos com as tecnologias selecionadas.
F4 – Relatório intermédio (10 %): Elaboração e entrega do relatório intermédio.
Plano de Trabalhos - Semestre 2
Durante o 2º semestre, o projeto será composto pelas seguintes fases de desenvolvimento:
F5 – Implementação e Recolha (60% do semestre): Execução da recolha de dados reais em larga escala; implementação das pipelines de geração de dados sintéticos; anotação e preparação dos datasets.
F6 – Testes e Avaliação (30% do semestre): Treino e avaliação de modelos de IA com os novos datasets (reais, sintéticos e mistos); análise comparativa dos resultados; otimização dos processos de geração e dos modelos.
F7 – Relatório de projeto (10% do semestre): Consolidação dos datasets, elaboração do relatório final do projeto e documentação dos métodos desenvolvidos.
Condições
Este trabalho será integrado num projeto de investigação cofinanciado, sendo que o aluno poderá candidatar-se a uma bolsa de investigação para licenciado no âmbito deste projeto, nos termos da legislação aplicável e regulamentos do IPN. O valor da bolsa é de 1040,98€, em linha com a tabela de bolsas de investigação da FCT.
Observações
Áreas de especialidade:
Visão Computacional
Inteligência Artificial
Geração de Dados Sintéticos
Machine Learning
Orientador
Alcides Manuel de Almeida Marques
alcides.marques@ipn.pt 📩