Titulo Estágio
Visual-Language Models for Automated Cargo Container Exterior Inspection
Áreas de especialidade
Sistemas Inteligentes
Sistemas de Informação
Local do Estágio
DEI-FCTUC
Enquadramento
Esta proposta integra-se na agenda NEXUS que pretende realizar a transformação digital e energética dos portos nacionais (https://www.apsinesalgarve.pt/en/news/2023/nexus-agenda-meets-the-challenges-of-energy-and-digital-transition-of-the-sines-logistic-corridor/). Envolvendo a Universidade de Coimbra e outras 34 entidades, esta agenda que tem como principal stakeholder o Porto de Sines terá um impacto relevante nos transportes internacionais marítimos e terrestres.
A transformação digital de portos é uma das linhas de investigação NEXUS com participação do DEI/FCTUC e o tema em que se enquadra esta proposta de tese. O/a candidato/a terá a oportunidade de tomar contato com um projeto inovador, com participação de grandes empresas de informática, envolvendo vários alunos do DEI.
O transporte da carga que passa por estes terminais é feito maioritariamente em contentores normalizados, que estão sujeitos aos mais variados impactos na sua estrutura e superfície durante as longas viagens que percorrem. Para garantir a segurança e integridade da carga, é essencial realizar inspecões regulares para detetar danos estruturais, corrosão e outras anomalias. Por outro lado, é também esta deteção à entrada e saída dos terminais, permite ajudar a apurar responsabilidades pelos danos identificados. Os métodos tradicionais baseiam-se em inspeções manuais, demoradas e propensas a erro humano.
Nos últimos anos, a aplicação de visão por computador baseada em aprendizagem profunda tem demonstrado potencial para automatizar este processo. Contudo, os modelos baseados em redes neuronais convolucionais (CNNs) apresentam limitações em tarefas que exigem compreensão contextual e generalização para diferentes tipos de defeitos e cenários. Estudos mais recentes têm explorado a utilização de arquiteturas baseadas em transformers e modelos visual-language (VLM), que permitem um contexto mais alargado na análise de imagens [1]. No entanto, existem limitações nestes trabalhos, como por exemplo a identificação do tipo de dano que ainda é limitada a alguns tipos de danos, e também a escassez de datasets devidamente anotados. Apesar de existirem algumas estratégias para gerar datasets sintéticos para este problema específico [2], abordagens de aprendizagem zero-shot e few-shot parecem ainda não ter sido exploradas neste contexto.
[1] Kuo, S. Y., Lin, P. C., Huang, X. R., Huang, G. Z., & Chen, L. B. (2025). Cad-Transformer: A CNN-Transformer Hybrid Framework for Automatic Appearance Defect Classification of Shipping Containers. IEEE Transactions on Instrumentation and Measurement.
[2] Delgado, G., Cortés, A., García, S., Loyo, E., Berasategi, M., & Aranjuelo, N. (2023). Methodology for generating synthetic labeled datasets for visual container inspection. Transportation Research Part E: Logistics and Transportation Review, 175, 103174.
Objetivo
O objetivo principal desta proposta passa por desenvolver um protótipo de um sistema automático de inspeção de contentores, utilizando modelos transformer multimodais para a deteção e descrição de danos no exterior dos contentores, utilizando mais especificamente estratégias de aprendizagem zero-shot e few-shot. Pretende-se também que seja desenvolvida uma API rest que permita interação com o utilizador e outros sistemas existentes.
Plano de Trabalhos - Semestre 1
O plano de trabalhos previsto para o semestre 1 é o seguinte:
Setembro - Outubro
Revisão da literatura sobre modelos transformer aplicados à inspeção visual industrial, com foco em contentores.
Identificar e estudar os principais desafios na identificação do tipo dos danos.
Outubro - Novembro
Estudar arquiteturas recentes de zero-shot e few-shot learning (e.g., BLIP-2, DINOv2, Grounding DINO e Segment Anything).
Desenhar uma estrutura conceptual para o sistema proposto.
Novembro - Dezembro
Selecionar os modelos e datasets a utilizar.
Elaborar o relatório intermédio.
Plano de Trabalhos - Semestre 2
O plano de trabalhos previsto para o semestre 2 é o seguinte:
Fevereiro – Março
Avaliação prática de modelos pré-treinados em imagens de contentores (e.g., tarefas de captioning e deteção com prompts), com abordagens zero-shot and few-shot. Para fine-tunning dos modelos, podem ser usados datasets públicos [3], e também um dataset compilado num trabalho anterior que identifica algumas tipologias de danos.
Com base nos resultados da avaliação prática, identificar o(s) modelo(s) mais adequado(s) e documentar os resultados.
Abril – Maio
Implementar a pipeline de inspeção com o(s) modelo(s) selecionado(s).
Desenvolver uma API Rest para interação com o cliente e outros sistemas.
Realizar testes adicionais e avaliar o sistema de forma abrangente. Documentar os resultados.
Junho
Escrever a dissertação de mestrado
Escrever um artigo científico para uma conferência
[3] https://universe.roboflow.com/new-workspace-p1qnu/container-damage-detection/dataset/1/images. Dataset composto por 7731 imagens de contentores anotadas com máscaras que identificam danos
Condições
O/A aluno/a será integrado/a no grupo de Sistemas Inteligentes ou Sistemas de Informação, tendo acesso à sala de investigadores e aos recursos necessários à elaboração do projeto.
Este trabalho será orientado por:
- Prof. Jacinto Estima
- Prof. Alberto Cardoso
Orientador
Jacinto Estima; Alberto Cardoso
estima@dei.uc.pt 📩