Titulo Estágio
Enhancing Cargo Container License Plate Recognition Using Visual Language Models
Áreas de especialidade
Sistemas Inteligentes
Sistemas de Informação
Local do Estágio
DEI-FCTUC
Enquadramento
Esta proposta integra-se na agenda NEXUS que pretende realizar a transformação digital e energética dos portos nacionais (https://www.apsinesalgarve.pt/en/news/2023/nexus-agenda-meets-the-challenges-of-energy-and-digital-transition-of-the-sines-logistic-corridor/). Envolvendo a Universidade de Coimbra e outras 34 entidades, esta agenda que tem como principal stakeholder o Porto de Sines terá um impacto relevante nos transportes internacionais marítimos e terrestres.
A transformação digital de portos é uma das linhas de investigação NEXUS com participação do DEI/FCTUC e o tema em que se enquadra esta proposta de tese. O/a candidato/a terá a oportunidade de tomar contato com um projeto inovador, com participação de grandes empresas de informática, envolvendo vários alunos do DEI.
O Reconhecimento Automático de Matrículas (ALPR) é essencial na logística moderna, uma vez que facilita a gestão eficiente de contentores. No entanto, a eficiência dos sistemas tradicionais de ALPR é fortemente afetada em ambientes portuários, como condições de iluminação adversas, obstruções, formatos de matrículas não padronizados e imagens de baixa resolução.
Os Modelos Visual Language (VLMs) emergiram recentemente como uma solução promissora para superar estas limitações. Estes modelos combinam processamento de imagem e linguagem natural, permitindo uma melhor compreensão contextual. Por exemplo, o modelo VehiclePaliGemma demonstrou desempenho superior no reconhecimento de matrículas de automóveis distorcidas em condições complexas, com uma precisão de aproximadamente 87,6% [1]. Para além disso, a integração de VLMs com frameworks de deteção de objetos, como o YOLOv8, mostrou melhorias no processo de deteção e reconhecimento de objetos [2].
[1] AlDahoul, N., Tan, M. J. T., Tera, R. R., Karim, H. A., Lim, C. H., Mishra, M. K., & Zaki, Y. (2024). Advancing Vehicle Plate Recognition: Multitasking Visual Language Models with VehiclePaliGemma. arXiv preprint arXiv:2412.14197.
[2] Wang, X., Ren, W., Chen, X. A., Fan, H., Tang, Y., & Han, Z. (2024, October). Uni-YOLO: Vision-Language Model-Guided YOLO for Robust and Fast Universal Detection in the Open World. In Proceedings of the 32nd ACM International Conference on Multimedia (pp. 1991-2000).
Objetivo
O objetivo principal desta proposta passa por desenvolver e avaliar um sistema de reconhecimento automático de matrículas e identificadores em contentores de carga, que explore a integração de Modelos Visual Language (VLMs) de forma a melhorar o desempenho destes sistemas em ambientes logísticos desafiadores. Pretende-se também que seja desenvolvida uma API rest que permita interação com o utilizador e outros sistemas existentes.
Plano de Trabalhos - Semestre 1
O plano de trabalhos previsto para o semestre 1 é o seguinte:
Setembro - Outubro
Revisão da literatura sobre sistemas de ALPR tradicionais e o papel dos VLMs no reconhecimento de matrículas.
Identificar e estudar os principais desafios no reconhecimento de identificadores de contentores de carga.
Estudar arquiteturas recentes (e.g., VehiclePaliGemma, Florence-2).
Outubro - Novembro
Analisar conjuntos de dados existentes relevantes para a identificação de contentores de carga, como por exemplo o “Container Number Detection Dataset” [3].
Desenhar uma estrutura conceptual para o sistema de ALPR proposto, integrando VLMs.
Realizar testes exploratórios com modelos VLM.
Novembro - Dezembro
Selecionar os modelos e datasets a utilizar.
Elaborar o relatório intermédio.
[3] Container Number Detection Dataset. https://universe.roboflow.com/dissertation-t3buk/container-number-detection
Plano de Trabalhos - Semestre 2
O plano de trabalhos previsto para o semestre 2 é o seguinte:
Fevereiro – Março
Realizar testes adicionais aos modelos VLM e selecionar o mais adequado.
Treinar e avaliar o modelo selecionado nos conjuntos de dados identificados.
Abril – Maio
Desenvolver o protótipo do sistema de ALPR com integração do modelo VLM, incluindo uma API Rest para interação com o cliente e outros sistemas.
Realizar testes adicionais e documentar os resultados.
Junho
Escrever a dissertação de mestrado
Escrever um artigo científico para uma conferência
Condições
O/A aluno/a será integrado/a no grupo de Sistemas Inteligentes ou Sistemas de Informação, tendo acesso à sala de investigadores e aos recursos necessários à elaboração do projeto. Dependendo do desempenho do aluno, poderá ser atribuída uma bolsa de investigação durante o segundo semestre, cofinanciada pela agenda NEXUS.
Este trabalho será orientado por:
- Prof. Jacinto Estima
- Prof. Catarina Silva
Orientador
Jacinto Estima; Catarina Silva
estima@dei.uc.pt 📩