Titulo Estágio
Detecção de Objetos em Visão Computacional com Elevada Diversidade de Classes e Alta Densidade de Objetos por Imagem
Áreas de especialidade
Sistemas Inteligentes
Sistemas Inteligentes
Local do Estágio
Instituto Pedro Nunes, Edifício D, Rua Pedro Nunes, 3030-199 Coimbra
Enquadramento
A Visão Computacional é uma área em rápida evolução, fundamental para diversas aplicações que vão desde a segurança até à automação industrial, passando pela saúde e entretenimento. A capacidade de detectar e reconhecer um número elevado de classes de objetos em imagens e vídeos é um desafio significativo que exige um profundo conhecimento em algoritmos de machine learning, redes neuronais convolucionais (CNNs) e processamento de imagem.
Este estágio tem como objetivo capacitar o estagiário com competências avançadas em Visão Computacional, focando-se no desenvolvimento de uma solução capaz de detectar milhares de classes de objetos em imagens e/ou vídeos. Além disso, o estágio abordará o desafio adicional de lidar com elevada densidade de objetos por imagem, o que aumenta a complexidade do problema e exige técnicas sofisticadas de análise e processamento.
O projeto incluirá a investigação de técnicas de deep learning e a obtenção de dados de treino adequados para desenvolver e testar os modelos. A definição final dos dados a usar para treino e validação do(s) modelo(s) fará parte das atividades do estágio, mas a anotação manual de imagens de treino e validação, a existir, será uma atividade marginal e nunca o foco principal do estágio.
Adicionalmente o estagiário terá acesso a pequenos datasets de imagens reais já anotadas manualmente e a protótipos internos de geração de datasets sintéticos que permitem gerar grandes quantidades de imagens anotadas automaticamente para tarefas de detecção de objectos em Visão computacional.
Para treino e inferência dos modelos de deep learning, terá acesso a recursos de computação na cloud, actualmente em uso na empresa, e estão em curso contactos no sentido de ser possível o acesso aos recursos de High Performance Computing (HPC) do LCA - Laboratory for Advanced Computing da Universidade de Coimbra.
O estagiário será integrado numa equipa existente e terá a oportunidade de trabalhar com tecnologias de ponta, contribuindo para projetos inovadores que têm o potencial de impactar diversas indústrias. Este estágio oferece um ambiente ideal para aplicar conhecimentos teóricos em contextos práticos, promovendo o desenvolvimento de competências técnicas e analíticas. A experiência adquirida permitirá ao estagiário enfrentar desafios reais de Visão Computacional, desenvolvendo soluções robustas e eficientes para a detecção de objetos em cenários complexos.
Objetivo
- Estudar os conceitos e técnicas fundamentais de Visão Computacional e deep learning.
- Pesquisar e analisar as metodologias e modelos mais recentes e eficazes para detecção de objetos.
- Compreender o funcionamento e a arquitetura das redes neuronais convolucionais (CNNs) aplicadas à detecção de objetos.
- Explorar técnicas avançadas de data augmentation e estratégias de treino para melhorar a performance dos modelos.
- Obter e preparar dados de treino adequados, provenientes de diversas fontes, garantindo uma base diversificada e abrangente.
- Seleccionar e adaptar modelos de deep learning capaz de detectar milhares de classes de objetos em imagens e/ou vídeos, que possam lidar com elevada densidade de objetos por imagem, garantindo precisão e eficiência.
- Realizar testes rigorosos do modelo em cenários controlados e reais para avaliar a sua performance.
- Otimizar os modelos para garantir alta precisão e eficiência, ajustando hiperparâmetros e implementando melhorias contínuas.
- Documentar todo o processo de investigação, desenvolvimento e avaliação.
Plano de Trabalhos - Semestre 1
Semana 1-2: Introdução e Orientação:
- Introdução aos conceitos fundamentais de Visão Computacional e deep learning.
- Apresentação dos objetivos e expectativas do estágio.
- Formação sobre as ferramentas e plataformas a serem utilizadas durante o estágio.
Semana 3-6: Pesquisa e Levantamento de Informação:
- Revisão bibliográfica sobre técnicas avançadas de detecção de objetos.
- Estudo de diferentes arquiteturas de redes neuronais convolucionais (CNNs) e suas aplicações.
- Análise dos modelos "state-of-the-art" disponíveis no campo da detecção de objetos.
Semana 7-10: Definição dos Requisitos do Projeto:
- Identificação dos requisitos específicos da solução a ser desenvolvida.
- Definição das métricas de sucesso e critérios de avaliação do projeto.
- Estudo do cenário em questão, incluindo o número elevado de classes de objetos e a elevada densidade de objetos por imagem.
Semana 11-14:Estudo de Fontes de Dados e Técnicas de Treino:
- Análise de fontes de dados adequadas para treino de modelos de detecção de objetos.
- Investigação de técnicas de data augmentation e estratégias de treino.
- Identificação de necessidades de dados adicionais para melhorar o treino dos modelos.
Semana 15-18: Seleção e Adaptação de Modelos:
- Seleção dos modelos "state-of-the-art" mais adequados para o cenário definido.
Semana 19-20: Preparação do Relatório Intermédio:
- Redação de um relatório de estágio intermédio detalhando o trabalho - realizado no primeiro semestre.
- Revisão e submissão do relatório intermédio.
Plano de Trabalhos - Semestre 2
Semana 1-4: Implementação Inicial e Treino de Modelos:
- Adaptação inicial dos modelos selecionados conforme o plano definido no primeiro semestre.
- Obtenção e preparação de dados adicionais necessários para o treino dos modelos.
- Treino inicial dos modelos com os dados disponíveis.
Semana 5-8: Aperfeiçoamento dos Modelos:
- Refinamento dos modelos com base nos resultados do treino inicial.
- Ajustes para melhorar a detecção de elevado número de classes de objetos e lidar com a elevada densidade de objetos por imagem.
Semana 9-12: Otimização do Desempenho:
- Implementação de técnicas de otimização para melhorar a precisão e a eficiência dos modelos adaptados.
- Testes de performance em diferentes cenários e ajuste de hiperparâmetros.
Semana 13-16: Testes e Validação:
- Realização de testes rigorosos em ambientes controlados e em cenários reais.
- Recolha de feedback dos utilizadores e stakeholders.
- Análise dos resultados dos testes e identificação de áreas para melhoria.
Semana 17-18: Ajustes Finais:
- Implementação dos ajustes finais nos modelos com base no feedback recebido.
Semana 19-20: Preparação do Relatório Final:
- Elaboração do relatório final de estágio, documentando todo o processo de adaptação, treino, testes, resultados e conclusões.
- Revisão e submissão do relatório final.
Condições
- Bolsa de Investigação (FCT) no valor de 990,98€ (no 1.º semestre o valor é proporcional ao tempo trabalhado).
- Recursos computacionais cedidos pela Present Technologies
- Acesso a formação interna permanente(aulas de inglês semanais, formações técnicas,licença da Udemy)
- Acesso a medidas de bem-estar (e.g. Pilates, atividades de teambuilding,...)
- Designação de um Mentor
- Possibilidade de integração nos quadros da empresa no final do estágio.
Observações
Serão realizadas entrevistas.
Orientador
Nuno Pedro da Silva Rodrigues
nuno.rodrigues@present-technologies.com 📩