Titulo Estágio
Sistema de anotação e treino automático de detectores de imagem
Áreas de especialidade
Engenharia de Software
Sistemas Inteligentes
Local do Estágio
Escritórios da entidade em Coimbra - Nest Collective, Rua da Sota 2/2A 2º Piso
Enquadramento
O estágio proposto enquadra-se num projecto co-desenvolvido pela RedLight Software conhecido como RetailEye, tendo recebido recentemente o primeiro investimento de capital de risco que lhe permitirá aumentar a sua equipa a curto-prazo.O RetailEye é uma plataforma B2B de auditoria de campanhas de marketing físicas implementadas em superfícies comerciais pelas próprias marcas.Esta plataforma já é usada por marcas como a Delta para verificarem se as suas campanhas de marketing em super e hipermercados são implementadas de acordo com as expectativas contratuais acordadas entre a Delta e o gestor de loja.O RetailEye, para a auditoria na superfície comercial, utiliza um conjunto crowdsourced de utilizadores que, com recurso a uma aplicação móvel para Android e iOS, conseguem saber o que procurar na loja. A aplicação mostra a estes utilizadores perguntas desenvolvidas pela marca para resposta rápida do utilizador, providenciando respostas de Sim/Não e uma fotografia da implementação em loja da campanha de marketing.O RetailEye é um serviço pago para empresas , sendo pago à base do número de auditorias efectuadas para uma determinada campanha, havendo depois lugar a remuneração dos utilizadores que providenciaram informação de auditoria por cada local visitado.Actualmente a verificação das imagens passa por um sistema de visão computacional de validação treinado para cada marca. Cada treino de uma marca implica a anotação manual de alguns exemplos estendida com o uso de um volume grande de exemplos não anotados. O volume de exemplos faz com que o treino seja demorado e tenha um custo que não é compatível com a sua execução para cada produto que queremos auditar.A RedLight pretende melhorar o actual sistema de anotação e treino automático de detectores de objectos em imagens, recorrendo a técnicas que permitam o treino de modelos com um conjunto reduzido de dados de treino e trabalhar os dados para os casos em que apenas alguns exemplos representativos da marca estão disponíveis para treino.
Objetivo
Para o estágio proposto pretende-se o desenvolvimento de um novo sistema de anotação e treino automático de detectores de objectos em imagens, que possa funcionar de forma fiável com um conjunto reduzido de dados de treino. O sistema deve ser capaz a partir de um conjunto de exemplos do objecto, anotar, criar conjunto de treino, treinar e validar o classificador. Para ajudar na resolução, existe um conjunto de dados local já recolhido e anotado bem como possibilidade de arranjar mais dados para anotação previamente validados.O problema apresenta desafios a nível dos sistemas necessários para a realização da automatização da tarefa de anotação e treino bem como a integração no sistema actual. Desta forma, os objectivos de estágio são:Estudo e análise do estado da arte de sistemas de anotação automática e de aprendizagem computacional com poucos exemplos;Estudo de aplicabilidade do sistema inteligente na aplicação;Desenvolvimento do sistema;Desenvolvimento dos modelos necessários para o funcionamento do sistema;Integração com o sistema actual
Plano de Trabalhos - Semestre 1
Revisão do estado da arte e das características relativas ao funcionamento actual da aplicação; - Setembro - Novembro 2022
Definição de requisitos funcionais e arquitetura; - Novembro-Dezembro 2022
Definição de roadmap para o desenvolvimento do sistema; - Novembro-Dezembro 2022
Início do desenvolvimento; - Dezembro 2022
Escrita do relatório intermédio; - Dezembro 2022
Plano de Trabalhos - Semestre 2
Finalização do desenvolvimento do sistema; Janeiro - Março 2023
Teste e validação do sistema em conjuntos de teste; - Abril 2023
Refinamento do sistema em função dos resultados; - Abril-Maio 2023
Escrita da dissertação; - Maio/Junho 2023
Condições
O estágio decorrerá no Nest Collective Downtown (Rua da Sota 2A), entre as salas da RedLight e as salas destinadas ao projecto RetailEye, de Segunda-feira a Sexta-feira, entre as 9h e as 18h00m (flexivel).Por motivos de segurança e higiene, será dada a possibilidade ao aluno de teletrabalho durante o período de estágio, sendo avaliada a renovação dessa possibilidade mensalmente pela RedLight.Será também disponibilizado ao aluno todos os recursos necessários à investigação associada ao estágio proposto. Dada as necessidades computacionais que este projeto requer, numa fase experimental será utilizado o google collab e existem condições para se contratar serviços de computação em GPU (e.g.: Amazon, google Cloud, ZeroStack) numa fase mais avançada da experimentação.
Observações
Orientação do lado do DEI a cargo do Prof. Dr. João Nuno Correia
Remuneração prevista para o segundo semestre.
Orientador
Pedro Miguel Felizardo Antunes
mantunes@redlight.dev 📩