Titulo Estágio
Sistema de anotação e treino automático de detectores de imagem
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Nest Collective, Rua da Sota 2/2A 2º Piso
Enquadramento
O estágio proposto enquadra-se num projecto co-desenvolvido pela RedLight Software conhecido como RetailEye, tendo recebido recentemente o primeiro investimento de capital de risco que lhe permitirá aumentar a sua equipa a curto-prazo.
O RetailEye é uma plataforma B2B de auditoria de campanhas de marketing físicas implementadas em superfícies comerciais pelas próprias marcas.
Esta plataforma já é usada por marcas como a Delta para verificarem se as suas campanhas de marketing em super e hipermercados são implementadas de acordo com as expectativas contratuais acordadas entre a Delta e o gestor de loja.
O RetailEye, para a auditoria na superfície comercial, utiliza um conjunto crowdsourced de utilizadores que, com recurso a uma aplicação móvel para Android e iOS, conseguem saber o que procurar na loja. A aplicação mostra a estes utilizadores perguntas desenvolvidas pela marca para resposta rápida do utilizador, providenciando respostas de Sim/Não e uma fotografia da implementação em loja da campanha de marketing.
O RetailEye é um serviço pago para empresas , sendo pago à base do número de auditorias efectuadas para uma determinada campanha, havendo depois lugar a remuneração dos utilizadores que providenciaram informação de auditoria por cada local visitado.
Actualmente a verificação das imagens passa por um sistema de visão computacional de validação treinado para cada marca. Cada treino de uma marca implica a anotação manual de exemplos que podem ser escassos. Para além de escassos pode carecer de validação do modelo em produção. Estes aspectos trazem limitações no onboarding de marcas na plataforma.
A RedLight pretende desenvolver um sistema capaz de automatizar o processo de onboarding de marcas na plataforma recorrendo a técnicas que permitam a automação da anotação, de treino de modelos e trabalhar os dados para os casos em que apenas alguns exemplos representativos da marca estão disponíveis para treino.
Objetivo
Para o estágio proposto pretende-se o desenvolvimento de um sistema de anotação e treino automático de detectores de objectos em imagens. O sistema deve ser capaz a partir de um conjunto de exemplos do objecto, anotar, criar conjunto de treino, treinar e validar o classificador. Para ajudar na resolução, existe um conjunto de dados local já recolhido e anotado bem como possibilidade de arranjar mais dados para anotação previamente validados.
O problema apresenta desafios a nível dos sistemas necessários para a realização da automatização da tarefa de anotação e treino bem com o a integração no sistema actual. Desta forma, os objectivos de estágio são:
- Estudo e análise do estado da arte de sistemas de anotação automática e de aprendizagem computacional com poucos exemplos;
- Estudo de aplicabilidade do sistema inteligente na aplicação;
- Desenvolvimento do sistema;
- Desenvolvimento dos modelos necessários para o funcionamento do sistema;
- Integração com o sistema actual
Plano de Trabalhos - Semestre 1
1) Revisão do estado da arte e das características relativas ao funcionamento actual da aplicação;
2) Definição de requisitos funcionais e arquitetura;
3) Definição de roadmap para o desenvolvimento do sistema;
4) Início do desenvolvimento;
5) Escrita do relatório intermédio;
Plano de Trabalhos - Semestre 2
1) Finalização do desenvolvimento do sistema;
2) Teste e validação do sistema em conjuntos de teste;
3) Refinamento do sistema em função dos resultados;
4) Escrita da dissertação;
Condições
O estágio decorrerá no Nest Collective Downtown (Rua da Sota 2A), entre as salas da RedLight e as salas destinadas ao projecto RetailEye, de Segunda-feira a Sexta-feira, entre as 9h e as 18h00m (flexivel).
Por motivos de segurança e higiene, será dada a possibilidade ao aluno de teletrabalho durante o período de estágio, sendo avaliada a renovação dessa possibilidade mensalmente pela RedLight.
Será também disponibilizado ao aluno todos os recursos necessários à investigação associada ao estágio proposto. Dada as necessidades computacionais que este projeto requer, numa fase experimental será utilizado o google collab e existem condições para se contratar serviços de computação em GPU (e.g.: Amazon, google Cloud, ZeroStack) numa fase mais avançada da experimentação.
Observações
Co-orientação pelo Prof. Dr. João Nuno Correia do lado do DEI FCTUC
Orientador
Pedro Miguel Felizardo Antunes
mantunes@redlight.dev 📩