Titulo Estágio
Sistema Inteligente para Validação Automática de Imagens
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Nest Collective Downtown, Rua da Sota 2/2A 2º Piso
Enquadramento
O estágio proposto enquadra-se num projecto co-desenvolvido pela RedLight Software conhecido como RetailEye, tendo recebido recentemente o primeiro investimento de capital de risco que lhe permitirá aumentar a sua equipa a curto-prazo.
O RetailEye é uma plataforma B2B de auditoria de campanhas de marketing fÃsicas implementadas em superfÃcies comerciais pelas próprias marcas.
Esta plataforma já é usada por marcas como a Delta para verificarem se as suas campanhas de marketing em super e hipermercados são implementadas de acordo com as expectativas contratuais acordadas entre a Delta e o gestor de loja.
O RetailEye, para a auditoria na superfÃcie comercial, utiliza um conjunto crowdsourced de utilizadores que, com recurso a uma aplicação móvel para Android e iOS, conseguem saber o que procurar na loja. A aplicação mostra a estes utilizadores perguntas desenvolvidas pela marca para resposta rápida do utilizador, providenciando respostas de Sim/Não e uma fotografia da implementação em loja da campanha de marketing.
O RetailEye é um serviço pago para empresas , sendo pago à base do número de auditorias efectuadas para uma determinada campanha, havendo depois lugar a remuneração dos utilizadores que providenciaram informação de auditoria por cada local visitado.
Actualmente, quando utilizador crowdsourced envia uma fotografia do local auditado, esta fica pendente de aceitação por parte da marca, podendo levar dias a ser aceite. O facto dessa fotografia não ser aceite, implica que esta não possa ser utilizada para efeitos estatÃsticos, descurando as respostas enviadas pelo utilizador aquando da sua visita.
Outro problema com essa passo de aceitação, tem a ver com o facto de algumas vezes os dados enviados serem incorrectos, no sentido de a fotografia enviada não corresponder à informação enviada em relação aos produtos - na maior parte dos casos, é pedido ao utilizador uma fotografia da prateleira/ilha e é-lhe perguntado, paralelamente, que artigos estão em exposição.
Com base nestes dois problemas, a RedLight pretende desenvolver um sistema de visão computacional capaz de verificar se as respostas enviadas pelos utilizadores correspondem ao que é visÃvel na imagem, para poder aprovar imediatamente a imagem para uso da marca. Um segundo uso deste sistema de reconhecimento de imagens uso prende-se com a verificação de se a imagem enviada é legÃvel.
Objetivo
Para o estágio proposto, pretende-se o desenvolvimento de um sistema de detecção e classificação de objectos em imagens de análise e apoio à decisão. Com recurso a esse sistema, espera-se que seja possÃvel confirmar se os dados que são entregues pelos utilizadores são fidedignos em função da imagem enviada. Um exemplo prático: uma marca pede para confirmar se um determinado produto está presente em prateleira, pedindo do aos utilizadores para tirarem uma fotografia a esse produto. Nesse contexto, espera-se que, seja possÃvel, através da fotografia enviada pelo utilizador, confirmar se o produto está presente na prateleira ou não. Para ajudar na resolução deste projeto existe um conjunto de dados já recolhido e classificado de utilizadores da plataforma. O conjunto de dados a disponibilizar, composto de imagens e de texto, permitará criar modelos e testar abordagens para a solução a implementar. Dada a natureza dos dados, serão exploradas abordagens deep learning como redes convolucionais, mobilenets e residuals networks; como modelo para classificação/detecção.
O problema apresenta desafios a nÃvel dos sistemas necessários para a realização da tarefa de detecção e a nÃvel de escalabilidade do ponto de vista da quantidade de dados, quer para a fase de treino quer para a fase de teste. Desta forma, os objectivos de estágio são:
- Estudo e análise do estado da arte de sistemas inteligentes de visão computacional e aprendizagem computacional;
- Estudo de aplicabilidade do sistema inteligente na aplicação;
- Desenvolvimento do sistema;
- Desenvolvimento dos modelos necessários para o funcionamento do sistema;
- Implementação do sistema inteligente na arquitectura actual.
Plano de Trabalhos - Semestre 1
1) Revisão do estado da arte e das caracterÃsticas relativas ao funcionamento actual da aplicação;
2) Definição de requisitos funcionais e arquitetura;
3) Definição de roadmap para o desenvolvimento do sistema;
4) InÃcio do desenvolvimento;
5) Escrita do relatório intermédio;
Plano de Trabalhos - Semestre 2
1) Finalização do desenvolvimento do sistema;
2) Teste e validação do sistema em conjuntos de teste;
3) Refinamento do sistema em função dos resultados;
4) Escrita da dissertação;
Condições
O estágio decorrerá no Nest Collective Downtown (Rua da Sota 2A), entre as salas da RedLight e as salas destinadas ao projecto RetailEye, de Segunda-feira a Sexta-feira, entre as 9h e as 18h00m.
Por motivos de segurança e higiene, será dada a possibilidade ao aluno de teletrabalho durante o perÃodo de estágio, sendo avaliada a renovação dessa possibilidade mensalmente pela RedLight.
Será também disponibilizado ao aluno todos os recursos necessários à investigação associada ao estágio proposto. Dada as necessidades computacionais que este projeto requer, numa fase experimental será utilizado o Google Collab e existem condições para se contratar serviços de computação em GPU (e.g.: Amazon, Google Cloud, ZeroStack) numa fase mais avançada da experimentação.
Orientador
Pedro Miguel Felizardo Antunes
mantunes@weareredlight.com 📩