Titulo Estágio
Desenvolvimento e treino de sistema para detecção de objectos
Local do Estágio
Escritórios da Entidade - Coimbra
Enquadramento
O estágio proposto enquadra-se num projecto co-desenvolvido pela RedLight Software conhecido como Brands and Ninjas, tendo recebido recentemente o primeiro investimento de capital de risco que lhe permitirá aumentar a sua equipa a curto-prazo.
A Brands and Ninja é uma plataforma B2B de auditoria de campanhas de marketing físicas implementadas em superfícies comerciais pelas próprias marcas, como a Delta, Lactogal, Red Bull entre outras. Estas verificam se os seus produtos estão disponíveis em Linear ou se as suas campanhas de marketing em super e hipermercados são implementadas de acordo com as expectativas contratuais acordadas entre as marcas e o retalhista.
A Brands and Ninjas, para a auditoria na superfície comercial, utiliza um conjunto crowdsourced de utilizadores que, com recurso a uma aplicação móvel para Android e iOS, conseguem saber o que procurar na loja. A aplicação mostra a estes utilizadores perguntas desenvolvidas pela marca para resposta rápida do utilizador, providenciando respostas de Sim/Não e uma fotografia da implementação em loja do produto ou campanha de marketing procurados.
A Brands and Ninjas é um serviço pago à base do número de auditorias efectuadas (visitas ao ponto de venda), para verificação de um determinado produto ou campanha, havendo depois lugar a remuneração dos utilizadores que providenciaram informação de auditoria por cada local visitado.
A validação das imagens provenientes das auditorias é um passo fundamental, o qual passa por um sistema de visão computacional que se enquadra e seja capaz de automatizar o processo. Dada a diversidade de clientes e de objetivos de cada auditoria, treinar um sistema que cumpra os requisitos requer um volume grande de dados anotados, bem como a garantia da sua qualidade. Contemple-se também os casos em que existe uma quantidade inferior de exemplos representativos da marca que estão disponíveis para treino. O tratamento de dados é imperativo para a otimização do processo de treino.
Posteriormente, o sistema tem de ter a capacidade de automaticamente identificar objetos em imagens, pedidos pelos diferentes clientes, num curto espaço de tempo, e com o objetivo de alcançar precisão suficiente para ser um passo de validação autónoma. É importante ainda que a estratégia de implementação tenha em consideração a escalabilidade do sistema, vista a diversidade de clientes e objetos a identificar.
A RedLight pretende melhorar o actual sistema de treino de detectores de objectos em imagens, de modo a aumentar a abrangência do sistema para os seus vários clientes e objetivos, recorrendo a técnicas do estado da arte que permitam optimizar o processo de treino de modelos.
Objetivo
Para o estágio proposto pretende-se melhorar o sistema existente e desenvolver módulos que permitam optimizar o treino de detectores de objectos em imagens Para ajudar na resolução, existe um conjunto de dados local já recolhido e anotado bem como possibilidade de arranjar mais dados para anotação previamente validados.
O problema apresenta desafios a nível dos sistemas necessários para a realização da automatização do treino bem como a integração dos módulos a desenvolver no sistema actual. Desta forma, os objectivos de estágio são:
- Estudo e análise do estado da arte de sistemas de detecção de objectos e optimização de treino de modelos de aprendizagem computacional
- Estudo do estado do sistema inteligente atualmente implementado;
- Desenvolvimento de um módulo de tratamento de dados de treino;
- Automatização do processo de treino de modelos para detecção de objetos;
- Desenvolvimento dos modelos necessários para o funcionamento do sistema;
- Integração com o sistema existente;
Plano de Trabalhos - Semestre 1
1) Revisão do estado da arte e das características relativas ao funcionamento actual da aplicação;
2) Definição de requisitos funcionais e arquitetura;
3) Definição de roadmap para o desenvolvimento do sistema;
4) Início do desenvolvimento;
5) Escrita do relatório intermédio;
Plano de Trabalhos - Semestre 2
1) Finalização do desenvolvimento do sistema;
2) Teste e validação do sistema em conjuntos de teste;
3) Refinamento do sistema em função dos resultados;
4) Escrita da dissertação;
Condições
O estágio decorrerá no Nest Collective Downtown (Rua da Sota 2A), entre as salas da RedLight e as salas destinadas ao projecto RetailEye, de Segunda-feira a Sexta-feira, entre as 9h e as 18h00m (flexivel).
Observações
Para o treino e validação do sistema estão imediatamente disponíveis cerca de 1000 imagens previamente curadas e anotadas, estando previsto procedermos à anotação de imagens adicionais caso seja necessário no âmbito do estágio, duplicando a fonte de dados curados.
Adicionalmente existem vários milhares fotografias não anotadas disponíveis, que serão fornecidas pela entidade acolhedora, onde estão presentes os objectos a detectar, somando dezenas de milhares de objectos em fotografias.
Orientador
Pedro Miguel Felizardo Antunes
mantunes@redlightsoft.com 📩