Titulo Estágio
Advance Monitoring for Machine Learning
Local do Estágio
Instituto Pedro Nunes, Edifício D, Sala 2.22 - Rua Pedro Nunes, 3030-199 Coimbra/Remote
Enquadramento
A Stratio Automotive opera na indústria automóvel e dispõe de mecanismos de aquisição, monitorização e análise de dados provenientes de centenas de sensores existentes em milhares de veiculos de diversas frotas e fabricantes automóveis a nivel mundial. A Stratio possui ferramentas capazes de detectar e prever anomalias e falhas em veiculos automóveis recorrendo para isso a algoritmos de Machine Learning capazes de analisar dados provenientes destes veiculos e detetar comportamentos anómalos ou situações de risco que ponham em causa o normal funcionamento do veículo, permitindo assim otimizar custos na sua manutenção ou gestão de operações.
O fluxo de tratamento de dados compreende ainda várias etapas cada uma com uma responsabilidade distinta na gestão e tratamento de dados. Inicialmente a aquisição de dados é feita com um dispositivo proprietário, DataBox®, que é instalado no veículo onde recolhe e envia em real-time dezenas de milhões de leituras de sensores por dia, de diferentes componentes como bateria, motor, transmissão, travões, suspensão etc. De seguida estes dados são análisados e persistidos em clusters de base de dados (BigData) para que posteriormente sejam utilizados e analisados pelos modelos de Machine Learning proprietários da Stratio. Estes resultados são depois visualizados em uma plataforma entregue ao cliente e são também acionados alertas e notificações sobre todas as ocorrências identificadas.
A Stratio possui uma equipa de Data Scientists e Data Engineers responsáveis pela criação destes modelos que analisam e treinam diáriamente novos algoritmos, que após várias fases de treino e validação necessitam de ser produtizados de forma a serem utilizados numa maior escala e propagados para os milhares de veiculos existentes. Alem disso as fases de aquisição de dados para treino, validação e produção são diferentes uma vez que a Stratio processa dados em real-time, necessitando assim que estes modelos sejam actualizados e adequados a essa realidade. As próprias predições geradas necessitam também de ser tratadas de forma a poderem serem mais tarde visualizadas nas respectivas aplicações cliente.
Objetivo
Com este estágio pretende-se a criação de uma plataforma de monitorização avançada de modelos de Machine Learning. É necessário para isso encontrar soluções eficientes, escaláveis e que permitam detectar problemas nos modelos de Machine Learning da Stratio como Data Drift e Concept Drift. Estes problemas necessitam assim de algoritmos e mecanismos auxiliares de forma a serem devidamente identificados e corrigidos. O volume de dados com que estes modelos trabalham, chega a atingir largamente as centenas de milhões de leituras de sensores por execução, e a cada segundo novos dados são recolhidos em real-time, o que representa um desafio a esta análise.
O presente projecto/estágio pretende atingir os seguintes objectivos genéricos:
- Investigar o State of Art atualmente disponível;
- Analisar os requisitos existentes na Stratio;
- Desenhar uma arquitetura do sistema;
- Implementar a solução encontrada;
- Validar e testar toda a solução;
- Documentar e retirar conclusões acerca do trabalho desenvolvido.
Plano de Trabalhos - Semestre 1
- T1. Análise do estado da arte - Análise do respetivo estado de arte que compreende investigação de tecnologias usadas, ferramentas, workflows e padrões de desenho a usar;
- T2. Análise de requistos - Levantamento de requisitos funcionais e não funcionais aos quais a solução deve corresponder.
Plano de Trabalhos - Semestre 2
- T3. Desenho da arquitetura - Desenho da arquitetura, respetivos componentes, tecnologias e ferramentas a usar e a forma como estes se interligam;
- T4. Implementação - Implementação da solução encontrada;
- T5. Validação - Validação, testes e recolha de métricas em função dos requisitos identificados;
- T6. Documentação - Escrita da documentação de todo o trabalho realizado.
Condições
- Ao Estágio está associado um Subsídio de Alimentação, correspondente a 6.83€/dia efetivamente trabalhado.
- Horário: 9h00 - 18h00, flexível.
- Estágio com possibilidade de ser realizado em regime full remote;
Observações
Tecnologias utilizadas:
- .NET Core 3.0
- Python 3.7
- Linux, Windows Servers
- Azure e AWS
- Apache Kafka
- Elasticsearch
- Microsoft SQL Server
- Visual Code, Jupyter Notebooks
- Docker
- Kubernetes
- Jenkins, Sonar e Nexus
- GIT
- Jira e Confluence
Orientador
Tiago Brito
tiagobrito@stratioautomotive.com 📩