Titulo Estágio
Stratio AI Feature Engineering Operators for Machine Learning
Local do Estágio
Rua Pedro Nunes, Edifício D, Piso 2, Sala 2.22, 3030-199
Enquadramento
A Stratio Automotive opera na indústria automóvel e dispõe de mecanismos de aquisição, monitorização e análise de dados provenientes de centenas de sensores existentes em milhares de veículos de diversas frotas e fabricantes automóveis a nível mundial. A Stratio possui ferramentas capazes de detetar e prever anomalias e falhas em veículos automóveis recorrendo para isso a algoritmos de Machine Learning capazes de analisar dados provenientes destes veículos e detetar comportamentos anómalos ou situações de risco que ponham em causa o normal funcionamento do veículo, permitindo assim otimizar custos na sua manutenção ou gestão de operações. O fluxo de tratamento de dados compreende ainda várias etapas, cada uma com uma responsabilidade distinta na gestão e tratamento de dados. Inicialmente a aquisição de dados é feita com um dispositivo proprietário, DataBox®, que é instalado no veículo onde recolhe e envia em tempo real dezenas de milhões de leituras de sensores por dia, de diferentes componentes como bateria, motor, transmissão, travões, suspensão etc. De seguida estes dados são analisados e persistidos em clusters de base de dados (Big Data) para que posteriormente sejam utilizados e analisados pelos modelos de Machine Learning proprietários da Stratio. Estes resultados são depois visualizados numa plataforma entregue ao cliente e são também acionados alertas e notificações sobre todas as ocorrências identificadas.A Stratio possui uma equipa de Data Scientists e Data Engineers responsáveis pela criação destes modelos, que analisam e treinam diariamente novos algoritmos, que após várias fases de treino e validação necessitam de ser produtizados de forma a serem utilizados numa maior escala e propagados para os milhares de veículos existentes. Além disso, as fases de aquisição de dados para treino, validação e produção são diferentes, uma vez que a Stratio processa dados em tempo real, necessitando assim que estes modelos sejam atualizados e adequados a essa realidade. As próprias predições geradas necessitam também de ser tratadas de forma a poderem ser mais tarde visualizadas nas respetivas aplicações cliente.
Objetivo
Investigar, desenhar e implementar uma solução completa e autónoma para a criação de operadores de feature engineering de modelos de Machine Learning;Criar uma framework base que permita abstrair os conceitos de feature engineering;Traduzir expressões com operadores lógicos básicos em pesquisas às base de dados e Data Lake da Stratio;Criar uma camada de abstração para identificar, computar e criar regras a serem usadas no processo de feature engineering;Automatizar as pipelines de processamento de dados usando mecanismos de Continuous Integration (CI) e Continuous Delivery (CD); Integrar a solução encontrada com a arquitetura existente Stratio AI Hefesto (Sistema de feature engineering proprietário).
Plano de Trabalhos - Semestre 1
T1 – Análise do estado de arte – Análise do respetivo estado de arte (SoA) que compreende investigação e teste de tecnologias, ferramentas, processos e metodologias a usar; T2 – Análise de requisitos – Levantamento de requisitos funcionais e não funcionais aos quais a solução deve responder. Esta fase inclui reuniões e acompanhamento do dia-a-dia de uma equipa de desenvolvimento na Stratio; T3 – Desenho da solução – Desenho da arquitetura, respetivos componentes, tecnologias e ferramentas a usar e de que forma estes se interligam. Inclui a aprovação técnica e conceptual por parte de todos os stakeholders;
Plano de Trabalhos - Semestre 2
T4 – Implementação – Implementação da solução encontrada. Inclui o desenvolvimento de serviços, utilização de ferramentas, provisionamento e desenvolvimento de software. O desenvolvimento de software está sempre enquadrado numa das metodologias de desenvolvimento ágeis em prática na Stratio; T5 – Validação – Validação, testes e recolha de métricas em função dos requisitos identificados. É feita ainda uma análise crítica e identificação de trabalho futuro; T6 – Documentação – Escrita de documentação de todo o trabalho realizado. Inclui a escrita do relatório de estágio final assim como documentação auxiliar nas ferramentas de documentação interna na Stratio.
Condições
Possibilidade de estagiar em regime híbrido ou remoto.
Observações
Todos os pontos abaixo mencionados não são requisitos mas sim pontos de interesse:Investigação do State of the Art para identificar e testar metodologias, ferramentas, algoritmos e procedimentos, para desenhar e garantir que foi encontrada a melhor solução;Colaboração e integração em conjunto com as equipas de Data Scientists e Data Engineers;Recolher, analisar e validar requisitos;Interesse em ambas as áreas de estudo de desenvolvimento de Software e Machine Learning;Tecnologias: Python, Featuretools, .NET C#, Apache Parquet, Apache Spark, Big Data & Databases, Docker, Kubernetes, Jenkins, outras.Conceitos: Programming Design Patterns, Microservice Architectures, Big Data & Databases, Machine Learning.
Orientador
Pedro Salgado
pedrosalgado@stratioautomotive.com 📩