Titulo Estágio
Load01_Open Data & Earth Observation Data Aggregator
Áreas de especialidade
Sistemas de Informação
Local do Estágio
Aveiro
Enquadramento
Este estágio consiste na investigação de novas técnicas e tecnologias para agregação de dados a partir de fontes de dados abertos e também de dados de Earth Observation(ESA Space Data)e desenvolvimento de um sistema como prova de conceito, integrável em sistema proprietário para prototipagem rápida.
A agregação de dados é o processo de transformar dados de fontes dispersas em um único novo feed de dados. O objetivo da agregação de dados é o ser combinar fontes em conjunto de tal modo que o output é menos volumoso e mais estruturado que o input. Isso ajuda na performance de processamento de dados em massa, criação de novas fontes de dados correlacionados, etc.
Atualmente existem inúmeras fontes de dados abertos ao domínio público, incluindo dados de observação terrestre providenciados pela Agência Espacial Europeia (ESA). Combinar estes dados com os de sensores/máquinas,dados internos das organizações, etc. traz um enorme
valor acrescentado no suporte à decisão. O estágio passa precisamente pelo conceito universal de identificar, investigar e desenvolver formas de agregar, pré-processar e armazenar dados provenientes de Open Data Sources e Earth Observation(EO)Datasets.
Ficando o estagiário alocado à componente de agregação, pré-processamento e armazenamento do projeto, irá fazê-lo de forma integrada e complementar a um sistema proprietário da LOAD. Apesar do estágio decorrer nas instalações da LOAD em Portugal, o estágio decorrerá eventualmente em colaboração remota com um estagiário na Bélgica, responsável pela componente de dados-máquina (sensores, eletrónica e de embedded development) que interliga com o sistema proprietário da LOAD. Por esse motivo, domínio de Inglês é um fator importante.
Objetivo
- Aquisição de conhecimento do estado da arte das metodologias existentes, para agregação e armazenamento de grandes volumes de dados, de acordo com os 3 V’s do Big Data(volume, variety, velocity);
- Aquisição de conhecimento do estado da arte das tecnologias existentes em Big Data (ex: distributed file systems, distributed processing, non-relational databases, etc.);
- Criação de prova de conceito para sistema server-side que, uma vez ligado a múltiplas fontes de dados (Open Data Sources e Earth Observation Datasets), agrega, pré-processa e armazena dados;
- Integração do sistema desenvolvido com o existente sistema proprietário LOAD para IoT e BigData;
Plano de Trabalhos - Semestre 1
T1 – Familiarização Equipa – Familiarização com as metodologias de trabalho da LOAD e recolha de material referente ao projeto a desenvolver. Introdução à equipa de trabalho remota (estagiário e seu orientador, colegas de trabalho na Bélgica);
T2 – Investigação – Levantamento do estado da arte no âmbito do projeto a desenvolver e rápido benchmarking das opções mais relevantes;
T3 – Familiarização Tecnológica – Familiarização com as tecnologias necessárias para o trabalho a desenvolver;
Plano de Trabalhos - Semestre 2
T4 – Arquitetura – Especificação da análise funcional da plataforma a desenvolver e desenho dos diagramas de comportamento e da arquitetura do sistema;
T5 – Desenvolvimento – Programação do sistema/protótipo;
T6 – Integração e Estabilização – Integração, Testes e Bug-fixe;
T7 – Documentação – Produção da documentação (relatório das aprendizagens e caminhos tomados, architectural design document, etc.) – valoriza-se a produção de documentação em Inglês.
Condições
o aluno irá ser supervisionado pelo seu orientador, que é também o Diretor Técnico da LOAD.
Orientador
Davide Ricardo Baptista Pereira
davide.ricardo@load-interactive.com 📩