Titulo Estágio
Data ingestion in Smart Cities
Áreas de especialidade
Engenharia de Software
Sistemas de Informação
Local do Estágio
Rua Pedro Nunes - IPN , Escritório 2.18 3030–199 Coimbra
Enquadramento
A empresa Ubiwhere, Lda. foi constituída em Setembro de 2007 em Aveiro por três investigadores de telecomunicações provenientes do Instituto de Telecomunicações e da PT Inovação. Com sede em Aveiro, o objetivo primário da empresa é o desenvolvimento e investigação de tecnologias de ponta, para conceber a tecnologia mais avançada e criar propriedade intelectual de grande valor. A Ubiwhere tem vindo a investir, desde a sua criação, no aumento da sua capacidade tecnológica e na diferenciação dos seus produtos e serviços, apostando em nichos que apresentam vantagens competitivas, mas que exigem um forte investimento no contínuo desenvolvimento tecnológico. A empresa trabalha em diversos sectores, como a Internet das Coisas, com foco nas Cidades Inteligentes e Agricultura, nas tecnologias de Telecomunicação (e.g. 5G) e em tecnologias do futuro.
No âmbito das Cidades Inteligentes, a Ubiwhere tem vindo a desenvolver uma solução chamada Plataforma Urbana que agrega dados de diferentes fontes e domínios. Esta plataforma é alvo de constante inovação e recebe dados de diferentes áreas, desde ambiente, até energia, passando por tráfego, estacionamento e os demais dominios de uma Cidade Inteligente. Pretende-se com esta dissertação investigar, estudar e avaliar processos e ferramentas de ETL/ingestão de dados em larga escala que consigam potenciar a camada de integração da plataforma.
Objetivo
- Estudar e documentar o estado da arte em ferramentas e arquitecturas de ETL / Data ingestion
- Desenhar a arquitetura do módulo de data ingestion com as ferramentas identificadas no estado da arte, tendo em consideração padrões de arquitetura de software uteis ao problema
- Implementar e testar as arquiteturas desenhadas, com grande forco em testes de performance e carga
- Integração do serviço em interface web de solução Ubiwhere para smart cities
- Integração com fontes de dados para smart cities
Plano de Trabalhos - Semestre 1
Fase 1 - Estudo da Solução e Planeamento
* T1 – Estudo do problema e Elaboração do estudo do Estado da Arte sobre arquiteturas (event driven, event sourcing, etc) ou ferramentas que resolvam o problema apresentado (frameworks de ETL, data routing platforms, etc)
* T2 - Definição das diferentes arquiteturas da solução a serem testadas e sua composição:
- arquitetura de software
- interface de ligação diferentes componentes
- mapeamento com a camada de ingestão e plataforma que consome os dados
* T3 – Escrita do relatório intermédio
Plano de Trabalhos - Semestre 2
Fase 2 - Desenvolvimento e conclusão da dissertação
* T4 – Implementação das soluções de backend para ingestão de dados, com grande foco na sua performance, modularidade e escalabilidade, melhorando a camada de ingestão e processamento de dados existente
* T5 – Implementação e testes à solução (compatibilidade dos componentes, benchmarks à performance e escalabilidade)
* T6 – Elaboração do Relatório Final do Projeto
Condições
Bolsa de estágio no valor do subsídio de alimentação diário
Observações
- Durante o estágio será disponibilizado um injector de dados baseado em dados reais para auxiliar o desenvolvimento. É expectável que o prototipo final seja integrado com as fontes de dados de qualidade do ar, estacionamento, resíduos, entre outras da Ubiwhere
- A solução a implementar deve permitir a adição processamento de novas fontes de dados de forma automática tendo como resultados principais a integração de fontes de dados (IoT, aplicações externas, etc) numa API central disponibilizada pela Ubiwhere.
Orientador
André Duarte
aduarte@ubiwhere.com 📩