Titulo Estágio
2021_N22 Real Time Stream Analytics no contexto duma plataforma Big Data
Local do Estágio
Aveiro
Enquadramento
O projeto será desenvolvido na Empresa de Acolhimento Altice Labs.
Enquadramento:
Para o operador de telecomunicações, ou genericamente um fornecedor de produtos & serviços, é relevante para o seu negócio ter uma visão em tempo real através do seu dahboard.
As plataformas Big Data, que armazenam volumes significativos de dados estruturados e/ou semiestruturados, suportam processos de análise dos dados (analytics) de forma a retirar conhecimento e valor dos dados.
Para este estágio teremos como fonte de dados, em kafka, os registos de rede da plataforma CCP (NGIN - Convergent Charging and Policy) bem
como registos de carregamentos, aquisição e utilização de serviços do operador de telecomunicações.
Na Altice Labs temos conhecimento e experiência na implementação de processos analytics do tipo batch, no entanto pretendemos aprofundar os processos do tipo stream para obtenção de conhecimento e valor em tempo real.
Aspetos Inovadores
Stream Ingestion & Analytics
Real Time Analytics
Dashboard with real time metrics/kpis
Ferramentas a utilizar
kafka
ksql
flink
s3
postgresql
hll
~
Referências Bibliográficas
https://www.confluent.io/blog/introduction-to-apache-kafka-for-python-programmers
https://docs.ksqldb.io/en/latest/tutorials/etl/?_ga=2.5899379.1383367122.1619775785-961791866.1619775785
http://2016.flink-forward.org/kb_sessions/a-brief-history-of-time-with-apache-flink-real-time-monitoring-and-analysis-with-flink-kafka-hb/
https://eng.uber.com/athenax/
https://research.neustar.biz/2012/10/25/sketch-of-the-day-hyperloglog-cornerstone-of-a-big-data-infrastructure/
Objetivo
selecionar, experimentar e definir boas práticas de utilização de frameworks/ferramentas/linguagens para processos streaming ingestion &
analytics.
o cálculo de métricas e kpis que alimentem em tempo real o dashboard do operador de telecomunicações com a visão de negócio.
Plano de Trabalhos - Semestre 1
Estudo das frameworks/ferramentas/linguagens mais adequadas para processos de Stream Ingestion & Analytics;
Conhecer os pontos fortes e fracos de cada uma delas.
Plano de Trabalhos - Semestre 2
Implementar um protótipo funcional que a partir dos eventos publicados no kafka possamos publicar num dashboard métricas e kpis do
ponto de vista do negócio do operador de telecomunicações (nota: a implementação do dashboard está fora do âmbito deste estágio);
Elaboração do relatório final com a descrição do trabalho realizado e conhecimento adquirido.
Condições
Condições:
Integração de uma Bolsa de Investigação - Programa GENIUS - durante a realização do projeto de Dissertação - Integração numa equipa de I&D na Empresa Altice Labs .
Os alunos interessados deverão enviar para genius@inova-ria.pt ao cc Dra Regina Maia Sacchetti (963618710).
• Curriculum Vitae;
• Disciplinas realizadas até ao momento com médias ; simples documento eletrónico, que poderá obter no portal académico .
Processo de Seleção: Entrevista Inova-Ria - PROGRAMA GENIUS na qual fará parte o Orientador do projeto de forma a esclarecer a temática envolvida.
• média prevista de 13,5 - 14 valores (média linear entre licenciatura e mestrado);
• Indicação de áreas de interesse.
Para concorrer podes enviar a tua candidatura, envia email para o Programa GENIUS: genius@inova-ria.pt
Observações
Competências Chave Requeridas
Noções de modelização de dados e SQL (valorizado postgresql)
Programação python
Programação java
Vontade de aprender e fazer
Orientador Altice LAbs
José Miguel Lopes Gonçalves
Orientador
José Miguel Lopes Gonçalves
jose-l-goncalves@alticelabs.com 📩