Titulo Estágio
Estágio em Big Data, Hadoop, Spark
Áreas de especialidade
Sistemas de Informação
Local do Estágio
Coimbra, Lisboa
Enquadramento
A WingzAnalytics é uma empresa com sede em Coimbra, mas com projectos a nível nacional e internacional. Neste momento a empresa conta na sua carteira de clientes algumas das maiores empresas nacionais e algumas grandes instituições internacionais.
Este estágio destina-se a um ou mais alunos de Engenharia Informática e tem como principal finalidade formar, treinar e orientar investigação na área de Big Data, Hadoop, Spark e outras tecnologias de Big Data. O aluno irá ao longo do seu estágio tomar contacto com estas e outras tecnologias, no mundo real e avaliar e implementar a arquitectura mais adequada para alguns dos nossos clientes a nível mundial.
Objetivo
Entre os objectivos para este estágio temos:
1) Avaliar as várias tecnologias de Big Data existentes no mercado (dentro de um sub-set: Tecnologias Hadoop (HDFS), Cloudera, Spark, MicroStrategy, HP Vertica)
2) Definir use-cases e best deployments de cada uma das tecnologias.
3) Avaliar arquitecturas : Google (relational) vs Yahoo (mapreduce) : pros and cons e identificar a que melhor se adecua cada use-case;
3) Implementar no mundo real uma arquitectura Big Data com base no trabalho académico prévio e com base nas tecnologia e arquitecturas avaliadas.
4) Testar, medir escalabilidade, apresentar resultados e conclusões.
Plano de Trabalhos - Semestre 1
No primeiro Semestre, o foco estará em:
1) estudo do problema: escalabilidade, velocidade, persistência e contexto dos dados.
- escalabilidade: porque criamos mais dados per segundo que alguma vez na história da humanidade.
- velocidade: dados fluem, sem cessar em grande volume. E persistem em múltiplas latências
- contexto: porque o contexto de criação é diferente do contexto de transmissão e do contexto de uso
2) levantamento e investigação sobre as várias tecnologias existentes no mercado.
3) Definição de arquitectura
Plano de Trabalhos - Semestre 2
4) Refinação e optimização de arquitectura
5) Implementação da arquitectura desenhada em ambiente real
6) Estudo de performance e apresentação de resultados, em ambiente real, da arquitectura selecionada.
Condições
Bolsa de estágio no primeiro semestre;
Ordenado e despesas de deslocação no segundo semestre;
Orientador
Eng. Nuno Miguel Carvalho Esculcas
nesculcas@microstrategy.com 📩