Propostas sem aluno atribuído - Setembro de 2014

DEI - FCTUC
Gerado a 2024-03-28 15:10:30 (Europe/Lisbon).
Voltar

Titulo Estágio

Estágio em Big Data, Hadoop, Spark

Áreas de especialidade

Sistemas de Informação

Local do Estágio

Coimbra, Lisboa

Enquadramento

A WingzAnalytics é uma empresa com sede em Coimbra, mas com projectos a nível nacional e internacional. Neste momento a empresa conta na sua carteira de clientes algumas das maiores empresas nacionais e algumas grandes instituições internacionais.

Este estágio destina-se a um ou mais alunos de Engenharia Informática e tem como principal finalidade formar, treinar e orientar investigação na área de Big Data, Hadoop, Spark e outras tecnologias de Big Data. O aluno irá ao longo do seu estágio tomar contacto com estas e outras tecnologias, no mundo real e avaliar e implementar a arquitectura mais adequada para alguns dos nossos clientes a nível mundial.

Objetivo

Entre os objectivos para este estágio temos:

1) Avaliar as várias tecnologias de Big Data existentes no mercado (dentro de um sub-set: Tecnologias Hadoop (HDFS), Cloudera, Spark, MicroStrategy, HP Vertica)
2) Definir use-cases e best deployments de cada uma das tecnologias.
3) Avaliar arquitecturas : Google (relational) vs Yahoo (mapreduce) : pros and cons e identificar a que melhor se adecua cada use-case;
3) Implementar no mundo real uma arquitectura Big Data com base no trabalho académico prévio e com base nas tecnologia e arquitecturas avaliadas.
4) Testar, medir escalabilidade, apresentar resultados e conclusões.

Plano de Trabalhos - Semestre 1

No primeiro Semestre, o foco estará em:

1) estudo do problema: escalabilidade, velocidade, persistência e contexto dos dados.
- escalabilidade: porque criamos mais dados per segundo que alguma vez na história da humanidade.
- velocidade: dados fluem, sem cessar em grande volume. E persistem em múltiplas latências
- contexto: porque o contexto de criação é diferente do contexto de transmissão e do contexto de uso
2) levantamento e investigação sobre as várias tecnologias existentes no mercado.
3) Definição de arquitectura

Plano de Trabalhos - Semestre 2

4) Refinação e optimização de arquitectura
5) Implementação da arquitectura desenhada em ambiente real
6) Estudo de performance e apresentação de resultados, em ambiente real, da arquitectura selecionada.

Condições

Bolsa de estágio no primeiro semestre;
Ordenado e despesas de deslocação no segundo semestre;

Orientador

Eng. Nuno Miguel Carvalho Esculcas
nesculcas@microstrategy.com 📩