Titulo Estágio
Cloud - DWS (Cloud Data Warehouse Striping)
Área Tecnológica
Bases de Dados
Local do Estágio
Grupo de Engenharia de Software e Sistemas do CISUC
Enquadramento
Nos últimos anos tem havido um crescimento exponencial na utilização das bases de dados para apoio à decisão. Estes sistemas, genericamente designados por “Data Warehouses”, armazenam enormes quantidades de dados de natureza histórica que solicitam até ao limite os tradicionais motores de base de dados, em particular no que toca a desempenho e a escalabilidade. De facto, a utilização das data warehouses assume frequentemente um carácter interactivo, o que pressupõe tempos de execução das pesquisas bastante curtos. No entanto, a enorme quantidade de dados existente numa data warehouse típica e a frequente complexidade das pesquisas, aliada à sua natureza “ad hoc”, tornam o desempenho na execução das pesquisas o problema central das grandes data warehouses.
A técnica DWS (Data Warehouse Stripping) mostrou a sua eficácia na resolução dos problemas da velocidade das pesquisas e da escalabilidade em data warehouses. Esta técnica distribuiu os dados de uma data warehouse por um número arbitrário de computadores, sendo as pesquisas executadas em paralelo e de forma independente em cada um dos computadores, garantindo por isso um aumento de velocidade proporcional ao número de computadores utilizados.
Apesar do aumento potencial de desempenho que pode ser conseguido usando a técnica DWS, este ainda pode ser incrementado usando novas formas de particionamento do esquema da data warehouse e de distribuição dos dados pelos computadores.
Objetivo
O objectivo deste trabalho é, utilizando o cluster actualmente existente no DEI, propor um sistema Cloud-DW (Cloud Data Warehouse Striping), recorrendo a técnicas de replicação dos dados pelos vários nós e a novas formas de particionamento do esquema em estrela. Este ambiente pretende simular o novo paradigma de Cloud Computing.
É também objectivo deste estágio avaliar o desempenho de vários motores de bases de dados (Oracle, SQL Server, MySQL) utilizando para o efeito a benchmark SSB (Star Schema Benchmark).
Outro aspecto inovador do protótipo é que o sistema Cloud-DWS deverá ser auto-adaptável em função das necessidades dos utilizadores. Deste modo, podem ser adicionados de forma automática recursos ao sistema de forma a aumentar o seu desempenho ou libertá-los quando não necessários.
É também objectivo do estágio a realização de uma avaliação experimental do protótipo, estando prevista a escrita e submissão de um artigo científico a uma conferência de topo mundial.
Plano de Trabalhos - Semestre 1
Plano de Trabalhos 1º Semestre:
(a) Estudo da técnica DWS, estado da arte em replicação de dados e técnicas de particionamento (Setembro a Outubro 2011)
(b) Implementação do benchmark SSB no cluster do DEI. Avaliação do desempenho de alguns motores de bases de dados (Outubro a Novembro 2011)
(c) Proposta da arquitectura de uma implementação Cloud-DWS e das formas de particionamento e distribuição dos dados. (Novembro a Dezembro de 2011)
(d) Escrita e defesa da proposta de dissertação (Dezembro de 2011 e Janeiro de 2012)
Plano de Trabalhos - Semestre 2
Plano de Trabalhos 2º Semestre
(e) Especificação da arquitectura, design, e testes (Janeiro a Março de 2012)
(f) Implementação e avaliação experimental (Fevereiro a Abril de 2012)
(g) Escrita de um artigo científico e submissão a uma conferência de topo mundial (Abril e Maio de 2012)
(h) Escrita e defesa da dissertação (Abril a Julho de 2012)
Condições
Este trabalho será realizado nas instalações do Grupo de Engenharia de Software e Sistemas do CISUC. Será disponibilizado um local de trabalho apropriado e todos os recursos computacionais necessários. Existe a possibilidade de atribuição de uma bolsa de iniciação à investigação científica.
Observações
Este estágio será co-orientado pelo Prof. Marco Vieira (mvieira@dei.uc.pt) do DEI.
Orientador
Jorge Bernardino
jorge@isec.pt 📩