Titulo Estágio
2020_N005 Reinforcement Learning @ Self* Networks
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Altice Labs - Laboratório de Cognitive @ UC (Coimbra)
Enquadramento
Muitos aspetos das Future Networks requerem capacidades analíticas e capacidade de resposta além da capacidade humana. Os provedores de serviços desejam otimizar continuamente as ligações para cada dispositivo e aplicação (no sentido de maximizar a experiência dos utilizadores), e para este fim pretendem assegurar uma distribuição ótima e permanentemente adaptativa dos recursos infraestruturais disponíveis na rede, no sentido de adequar de forma continua a sua topologia e capacidade em função da variação da procura de capacidade pelos utilizadores.
Os paradigmas atuais de planeamento e gestão de rede não suportam esta realidade, i.e., os paradigmas de observação-reação manuais ou semi automatizados que suportam a gestão da capacidade das redes e serviços de comunicações não permitem responder em tempo útil e em escala a esta necessidade. Será necessário adotar mecanismos em tempo real de observação automática, holística e contínua do comportamento da rede e dos serviços, de aferição automática de degradações de experiência dos utilizadores e de aplicação automática de políticas nas redes que promovam as mudanças necessárias (ao nível da infraestrutura, mas também ao nível do comportamento dos serviços) para manter os parâmetros de experiência. Estes mecanismos terão de ter a capacidade de eles próprios se adaptarem às condições de rede altamente voláteis que as redes do futuro vão trazer (associados aos padrões de mobilidade e utilização extremamente complexos), de aprender e melhorar de forma continua os loops observação-reação.
ML será um instrumento crucial para apoiar esta evolução, em concreto as técnicas de Reinforcement Learning poderão assumir um papel fulcral, pela capacidade que acrescentam de permitir a adaptação dos modelos no terreno a realidades extremamente dinâmicas e fluídas, como será o caso das redes do futuro.
Aspetos inovadores:
Implementação de mecanismos baseados em Reinforcement Learning para o desenvolvimento de modelos que suportem a gestão de redes de nova geração, capacitando a sua evolução para redes autónomas, com facilidades de self*- (optimization, healing, organizing, …)
Tópicos tecnicamente relevantes da proposta:
• Data Science
• Machine Learning
• Future Networks
• Autonomous Networks
• Reinforcement Learning
Referências Bibliográficas, apontadores:
https://www.tmforum.org/wp-content/uploads/2019/05/22553-Autonomous-Networks-whitepaper.pdf
https://www.geeksforgeeks.org/what-is-reinforcement-learning/
Intelligent Reinforcement-learning-based Network Management - https://tools.ietf.org/id/draft-kim-nmrg-rl-05.html
Objetivo
No âmbito deste projeto, pretende-se efetuar um levantamento do estado da arte das técnicas de Reinforcement Learning e dos cenários de aplicabilidade associados. Subsequentemente, identificar-se-ão casos de uso no âmbito de redes autónomas que possam beneficiar destas técnicas. Após seleção de um caso de uso adequado, será efetuada a implementação e validação de um modelo de Self* baseado em Reinforcement Learning, num testbed da Altice Labs.
Bases de informação disponíveis: repositório de informação e desempenho de rede do testbed Altice Labs (cadastro e configuração, contadores e KPIs de equipamentos de rede, alarmística, conetividade, ...)
Plano de Trabalhos - Semestre 1
1. Estado da Arte de Algoritmos de Reinforcement Learning e cenários de aplicabilidade associados. (S1-S10)
2. Estudo e análise de cenários de Redes Autónomas em Future Networks e identificação de casos de uso adequados para modelos baseados em Reinforcement Learning (S5-S15)
3. Protótipo inicial e validação de modelo baseado em Reinforcement Learning num cenário minimalista de gestão autónoma de redes (S15-S19)
4. Relatório Intermédio (S18-S20)
Plano de Trabalhos - Semestre 2
5. Identificação e desenho de caso de uso de gestão autónoma de redes (S21-S24)
6. Configuração de testbed Altice Labs para suportar o caso de uso (S24-S28)
7. Implementação de modelos de gestão autónoma de redes baseados em Reinforcement Learning sobre testbed Altice Labs (S24-S38)
8. Validação de modelos de gestão autónoma de redes baseados em Reinforcement Learning sobre testebed Altice Labs (S32-S38)
9. Relatório de Dissertação (S38-S40)
Condições
Integração de uma Bolsa de Investigação - Programa GENIUS /Inova-Ria - durante a realização do projeto de Dissertação - Integração numa equipa de I&D da Empresa Altice Labs .
Os alunos interessados deverão enviar para genius@inova-ria.pt ao cc Dra Regina Maia Sacchetti (963618710).
• Curriculum Vitae;
• Disciplinas realizadas até ao momento com médias ; simples documento eletrónico, que poderá obter no portal académico .
Processo de Seleção: Entrevista Inova-Ria - PROGRAMA GENIUS na qual fará parte o Orientador do projeto de forma a eslarecer a temática envolvida.
Tipologia de Bolsa: Bolsa de Investigação com o valor da Bolsa de 798€
• média prevista de 13,5 - 14 valores (média linear entre licenciatura e mestrado);
• Indicação de áreas de interesse.
Tipologia da Bolsa: Bolsa de Investigação (Bolsa de Iniciação Científica).
Valor a Bolsa 798€ liquidos/Mês => empresa >= 3 dias/semana
Duração da Bolsa: 10 meses
Observações
Pessoa dinâmica e autónoma, com vontade de aprender. Comunicativo e com espírito de equipa. Bons conhecimentos de bases de dados e modelização de dados, desenvolvimento em sistemas Linux e experiência em linguagens de programação (Java, Python, …). Capacidade e vontade de aprender tecnologias Big Data (Hadoop, PySpark ou similar) e Data Science (pandas, scikit-learn)
Orientador
Luis Cortesão
luis-m-cortesao@alticelabs.com 📩