Titulo Estágio
Exploring the Error Space in Machine Learning Approaches using Evolution Computation
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Departamento de Engenharia Informática da Universidade de Coimbra
Enquadramento
Embora muitas abordagens de aprendizagem computacional obtenham resultados excelentes em testes de validação, estas podem ser atacadas com sucesso de várias formas. Por exemplo, num cenário de ataque adversarial, os modelos são testados com exemplos especialmente desenhados para causar o erro.
Tendo em conta que, em muitos casos, melhor desempenho segundo métricas (p. ex. taxa de acerto ou outro indicador de boa generalização) não significa que o modelo consiga resistir a este tipo de ataques, pretende-se desenvolver uma forma automática e adaptativa para testar a robustez de modelos de uma forma automática e adaptativa.
Objetivo
1 - Análise de abordagens existentes para testar a sua robustez de modelos de aprendizagem computacional, por exemplo, ataques adversariais.
2 - Seleção e implementação de um conjunto de abordagens de entre as previamente analisadas.
3 - Desenvolvimento de uma framework evolucionária que integra as abordagens implementadas de forma a encontrar os erros em modelos de aprendizagem computacional e, assim, testar a sua robustez de uma forma automática e adaptativa.
Plano de Trabalhos - Semestre 1
1 - Realizar estado da arte sobre os diversos tipos de abordagens baseadas, por exemplo, em ataques adversariais.
2 - Estudo de métricas para avaliação da qualidade de classificadores tendo em conta o tipo de erros que possam estar sujeitos.
3 - Proposta de framework.
4 - Escrita da proposta de tese.
Plano de Trabalhos - Semestre 2
1 - Implementação de um conjunto de abordagens encontradas no estado da arte
2 - Proposta e implementação de métrica(s) de qualidade do modelo
4 - Desenvolvimento da framework
5 - Disseminação do trabalho desenvolvido através da escrita e publicação de um artigo em conferência
6 - Escrita da tese.
Condições
O trabalho será desenvolvido no laboratório de investigação Computational Design and Visualization (CMS / CISUC), onde haverá um acompanhamento regular por parte dos orientadores. O aluno terá acesso contínuo a uma sala de trabalho (F2.2), assim como recursos computacionais para desempenhar este trabalho.
Observações
O aluno deverá saber programar em Python.
Orientador
João Nuno Gonçalves Costa Cavaleiro Correia / Tiago Filipe dos Santos Martins
jncor@dei.uc.pt 📩