Titulo Estágio
Evolutionary Black Box Adversarial Attack
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Departamento de Engenharia Informática da Universidade de Coimbra
Enquadramento
Em aprendizagem adversarial, os ataques adversariais referem-se a técnicas maliciosas utilizadas para enganar modelos de aprendizagem automática, introduzindo perturbações subtis, muitas vezes impercetíveis, tipicamente nos dados de entrada, com a intenção de provocar uma classificação incorreta por parte do modelo. Estes ataques exploram vulnerabilidades nos limites de decisão dos modelos e podem assumir várias formas, como adicionar ruído ou alterar características específicas. Os ataques adversáriais representam um desafio significativo para aferir a robustez e confiabilidade de sistemas de aprendizagem computacional, e compreendê-los é crucial para o desenvolvimento de modelos mais robustos e mecanismos de defesa eficazes. Dentro dos ataques adversariais, os ataques de caixa preta (black box) referem-se a ataques a modelos de aprendizagem computacional sem conhecimento detalhado de sua estrutura interna ou funcionamento. Nesses ataques, os tipicamente só se tem acesso apenas às entradas e saídas do modelo, sem informações sobre sua arquitetura, parâmetros ou dados de treino. A ideia passa por explorar as vulnerabilidades do modelo enviando dados de entrada adulterados e observando as respostas obtidas. O objetivo é comprometer a decisão do modelo, mesmo sem ter acesso direto a seus detalhes internos. Tipicamente estes ataques usam técnicas de optimização de procura de alterações eficazes em dados de entrada ou inferência da resposta do modelo.
Tendo em conta a ideia da optimização da procura de alterações aos dados de entrada, no contexto da proposta pretende-se criar uma abordagem de ataque caixa preta (black box) evolucionária. Pretende-se explorar algoritmos evolucionários como abordagem para o processo de optimização dessa procura. Embora existam métodos que apliquem abordagens semelhantes, pretende-se que a abordagem seja competitiva com os métodos existentes na literatura, procurando otimizar o processo de pesquisa e custo computacional para encontrar amostras que sejam ataques adversariais.
Objetivo
- Levantamento do estado da arte em ataques caixa preta (black box)
- Criação de abordagem de ataque de caixa preta com base evolcionária
- Estudo comparativo com o abordagens de ataques adversariais caixa preta estado da arte.
Plano de Trabalhos - Semestre 1
T1 – Análise e levantamento do estado da arte de abordagens existentes ataques adversariais black box
T2 - Proposta de abordagem
T3 - Testes preliminares
T4 – Escrita de relatório intermédio.
Plano de Trabalhos - Semestre 2
T1 – Experimentação e validação;
T2 - Refinamento do sistema;
T3 - Disseminação do trabalho desenvolvido através da escrita e submissão de um artigo científico;
T4 – Escrita do relatório final.
Condições
Este trabalho será realizado no grupo de investigação Evolutionary and Complex Systems (ECOS/CISUC). Recursos computacionais para a realização de experiências serão disponibilizados.
Existe a possibilidade de o/a aluno/a receber uma bolsa de investigação para Licenciado de pelo menos 6 meses, renovável por igual período mediante acordo entre o orientador e o/a aluno/a. A bolsa seguirá as diretrizes das bolsas mensais da Fundação para a Ciência e Tecnologia (FCT).
Orientador
João Correia
jncor@dei.uc.pt 📩