Titulo Estágio
Criação de animações baseada em Aprendizagem Automática
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
CISUC
Enquadramento
Os recentes avanços na área da Aprendizagem Máquina, em especial o desenvolvimento de arquitecturas deep, têm sido aplicados com sucesso em diversos domínios, incluindo o da animação.
Vários trabalhos têm demonstrado sobretudo o potencial de redes neuronais convolucionais e generative adversarial networks (GANs) na criação de sequências de vídeo e animações a partir de imagens. A título de exemplo, surge o sistema de Zakharov et al. [1], que permite a aprendizagem de talking head models a partir de um conjunto de imagens. Outro exemplo relevante é o trabalho de Weng, Curless & Kemelmacher-Shlizerman [2], que permite gerar uma animação (movimento) dos elementos humanos presentes muma fotografia.
Objetivo
Pretende-se a criação de animações a partir de imagens, usando técnicas de aprendizagem automática. Em particular, planeia-se a geração de movimento de elementos presentes em imagens não-fotorrealistas.
O trabalho a desenvolver incluirá todo o tratamento de dados necessário para o desenvolvimento do modelo e a exploração de diferentes arquitecturas.
Plano de Trabalhos - Semestre 1
1. Pesquisa bibliográfica;
2. Análise sobre as técnicas de criação de animações recorrendo à aprendizagem automática;
3. Preparação do estado de arte;
4. Elaboração da proposta.
Plano de Trabalhos - Semestre 2
1. Criação de protótipo;
2. Experimentação e realização de testes;
3. Escrita de artigo;
4. Escrita do relatório de estágio.
Condições
O trabalho será desenvolvido num laboratório de investigação do grupo CMS do CISUC, onde haverá um acompanhamento regular por parte dos orientadores.
Observações
[1] Zakharov, Egor, et al. "Few-Shot Adversarial Learning of Realistic Neural Talking Head Models." arXiv preprint arXiv:1905.08233 (2019).
[2] Weng, Chung-Yi, Brian Curless, and Ira Kemelmacher-Shlizerman. "Photo wake-up: 3d character animation from a single photo." arXiv preprint arXiv:1812.02246 (2018).
Orientador
Pedro José Mendes Martins e Nuno António Marques Lourenço
pjmm@dei.uc.pt 📩