Titulo Estágio
Exploração computacional de associações entre música e imagem com recurso a técnicas de neurofeedback
Local do Estágio
DEI-FCTUC + IBILI-FMUC O trabalho será desenvolvido num laboratório de investigação do grupo CMS do CISUC, onde haverá um acompanhamento regular por parte dos orientadores. O trabalho contará também com a colaboração do grupo de investigação d
Enquadramento
Tem vindo a ser defendido que a expressão e comunicação de domínios não verbais e multidisciplinares, tão complexos como a música ou a expressão gráfica, pode ser facilitada através do uso adequado de emoções [2, 3].
Ambientes de programação visual, tais como o Processing, têm contribuído significativamente para a expressão de associações multimodais, nomeadamente envolvendo música e imagem, possibilitando a criação de vários artefactos dinâmicos e modulares de forma clara e eficaz.
Apesar da existência de diversos trabalhos que exploram estas associações multimodais, poucos o têm feito com bases científicas. Adicionalmente, a exploração da aplicabilidade destes ambientes em áreas como a neuroestética ou neurociências cognitivas não tem sido alvo de uma experimentação significativa.
Objetivo
Partindo de uma linguagem multimodal já existente (em forma de matriz), que contém uma gramática de emoções e respectivas correspondências a determinados atributos musicais e/ou visuais, pretende-se a criação de uma interface que permita a geração destes mapeamentos e a sua manipulação por um utilizador. O interface será depois usado na realização de testes de utilizador, destinados a validar a linguagem multimodal através da análise da relação entre expressões ou propriedades musicais e/ou visuais e os estados emocionais delas resultantes. Os testes de utilizador terão recurso a ferramentas de neurofeedback (Emotiv) [4], para que possam sustentar a existência ou inexistência de emoções relativamente a um conjunto de propriedades visuais e musicais.
O artefacto final poderá passar por um objecto analógico-digital que permita ao utilizador ajustar determinados parâmetros relativos à emoção em análise, podendo devolver no final a emoção resultante num "print" — ver exemplo das figuras resultantes do Face-o-mat [1].
No final, este tipo de protótipos poderão vir a ter aplicações práticas em pessoas com dificuldades na comunicação verbal (por exemplo pessoas autistas, entre outras [5]), facilitando-lhes o processo de comunicação.
Plano de Trabalhos - Semestre 1
1 - Pesquisa de bibliografia
2 - Investigação sobre técnicas de comunicação visual abstrata, design de interação, e neurofeedback
3 - Exploração de soluções para demonstração do conceito.
4 - Preparação do estado de arte
5 - Elaboração da proposta de dissertação
Plano de Trabalhos - Semestre 2
6 - Conceção e desenvolvimento de um protótipo
7 - Experimentação e realização de testes de utilizador
8 - Análise de dados
9 - Escrita da dissertação
Condições
O aluno deve ter experiência de programação em Processing e/ou numa linguagem de programação genérica (ex. Java). Também deverá estar à confortável com a ideia de aprender a trabalhar com novas ferramentas, neste caso, o Emotiv.
Observações
Há possibilidade de atribuição de bolsa de investigação no 2º semestre.
Co-orientadores:
Amílcar Cardoso (PhD) / Ana Cláudia Rodrigues (Mestre em Design e Multimédia)
Orientador
Amilcar Cardoso
amilcar@dei.uc.pt 📩