Titulo Estágio
O Ritmo das Emoções: IA e fMRI para Entender a Música no Cérebro
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
CISUC / DEI-FCTUC
Enquadramento
Música é um elemento universal da sociedade e possui uma enorme capacidade de evocar/controlar emoções e influenciar o humor. A forma como o cérebro processa e responde à música, especialmente às suas propriedades dinâmicas (como ritmo, melodia, timbre) e à valência emocional que evoca (positiva ou negativa), é uma área de grande interesse na neurociência cognitiva. Ter sucesso na compreensão deste mecanismo permitirá o desenvolvimento de novas estratégias de neuroreabilitação (musicoterapia ou interfaces cérebro-música mais adaptativas).
A maioria dos estudos tem focado em análises estáticas ou médias da resposta cerebral à música. Neste trabalho pretendemos estudar as questões dinâmicas da música, e procuraremos encontrar as áreas do cérebro relacionadas com esta dinâmica.
Os avanços das técnicas de imagem médica, p.e. ressonância magnética funcional (fMRI), que agora permitem a monitorização da atividade cerebral ao longo do tempo, tornam possível investigar os correlatos neurais das mudanças emocionais e acústicas que ocorrem durante a audição musical. Desvendar como as características acústicas e a valência percebida de um trecho musical interagem para modular a atividade cerebral em tempo real pode contribuir para perceber os mecanismos do processamento emocional.
Objetivo
O objetivo principal deste projeto é descodificar os correlatos neurais associados às propriedades dinâmicas das músicas e à sua valência emocional (positiva/negativa) ao longo do tempo, utilizando um conjunto de dados de fMRI em que os participantes ouviram música com diferentes valências. Pretendemos identificar características da música (Music Information Retrieval), identificar as emoções associadas a estas características (music emotion recognition), e encontrar quais as áreas do cérebro que melhor descrevem este padrões (estratégias conhecidas com Multivariate Voxel Pattern Analysis, MVPA). Pretende-se dar ênfase à compreensão dos mecanismos e à interpretabilidade dos modelos.
Plano de Trabalhos - Semestre 1
Revisão do Estado da Arte: Estudo sobre o processamento neural da música, com foco nas propriedades dinâmicas e valência, e revisão de técnicas de IA aplicadas à análise de dados de fMRI (e.g., redes neurais recorrentes - RNNs, redes neurais convolucionais temporais - TCNs, modelos de séries temporais com atenção).
Exploração e Pré-processamento de Dados fMRI e Acústicos: Análise detalhada do conjunto de dados de fMRI existente, incluindo o pré-processamento necessário (remoção de ruído, alinhamento, normalização). Extração e análise de características acústicas dinâmicas das músicas (e.g., loudness, pitch, tempo, timbre, spectral centroid) ao longo do tempo.
Definição da Valência Temporal: Desenvolvimento de métodos para quantificar a valência percebida ao longo dos trechos musicais (e.g., através de anotações comportamentais existentes, ou utilizando modelos de IA pré-treinados para prever valência a partir de características acústicas).
Exploração Inicial de Modelos de IA para Dados Temporais: Avaliação de frameworks de IA que possam modelar a relação entre as séries temporais de características acústicas/valência e a atividade cerebral de fMRI. Foco em arquiteturas que capturem dependências temporais.
Elaboração do Relatório Intermédio: Documentação do progresso, revisão da literatura e plano detalhado para o segundo semestre.
Plano de Trabalhos - Semestre 2
Desenvolvimento e Otimização de Modelos de IA para Descodificação Temporal: Implementação de modelos de IA (e.g., RNNs, LSTMs, TCNs ou modelos de atenção) para predizer ou descodificar a valência e/ou as propriedades acústicas dinâmicas a partir dos sinais de fMRI.
Análise de Padrões Espaço-Temporais: Investigação de como as diferentes regiões cerebrais respondem às variações temporais nas propriedades musicais e valência. Identificação de redes cerebrais envolvidas no processamento dinâmico da música.
Interpretabilidade e Correlatos Neurocientíficos: Análise da interpretabilidade dos modelos para identificar quais as características neurais (padrões de ativação em regiões específicas ou conectividade funcional) são mais importantes para a descodificação. Comparação dos resultados com o conhecimento neurocientífico existente sobre o processamento musical e emocional.
Preparação da Documentação e Dissertação Final: Compilação de toda a pesquisa, metodologia, resultados e discussões na dissertação final.
Condições
Disponibilização de um conjunto de dados original, integração em projeto com elevado potencial de resultar em publicações científicas
Observações
Integração de um projeto com uma equipa multidisciplinar, onde se vão desenvolver conhecimentos e competências não só na área de machine learning, mas também imagem / engenharia biomédica
exemplo de um trabalho na mesma área
Sayal, A., Guedes, A. G., Almeida, I., Pereira, D. J., Lima, C. F., Panda, R., Paiva, R. P., Sousa, T., Castelo-Branco, M., Bernardino, I., & Direito, B. (2024). Decoding Musical Valence and Arousal: Exploring the Neural Correlates of Music-Evoked Emotions and the Role of Expressivity Features. IEEE Transactions on Affective Computing, 1–13. https://doi.org/10.1109/TAFFC.2024.3507192
Orientador
Bruno Direito
bmleitao@dei.uc.pt 📩