Titulo Estágio
Avaliação da Qualidade e Explicabilidade no AMALIA
Local do Estágio
CISUC
Enquadramento
O projeto AMALIA tem como objetivo principal a criação de um Modelo de Linguagem em
Grande Escala (LLM) para a Língua Portuguesa de Portugal.
É uma colaboração entre a Fundação para a Ciência e a Tecnologia, a Universidade Nova de Lisboa, o Instituto Superior Técnico, a Universidade do Porto, Universidade do Minho e a Universidade de Coimbra (UC).
Além do LLM base, estão a ser preparadas versões especializadas em diferentes domínios, e cabe à equipa da UC a especialização no domínio da Ciência.
Num quadro mais geral, o desenvolvimento de modelos de linguagem de grande escala (LLMs), como o GPT e o BERT, revolucionou o campo do Processamento de Linguagem Natural (PLN), permitindo avanços notáveis em tarefas como geração de texto, resposta a perguntas e compreensão em várias línguas. No entanto, persistem desafios significativos no que diz respeito à garantia da qualidade das respostas destes modelos, bem como à sua explicabilidade e confiabilidade, sobretudo em línguas menos representadas digitalmente como o Português Europeu (PT-PT).
Neste estágio, propõe-se um estudo focado no contexto do desenvolvimento do AMALIA, um novo modelo de linguagem em PT-PT, com o objetivo de desenvolver metodologias e ferramentas para avaliação sistemática da qualidade e explicabilidade do modelo. O trabalho envolverá a análise crítica das saídas do modelo em diferentes domínios, a deteção de possíveis enviesamentos e alucinações, bem como a aplicação de técnicas de explicação e visualização, com o intuito de tornar o funcionamento do modelo mais transparente.
Este trabalho contribuirá para o objetivo mais amplo de construção de modelos de linguagem robustos, confiáveis e responsáveis para a língua portuguesa.
Objetivo
O(a) estudante irá explorar e aplicar metodologias de garantia de qualidade e explicabilidade num pipeline moderno de desenvolvimento de LLMs. Os objetivos específicos incluem:
- Estudo do estado da arte em avaliação de qualidade e explicabilidade de LLMs
- Revisão de ferramentas e frameworks de avaliação e interpretabilidade de modelos
- Definição de um quadro de testes para deteção de problemas de qualidade (e.g., alucinações, incoerências, enviesamentos)
- Implementação de técnicas de explicabilidade (e.g., SHAP, LIME, mapas de calor atenção, counterfactuals)
- Contribuição para a documentação e estrutura de confiança do modelo AMALIA
Plano de Trabalhos - Semestre 1
- Revisão bibliográfica sobre avaliação e explicabilidade de LLMs
- Levantamento de ferramentas disponíveis
- Definição de métricas e cenários de avaliação para o AMALIA
- Seleção ou construção de conjuntos de teste com base nos dados de treino do AMALIA que temos disponíveis
- Elaboração do relatório intermédio
Plano de Trabalhos - Semestre 2
- Implementação da framework de QA e explicabilidade adaptada ao AMALIA
- Execução de experiências de benchmark e diagnóstico
- Documentação dos resultados e proposta de melhorias na qualidade do modelo
- Contribuição para os model cards ou documentação de IA responsável do AMALIA
- Elaboração do relatório final
Condições
Este estágio será desenvolvido no âmbito do projeto AMALIA no CISUC. Existe a possibilidade de atribuição de uma bolsa de investigação de 9 meses, sujeita a aprovação e disponibilidade.
Orientador
Catarina Silva, Hugo Oliveira, Isabel Carvalho
catarina@dei.uc.pt 📩