Titulo Estágio
Towards the Neuroevolution of Transformer Architectures
Local do Estágio
Departamento de Engenharia Informática da Universidade de Coimbra
Enquadramento
Modelos de linguagem de grande escala (LLMs), assentam em arquitecturas Transformer profundas com centenas de milhões ou biliões de parâmetros. Embora altamente eficazes em tarefas como geração de texto ou tradução, estes modelos implicam custos computacionais elevados e grande complexidade estrutural. A definição manual das suas arquitecturas limita a exploração de alternativas mais eficientes e adaptadas a diferentes contextos.
O projeto AMALIA tem como objetivo principal a criação de um Modelo de Linguagem em
Grande Escala (LLM) para a Língua Portuguesa de Portugal. É uma colaboração entre a Fundação para a Ciência e a Tecnologia, a Universidade Nova de Lisboa, o Instituto Superior Técnico, a Universidade do Porto, Universidade do Minho e a Universidade de Coimbra (UC).
Além do LLM base, estão a ser preparadas versões especializadas em diferentes domínios, e cabe à equipa da UC a especialização no domínio da Ciência. Neste âmbito, parte do trabalho passará por treinar o modelo em documentos científicos e em tarefas úteis para este domínio.
Neste contexto, a neuroevolução surge como uma abordagem promissora para optimizar automaticamente redes neuronais, utilizando abordagens de computação evolucionária para descobrir configurações estruturais eficazes.
Esta dissertação propõe aplicar algoritmos de neuroevolução à optimização de arquitecturas Transformer de forma genérica e adaptada também no contexto de LLMs. Para além de validação de acordo com abordagens no estado da arte e perante o enquadramento do projeto Amália, a abordagem será aplicada para encontrar e optimizar arquiteturas para o modelo base do projecto Amália (o EuroLLm), de acordo com diferentes critérios de desempenho. Através desta abordagem espera-se obter arquitecturas evoluídas que ofereçam um melhor compromisso entre qualidade e eficiência computacional.
Objetivo
.Recolha de estado da arte sobre neuroevolução de transformers.
.Criação de abordagem e framework para neuroevolução da arquitectura Transformer
.Aplicação da abordagem para otimizar o modelo base do projeto Amália (o EuroLLM)
.Avaliação da generalização da abordagem.
Plano de Trabalhos - Semestre 1
T1 – Análise e levantamento de abordagens de estado da arte em neuroevolução de transformers e respectiva validação.
T2 - Proposta de framework
T3 – Escrita de relatório intermédio.
Plano de Trabalhos - Semestre 2
T1 – Implementação de framework
T2 - Testes e validação de framework em linha com o verificado no estado da arte
T3 - Testes comparativos no contexto do projeto Amália.
T4 - Refinamento do sistema;
T5 – Escrita do relatório final.
Condições
Este trabalho será realizado no grupo de investigação bio-inspired Artificial Intelligence (bAI/CISUC). Serão disponibilizados recursos computacionais para a execução do plano de trabalhos.
Existe a possibilidade bolsa de investigação para Licenciado de pelo menos 3 meses, renovável por igual período mediante acordo entre o orientador e o/a aluno/a. A bolsa seguirá as diretrizes das bolsas mensais da Fundação para a Ciência e Tecnologia (FCT).
Observações
A modalidade dos dados será multimodal, sobretudo texto e imagens. As fontes de dados serão datasets conhecidos e explorados na literatura (e.g FLAN, Alpaca, OpenWebText2, LAION-400M ) e outros a fornecer por parte da recolha de dados do projeto Amália.
Orientador
João Correia / Nuno Lourenço
jncor@dei.uc.pt 📩