Titulo Estágio
Mecanismos de controlo para LLMs utilizadas para orquestração baseada em intenção
Local do Estágio
IPN - Instituto Pedro Nunes (Laboratório de Informática e Sistemas)
Enquadramento
Este tema enquadra-se no projeto COP-PILOT, financiado pelo programa Horizon Europe, no qual o Instituto Pedro Nunes participa.
A crescente complexidade dos ecossistemas digitais, onde múltiplos serviços, atores e infraestruturas coexistem, tem gerado uma necessidade urgente de interfaces inteligentes e acessíveis que facilitem a interação com plataformas de orquestração e gestão de serviços. A aplicação de Modelos de Linguagem de Grande Escala (LLMs) para interpretar as intenções ou objetivos dos utilizadores e traduzi-las em ações específicas de orquestração (ex. pedidos a APIs, definição de políticas), acelerando o processo de provisionamento e gestão do ciclo de vida (LCM) dos serviços, é um passo importante para a realização da visão de redes autónomas(1).
No entanto, a adoção de LLMs neste contexto requer a cuidada análise de riscos e ameaças associadas, de forma a guiar a seleção de mecanismos de segurança adequados, prevenindo falhas ou incidentes graves (ex. invocação de operações erráticas resultante de alucinações, exposição de informação confidencial relativa a componentes internos). Para mitigar alguns destes riscos, são identificadas pelo OWASP GenAI Project (2)técnicas ou mecanismos de controlo como o fornecimento de contexto detalhado de utilização permitida (ex. âmbito, lista restrita de operações suportadas), ou a filtragem ou processamento dos conteúdos ingeridos e gerados por LLMs através de guardrails (ex.: Llama Guard, GuardrailsAI(3) ou NeMo Guardrails(4)).
O trabalho associado será realizado no contexto de uma equipa multi-disciplinar envolvida na investigação de tópicos como cibersegurança, cibersegurança de IA, gestão de contexto de LLMs ou abordagens multi-agente.
(1)https://www.ericsson.com/en/reports-and-papers/ericsson-technology-review/articles/evolution-of-automation
(2)https://genai.owasp.org/
(3)https://www.guardrailsai.com/
(4)https://docs.nvidia.com/nemo/guardrails/latest/index.html
Objetivo
O objetivo principal do estágio consiste em obter conhecimento profundo relativamente à aplicação de mecanismos de controlo ou segurança para LLMs utilizadas para tradução de intenções em operações de orquestração de serviços, e a sua eficácia face a diferentes formas de input - malicioso ou não. Nesse sentido, o trabalho contempla o estudo, experimentação e integração de diferentes técnicas ou ferramentas de segurança aplicáveis a LLMs, assim como a seleção a sua avaliação qualitativa e quantitativa.
Numa fase inicial, o aluno deverá adquirir conhecimentos sobre as ameaças associadas a LLMs e ao seu uso no contexto de orquestração de serviços. De seguida, com base no conhecimento adquirido, deverá realizar um estudo do estado da arte de mecanismos, metodologias e ferramentas de segurança / controlo para LLMs, avaliando as suas capacidades e limitações. Em particular, serão consideradas as seguintes abordagens de segurança:
- políticas de segurança semântica para inputs e outputs do modelo
- abordagens baseadas em whitelisting de intenções, verificação de sintaxe e semântica
- técnicas de validação e filtragem automática
Com esta base, o aluno deverá formular, propor, implementar e/ou integrar mecanismo(s) de segurança adaptados ao contexto (i.e. operações ou APIs de orquestração a suportar) e duração do projeto, procedendo à sua validação e avaliação através de testes representativos.
Desta forma, os objetivos específicos propostos para a dissertação são:
(i) Análise do estado da arte relevante para a realização de operações de orquestração segura através de intenções interpretadas por LLMs.
(ii) Levantamento de requisitos e planeamento de mecanismo(s) que forneçam segurança relativamente aos dados de entrada e de saída dos modelos, no contexto das operações de orquestração de serviços estabelecidas (ex.: TMF633 – Service Catalog Management API, TMF 641 - Service Ordering API).
(iii) Definição de mecanismos de segurança adequados ao contexto, bem como a sua implementação e integração.
(iv) Avaliação da solução com modelos e em ambiente experimental, comparação com resultados semelhantes do estado da arte.
(v) Documentação dos resultados na dissertação e dentificação de possibilidades de publicação científica.
Plano de Trabalhos - Semestre 1
[Semana 1 - 8] Revisão da literatura nas seguintes áreas: orquestração de serviços e recursos de rede, LLMs, riscos e ameaças de LLMs relevantes, normalização ou organismos suportados pela indústria relevantes (ex. OWASP(1)), técnicas e ferramentas para controlo e segurança no uso de LLMs,
[Semana 6 - 14] Estudo e familiarização com técnicas (ex.: controlo de comportamento baseado em instruções internas) ou ferramentas open-source de referência (ex.: Llama Guard 4, NVIDIA NeMo Guardrails, GuardrailsAI).
[Semana 13 - 16] Estudo e definição de casos de uso e requisitos para a solução.
[Semana 15 - 20] Especificação de alto-nível da solução a implementar.
[Semana 16 – 20] Preparação do relatório intermédio da dissertação.
(5) https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
Plano de Trabalhos - Semestre 2
[Semana 1 - 6] Experimentação com técnicas e ferramentas (open-source) selecionadas.
[Semana 4 - 14] Especificação detalhada da solução e respetiva implementação em protótipo.
[Semana 13 - 17] Avaliação da solução implementada, considerando abordagem, datasets e benchmarks de referência (ex.: CyberSec Eval 4 (6)para datasets relativos a diferentes tipos de ataques).
[Semana 14 - 20] Preparação e escrita da dissertação final.
(6)https://meta-llama.github.io/PurpleLlama/CyberSecEval/
Condições
O local de trabalho será o Laboratório de Informática e Sistemas (LIS), Instituto Pedro Nunes (IPN), que disponibiliza a infraestrutura para experimentação e avaliação.
Este trabalho será integrado num projeto de investigação cofinanciado, sendo que o aluno poderá candidatar-se a uma bolsa de investigação para licenciado no âmbito deste projeto, nos termos da legislação aplicável e regulamentos do IPN. O valor da bolsa é de 1040,98€, em linha com a tabela de bolsas de investigação da FCT.
Observações
Durante o processo de candidatura, dúvidas relacionadas com a proposta, nomeadamente acerca dos objetivos e condições, devem ser esclarecidas com os supervisores, via email ou reunião, para agendamento após o contacto por email.
Orientador
Sérgio Figueiredo
sfigueiredo@ipn.pt 📩