Titulo Estágio
Ferramenta de avaliação de performance de modelos de AI conversacional
Áreas de especialidade
Engenharia de Software
Sistemas Inteligentes
Local do Estágio
Coimbra (office Taveiro)
Enquadramento
Com o aumento do uso de modelos de linguagem natural em interfaces conversacionais, assistentes inteligentes e sistemas de suporte ao cliente, tornou-se essencial garantir a sua fiabilidade e adequação aos contextos em que são aplicados. O processo de avaliação da performance desses modelos é, no entanto, complexo, muitas vezes manual e sujeito a variações de interpretação humana. Além disso, os ciclos de desenvolvimento e validação de soluções baseadas em AI tornaram-se mais rápidos, exigindo ferramentas de quality assurance mais eficientes, automatizadas e sensíveis às nuances da linguagem.
Ao mesmo tempo, tem-se verificado um interesse crescente em ferramentas de benchmarking automático para LLMs (Large Language Models) que procuram gerar testes sistemáticos e reprodutíveis, que permitam avaliar a robustez, a cobertura semântica e a utilidade das respostas geradas pelos modelos.
Este estágio insere-se nesse contexto e visa contribuir com uma solução prática para equipas que trabalham com AI, particularmente em áreas onde é necessário testar casos-limite, interpretações ambíguas ou múltiplas intenções possíveis num mesmo prompt. O foco estará na experiência do utilizador técnico e na criação de uma ferramenta que simplifique, automatize e acelere o processo de avaliação da qualidade de modelos linguísticos.
Sobre a WIT:
A WIT tem 24 anos de experiência na área das telecomunicações e trabalha para o mercado global. A empresa já desenvolveu software para mais de 40 países e conta com os seguintes clientes: Grupo Vodafone, Deutsche Telekom, NTT DoCoMo, KDDI, Softbank, AT&T, Verizon, Safaricom, Vodacom, Unitel, entre outros. Na WIT somos groundbreakers e procuramos, todos os dias, desafiar o status quo, fazendo mais e diferente, sempre com o objectivo de sermos cada vez melhores. Descobre aqui se também tu podes ser um groundbreaker: https://www.youtube.com/watch?v=Mt9sCqvJx9U
Objetivo
O principal objetivo deste estágio é o desenvolvimento de uma ferramenta interativa de avaliação de modelos de AI que permita, de forma simples e automatizada, gerar e testar múltiplas interpretações de um prompt de entrada. Esta ferramenta deverá ser capaz de:
• Receber como input um prompt fornecido pelo utilizador;
• Gerar automaticamente um conjunto diversificado de perguntas associadas a esse prompt, incluindo casos-limite, ambiguidades e intenções paralelas;
• Produzir, para cada pergunta, respostas sugeridas com base num modelo de AI escolhido;
• Avaliar essas respostas segundo critérios de precisão, relevância, utilidade, coerência e cobertura;
• Apresentar ao utilizador um relatório de performance contendo métricas agregadas, visualizações simples e recomendações práticas de melhoria com base no comportamento observado do modelo.
O trabalho deverá incluir:
• A análise e comparação de abordagens existentes de avaliação automática de LLMs;
• A definição de critérios de qualidade linguística e funcional aplicáveis aos casos de uso da ferramenta;
• A implementação de um motor de geração de perguntas baseado em técnicas de prompting e expansão semântica;
• A criação de um painel interativo que permita à equipa de QA testar rapidamente múltiplos casos e consultar os resultados.
Durante o estágio, o aluno deverá demonstrar autonomia e capacidade crítica na definição de requisitos, na escolha de modelos e métricas adequadas, bem como na estruturação da arquitectura da ferramenta. O processo de desenvolvimento deverá seguir uma abordagem iterativa, com ciclos curtos de entrega e validação (baseado em SCRUM ou Kanban).
No final do estágio, deverá existir:
• Um protótipo funcional que permita realizar avaliações completas com um clique;
• Documentação técnica sobre a arquitectura, bibliotecas e decisões adotadas;
• Exemplos práticos de utilização e um conjunto de prompts de teste preparados;
• Um relatório final com a análise dos resultados obtidos e reflexões sobre melhorias futuras ou extensões possíveis.
Plano de Trabalhos - Semestre 1
Para o 1º semestre estão planeadas as seguintes tarefas:
• Estudo de ferramentas de benchmark e QA para LLMs.
• Identificação de critérios de avaliação (precisão, relevância, coerência, etc.).
• Levantamento de requisitos com utilizadores-tipo
• Desenho da arquitetura da solução (frontend, backend, integração com LLM).
• Mockups e fluxos principais da interface.
• Escolha de stack tecnológica
• Planeamento técnico detalhado das atividades de desenvolvimento.
• Desenvolvimento de módulo de entrada e parsing de prompts.
• Implementação do motor de geração de perguntas
As actividades deste plano são ajustáveis conforme o ritmo de progresso do estágio e eventuais necessidades do projeto.
Plano de Trabalhos - Semestre 2
Para o 2º semestre estão planeadas as seguintes tarefas:
• Produção de respostas com recurso a uma LLM
• Implementação do sistema de avaliação das respostas
• Dashboard de visualização dos resultados e geração de relatórios.
• Testes extensivos com casos reais.
• Afinação do motor de avaliação e da experiência com o utilizador.
• Benchmarking comparativo com ferramentas existentes:
• Documentação técnica
• Documentação final de estágio.
Condições
O estágio será remunerado com uma bolsa mensal. Se o desempenho do aluno ao longo do mês for positivo, terá direito a receber a bolsa correspondente. O local de trabalho será no escritório da WIT Software em Taveiro, sendo o regime híbrido, com o número de dias presenciais a definir posteriormente.
O aluno terá ao seu dispor os equipamentos necessários para desempenhar as suas tarefas. Para além disso, o aluno terá ainda acesso às formações da WIT Academy e às actividades e eventos que decorrerem durante o seu estágio.
No final do estágio, será feita uma avaliação do estagiário e dos conhecimentos adquiridos. Se o resultado for positivo espera-se que o estagiário seja convidado para fazer parte da equipa de desenvolvimento.
As actividades deste plano são ajustáveis conforme o ritmo de progresso do estágio e eventuais necessidades do projeto.
Observações
O acompanhamento ao longo do estágio será feito não apenas pelo orientador, mas também por um tutor técnico que lhe dará todo o apoio necessário. O orientador define os requisitos do estágio, define as prioridades do backlog e acompanha os resultados parciais do projecto. O tutor garante o cumprimento das tarefas, promove as meetings e acompanha o aluno com mais regularidade.
Toda a documentação de projecto será escrita em inglês.
Será usado SCRUM, como metodologia de desenvolvimento.
Orientador
Eduardo Manuel Moreira Seabra
eduardo.seabra@wit-software.com 📩