Titulo Estágio
Animação em Tempo Real de Digital Humans
Áreas de especialidade
Sistemas Inteligentes
Engenharia de Software
Local do Estágio
Coimbra (office Taveiro)
Enquadramento
Nos últimos anos, a evolução das interfaces conversacionais tem acelerado com o surgimento de agentes virtuais capazes de compreender linguagem natural, responder em tempo real e interagir de forma personalizada com os utilizadores. No entanto, apesar destes avanços, muitos desses sistemas ainda carecem de melhorias na componente visual expressiva que complemente a comunicação verbal, limitando a naturalidade e eficácia da interação. Para além disso, as soluções atuais para animação de humanos digitais enfrentam sérios desafios de escalabilidade. A maioria depende de motores gráficos pesados e pipelines de renderização complexas, que exigem recursos computacionais avançados (nomeadamente GPUs de alto desempenho), o que limita a sua adoção em larga escala.
Este projeto surge precisamente para responder a esse desafio: explorar e desenvolver uma solução de animação em tempo real de digital humans que seja simultaneamente expressiva, responsiva e leve do ponto de vista computacional. Através da geração de metadados faciais a partir de streams de áudio, sincronização labial automática, animação corporal coerente e integração com motores de rendering otimizados (como Unreal Engine ou blender), pretende-se construir um sistema funcional e demonstrador aplicável a casos de uso reais. Este demonstrador servirá como base para novas formas de comunicação enriquecida, em linha com a visão da WIT para os agentes conversacionais avançados do futuro.
Sobre a WIT: A WIT tem 24 anos de experiência na área das telecomunicações e trabalha para o mercado global. A empresa já desenvolveu software para mais de 40 países e conta com os seguintes clientes: Grupo Vodafone, Deutsche Telekom, NTT DoCoMo, KDDI, Softbank, AT&T, Verizon, Safaricom, Vodacom, Unitel, entre outros. Na WIT somos groundbreakers e procuramos, todos os dias, desafiar o status quo, fazendo mais e diferente, sempre com o objectivo de sermos cada vez melhores. Descobre aqui se também tu podes ser um groundbreaker: https://www.youtube.com/watch?v=Mt9sCqvJx9U
Objetivo
O principal objetivo deste projeto é desenvolver um demonstrador funcional que permita a animação em tempo real de personagens humanas digitais, com foco na expressividade facial e corporal sincronizada com voz. Para tal, serão abordados os seguintes objetivos específicos:
· Estudar e implementar técnicas de geração de blendshapes faciais em tempo real com base em audio streams;
· Desenvolver uma pipeline eficiente para integração com um motor de animação 3D (ex: Unreal Engine ou Blender);
· Produzir animações faciais e corporais naturais e expressivas durante a fala;
· Criar personagens digitais realistas com suporte a animação facial e corporal;
· Desenvolver uma API de controlo externo para navegação e manipulação dos personagens em cenários virtuais;
· Garantir a integração e visualização da solução em plataformas WEB; · Demonstrar usabilidade do protótipo em casos de uso reais;
· Documentar tecnicamente o processo e os resultados obtidos.
Plano de Trabalhos - Semestre 1
Para o 1º semestre estão planeadas as seguintes tarefas:
· Estudo e Levantamento de Estado da Arte:
- pesquisa de soluções existentes em lip-sync, blend shape, geração de expressões faciais a partir de áudio e animação corporal.
· Análise de motores gráficos e bibliotecas compatíveis com os objetivos do projeto (ex: Unreal Engine, Blender, WebGL).
· Prototipagem de um sistema de inferência de blendshapes a partir de uma stream de voz.
· Prototipagem da pipeline de dados entre o módulo de metadados faciais e o motor de animação 3D.
Este plano será ajustado conforme o ritmo de progresso do estágio e eventuais necessidades do projeto.
Plano de Trabalhos - Semestre 2
Para o 2º semestre estão planeadas as seguintes tarefas:
· Integração com personagens digitais preparados para animação facial.
· Criação de uma API que permita controlar o comportamento do avatar no espaço virtual.
· Desenvolvimento e sincronização de movimentos corporais durante a fala.
· Integração da solução num ambiente virtual realista.
· Suporte para renderização web-friendly.
· Validação do demonstrador em cenários práticos de New Calling
· Elaboração da documentação técnica e preparação de uma apresentação final.
Este plano será ajustado conforme o ritmo de progresso do estágio e eventuais necessidades do projeto
Condições
O estágio será remunerado com uma bolsa mensal. Se o desempenho do aluno ao longo do mês for positivo, terá direito a receber a bolsa correspondente. O local de trabalho será no escritório da WIT Software em Taveiro, sendo o regime híbrido, com o número de dias presenciais a definir posteriormente. O aluno terá ao seu dispor os equipamentos necessários para desempenhar as suas tarefas. Para além disso, o aluno terá ainda acesso às formações da WIT Academy e às actividades e eventos que decorrerem durante o seu estágio. No final do estágio, será feita uma avaliação do estagiário e dos conhecimentos adquiridos. Se o resultado for positivo espera-se que o estagiário seja convidado para fazer parte da equipa de desenvolvimento.
Observações
O acompanhamento ao longo do estágio será feito não apenas pelo orientador, mas também por um tutor técnico que lhe dará todo o apoio necessário. O orientador define os requisitos do estágio, define as prioridades do backlog e acompanha os resultados parciais do projecto. O tutor garante o cumprimento das tarefas, promove as meetings e acompanha o aluno com mais regularidade.
Toda a documentação de projeto será escrita em inglês.
Será usado SCRUM, como metodologia de desenvolvimento.
Orientador
Raul Clemente de Pinho Fonseca
raul.fonseca@wit-software.com 📩