Titulo Estágio
Desenvolvimento de aplicação para emulação de comandos de joystick utilizando captura de movimentos corporais
Áreas de especialidade
Engenharia de Software
Sistemas de Informação
Local do Estágio
DEI/VRLAB
Enquadramento
No universo dos videojogos, os serious-games (SG), videojogos que têm objetivos para além do entretenimento, são cada vez mais utilizados em contexto clínico, principalmente para reabilitação física e neurológica. Recentes estudos mostram que os SG têm melhores resultados clínicos quando o jogo e as ações que o jogador deve realizar são desenvolvidos à medida das necessidades de cada paciente. Entretanto, os pacientes têm mais prazer e se engajam mais ao utilizar jogos genéricos como os da Wii e similares.
Uma possível estratégia para colmatar essa desconexão é a de criar uma interface que permita jogar qualquer jogo através de movimentos e ações desenhadas pela equipa clínica, de acordo com as necessidades do paciente. Esta interface deve substituir o joystick convencional e permitir que cada paciente utilize um jogo de sua preferência para o tratamento.
Neste sentido, este projeto visa criar uma aplicação que utilize as imagens de uma camera RGB/RGB-D e bibliotecas de deteção de estrutura corporal humana (pose estimation), para detetar movimentos e gestos específicos realizados por um jogador e funcione como interface (ou joystick) virtual para controlar qualquer jogo através de um mapeamento de comando pré-determinado.
Objetivo
O objetivo principal deste projeto é o desenvolvimento de uma aplicação que utiliza a deteção de estrutura corporal fornecida por bibliotecas como Google Mediapipe, Openpose ou LightBuzz e realize a deteção de gestos e movimentos pré-determinados, que podem ser mapeados para comandos em videojogos.
Desta forma delineamos as seguintes tarefas:
Estudo do estado-da-arte da captura de gestos e movimentos corporais e sua utilização na computação criativa e videojogos.
Desenvolvimento de testes comparativos dos algoritmos e ferramentas de captação de movimento existentes (Mediapipe x Openpose x LightBuzz x outros), evidenciando os aspetos positivos e negativos numa perspetiva de implementação e performance.
Desenvolvimento de uma aplicação que permita gravar movimentos e gestos e mapeá-los a comandos de um joystick virtual (reconhecido pelo sistema como um dispositivo de input do tipo "joystick").
Desenvolver experimentos com "jogadores" saudáveis, recrutados no ecossistema DEI (alunos, investigadores, docentes, colaboradores), que permitam testar e validar a aplicação através de análise quantitativa e qualitativa realizada sobre dados obtidos durante sessões de jogo realizadas com o sistema desenvolvido e com joysticks tradicionais. (comparar performance no jogo, Game-enjoyment-questionaire, testes de precisão, acurácia, velocidade de movimento, tempo de reação, etc.)
Implementar uma versão da aplicação que possa funcionar como um dispositivo "stand alone" universal, que seja reconhecido como um joystick nas plataformas PC/MAC e Playstation.
Plano de Trabalhos - Semestre 1
Estudo do estado-da-arte da captura de gestos e movimentos corporais através de imagens RGB e RGB-D.
Estudo do estado-da-arte do uso de interfaces naturais em videojogos
Desenvolvimento de testes comparativos dos algoritmos e ferramentas de captação de movimento existentes.
Plano de Trabalhos - Semestre 2
Desenvolvimento de uma aplicação que permita gravar movimentos e gestos e mapeá-los a comandos de um joystick virtual.
Testar a aplicação e comparar sua utilização com a de um joystick convencional em diferentes tipos de videojogos.
Implementar uma versão da aplicação que funcione como dispositivo embarcado em plataforma NVIDIA-Jetson.
Escrever artigo com os resultados do trabalho para conferência internacional.
Condições
O trabalho será realizado no VRLab - DEI, que conta com todas as ferramentas necessárias para o desenvolvimento do projeto (Cameras, joysticks, Gaming PC, NVIDIA Jetson).
O trabalho não depende de aquisição de dados (ou dataset pré-implementado) para o seu desenvolvimento.
A coleta de dados durante a etapa de testes e validação será realizada mediante acordo de consentimento informado celebrado entre equipa de investigação e participantes.
Observações
Bibliografia
Vieira, C., da Silva Pais-Vieira, C. F., Novais, J., & Perrotta, A. (2021). Serious game design and clinical improvement in physical rehabilitation: systematic review. JMIR Serious Games, 9(3), e20066.
Rego, P. A., Moreira, P. M., & Reis, L. P. (2011, June). Natural user interfaces in serious games for rehabilitation. In 6th Iberian conference on information systems and technologies (CISTI 2011) (pp. 1-4). IEEE.
Osokin, D. (2018). Real-time 2d multi-person pose estimation on cpu: Lightweight openpose. arXiv preprint arXiv:1811.12004.
Mitra, S., & Acharya, T. (2007). Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 37(3), 311-324.
Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., ... & Grundmann, M. (2019, June). Mediapipe: A framework for perceiving and processing reality. In Third workshop on computer vision for AR/VR at IEEE computer vision and pattern recognition (CVPR) (Vol. 2019).
Alarcón-Aldana, A. C., Callejas-Cuervo, M., & Bo, A. P. L. (2020). Upper limb physical rehabilitation using serious videogames and motion capture systems: A systematic review. Sensors, 20(21), 5989.
Orientador
André Venturoti Perrotta
avperrotta@dei.uc.pt 📩