Titulo Estágio
The body joystick
Áreas de especialidade
Sistemas de Informação
Sistemas de Informação
Local do Estágio
DEI
Enquadramento
Serious games (SG), videojogos que têm objetivos para além do entretenimento, são cada vez mais utilizados em contexto clínico, principalmente para reabilitação física e neurológica. Recentes estudos mostram que os SG têm melhores resultados clínicos quando o jogo e as ações que o jogador deve realizar são desenvolvidos à medida das necessidades de cada paciente. Entretanto, os pacientes têm mais prazer e se engajam mais ao utilizar jogos genéricos como os da Wii e similares.
Uma possível estratégia para colmatar essa desconexão é a de criar uma interface que permita jogar qualquer jogo através de movimentos e ações desenhadas pela equipa clínica, de acordo com as necessidades do paciente. Esta interface deve substituir o joystick convencional e permitir que cada paciente utilize um jogo de sua preferência para o tratamento.
Neste sentido, este projeto visa criar uma aplicação que utilize as imagens de uma camera RGB ou RGB-D para detetar movimentos e gestos específicos e funcione como interface (ou joystick) virtual para controlar qualquer jogo através de um mapeamento de comando pré-determinado.
Objetivo
O objetivo principal deste projeto é o desenvolvimento de uma aplicação que faça a deteção de gestos e movimentos corporais através de visão computacional e aprendizagem de máquina, e utilize estes gestos para disparar comandos em videojogos.
Desta forma delineamos as seguintes tarefas:
Estudo do estado-da-arte da captura de gestos e movimentos corporais através de imagens RGB e RGB-D.
Desenvolvimento de testes comparativos dos algoritmos e ferramentas de captação de movimento existentes.
Desenvolvimento de uma aplicação que permita gravar movimentos e gestos e mapeá-los a comandos de um joystick virtual.
Testar a aplicação e comparar sua utilização com a de um joystick convencional em diferentes tipos de videojogos.
Plano de Trabalhos - Semestre 1
Estudo do estado-da-arte da captura de gestos e movimentos corporais através de imagens RGB e RGB-D.
Estudo do estado-da-arte do uso de interfaces naturais em videojogos
Desenvolvimento de testes comparativos dos algoritmos e ferramentas de captação de movimento existentes.
Plano de Trabalhos - Semestre 2
Desenvolvimento de uma aplicação que permita gravar movimentos e gestos e mapeá-los a comandos de um joystick virtual.
Testar a aplicação e comparar sua utilização com a de um joystick convencional em diferentes tipos de videojogos.
Escrita da dissertação
Condições
O trabalho será realizado no VRLab - DEI, que conta com todas as ferramentas necessárias para o desenvolvimento do projeto (Cameras, joysticks, Gaming PC).
Observações
Bibliografia
Vieira, C., da Silva Pais-Vieira, C. F., Novais, J., & Perrotta, A. (2021). Serious game design and clinical improvement in physical rehabilitation: systematic review. JMIR Serious Games, 9(3), e20066.
Rego, P. A., Moreira, P. M., & Reis, L. P. (2011, June). Natural user interfaces in serious games for rehabilitation. In 6th Iberian conference on information systems and technologies (CISTI 2011) (pp. 1-4). IEEE.
Osokin, D. (2018). Real-time 2d multi-person pose estimation on cpu: Lightweight openpose. arXiv preprint arXiv:1811.12004.
Mitra, S., & Acharya, T. (2007). Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 37(3), 311-324.
Orientador
André Perrotta / Jorge Cardoso
avperrotta@dei.uc.pt 📩