Titulo Estágio
Interaction toolkit for programming marker-based tangible interaction in VR
Áreas de especialidade
Sistemas de Informação
Engenharia de Software
Local do Estágio
DEI
Enquadramento
A interacção em Realidade Virtual (RV) é frequentemente atingida através de controladores standard. No entanto, considerar novas formas de input pode ser vantajoso, por exemplo, para situações em que os controladores standard não estão disponíveis ou não podem ser usados, em situações em que os controladores standard não são os mais adequados às tarefas de interação, ou simplesmente para fornecer uma experiência de uso diferente.
Este projecto foca-se na utilização de objectos tangíveis para interação em ambientes de RV. O uso de objectos tangíveis para interação em RV não é novo [1], mas neste projecto pretende-se apenas tratar de objectos passivos, detectáveis através de marcadores visuais usados tipicamente em Realidade Aumentada (RA), de forma a poderem ser aplicados a situações de RV através de smartphone. Um projecto anterior [2] explorou o espaço de design deste paradigma de interacção e produziu vários protótipos que demonstram as possibilidades de interacção através de marcadores visuais. No entanto, a complexidade destes protótipos está limitada pela dificuldade de programação deste tipo de interação, dada a inexistência de abstrações programáticas de algo-nível. Por exemplo, na Figura 1 (https://bit.ly/2zXR3D1) vemos um livro tangível e a sua representação em VR. As interacções sobre este objecto tangível (fechar, abanar, aproximar para “entrar” dentro de uma página, etc.) têm de ser totalmente programadas de raiz usando as APIs de baixo nível da framework de VR.
Objetivo
Este projecto pretende desenvolver um toolkit programático para o desenvolvimento de aplicações VR que usem tangíveis passivos detectados através de marcadores visuais.
Os objectivos deste projecto são:
1. Identificar as abstrações de alto-nível relevantes para este paradigma de interacção
2. Desenvolver um toolkit programático de alto-nível para tangíveis detectados através de marcadores visuais
3. Desenvolver aplicações VR demonstrativas do potencial do toolkit
4. Avaliar a usabilidade do toolkit desenvolvido
A identificação das principais abstrações de interacção para este paradigma é um dos objectivos deste projecto, no entanto, a título de exemplo podemos considerar: detecção de acções físicas como abanar o objecto tangível (por exemplo abanar um tangível com a forma de uma torre para espoletar o som de um sino a tocar); suporte de interacções “mágicas” (por exemplo, aproximar um livro tangível da cara para “saltar” através de um portal para “dentro” da página); tratamento de “ruído” (é frequente os marcadores desaparecerem temporariamente mas o objecto virtual associado pode ser mantido na visualização VR).
Sugere-se a utilização da framework de RV para a Web A-Frame [3], contribuindo também assim para este projecto open-source. No entanto, o aluno será livre para escolher outra, caso considere pertinente.
Plano de Trabalhos - Semestre 1
- Estudar toolkits de interacção para outras áreas que não VR e perceber quais as suas principais características e objectivos
- Estudar o espaço de design de aplicações VR com tangíveis detectados através de marcadores visuais
- Estudar em detalhe a framework de RV a utilizar e como pode ser estendida através de novos componentes ou plugins.
- Definir a arquitectura do toolkit a implementar
Plano de Trabalhos - Semestre 2
- Implementar o toolkit, dando suporte aos vários tipos de interação estudado no semestre anterior
- Avaliar, preferencialmente de forma iterativa, o toolkit com utilizadores reais
- Desenvolver aplicações demonstrativas do uso do toolkit e documentar o toolkit
- Documentar os resultados na forma de artigo científico e dissertação
Condições
Será disponibilizado smartphone para a implementação, caso necessário.
Observações
References
[1] Harley, D., Tarun, A. P., Germinario, D., & Mazalek, A. (2017). Tangible VR: Diegetic Tangible Objects for Virtual Reality Narratives. In Proceedings of the 2017 Conference on Designing Interactive Systems - DIS ’17 (pp. 1253–1263). New York, New York, USA: ACM Press. https://doi.org/10.1145/3064663.3064680
[2] Ribeiro, Jorge. (2020). Interacção em Realidade Virtual Através de Tangíveis Passivos (Dissertação de Mestrado)
[3] A-Frame. https://aframe.io/
Orientador
Jorge C. S. Cardoso
jorgecardoso@dei.uc.pt 📩