Titulo Estágio
Gaussian Splatting (3DGS) para modelação de cenas artroscópicas
Local do Estágio
IPN - Coimbra
Enquadramento
A artroscopia é um procedimento cirúrgico minimamente invasivo utilizado para diagnosticar e tratar lesões do joelho. Durante este procedimento, a obtenção de informações visuais precisas é crucial para auxiliar os cirurgiões na tomada de decisões e no planeamento do tratamento. A visualização da articulação do joelho através de uma lente artroscópica é muito complicada e a maioria dos procedimentos cirúrgicos requerem médicos com vários anos de experiência clínica para serem executados com a rigor necessário.
Neste contexto, a Smith&Nephew pretende explorar o uso de “3D Gaussian Splatting” (3DGS) [1] para melhorar a visualização, compreensão e simulação das estruturas intra-articulares, fornecendo aos cirurgiões informação valiosas para uma tomada de decisão mais precisa e eficiente durante os procedimentos, assim como para a simulação, formação e treino das cirurgias.
[1] Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler, and George Drettakis. 2023. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Trans. Graph. 42, 4, Article 139 (August 2023), 14 pages. https://doi.org/10.1145/3592433
Objetivo
Os objetivos principais do projeto serão os seguintes:
1. Aplicar métodos baseados em 3DGS para gerar modelos de cenas de artroscopia do joelho.
2. Investigar os melhores métodos de 3DGS para lidar com as características e limitações das imagens adquiridas em artroscopia, para a geração de modelos otimizados e realísticos.
3. Usar técnicas 3DGS para obter modelos 3D clássicos precisos do tecidos rígidos do joelho.
4. Usar as cenas 3DGS criadas para simular vídeo artroscópico em tempo real.
5. Explorar a capacidade de modelar o tempo, usando “4DGS”, para modelar cenas artroscópicas com movimento de tecidos moles.
Plano de Trabalhos - Semestre 1
1. Estudo sobre 3DGS e respetiva literatura relevante estado-da-arte a utilizar.
2. Teste de um ou vários métodos e ferramentas disponíveis em datasets existentes.
3. Criação de um dataset a partir de vídeos cirúrgicos reais para modelar 5 ou mais cenas artroscópicas de joelhos.
4. Geração inicial de um modelo 3DGS para e síntese de imagem de uma cena do dataset.
Plano de Trabalhos - Semestre 2
1. Investigação de alternativas e modificações para a obtenção de modelos optimizados e realísticos.
2. Criação de modelos realistas para todas as cenas do dataset.
3. Criar uma demostração da geração de images a partir dos modelos criados para simulação da visualização artroscópica em tempo real.
4. Explorar 4D Gaussian Splatting.
5. Escrita da tese e, dependendo dos resultados obtidos, submissão de um artigo científico.
Condições
Neste projeto o aluno irá colaborar ativamente com os engenheiros e os investigadores da Smith&Nephew. O candidato terá acesso a dados médicos reais (vídeos artroscópicos). O candidato terá ainda acesso a um computador a investigação.
Observações
Para além da equipa de R&D da Smith&Nephew, a orientação da tese será também efectuada pelo Professor Doutor João Pedro Barreto, que leciona na FCT/UC e trabalha no ISR/UC.
Orientador
Cristóvão Sousa
Cristovao.Sousa@smith-nephew.com 📩