Titulo Estágio
Artificial Intelligence for 3D Reconstruction in Arthroscopy
Local do Estágio
IPN - Coimbra
Enquadramento
A Smith&Nephew (https://www.smith-nephew.com/news/2025/03/04/20250304-smith-nephew-is-pioneering-spatial-surgery--a-defining-new-sports-medicine) criou um sistema que utiliza processamento de imagem e realidade aumentada (AR) para guiar o cirurgião durante procedimentos artroscópicos. Como pode ser observado em https://www.youtube.com/watch?v=J1PBAakuJeI, de modo a mostrar correctamente a informação ao cirurgião, o sistema utiliza o alinhamento (registo) de um modelo pré-operatório do osso, obtido através de uma ressonância magnética ou de uma TAC, com a anatomia do paciente, o que requer uma reconstrução precisa da superfície do osso. Actualmente, esta reconstrução é feita tocando com uma ferramenta instrumentada no osso. No entanto, há casos em que o reduzido espaço de manobra dentro da articulação do joelho dificulta o acesso ao osso, tornando este processo de reconstrução muito demorado e complicado de executar.
Objetivo
Pretendemos explorar técnicas de Inteligência Artificial para reconstrução 3D da superfície do osso a partir de imagens artroscópicas em tempo-real. Esta reconstrução irá possibilitar o alinhamento com o modelo pre-operative do joelho sem a necessidade de ferramentas ou sensores auxiliares. Assim, o objectivo geral da tese é (1) trabalho de data scientist para organizar e tratar as grandes quantidades de dados de artroscopia existentes, (2) criar estruturas para analisar eficientemente os dados, e (3) investigar e desenvolver algoritmos data-driven para estimar a profundidade de estruturas anatómicas a partir de imagens artroscópicas. Como base o trabalho https://github.com/naver/mast3r e similares vão ser usados.
Plano de Trabalhos - Semestre 1
1. Estudo sobre técnicas de estimação de profundidade baseadas em Deep Learning; escolha e familiarização com uma plataforma de desenvolvimento adequada.
2. Organização dos dados de treino: a Smith&Nephew possui várias horas de vídeo artroscópico que necessita de ser organizado e segmentado para utilizar no treino das redes neuronais;
3. Criação de estruturas de dados adequadas para possibilitar a utilização dos dados para treino de algoritmos de Deep Learning;
Plano de Trabalhos - Semestre 2
4. Treinar e testar a rede escolhida em (1) com os dados da Smith&Nephew utilizando técnicas de transfer learning apropriadas;
5. Avançar o estado da arte através da investigação de uma nova arquitectura de Deep Learning que, ao contrário de [1], não necessite de supervisão de dados esparsos obtidos através de Structure-from-motion (SfM);
6. Escrita da tese e, dependendo dos resultados obtidos, submissão de um artigo científico.
Condições
Neste projeto o aluno irá colaborar ativamente com os engenheiros e os investigadores da Smith&Nephew. O candidato terá acesso a dados médicos reais, e os algoritmos desenvolvidos serão testados em cadáver. O candidato terá ainda acesso a um computador de alta performance para treino eficiente das arquiteturas de Deep Learning.
Observações
Para além da equipa de R&D da Smith&Nephew, a orientação da tese será também efectuado pelo Professor Doutor João Pedro Barreto, que leciona na FCT/UC e trabalha no ISR/UC.
Orientador
Michel Antunes
michel.antunes@smith-nephew.com 📩