Titulo Estágio
Inteligência Artificial para sistema GPS em cirurgia ortopédica
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Smith&Nephew Orion Prime, localizada no Instituto Pedro Nunes (IPN)
Enquadramento
O grupo Orion Prime, da empresa Smith&Nephew (S&N), originado de uma spin-off da Universidade de Coimbra e sediado na mesma cidade, desenvolveu um sistema inovador que utiliza processamento de imagem, visão por computador e realidade aumentada para auxiliar cirurgiões em procedimentos artroscópicos. Este sistema de navegação cirúrgica é
possível através do alinhamento (registo) de um modelo 3D pré-operatório, obtido por tomografia axial computadorizada (TAC) ou ressonância magnética, com a anatomia visualizada intra-operativamente através do artroscópio.
A tecnologia baseia-se no rastreamento (tracking) de marcadores fiduciais, que são etiquetas quadradas com padrões quadriculados internos. Este marcadores são fixos tanto na anatomia a ser operada (anatomia alvo) quanto em instrumentos utilizados para digitalizar a sua superfície. A digitalização de osso e cartilagem permite a estimação de pontos 3D, que são utilizados para registar a anatomia com o modelo pré-operatório.
Embora esta abordagem seja eficiente e eficaz, ela apresenta várias dificuldades:
(1) Garantir que os marcadores sejam visíveis pela câmara, o que é bastante difícil considerando que o ambiente artroscópico é muito restrito em termos de espaço de trabalho e condições de visualização, frequentemente obstruído por detritos dos
tecidos e sangue;
(2) A precisão dos pontos 3D é limitada pelo tamanho reduzido dos marcadores;
(3) Alteração do fluxo cirúrgico normal, aumentando o tempo de cirurgia;
(4) Necessidade de utilizar instrumentos cirúrgicos especiais que incluam marcadores fiduciais, o que eleva os custos do procedimento e complexidade do planeamento hospitalar;
(5) Fixação de marcadores fiduciais no osso do paciente e toque em zonas de cartilagem que pode causar danos na anatomia.
Objetivo
O objetivo principal deste trabalho é a investigação e desenvolvimento de um sistema de navegação cirúrgica que não requere marcadores fiduciais nos instrumentos e na anatomia (navegação sem marcadores). Este sistema irá potencialmente remover as 5 dificuldades do sistema atual mencionadas anteriormente.
O sistema a ser investigado e desenvolvido será constituído por três estágios principais:
(1) Reconstrução de pontos 3D da anatomia do paciente a partir do vídeo artroscópico usando técnicas recentes de Deep Learning [1, 2]
(2) Segmentação automática do vídeo artroscópico para identificar os pontos 3D obtidos no estágio (1) que correspondam à anatomia alvo.
(3) Registo dos pontos 3D do estágio (2) com um modelo pré-operatório.
Uma das funções dos marcadores é fornecer informação de escala, de modo a que os pontos sejam reconstruídos à escala real (a mesma do modelo pré-operatório). Assim, o registo da anatomia do paciente com o modelo pré-operatório é actualmente feito utilizando um algoritmo [3] que se baseia em informação diferencial (ilustrado abaixo) para determinar apenas a rotação e a translação de alinhamento, sem requerer qualquer estimação de escala.
Ao remover os marcadores, a informação de escala é perdida e deve ser recuperada no passo de registo. Um dos objectivos deste projecto é, então, adaptar o algoritmo de registo existente para também estimar a escala entre o modelo pré-operatório e os pontos 3D
reconstruídos.
É importante destacar que, neste trabalho, deve-se considerar que a aplicação específica do métodos ao ambiente artroscópico está sujeita aos desafios descritos anteriormente. Adicionalmente, a eficiência computacional dos métodos deve ser valorizada, pois,
idealmente, a navegação cirúrgica deve ser realizada em tempo real.
Referências
[1] “Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data”, Lihe Yang et al., CVPR, 2024
[2] “ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth.”, Shariq Bhat et al., arXiv, 2023
[3] Raposo and J. P. Barreto, “Using 2 Point+Normal Sets for Fast Registration of Point Clouds with Small Overlap”, ICRA'2017
Plano de Trabalhos - Semestre 1
1. Familiarização com o sistema de navegação cirúrgica em artroscopia existente [2 semanas]
2. Criação de uma sandbox com dados clínicos reais para avaliar os algoritmos (estimação de pontos 3D e registo 3D-3D) que serão desenvolvidos [1 mês]
3. Estudo sobre técnica de estimação de pontos 3D a partir de vídeo [1, 2] (vídeo não contém marcadores fiduciais). Implementação e avaliação do algoritmo escolhido. Avaliação da performance na sandbox criada em 2. [2 meses]
4. Utilização e, se necessário, treino da rede de segmentação de vídeo anatómico existente para a identificação de pontos 3D que correspondam a anatomia target [1 mês]
Plano de Trabalhos - Semestre 2
5. Estudo sobre técnicas de registo 3D-3D para alinhar os pontos 3D obtidos intraoperativamente com um modelo 3D pre-operativo. Adaptação do algoritmo utilizado [3] para estimação de escala. [2 meses]
6. Integração dos vários módulos (estimação de pontos 3D intra-operativamente, segmentação anatómica, registo 3D-3D) num sistema final de registo sem marcadores a correr em tempo-real [1 mês]
7. Avaliação do sistema final em ambiente cirúrgico real [2 semanas].
8. Escrita da tese e, dependendo dos resultados obtidos, submissão de um artigo científico. [2 meses]
Condições
Neste projeto o aluno irá colaborar ativamente com os engenheiros e os investigadores da S&N. O candidato terá acesso a dados médicos reais. O candidato terá ainda acesso a vários computadores de alta performance para treino eficiente das arquiteturas de Deep Learning.
Recomendamos os alunos interessados a enviar email para michel.antunes@smithnephew.com e carolina.raposo@smith-nephew.com para combinar entrevista.
Orientador
Michel Antunes
michel.antunes@smith-nephew.com 📩