Titulo Estágio
Estimação da pose de instrumentos cirúrgicos em vídeo artroscópico
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Smith&Nephew Orion Prime, localizada no Instituto Pedro Nunes (IPN)
Enquadramento
O grupo Orion Prime da empresa Smith&Nephew (S&N), nascido de uma empresa spin-off da Universidade de Coimbra e sediado nesta cidade, desenvolveu um sistema inovador que utiliza processamento de imagem, visão por computador e realidade aumentada para auxiliar cirurgiões em procedimentos artroscópicos. Uma apresentação dessa tecnologia pode ser vista em https://www.youtube.com/watch?v=J1PBAakuJeI.
Atualmente, o sistema baseia-se no seguimento da pose de “marcadores fiduciais” – etiquetas quadradas com padrões internos conhecidos – no vídeo artroscópico. Estes marcadores são construídos em conjunto ou adaptados aos instrumentos cirúrgicos e permitem determinar em tempo-real a pose relativa entre a anatomia, os instrumentos e a câmera artroscópica.
Embora esta aproximação seja eficiente e efetiva, ela traz algumas dificuldades ao desenho dos instrumentos e ao procedimento cirúrgico em si mesmo.
Objetivo
A ideia principal deste trabalho é investigação e desenvolvimento de métodos de seguimento e estimação da pose dos instrumentos cirúrgicos no vídeo artroscópico, recorrendo apenas ao conhecimento da geometria e aparência dos instrumentos, sem recorrer a marcadores fiduciais.
A este tipo de tarefa e área de investigação chama-se “6D Object Pose Estimation” pois trata de estimar as 6 dimensões de pose, 3 de posição e 3 de orientação, de objetos. Vários métodos dedicados a este tipo de tarefa têm sido desenvolvidos pela comunidade de visão por computador, grade parte recorrendo a técnicas de “Deep Learning”, embora focados em aplicações diferentes da artroscopia aqui descrita. Uma lista extensa dos trabalhos nesta área pode ser encontrada em https://paperswithcode.com/task/6d-pose-estimation, existindo competições online pelos melhores resultados de precisão, por exemplo em https://bop.felk.cvut.cz/home/. Um exemplo da aplicação destes métodos pode ser visto em https://www.youtube.com/watch?v=6W7_ZssUTDQ.
Assim, o objetivo geral do projeto é investigar e desenvolver um método para a estimação da pose de instrumentos cirúrgicos em vídeo artroscópico, com a possibilidade de integração num sistema de navegação cirúrgica estado-da-arte. Este trabalho focar-se-á nos desafios da aplicação dos métodos de “6D pose estimation” ao ambiente artroscópico, sendo valorizada a eficiência computacional das implementações.
Plano de Trabalhos - Semestre 1
1. Estudo e investigação de métodos e softwares de deteção e estimação de pose de objetos. Escolha e familiarização com um ou vários métodos, e uma plataforma de desenvolvimento adequada (provavelmente envolvendo “Deep Learning”). [1 mês]
2. Desenvolvimento de testes preliminares da arquitetura escolhida em “datasets” públicos, e aplicação a problemas simples (vídeo e objetos não artroscópicos) [1 mês]
3. Criação de dados de treino e teste usando cenas simuladas em vídeos gerados por computador. Criação de dados gravando vídeos em “phantom” (recriação sintética de ambientes cirúrgicos). Preparação de dados a partir das várias horas de vídeo artroscópico da S&N. [2 meses]
Plano de Trabalhos - Semestre 2
4. Evolução e desenvolvimento dos métodos usando os dados. [2 meses]
5. Evolução dos métodos para maior robustez a condições difíceis e para melhor eficiência computacional. [2 meses]
6. Escrita de relatório/tese e, dependendo dos resultados obtidos, submissão de um artigo científico. [2 meses]
Condições
O aluno/aluna terá acesso a dados médicos reais, e os algoritmos desenvolvidos serão testados em cadáver. Se necessário, será disponibilizado acesso a um computador de alta performance para treino eficiente de arquiteturas de “Deep Learning”.
Observações
Neste projeto, o aluno/aluna irá colaborar ativamente com engenheiros e investigadores da S&N. Só candidatos que efetuarem uma entrevista prévia serão considerados para o projeto, pelo que pedimos que seja enviado email para michel.antunes@smith-nephew.com e cristovao.sousa@smith-nephew.com para combinar entrevista.
Orientador
Cristóvão Sousa
Cristovao.Sousa@smith-nephew.com 📩