Titulo Estágio
Calibração de instrumentos cirúrgicos em fábrica para seguimento de alta exactidão
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
IPN - Coimbra
Enquadramento
O grupo Orion Prime da empresa Smith&Nephew (S&N), nascido de uma empresa spin-off da Universidade de Coimbra chamada Perceive3D, criou um sistema que utiliza processamento de imagem e realidade aumentada (AR) para guiar o cirurgião durante procedimentos artroscópicos. Como pode ser observado em https://www.youtube.com/watch?v=J1PBAakuJeI, o sistema utiliza cóodigos QR para estimar a localização da câmara artroscópica e de instrumentos cirúrgicos em cada frame, de modo a que seja possível realizar tarefas como reconstrução de pontos 3D e alinhamento de instrumentos cirúrgicos com informação mostrada usando AR.
Devido ao facto de todo o procedimento ser efectuado por via minimamente invasiva, isto é, a câmara artroscópica e os instrumentos são introduzidos através de pequenos buracos, a dimensão dos códigos QR é muito reduzida (quadrados com 2.2mm de lado). Isto faz com que a sua manufactura, que utiliza um processo de marcação a laser, não seja repetível, isto é, marcação do mesmo código QR no mesmo instrumento cirúrgico origina resultados diferentes em termos de posição e orientação. Esta falta de repetibilidade levou à necessidade de criar processos de calibração para cada instrumento que são realizados em fábrica para determinar não só a posição e orientação entre diferentes códigos QR mas também a localização de entidades geométricas relevantes (como a ponta do instrumento de reconstrução de pontos mostrado no vídeo) no referencial associado aos códigos QR.
O processo de calibração existente já permite calibrar os instrumentos com precisão suficiente para atingir os requisitos médicos necessários. No entanto, ainda existe um problema recorrente que afecta não só a exactidão do sistema mas também a forma como a informação é mostrada em AR. Este problema é ilustrado na Figura 3, onde se pode verificar que o mesmo conjunto de pontos é mostrado em AR em localizações diferentes em frames consecutivas onde não existe movimento da câmara. Esta diferença na projecção dos pontos é causada por erros na calibração do marcador que faz com que a posição da câmara seja estimada em localizações significativamente diferentes consoante o número de códigos QR que são detectados simultaneamente.
Objetivo
Existe uma forte hipótese de os erros de calibração serem causados por falta de exactidão no processo de marcação a laser. Em concreto, cada código QR é definido como sendo um quadrado perfeito de 2.2mm de lado, com os bits interiores tendo tamanho e localização definidos e conhecidos. Devido à dimensão reduzida destes códigos QR, o processo de marcação a laser é incapaz de os produzirr exactamente como são definidos. Testes preliminares mostraram que pequenas diferenças entre o comprimento dos lados do quadrado de cada código QR afectam significativamente a qualidade de estimação de pose. Outra hipótese é que parte do erro de seguimento é causado por erros de calibração da câmara artroscópica.
De modo a colmatar esta dificuldade na calibração e confirmar estas hipóteses, a S&N Orion Prime adquiriu scans 3D de alta resolução com milhões de vértices de diversos instrumentos cirúrgicos e placas de calibração para conseguir dimensionar e modelar os códigos QR, de modo a que esta informação possa ser comunicada ao algoritmo de seguimento e aumentar a sua performance. Scans 3D de alta resolução de uma grelha de calibração foram também adquiridos. O objectivo deste projecto é atingir seguimento de códigos QR por via artroscópica como elevada exactidão, de modo a melhorar não só toda a precisão do sistema de navegação mas também tornar a experiência do cirurgião mais agradável.
Plano de Trabalhos - Semestre 1
1. Estudo sobre métodos seguimento (tracking) e familiarização com o algoritmo de seguimento implementado no sistema de navegação da S&N Orion Prime.
2. Familiarização com os sistemas de calibração em fábrica desenvolvidos pela S&N Orion Prime. Estudo sobre as diferentes formulações matemáticas de optimização de múltiplos parâmetros.
3. Calibração dos marcadores para os quais existe scan 3D com o sistema actual. Verificação experimental de situações de seguimento com erro. Aquisição de datasets para teste.
4. Extracção de informação relevante dos scans 3D (dimensão dos códigos QR, coplanaridade dos 4 cantos, ângulo entre arestas, etc.) e incorporação dessa informação no algoritmo de seguimento. Avaliação da qualidade de seguimento nos datasets de teste.
Plano de Trabalhos - Semestre 2
5. Extracção de informação relevante dos scans 3D das placas de calibração e incorporação dessa informação no algoritmo de calibração. Calibração dos marcadores para os quais existe scan 3D com o sistema modificado. Avaliação da qualidade de seguimento nos datasets de teste.
6. Extracção de informação relevante do scan 3D da grelha de calibração. Calibração de câmaras diferentes utilizando a informação extraída e avaliação do impacto na qualidade do seguimento dos códigos QR.
7. Escrita da tese e, dependendo dos resultados obtidos, submissão de um artigo científico.
Condições
Neste projeto o/a aluno/a irá colaborar ativamente com engenheiros e investigadores da S&N Orion Prime. O candidato terá acesso a dados médicos reais. Familiaridade com a ferramenta MATLAB é aconselhável.
Orientador
Carolina Raposo
carolina.raposo@smith-nephew.com 📩