Titulo Estágio
Calibração de instrumentos cirúrgicos em fábrica para seguimento de alta exactidão
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
Instituto Pedro Nunes
Enquadramento
O grupo Orion Prime da empresa Smith&Nephew (S&N), nascido de uma empresa spin-off da Universidade de Coimbra chamada Perceive3D, criou um sistema que utiliza processamento de imagem e realidade aumentada (AR) para guiar o cirurgião durante procedimentos artroscópicos. Como pode ser observado em https://www.youtube.com/watch?v=J1PBAakuJeI, o sistema utiliza cóodigos QR para estimar a localização da câmara artroscópica e de instrumentos cirúrgicos em cada frame, de modo a que seja possível realizar tarefas como reconstrução de pontos 3D e alinhamento de instrumentos cirúrgicos com informação mostrada usando AR.
Devido ao facto de todo o procedimento ser efectuado por via minimamente invasiva, isto é, a câmara artroscópica e os instrumentos são introduzidos através de pequenos buracos, a dimensão dos códigos QR é muito reduzida (quadrados com 2.2mm de lado). Isto faz com que a sua manufactura, que utiliza um processo de marcação a laser, não seja repetível, isto é, marcação do mesmo código QR no mesmo instrumento cirúrgico origina resultados diferentes em termos de posição e orientação. Esta falta de repetibilidade levou à necessidade de criar processos de calibração para cada instrumento que são realizados em fábrica para determinar não só a posição e orientação entre diferentes códigos QR mas também a localização de entidades geométricas relevantes (como a ponta do instrumento de reconstrução de pontos mostrado no vídeo) no referencial associado aos códigos QR. Estações de calibração dedicadas foram desenvolvidas para calibrar cada instrumento cirúrgico utilizando um processo visual com uma câmara de resolução 1080p e uma plataforma giratória contendo uma placa de calibração com códigos QR marcados a laser.
O processo de calibração existente já permite calibrar os instrumentos com precisão suficiente para atingir os requisitos médicos necessários. No entanto, ainda existe um problema recorrente que afecta não só a exactidão do sistema mas também a forma como a informação é mostrada em AR. Verifica-se, frequentemente, que o mesmo conjunto de pontos é mostrado em AR em localizações diferentes em frames consecutivas onde não existe movimento da câmara. Esta diferença na projecção dos pontos é causada por erros na calibração do marcador que faz com que a posição da câmara seja estimada em localizações significativamente diferentes consoante o número de códigos QR que são detectados simultaneamente.
Objetivo
Existe uma forte hipótese de os erros de calibração serem causados por falta de exactidão no processo de marcação a laser. Em concreto, cada código QR é definido como sendo um quadrado perfeito de 2.2mm de lado, com os bits interiores tendo tamanho e localização definidos e conhecidos. Devido à dimensão reduzida destes códigos QR, o processo de marcação a laser é incapaz de os produzir exactamente como são definidos. Testes preliminares mostraram que pequenas diferenças entre o comprimento dos lados do quadrado de cada código QR afectam significativamente a qualidade de estimação de pose. Outra hipótese é que parte do erro de seguimento é causado por erros de calibração da câmara artroscópica.
Para colmatar esta dificuldade na calibração e confirmar estas hipóteses, a S&N Orion Prime adquiriu scans 3D de alta resolução com milhões de vértices de diversos instrumentos cirúrgicos e placas de calibração para conseguir dimensionar e modelar os códigos QR, de modo a que esta informação possa ser comunicada ao algoritmo de seguimento e aumentar a sua performance. Scans 3D de alta resolução de uma grelha de calibração foram também adquiridos. O objectivo deste projecto é atingir seguimento de códigos QR por via artroscópica com elevada exactidão, de modo a melhorar não só toda a precisão do sistema de navegação mas também tornar a experiência do cirurgião mais agradável.
Plano de Trabalhos - Semestre 1
1. Estudo sobre métodos seguimento (tracking) e familiarização com o algoritmo de seguimento implementado no sistema de navegação da S&N Orion Prime. [1 mês]
2. Familiarização com os sistemas de calibração em fábrica desenvolvidos pela S&N Orion Prime. Estudo sobre as diferentes formulações matemáticas de optimização de múltiplos parâmetros. [1 mês]
3. Calibração dos marcadores para os quais existe scan 3D com o sistema actual. Verificação experimental de situações de seguimento com erro. Aquisição de datasets para teste. [0.5 meses]
4. Extracção de informação relevante dos scans 3D (dimensão dos códigos QR, coplanaridade dos 4 cantos, ângulo entre arestas, etc.) e incorporação dessa informação no algoritmo de seguimento. Avaliação da qualidade de seguimento nos datasets de teste. [2 meses]
Plano de Trabalhos - Semestre 2
5. Extracção de informação relevante dos scans 3D das placas de calibração e incorporação dessa informação no algoritmo de calibração. Calibração dos marcadores para os quais existe scan 3D com o sistema modificado. Avaliação da qualidade de seguimento nos datasets de teste. [1.5 meses]
6. Extracção de informação relevante do scan 3D da grelha de calibração. Calibração de câmaras diferentes utilizando a informação extraída e avaliação do impacto na qualidade do seguimento dos códigos QR. [2 meses]
7. Escrita da tese e, dependendo dos resultados obtidos, submissão de um artigo científico. [2 meses]
Condições
Neste projeto o/a aluno/a irá colaborar ativamente com engenheiros e investigadores da S&N Orion Prime. O candidato terá acesso a dados médicos reais. Familiaridade com a ferramenta MATLAB é aconselhável. Recomendamos os alunos interessados a enviar email para carolina.raposo@smith-nephew.com e cristovao.sousa@smith-nephew.com para combinar entrevista. Só candidatos que efetuaram entrevista prévia serão aceites para o projeto.
Orientador
Carolina dos Santos Raposo
carolina.raposo@smith-nephew.com 📩