Real-time tracking of valve repair device for interventional cardiology

Abstract

A regurgitação sanguínea nas válvulas cardıacas leva à dilatação atrial e à redução da eficiência cardíaca. Para enfrentar esse problema, procedimentos de Reparo Transcateter Borda-a-Borda (TEER) estão substituindo cada vez mais as cirurgias de coração aberto, baseando-se na combinação de fluoroscopia por Raios X e ecocardiografia transesofágica para orientação. Este projeto tem como objetivo estimar a pose 6D de um dispositivo de reparo valvar a partir de imagens de Raios X para viabilizar, futuramente, o rastreamento em tempo real do dispositivo. Assim, informações sobre a posição, orientação e trajetória do dispositivo poderiam auxiliar a intervenção ao facilitar o alinhamento com a válvula. Para isso, imagens do dispositivo foram adquiridas em um Sistema de Intervenção Guiado por Imagem (IGS) para explorar a viabilidade da estimativa de pose em imagens de fluoroscopia, com base na posição dos marcadores e nos comprimentos do dispositivo. Os métodos de estimativa de pose em imagens de Raios X presentes no estado da arte foram revisados, e o modelo YOLOv5-6D (Viviers et al., 2024) foi selecionado por suas capacidades de inferência em tempo real e pela disponibilidade de seu código aberto. Em seguida, o modelo foi modificado para incluir geração dinâmica de dados, produzindo imagens sintéticas de Raios X do dispositivo anotadas com as coordenadas dos vértices e do centro de uma caixa delimitadora 3D, com forte aumento de dados. Um segundo conjunto de dados de dois canais, com imagens de bordas de Canny e simulação de lâminas de colimação, permitiu comparar dois modelos treinados. Resultados preliminares indicam convergência bem-sucedida das perdas de treino e validação, sugerindo uma capacidade de aprendizagem eficaz. Embora ainda existam desafios na aplicação dos modelos a dados clínicos reais, os resultados são promissores. Os próximos passos envolvem focar na avaliação do modelo utilizando métricas 3D, estender as estratégias de treino para considerar dados clínicos reais e criar um conjunto de testes para validar a estimativa da pose 6D. Posteriormente, em trabalhos futuros, essa estimativa poderá ser aplicada a imagens de ultrassom obtidas ao longo do procedimento, permitindo a seleção automática de cortes para Reconstrução Multiplanar (MPR) e o rastreamento do dispositivo, fornecendo feedback em tempo real à equipe intervencionista para completar o procedimento TEER.

Blood regurgitation in heart valves leads to atrial dilation and reduced cardiac efficiency. To address this, Transcatheter Edge-to-Edge Repair (TEER) procedures are increasingly replacing open-heart surgeries, relying on the combination of X-ray fluoroscopy and transesophageal echocardiography for guidance. This project aims to estimate the 6D pose of a valve repair clip device from X-ray images for future real-time tracking of the device. Consequently, information about the device’s po- sition, orientation, and trajectory could assist the intervention by facilitating the alignment with the valve. To do so, images of the device were acquired on an Image Guided System (IGS) to explore the feasibility of pose estimation of the device on fluoroscopy images, based on the position of the markers and the lengths of the de- vice. The state-of-the-art pose estimation methods in X-ray images were reviewed, and the YOLOv5-6D model (Viviers et al. 2024) was selected for its real-time in- ference capabilities and the availability of its open-source code. Then, the model was modified to include dynamic data generation, providing synthetic X-ray images of the clip device annotated with the coordinates of the vertices and the center of a 3D bounding box with heavy augmentation. A second double-channeled dataset with Canny edge images and collimation lames simulation allowed comparison of two trained models. Preliminary results indicate successful convergence in training and validation losses, suggesting effective learning capability. Although challenges remain when applying the models to real clinical data, the results are nonetheless promising. Future steps involve focusing on evaluating the model using 3D metrics, extending training strategies to account for real clinical data and creating a testing dataset to validate the 6D pose estimation. Then, in future work, this estimation could be exploited to ultrasound images obtained throughout the procedure, allow- ing for automatic slice selection for Multiplanar Reconstruction (MPR) and device tracking, providing real-time feedback to the interventional team to complete the TEER procedure.