OPTIMISATION PAR PARALLÉLISATION DE L’ALGORITHME DE RECALAGE ÉLASTIQUE 3d FREE FORM DEFORMATION (FFD)

IfI Institut de la Francophonie pour l'Informatique Rapport de stage - Master Systèmes Intelligents et Multimédia OPTIMISATION PAR PARALLÉLISATION DE L’ALGORITHME DE RECALAGE ÉLASTIQUE 3D FREE FORM DEFORMATION (FFD) LE Xuan Sang décembre 2013 Encadrants : Dr Thierry DELZESCAUX (CEA), Nicolas SOUEDET (CEA) Muriel VISANI (Université de La Rochelle) Remerciements Je souhaite tout d’abord remercier mon encadrant de stage, Thierry Delzescaux, pour m’avoir accueilli au sein de l’équipe, pour son soutien tout au long du stage, sa disponibilité, et ses conseils nombreux et éclairés Merci également Nicolas Souedet pour m’avoir aidé me familiariser avec l’environnement de développement MIRCen, mais surtout pour sa gentillesse et son implication dans mon stage Un grand merci Anne-Sophie Hérard et Michel Vandenberghe pour leur regard de biologiste et pour leur enthousiasme dans ma préparation des données de segmentation, une longue et fastidieuse tâche Sans oublier Yaël Balbastre et Medhi Sadouni, mes amis du bureau 114, pour l’accueil chaleureux, pour l’ambiance de travail très amicale et pour leurs blagues très drôles même si je ne les pas toutes comprises Je tiens remercier Muriel Visani, mon encadrant de l’université de La Rochelle, pour le suivi et les relectures du rapport au cours de mon stage Merci enfin Maryse Mouveroux pour m’avoir aidé résoudre toutes les démarches administratives difficiles qui ont permis la réalisation de mon stage Table des matières Introduction État de l’art 2.1 Les maladies neurodégénératives 2.2 La recherche pré-clinique et les modèles animaux 2.3 Les différents types d’imagerie 2.3.1 Imagerie post morterm 2.3.1.1 Acquisition des données 2.3.1.2 Les différentes types de déformations 2.3.2 Imagerie in vivo 2.3.3 La modalité photographique 2.4 La reconstruction 3D de données post mortem 2.5 Le recalage 3D d’images 2.5.1 Transformation linéaire 2.5.2 Transformation non linéaire – le recalage FFD 2.5.3 Critères de similarité 2.5.4 Critère de recouvrement DICE 2.5.5 Le recalage 3D d’images 2.6 Environnement logiciel utilisé 2.7 Objectif du stage 5 6 10 11 12 12 14 15 15 16 18 Optimisation des paramètres du recalage FFD 3.1 Description des données utilisées 3.1.1 IRM/Atlas 3.1.2 Photographie/Segmentation manuelle 3.2 Évaluation quantitative du recalage FFD par l’indice DICE 3.3 Optimisation des paramètres 3.3.1 Sous-échantillonnage de données 3.3.2 Stratégie optimale du recalage FFD 3.3.3 Résolution de la grille de points de contrôle 3.3.4 Les combinaisons de composants de couleurs (R,V,B) 3.3.5 Les positions de la grille de points de contrôle 3.4 Valeur optimale d’un paramètre 21 21 21 22 24 26 26 27 27 29 29 30 Résultat & Discussion 33 4.1 Résultat des expérimentations sur le recalage FFD 33 i Table des matières 4.2 4.1.1 Impact du sous-échantillonnage des données 4.1.2 Stratégie optimale de recalage FFD 4.1.3 Impact de la dimension de la grille de points de contrôle 4.1.4 Impact des différentes combinaisons de composants de couleurs 4.1.5 Impact des différentes positions de la grille de points de contrôles Discussion 33 35 35 36 39 40 Conclusion 43 Bibliographie 45 ii Table des figures 2.1 2.2 2.3 2.4 2.5 3.1 3.2 3.3 (a) Cerveau entier de souris congelé avant la coupe, (b) une coupe d’autoradiographie (métabolisme du glucose) et (c) la coupe histologique correspondante (mettant en évidence les corps cellulaires des neurones) d’un cerveau de souris (Dubois 2008; Lebenberg 2010) (a) Vue coronale, (b) sagittale, et (c) axiale d’une IRM d’un cerveau de souris, source : wiki.phenogenomics.ca (d) vue coronale d’une TEP d’un cerveau de souris, source : MIRCen (a) installation d’un système photographique permettant de photographier le plan de coupe d’un cerveau de rat avant chaque coupe au cryostat, (b) la photographie d’une coupe couleur avant et (c) après le traitement (extraction d’une composante en couleur et segmentation du tissu par rapport au milieu d’enrobage) Source : MIRCen Représentation d’un volume biologique : vue surfacique (a) coronale, (b) sagittale, (c) axiale et (d) vue volumique d’autoradiographie d’un hémisphère de cerveau de souris Processus d’évaluation du recalage FFD L’IRM et la photographie sont utilisées pour estimer la transformation élastique (FFD) de l’une l’autre La transformation est par la suite appliquée sur l’atlas pour obtenir un nouvel atlas avec les structures qui sont bien recalées L’évaluation du recalage sera faite sur chaque structure entre l’atlas recalé et la segmentation manuelle l’aide du critère de recouvrement DICE Description de données IRM/atlas, de gauche droite : vue axiale, coronale et sagittale des données Description de données Photographie/segmentation, de gauche droite : vue axiale, coronale et sagittale des données Vue 3D de la segmentation manuelle des structures utilisées pour évaluer le FFD (segmentées partir du volume photographique) Le cerveau entier (1) est utilisé pour évaluer la qualité du FFD sur la forme globale du cerveau ; (2-7) différentes structures internes caractérisées par leur forme et leur orientation Chaque structure est étiquetée par une valeur comme montrée dans la figure Par conséquent, une étape de prétraitement sera nécessaire pour extraire et ré-étiqueter les structures correspondantes de l’atlas en respectant ces valeurs avant de passer étape d’évaluation Cette segmentation manuelle se base sur la photographie et a été réalisée par un expert pendant plusieurs semaines 10 11 19 21 22 23 Table des figures 3.4 3.5 3.6 4.1 4.2 4.3 4.4 4.5 4.6 Trois commandes Aims principales ont été utilisée pour estimer le recalage FFD : AimsMIRegister s’occupe de l’initialisation de positionnement de l’IRM par rapport la photographie ; AimsBlockMatching donne une estimation sur la déformation globale du cerveau et AimsFFD permet de capturer la déformation locale des structures La commande AimsThreshold est utilisée pour extraire les structures d’intérêt partir de l’Atlas/la segmentation manuelle L’application du recalage estimé est effectuée l’aide de la commande AimsFFDApply Quant l’évaluation, l’AimsROIOverlap permet de mesurer l’indice de recouvrement DICE entre deux structures 25 On calcule d’abord les sous-échantillonnages de l’IRM et de la photographie qui sont par la suite utilisés pour l’estimation du recalage L’application et l’évaluation de celui-ci sont réalisées sur l’Atlas et la segmentation en pleine résolution 27 L’indice DICE est mesuré chaque fois qu’une transformation est estimée 28 Résultat de l’expérimentation : F = (2, 2, 2; 4, 4, 3) donne une solution optimale dans ce cas (ς o p t ≈ 0.003) avec environ heures de calcul et le DICE en moyenne le plus élevé Le DICE augmente proportionnellement avec l’augmentation des degrés de liberté des transformations On voit bien que le FFD a moins d’impact sur le volume global (cerveau entier) ou sur les grandes structures (striatum, hippocampe) qui sont bien recalées par la transformation affine Par contre, il améliore bien les déformations locales, surtout sur les petites structures telles que le corps calleux qui présente un gain de 20% entre le FFD et la déformation affine La grille par défaut G = (10, 10, 10) n’est pas optimale, ce qui semble surprenant théoriquement, la solution optimale dans ce cas est la grille G = (5, 4, 6) Un autre point que l’on doit souligner est que le changement de la dimension de la grille de points de contrôle a un impact plus important sur les petits structures que sur les grandes structures Les premiers graphes non-normalisés montrent le score DICE sur chaque structure en fonction des combinaisons RVB Le dernier représente la variation moyenne ς Les graphes après avoir été normalisés (sauf le dernier qui n’est pas la même échelle) Impact de la position de la grille des points de contrôle : Bien que le résultat ne présente aucun gain sur le cerveau entier (structure globale), sur les moyennes et petites structures, il montre une variabilité importante du score DICE 34 35 36 37 38 39 Introduction “Nothing in life is to be feared It is only to be understood ” – Marie Curie Ce stage s’est déroulé au laboratoire des Maladies Neurodégénératives (LMN), un des trois laboratoires de la plate-forme MIRCen située au CEA de Fontenay-aux-Roses, une plate-forme d’imagerie pré-clinique pour la thérapie génique et cellulaire Elle est consacrée au développement de modèles animaux pertinents de pathologies humaines utilisés pour évaluer des thérapies innovantes, principalement dans le domaine des maladies neurodégénératives mais aussi des maladies infectieuses et cardiaques J’ai travaillé dans l’équipe de traitement de l’image bioPICSEL , une équipe de recherche multidisciplinaire qui se compose d’informaticiens et de biologistes, dont le travail se focalise sur la mise en place de stratégies d’analyse des images acquises par les biologistes, avec l’objectif de faciliter leur interprétation et l’accès aux informations pertinentes Concrètement, les différents types d’imageries in vivo disponibles dans le centre, comme l’IRM et la TEP, sont utilisés pour obtenir une vue globale des organes, plus précisément des cerveaux, dans des modèles animaux de pathologies Les différentes modalités d’imagerie post-mortem (histologie, autoradiographie,etc.), peuvent par la suite être corrélées avec les données acquises in vivo pour avoir une représentation plus précise de la maladie (neurodégénérative) étudiée afin de mieux comprendre ses mécanismes, son évolution et de valider des thérapies Le travail de ce stage consiste optimiser les paramètres d’une implémentation de l’algorithme de recalage élastique FFD (3D) afin d’améliorer la qualité des estimations calculées Pour cela, il est nécessaire, dans un premier temps, d’acquérir une bonne connaissance de l’infrastructure logicielle existante (2.6) au sein de l’équipe et de comprendre le fonctionnement de l’algorithme de recalage non-linéaire FFD étudié (2.5) Dans un deuxième temps, il est indispensable de mettre en œuvre un outil permettant d’évaluer quantitativement les performances de l’algorithme de recalage et de réaliser une série de tests afin d’optimiser les paramètres de cette méthode Le but final est de proposer une approche d’optimisation permettant de pallier les problèmes posés L’objectif du sujet sera détaillé dans la section 2.7 Molecular Imaging Research Center - résultat d’un partenariat entre le CEA et l’Inserm Commissariat l’Énergie Atomique et aux Énergies Alternatives Biomedical Processing of Images Computer Science and Engineering Laboratory Introduction Optimisation des paramètres du recalage FFD 32 Résultat & Discussion “If you’re not part of the solution, you’re part of the precipitate ” –Henry J Tillman 4.1 Résultat des expérimentations sur le recalage FFD Cette section se concentrera sur l’analyse des résultats des expérimentations décrites précédemment Notons que pour chaque expérimentation, les étapes indépendantes sont calculées en parallèle l’aide une grille de calcul (baptisée Titan) qui se compose de 128 unités de calcul (processeurs de 3.06 GHz chacun) et de 251.6 Gb de mémoire 4.1.1 Impact du sous-échantillonnage des données Dans cette expérimentation, en se basant sur l’IRM et la photographie (3.1), différentes combinaisons de sous-échantillonnages ont été calculées et testées, comme décrit dans le tableau ci-dessous : FI RM (1,1,1) (1,1,1) (2,2,1) (2,2,2) (2,2,2) (2,2,3) (3,3,3) (3,3,3) (3,3,3) F p h ot o (2,2,1) (2,2,2) (3,3,2) (3,3,3) (4,4,3) (4,4,4) (5,5,4) (5,5,5) (6,6,5) Table 4.1 – Les facteurs expérimentés F = (FI RM ; F p h ot o ) combinaisons de souséchantillonnages ont été calculées en respectant les contraintes décrites dans la section 3.3.1 Après 72 heures de calcul sur Titan, on obtient le résultat comme montré dans la figure 4.1 En général, on voit bien qu’en terme de qualité du recalage, il n’y a pas de changements importants du score DICE en fonction de différents sous-échantillonnages Sur les petites structures, telles que le corps calleux, le score DICE est plus variable que celui des grandes structures En revanche, si l’on regarde sur le temps de l’estimation, on trouve une baisse très importante en fonction de la diminution de la résolution des images (de 42 heures quelques heures) Idéalement, en analysant les deux graphes, on arrive conclure que F = (FI RM , F p h ot o ) = (2, 2, 2; 4, 4, 3) donne un bonne compromis entre la qualité de l’estimation et le temps de calcul (environ heures - on obtient ainsi un gain de 90% en terme de temps de calcul sans perte de qualité du DICE) 33 Résultat & Discussion Striatum R Hippocampe L 1.00 0.95 0.90 Dice score 0.85 0.80 0.75 0.70 0.65 0.60 0.55 -1 -2 -2 -3 -3 -4 -4 -5 -5 2-2 1-2-2 1-3-3 2-3-3 2-4-4 3-4-4 3-5-5 3-5-5 3-6-6 1 2 2 3 1 2 2 3 Subsampling of two volumes F = (FIRM ; Fphoto ) Hippocampe R Corps calleux L ς - Average of Dice score variation for all structures Cerveau entier Striatum L Corps calleux R 0.030 0.025 0.020 0.015 0.010 ς opt 0.005 0.000 -2- 1-2 -1- 1-2 1-1 -2 -3 -3 -4 -4 -5 -5 -23-3 2-3-3 2-4-4 3-4-4 3-5-5 3-5-5 3-6-6 -12 2 3 2 2 3 Subsampling of two volumes F = (FIRM ; Fphoto ) (a) La courbe gauche représente la variation du score DICE de chaque structure en fonction de différents sous-échantillonnages de l’IRM et de la photographie La variabilité est plus importante sur les moyennes et petites structures, mais en général, le score DICE reste quasiment stable entre les différents sous-échantillonnages La courbe droite montre la variation moyenne ς du score DICE (calculé par la formule 3.5) sur toutes les structures en fonction de F 45 40 35 Time (hours) 30 25 20 15 10 1-1-1-2-2-1 1-1-1-2-2-2 2-2-1-3-3-2 2-2-2-3-3-3 2-2-2-4-4-3 2-2-3-4-4-4 3-3-3-5-5-4 3-3-3-5-5-5 3-3-3-6-6-5 IRM-x(mm) IRM-y(mm) IRM-z(mm) IRM-size(Mb) Photo-x(mm) Photo-y(mm) Photo-z(mm) Photo-size(MB) 0.03 0.03 0.03 101.6 0.03462 0.03462 0.02 187.2 0.03 0.03 0.03 101.6 0.03462 0.03462 0.04 93.6 0.06 0.06 0.06 25.4 0.05193 0.05193 0.04 41.6 0.06 0.06 0.06 12.7 0.05193 0.05193 0.06 27.7 0.06 0.06 0.06 12.7 0.06924 0.06924 0.06 15.6 0.06 0.06 0.06 8.5 0.06924 0.06924 0.08 11.7 0.09 0.09 0.09 3.7 0.08655 0.08655 0.08 7.4 Median Subsamples of two volumes (table: voxels size) 0.09 0.09 0.09 0.09 0.09 0.09 3.7 3.7 0.08655 0.103859 0.08655 0.103859 0.1 0.1 5.9 4.2 (b) Gain en terme de temps de calcul : une baisse très importante du temps de calcul À partir de F = (2, 2, 2; 4, 4, 3), le temps nécessaire pour estimer le recalage reste stable quelque heures Le tableau au dessous représente la taille de voxel des données correspondant chaque combinaison de sous-échantillonnage Figure 4.1 – Résultat de l’expérimentation : F = (2, 2, 2; 4, 4, 3) donne une solution optimale dans ce cas (ς o p t ≈ 0.003) avec environ heures de calcul et le DICE en moyenne le plus élevé 34 4.1 Résultat des expérimentations sur le recalage FFD À partir de ce résultat, pour les prochaines expérimentations, il n’est pas nécessaire de continuer utiliser les données haute résolution, au lieu, on travaille directement avec le sous-jeu de données optimal pour gagner du temps 4.1.2 Stratégie optimale de recalage FFD Cette expérimentation a pour but de vérifier le bon fonctionnement de l’algorithme de recalage FFD Le résultat obtenu montre que le score DICE augmente au fur et mesure chaque fois qu’une nouvelle transformation est effectuée avec l’augmentation des degrés de liberté, ce qui finalement confirme l’hypothèse de départ Cerveau entier Striatum L Striatum R Hippocampe L ς - Average of Dice score variation for all structures 1.0 0.9 0.8 Dice score 0.7 0.6 0.5 0.4 0.3 0.2 0.1 lt u efa -D 01 Hippocampe R Corps calleux L igid 2-R MI M e-B fin f 3-A Transformations used 0.40 0.35 0.30 0.25 0.20 0.15 0.10 - 01 ς opt 0.05 0.00 lt fau De D F 4-F Corps calleux R igid -R 02 I -M M e-B ffin A 03 Transformations used FD -F 04 Figure 4.2 – Le DICE augmente proportionnellement avec l’augmentation des degrés de liberté des transformations On voit bien que le FFD a moins d’impact sur le volume global (cerveau entier) ou sur les grandes structures (striatum, hippocampe) qui sont bien recalées par la transformation affine Par contre, il améliore bien les déformations locales, surtout sur les petites structures telles que le corps calleux qui présente un gain de 20% entre le FFD et la déformation affine 4.1.3 Impact de la dimension de la grille de points de contrôle Avec le sous-échantillonnage de l’IRM obtenu dans la première expérimentation, on obtient un ensemble de grilles tester comme suit : G = (n x , ny , n z ) (4,4,4) (5,4,6) (6,5,7) (8,6,9) (9,7,11) (10,8,12) (10,10,10) Table 4.2 – Les différentes grilles examinées Notons que les grilles (4,4,4) - valeurs minimales - et (10,10,10) - valeur par défaut - ne sont pas calculées par la formule 3.1 mais considérées comme les réglages extrêmes 35 Résultat & Discussion Théoriquement, on pense que plus grande est la résolution de la grille de points de contrôle, plus précise est le recalage Mais l’expérimentation montre que le recalage donne le résultat le plus optimal avec la grille G = (5, 4, 6) dont la dimension est fois plus petites par rapport celle par défaut G = (10, 10, 10) Avec cette grille, toutes les structures étudiées sont bien recalées (le score DICE dépasse le seuil optimal κ ≥ 0.7 ) Cerveau entier Striatum L Striatum R Hippocampe L ς - Average of Dice score variation for all structures 1.0 0.9 Dice score 0.8 0.7 0.6 0.5 4-0 -0 04 Hippocampe R Corps calleux L 4-0 -0 05 5-0 -0 06 -0 08 6-0 7-1 -0 09 Knot grids G = (nx , ny , nz ) 8-1 -0 10 0-1 -1 10 Corps calleux R 0.07 0.06 0.05 0.04 0.03 0.02 ς opt 0.01 4-0 -0 04 -06 -04 05 -07 -05 06 -09 -11 -12 -06 -07 -08 08 09 10 Knot grids G = (nx , ny , nz ) 0-1 -1 10 Figure 4.3 – La grille par défaut G = (10, 10, 10) n’est pas optimale, ce qui semble surprenant théoriquement, la solution optimale dans ce cas est la grille G = (5, 4, 6) Un autre point que l’on doit souligner est que le changement de la dimension de la grille de points de contrôle a un impact plus important sur les petits structures que sur les grandes structures Le problème ici est que la grille G = (10, 10, 10) peut être optimale avec l’IRM (et la photographie) en pleine résolution, tandis que dans cette expérimentation, on utilise les données de sous-échantillonnage dont l’IRM est fois plus petit et la photographie est dégradée de 48 fois La grille G = (10, 10, 10) devient trop dense dans ce cas qui cause un “surcharge” des degrés de liberté, c.à.d, on est dans la situation de sur-estimation des déformations locales, surtout sur les petites structures De ce fait, le recalage a trop de liberté pour modifier les structures , cela risque de baisser la qualité d’appariement La résolution optimale de la grille de points de contrôle dépend ainsi de la dimension des données - on le discutera en détail dans la partie de discussion (4.2) 4.1.4 Impact des différentes combinaisons de composants de couleurs Cette expérimentation a pour l’objectif de tester la sensibilité de l’algorithme de recalage par rapport au contraste de la photographie (la référence) Différentes combinaisons de composantes couleurs ont étés testées, les figures 4.4 et 4.5 représentent le résultat obtenu 36 4.1 Résultat des expérimentations sur le recalage FFD 0.972 100 90 0.971 10 80 0.876 100 20 70 90 60 50 50 40 30 80 10 50 80 70 60 50 40 30 20 10 0.852 60 30 0.966 0.846 70 80 10 100 100 90 50 20 90 0.858 40 40 0.967 70 20 0.864 30 60 0.968 60 20 70 0.969 40 0.870 10 80 0.970 30 0 0.965 0.840 90 100 100 90 0.964 80 Cerveau entier - DICE score 70 60 50 40 30 20 10 0.828 Striatum L - DICE score 0.856 100 0.848 90 100 0.848 10 80 20 70 60 40 40 80 90 100 70 60 50 40 30 20 0.824 50 40 0.816 80 80 40 10 0.808 0.816 60 30 10 100 90 0.832 30 60 70 20 20 50 0.824 60 30 0.840 10 70 0.832 50 90 0.840 30 50 70 20 0.808 80 10 90 100 100 90 0.800 Striatum R - DICE score 80 70 60 50 40 30 20 10 0 90 0.792 0.74 100 0.856 10 80 20 70 90 50 50 40 30 80 10 80 70 60 50 40 30 20 10 50 0.70 60 30 0.69 70 20 0.816 80 10 100 100 90 0.71 40 50 90 0.72 30 40 0.824 70 20 20 60 0.832 60 0.73 10 70 0.840 40 80 0.848 30 60 0.808 0.68 90 100 100 90 0.800 Hippocampe R - DICE score 80 70 60 50 40 30 20 10 0 90 20 70 60 50 40 60 20 80 10 70 60 50 40 30 20 Corps calleux R - DICE score 10 40 0.040 50 40 0.032 60 30 70 20 0.52 0.48 0.44 0.024 80 10 100 80 0.048 30 60 90 20 50 0.56 70 0.056 10 70 0.60 30 100 90 90 0.64 40 80 0.68 30 50 0.66 0.064 100 0.72 10 80 0.67 Corps calleux L - DICE score 0.76 100 0.800 Hippocampe L - DICE score 0.864 100 0.834 90 100 100 90 80 70 60 50 40 30 20 10 0.016 0.008 ς - Average of Dice score variation for all structures Figure 4.4 – Les premiers graphes non-normalisés montrent le score DICE sur chaque structure en fonction des combinaisons RVB Le dernier représente la variation moyenne 37 ς Résultat & Discussion 0.972 100 90 0.971 10 80 0.876 100 20 70 90 60 50 50 40 30 80 10 50 80 70 60 50 40 30 20 10 0.852 60 30 0.966 0.846 70 80 10 100 100 90 50 20 90 0.858 40 40 0.967 70 20 0.864 30 60 0.968 60 20 70 0.969 40 0.870 10 80 0.970 30 0 0.965 0.840 90 100 100 90 0.964 80 Cerveau entier - DICE score 70 60 50 40 30 20 10 0.828 Striatum L - DICE score 0.856 100 0.848 90 100 0.848 10 80 20 70 60 40 40 80 90 100 70 60 50 40 30 20 0.824 50 40 0.816 80 80 40 10 0.808 0.816 60 30 10 100 90 0.832 30 60 70 20 20 50 0.824 60 30 0.840 10 70 0.832 50 90 0.840 30 50 70 20 0.808 80 10 90 100 100 90 0.800 Striatum R - DICE score 80 70 60 50 40 30 20 10 0 90 0.792 0.74 100 0.856 10 80 20 70 90 50 50 40 30 80 10 80 70 60 50 40 30 20 10 50 0.70 60 30 0.69 70 20 0.816 80 10 100 100 90 0.71 40 50 90 0.72 30 40 0.824 70 20 20 60 0.832 60 0.73 10 70 0.840 40 80 0.848 30 60 0.808 0.68 90 100 100 90 0.800 Hippocampe R - DICE score 80 70 60 50 40 30 20 10 0 90 20 70 60 50 40 60 20 80 10 70 60 50 40 30 20 Corps calleux R - DICE score 10 40 0.040 50 40 0.032 60 30 70 20 0.52 0.48 0.44 0.024 80 10 100 80 0.048 30 60 90 20 50 0.56 70 0.056 10 70 0.60 30 100 90 90 0.64 40 80 0.68 30 50 0.66 0.064 100 0.72 10 80 0.67 Corps calleux L - DICE score 0.76 100 0.800 Hippocampe L - DICE score 0.864 100 0.834 90 100 100 90 80 70 60 50 40 30 20 10 0.016 0.008 ς - Average of Dice score variation for all structures Figure 4.5 – Les graphes après avoir été normalisés (sauf le dernier qui n’est pas la même échelle) 38 4.1 Résultat des expérimentations sur le recalage FFD Notons que, dans ce cas, on réutilise les paramètres optimaux qu’on a trouvé dans les expérimentations précédentes F = (2, 2, 2; 4, 4, 3) et G = (5, 4, 6) Les ternary-plots sans normalisation permettant de capturer mieux l’impact local des combinaisons de composantes de couleur, on voit bien que, en moyenne, la composante bleue (B) est le meilleur choix pour améliorer la qualité du recalage avec ς B ≈ 0.008 (au lieu du vert (V) comme prévue) Cependant, regardons maintenant sur les ternary-plots normalisés (page suivante) pour avoir une vue globale : la contraste des graphes n’est pas très nette (sauf celle sur le corps calleux droit) ce qui signifie un changement très léger du score DICE, on peut donc conclure que les combinaisons de composants couleurs n’a un impact important sur la qualité du recalage sur les grandes et moyennes structures Par contre, sur celles de petite taille, le choix d’une bonne combinaison nous permet d’améliorer le recalage (il y a un fort changement de contraste dans le corps calleux droit), par exemple sur le corps calleux, on note qu’il y a une variation importante du score DICE entre les deux côtés : 10% sur le gauche et 30% sur le droit, cela signifie que le recalage sur les petites structures est un peu sensible au changement de la contraste de l’image de référence 4.1.5 Impact des différentes positions de la grille de points de contrôles En prenant sur la grille optimale trouvée précédemment, dans cette expérimentation, on essaye de déplacer celle-ci sur différentes positions afin de vérifier s’il y a une dépendance entre le recalage FFD et l’emplacement des points de contrôle Les facteurs de déplacements dans ce test sont ∆ = (1.68, 1.77, 1.54) La figure 4.6 représente le résultat obtenu Cerveau entier Striatum L Striatum R Hippocampe L ς - Average of Dice score variation for all structures 1.0 0.9 Dice score 0.8 0.7 0.6 0.5 0.4 -0 0-0 Hippocampe R Corps calleux L -1 0-0 54 7-0 0-1 54 0-1 -1 77 1.6 -0- 1.6 54 -1 8-0 T = (Tx , Ty , Tz ) 7-0 1.6 8-1 68 54 -1 77 -1 Corps calleux R 0.040 0.035 0.030 0.025 0.020 0.015 0.010 0.005 -0 0-0 ς opt 54 -1 0-0 -0 77 0-1 54 7-1 0-1 1.6 -0 8-0 -0 54 54 -1 .77 -1 77 8-1 -1 1.6 1.6 8-0 1.6 T = (Tx , Ty , Tz ) Figure 4.6 – Impact de la position de la grille des points de contrôle : Bien que le résultat ne présente aucun gain sur le cerveau entier (structure globale), sur les moyennes et petites structures, il montre une variabilité importante du score DICE 39 Résultat & Discussion Le résultat montre que l’emplacement de la grille de points de contrôle influence directement la qualité des déformations locales des structures, c’est compréhensible car comme abordé dans la partie théorique (2.5), les B-splines permettent de contrôler le recalage sur les structures locales, plus il y a de points de contrôle autours d’une telle structure, plus précises seront les déformations appliquées sur celle-ci À noter que notre grille est uniforme, le déplacement y est simplement la translation qui peut produire un changement de la distribution des points de contrôles dans les différentes structures Par exemple, bien que la T = (1.68, 0, 0) nous permet, d’une part, d’améliorer la qualité du recalage sur le corps calleux droit, elle produit d’autre part une baisse significative du score DICE sur le corps calleux gauche La position par défaut, dans ce cas, n’est pas optimale (T = (0, 1.77, 0) est optimal dans ce test) 4.2 Discussion Normalement, avant d’optimiser une telle implémentation d’un algorithme, il est primordial d’assurer que son fonctionnement est correct Une vérification d’exactitude et d’efficacité de l’implémentation est nécessaire La première question qui se posait lors de l’analyse du sujet était : “L’implémentation du recalage élastique FFD MIRCen montret-elle un bon fonctionnement ?” La réponse est très intuitive, cette version de FFD a été développée et testé pendant 10 ans, il y avait un certain nombre d’améliorations et d’optimisations qui ont été réalisées pendant cette période La publication de plusieurs thèses et articles qui reposent sur cette implémentation a confirmé son bon fonctionnement ainsi que son efficacité Pour être entièrement convaincu, l’expérimentation montrée dans la section 4.1.2 peut être considérée comme une confirmation quantitative de ces conclusions La première optimisation consiste diminuer le temps d’estimation du recalage FFD en utilisant un sous-jeu de données Un bon sous-échantillonnage des données peut nous permettre de gagner un gain important (90%) en terme de temps d’estimation sans perte de qualité du recalage Comme le compromis optimal (entre le sous-jeu de données et la qualité du DICE) dépend principalement des données utilisées (IRM, photographie), il n’existe pas une valeur théorique de Fo p t = (FI RM ; F p h ot o ) pour tous les données, mais cette dernière varie en fonction de la dimension et de la taille des voxels des données utilisées Il est ainsi difficile de mettre en œuvre une stratégie pour automatiser la détection de la valeur optimale de F Une solution possible est de contraindre toutes les données une dimension et une taille de voxels fixée, les facteurs optimaux Fo p t sont calculés une seule fois et sont réutilisés pour toutes ces données Bien que cela puisse nous aider améliorer le processus de recalage, il n’est pas très flexible dans l’exploitation des données dont la résolution change en fonction de l’objectif de leur utilisation L’expérimentation montre que le changement de contraste de l’image de référence (les combinaisons de composantes de couleurs RVB) a peu d’impact sur le recalage FFD Il n’existe pas une combinaison prioritaire qui permet d’améliorer la qualité du recalage 40 4.2 Discussion sur toutes les structures Cependant, il est préférable de travailler avec la composante bleue car cette dernière montre une qualité de recalage la plus stable sur les structures examinées et elle permet d’avoir un gain significatif sur les petites organes La grille de points de contrôles est le paramètre le plus important de l’algorithme de recalage FFD parce qu’elle représente la fois le nombre de degrés de liberté de la transformation et la complexité de calcul Pour l’optimiser, il y a deux aspects que l’on doit prendre en compte : (i) La résolution de la grille de points de contrôle définit le nombre de degrés de liberté de la transformation Plus dense est la grille, plus on a de possibilité de contrôler localement les déformations des structures internes Comme les coefficients de transformation sont calculés et optimisés point-à-point, une grande grille de points de contrôle introduit ainsi une augmentation de la complexité de calcul De plus, une grille de points de contrôle trop dense par rapport la dimension de l’image propose également un risque de sur-estimer des déformations qui peuvent diminuer la qualité de recalage Dans notre expérimentation, on voit bien que la grille maximale (G = (n x , ny , n z ) = (10, 10, 10)) n’est pas toujours optimale, en fonction de la dimension de l’image de test, une répartition raisonnable des points de contrôle (G = (5, 4, 6)) peut nous permettre d’éviter le problème de surestimation d’une part, augmenter la qualité du recalage et en même temps diminuer la complexité de calcul d’autre part (ii) L’emplacement des points de contrôles définit la distribution des points dans l’image de test On sais que plus de points de contrôle autour une structure nous permet de mieux maîtriser les déformations locales Ainsi, une distribution qui donne une proportion importante de points sur les structures locales peut nous aider améliorer la qualité du recalage Dans l’expérimentation 4.1.5, le paramètre optimal To p t = (T x , Ty , T z ) = (0, 1.77, 0) est choisie en utilisant le critère décrit dans la section 3.4 (ς o p t ≈ 0.086) qui représente une variation du score DICE la plus stable sur toutes les structures examinées, la distribution des points de contrôle dans ce cas est optimale To p t nous permet d’optimiser globalement le recalage FFD, mais si l’on regarde localement sur chaque structure, on peut constater que même si le To p t favorise le recalage sur la plupart des structures, il diminue quand même la qualité d’appariement sur le corps calleux droit Comme notre implémentation de l’algorithme travaille avec une grille uniforme, il est donc difficile trouver une bonne distribution des points pour toutes les structures Bien que la grille uniforme facilite le calcul des fonctions B-Splines, elle représente quelques inconvénients : la distribution uniforme des points de contrôles sur l’image de test peut produire une proportion des points inutiles qui sont localisés dans les zones homogènes (le fond par exemple) Ces derniers ne montre pas d’intérêt dans l’amélioration du recalage, mais on doit tout de même les traiter De plus, l’emplacement de la grille uniforme peut la fois donner une distribution plus importante des points sur une structure et causer un manque des points sur une autre structure Cela peut provoquer un recalage instable sur l’ensemble des structures Existe-t-il une stratégie pour pallier ces problèmes ? La question reste ouverte À l’heure actuelle, il existe des travaux qui se focalisent sur ce thème, par exemple le travail mené par Jacobson and Murphy (2011) propose une approche de 41 Résultat & Discussion recherche de la grille optimale en utilisant des NURBS (Nonuniform Rational B-Splines) NURBS utilisent une grille non-unifome avec des coefficients de pondération sur chaque point En conséquence, elles sont plus flexibles que les B-Splines uniformes Les auteurs ont développés une approche qui permet aux points de contrôle de migrer vers les zones dans lesquelles un appariement précédent, calculé avec une grille uniforme, produit les plus grandes erreurs De cette manière, après l’optimisation, les points de contrôle peuvent être distribués automatiquement dans les zones d’intérêt Cette méthode reste discuter car la mise en œuvre de ce processus d’optimisation rajoute une complexité suplémentaire dans l’algorithme Il faut examiner si le gain obtenu par ce processus justifie une augmentation de la complexité de calcul Le travail mené par ce stage a pour l’objectif principal d’étudier quantitativement l’impact des différents paramètres sur la qualité du recalage pour pouvoir envisager une stratégie d’optimisation raisonnable dans l’avenir Bien que les valeurs optimales des paramètres qu’on a trouvé ci-dessus ne sont valables que sur les données expérimentées, les processus d’évaluation que j’ai développés peuvent être réutilisés pour évaluer le recalage sur n’importe quel jeu de données et sur différentes modalités d’imagerie (l’histologie par exemple) 42 Conclusion “La conclusion résulte souvent de ce moment précis où vous en avez eu marre ” –Anonyme Nous avons développé l’occasion de ce stage une suite de pipelines Brainvisa qui sont capable d’évaluer quantitativement le recalage FFD et d’examiner ses différents paramètres À l’aide de ces outils, on peut, la première fois, quantifier la qualité du recalage FFD en fonction de ses paramètres (sous-jeu de données, composantes de couleurs, grille de points de contrôles, etc.) afin de mieux comprendre leur impact Ces pipelines nous permettent également de déterminer la valeur optimale des paramètres pour le recalage FFD sur un jeu de données particulier L’algorithme FFD contient lui-même certains calculs qui sont indépendants l’un l’autre Cela nous donne une idée d’optimisation en parallélisant ces calculs pour gagner du temps Les dispositifs matériaux disponible MIRCen (les machines multi-processeurs, la grille de calcul, etc.) sont idéals pour la parallélisation de l’algorithme Du côté logiciel, cette dernière peut être réalisé en reconstruisant l’implémentation actuelle de l’algorithme l’aide du protocole MPI qui nous permet de calculer séparément et en même temps les calculs indépendants ; on peut penser réutiliser la librairie OpenMPI, une implémentation opensource du protocole MPI Grâce la parallélisation, le gain qu’on obtient lors de l’estimation du recalage sera important en terme de temps de calcul Comme abordé dans la partie de discussion, une autre stratégie d’optimisation possible est qu’on étudie la possibilité de mettre en œuvre un processus de calculer la grille de points de contrôles optimale afin d’obtenir une distribution raisonnable des points en fonction des structures internes des données Cette stratégie reste vérifier car l’implémentation du processus rajoutera certainement une complexité complémentaire dans l’algorithme 43 Conclusion 44 Bibliographie Dauguet, J : 2005, ‘L’imagerie post mortem tridimensionnelle cérébrale : constitution et apport pour l’analyse conjointe de donnees histologiques anatomo-fonctionnelles et la mise en correspondance avec l’imagerie in vivo.’ Ph.D thesis, École centrale des arts et manufactures «ecole centrale paris » Dice, R : 1945, ‘Measures of the Amount of Ecologic Association Between Species’ 26(3), 297–302 Dorr, a E., J P Lerch, S Spring, N Kabani, and R M Henkelman : 2008, ‘High resolution three-dimensional brain atlas using an average magnetic resonance image of 40 adult C57Bl/6J mice.’ NeuroImage 42(1), 60–9 Dubois, A : 2008, ‘Exploitation conjointe d’informations anatomiques et fonctionnelles tridimensionnelles pour l’imagerie cérébrale post mortem chez le rongeur’ Ph.D thesis, Université Paris Sud 11 Duda, R O., P E Hart, and D G Stork : 2012, ‘Parzen Windows’ Jacobson, T J and M J Murphy : 2011, ‘Optimized knot placement for B-splines in deformable image registration’ Medical Physics 38(8), 4579 Lebenberg, J : 2010, ‘Automatisation et optimisation de l’analyse d’images anatomofonctionnelles de cerveaux de souris par Atlas numérique 3D’ Ph.D thesis, École Doctorale " Sciences et Technologies de l ’ Information des Télécommunications et des Systèmes " Lee, S., G Wolberg, and S Shin : 1997, ‘Scattered data interpolation with multilevel B-splines’ IEEE Transactions on Visualization and Computer Graphics 3(3), 228–244 Maintz, J B A and M A Viergever : 1998, ‘A survey of medical image registration METHODS’ 2(1), 1–36 Malandain, G., E Bardinet, K Nelissen, and W Vanduffel : 2004, ‘Fusion of autoradiographs with an MR volume using 2-D and 3-D linear transformations.’ NeuroImage 23(1), 111–27 Mattes, D., D R Haynor, H Vesselle, T K Lewellen, and W Eubank : 2003, ‘PET-CT image registration in the chest using free-form deformations.’ IEEE transactions on medical imaging 22(1), 120–8 45 Bibliographie Pass, G and R Zabih : 1997, ‘Comparing Images Using Joint Histograms Keywords :’ pp 1–15 Pluim, J P W., J B A Maintz, and M a Viergever : 2003, ‘Mutual-information-based registration of medical images : a survey.’ IEEE transactions on medical imaging 22(8), 986–1004 Rueckert, D., A F Frangi, and J a Schnabel : 2003, ‘Automatic construction of 3-D statistical deformation models of the brain using nonrigid registration.’ IEEE transactions on medical imaging 22(8), 1014–25 Rueckert, D., L I Sonoda, C Hayes, D L Hill, M O Leach, and D J Hawkes : 1999, ‘Nonrigid registration using free-form deformations : application to breast MR images.’ IEEE transactions on medical imaging 18(8), 712–21 Schestowitz, R S : 2009, ‘Unifying Models and Registration : A Framework for Modelbased Registration and Non-rigid Registration Assessment’ Ph.D thesis, University of Manchester Thévenaz, P., U E Ruttimann, and M Unser : 1998, ‘A pyramid approach to subpixel registration based on intensity.’ IEEE transactions on image processing : a publication of the IEEE Signal Processing Society 7(1), 27–41 Thkvenaz, P and M Unser : 1997, ‘Spline Pyramids for Inter-Modal Image Registration Using Mutual Information’ 3169(Oct), 236–247 Unser, M., A Aldroubi, and M Eden : 1990, ‘Fast B-spline Transformation CIR and Interpolation.pdf’ IEEE Wolberg, G : 1996, ‘Image metamorphosis with scattered feature constraints’ IEEE Transactions on Visualization and Computer Graphics 2(4), 337–354 Zijdenbos, a P., B M Dawant, R a Margolin, and a C Palmer : 1994, ‘Morphometric analysis of white matter lesions in MR images : method and validation.’ IEEE transactions on medical imaging 13(4), 716–24 46 [...]... ≥ 0.7 donne une bonne qualité de superposition de deux segmentations 2.5.5 Le recalage 3D d’images Une méthode de recalage 3D des images peut se composer de la combinaisons de plusieurs transformations On peut appliquer une transformation linéaire par block-matching, pour la déformation globale, suivie par une transformation élastique FFD, pour les déformations locales des images : T (I t ) = TB M (I... paramètres de positionnement et d’espacement de ces points de contrôle La répartition de ces derniers défini ainsi le degré de liberté de la transformation, par exemple, un FFD B-spline de 10x10x10 points de contrôle donne une transformation avec 3000 degré de liberté (déplacements selon X, Y et Z de chaque point de contrôle) Approche pyramidale ou multi-échelle Comme on travaille souvent avec des données... l’euthanasie de l’animal De plus, le fait de découper et de monter les tissus sur des lames de verre entraîne la perte de la cohérence tridimensionnelle des coupes et la déformation locale des coupes du fait des contraintes mécaniques de coupe et de l’utilisation de produits de marquage 2.3.1.2 Les différentes types de déformations L’obtention des données post mortem nécessite une suite de traitements... à partir de l’Atlas/la segmentation manuelle L’application du recalage estimé est effectuée à l’aide de la commande AimsFFDApply Quant à l’évaluation, l’AimsROIOverlap permet de mesurer l’indice de recouvrement DICE entre deux structures 3 Optimisation des paramètres du recalage FFD 3.3 Optimisation des paramètres Le reste de mon travail dans ce stage consiste à optimiser l’algorithme de recalage. .. Résolution de la grille de points de contrôle La grille de points de contrôle peut être considérée comme le paramètre le plus important de l’algorithme car il représente le nombre de degrés de liberté de la transformation Un 27 3 Optimisation des paramètres du recalage FFD Figure 3.6 – L’indice DICE est mesuré à chaque fois qu’une transformation est estimée grand espacement entre les points de contrôle... permettre la déformation locale des structures La transformation élastique 12 2.5 Le recalage 3D d’images FFD (Free Form Deformation) est une des méthodes qui a été proposée avec succès dans ce domaine car elle donne un nombre important de degrés de liberté pouvant atteindre plusieurs milliers Il est ainsi possible d’estimer finement les déformations locales pour chaque structure Dans le cadre de ce stage,... permet la modélisation des déformations non rigides globales, tandis qu’un petit espacement des points de contrôle permet de mieux capturer les déformations locales En même temps, la résolution de la grille de points de contrôle définit le nombre de degrés de liberté et, par conséquent, la complexité de calcul Le compromis entre la flexibilité du recalage et de la complexité de calcul est principalement... image de test, T est une transformation de et Tˆ est la transformation optimale souhaitée 11 2 État de l’art Une méthode de recalage peut se composer de plusieurs transformations différentes, mais généralement, elle comporte deux types de transformations principales comme présentées ci-après 2.5.1 Transformation linéaire Soit I t l’image de test de dimension N (N = 3 dans notre cas), une transformation... le recalage global de l’IRM sur la photographie (iii) Enfin, l’estimation du recalage FFD 3 est effectuée pour capturer les déformations locales des structure internes de l’IRM Notons que chaque itération utilise le résultat de l’étape précédente dans son calcul et à chaque étape, on a une augmentation importante du nombre de degrés de liberté des transformations De cette manière, la qualité du recalage. .. parallélisme Un point à souligner est que ce type de transformation donne une modification globale de l’image de test (de manière linéaire) Transformation linéaire par block-matching Cette technique consiste, dans un premier temps, à rechercher un champ de déplacement optimal de certaines régions dans l’image de test vers celles de l’image de référence les plus similaires (estimées par une mesure de