Introduction au recalage - Olivier Coulon

Applications Fusion de données acquises à des instants différents ou avec descapteurs différents. Détection de changement dans une scène. Mosaïquage d’images. Reconnaissance à base de modèles. Imagerie médicale : chirurgie assistée par ordinateur, suivi longitudinal depathologie, localisation anatomique d’informations fonctionnelles,segmentation à base d’atlas.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Transformations spatiales :catégories Rigide :• Rotation et translations Affine : composition d’une transfo linéaire (rotation, homothétie) et detranslations. Elastique (non-rigide) : un champ de déplacement, plus ou moins régulier.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Quelques grandes catégories d’algorithme Recalage à base d’amers (landmarks) Recalage de contours / surfaces Recalage s’appuyant uniquement sur l’intensité Recalage 2D-3D Recalage non-rigideMaster MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage à base d’amers Identification d’un ensemble de points correspondants dans les deuximages. Identification manuelle de points anatomiquement significatifs, oumarquage avant acquisition et identification automatique. Pour une transfo rigide, 3 points non alignés suffisent mais en pratiqueplus de points réduisent les erreurs de marquageMaster MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage rigide à base d’amers - un algorithme simple Points sources (S i ), et cibles (C i ). On calcule les barycentre B S et B C desdeux ensembles de points. Le vecteur (B S B C ) donne la translation t. La rotation est alors celle qui minimise lasomme des carrés des distances entrepoints correspondants : FRE : « fiducial registration error »Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage de contours / surfaces Des contours / surfaces correspondantes peuvent parfois être identifiéesdans les deux images. On veut alors minimiser une mesure de distance particulière ente cesdeux surfaces. Extraction automatique des contours / surfaces. Trois grandes familles de méthode (rigide):• « Head and Hat » : le chapeau sur la tête• Utilisation de fonctions distance• « Iterative Closest Point », ICPMaster MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage de surfaces - Head and Hat La surface cible est extraite de l’image qui a la plushaute résolution, sous forme d’une pile de contours :c’est la « tête » Un ensemble de points de la surface source est extrait :c’est le « chapeau ». Un processus itératif minimise le carré des distancesentre le chapeau et la tête. Distance utilisée : distanceau point le plus proche dans la direction du centre degravité de la tête. Recalage rigide Le processus échoue souvent si la « tête » présentedes symétries de rotation. L’initialisation est trèsimportanteMaster MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage de surfaces - Fonctions distances Fonction distance pour améliorer les performances d’algorithmes du type« head and hat ». Calcul efficaces et rapide de distance 3D à un objet. Ex: distance duchamfrein.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage de surfaces - Iterative closest point La surface cible est extraite, et en général triangulée. L’autre surface, source, est représentée par un ensemble de points Pour chaque point source s i on calcule le point le plus proche c i sur latriangulation. On procède à un recalage rigide (s i ) → (c i ) et on calcule l’erreur résiduelle. On itère à partir de la nouvelle position, jusqu’à-ce que l’erreur résiduelletombe sous un seuil prédéterminé.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage s’appuyant uniquement sur l’intensité Recalage à base de similarité entre voxels Il faut différentier deux cas :• Même source• Différentes sources Même source : on suppose une relation en général linéaire entre lesintensités des deux images ⇒ différences d’intensité, coefficient decorrélation, uniformité du rapport d’intensité. Différentes sources : pas de relation supposée ⇒ théorie de l’information,entropie, information mutuelle (valable aussi pour même modalité)Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Similarité entre voxels - Sum of Squared intensity Differences La mesure la plus simple : C’est la mesure optimale si les intensités des deux images ne diffèrent que par dubruit Gaussien :• Toujours faux en inter-modalité• Rarement strictement vrai en intra-modalité : bruit non-Gaussien, ou changement« structurels » entre les deux images. Très sensible à un petit nombre de voxels ayant des intensités très différentes. Onpeut alors utiliser la somme des différences absolues :Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Mesures de similarité entre voxels - Corrélation Hypothèse moins stricte que SSD : il y a une relation linéaire entre lesintensités des deux images. On définit alors le coefficient de corrélation : Inconvénient : les structures d’intérêt doivent être inclues dans le domainede recouvrement des deux images.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Mesures de similarité entre voxelsUniformité du rapport d’intensités. On minimise la variance du rapport des intensités des deux images (Ratioimage uniformity – RIU, Variance of intensity ratio – VIR)Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Mesures de similarité entre voxelsThéorie de l’information : entropie (Shannon) Entropie : p i: probabilité du niveau de gris i Tout procédé rendant les niveaux de gris équiprobables (p 1=p 2=p 3=…) tend àaugmenter l’entropie. Une réduction de bruit (lissage…) tend au contraire à réduire l’entropie.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Mesures de similarité entre voxels - Entropie jointe Entropie d’une paire d’image sur leur domaine de recouvrement : Si les deux images n’ont aucun rapport l’entropie jointe est égaleà la somme des deuxentropies. Plus les deux images sont similaires (i.e. moins indépendantes) plus l’entropiejointe est inférieure à cette somme. Gros inconvénient : l’estimation des probabilités est dépendante du domaine derecouvrement, ayant pour effet, par ex, de maximiser p(0,0).Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Mesures de similarité entre voxelsThéorie de l’information : information mutuelle L’information mutuelle indique à quel point le contenu d’une imageexplique l’autre, et est maximale lorsque les images sont parfaitementrecalées : Le recalage par maximisation d’IM revient à trouver la transformation quifait de la source le meilleur prédicteur pour la cible dans le domaine derecouvrement. De plus en plus utilisé. Il existe d’autres versions alternatives, plus robustesMaster MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage 2D-3D Deux classes de méthodes, à base d’amers, et par similarité d’intensité. Transformations utilisées dans le cas d’un recalage rigide : 10 degrés delibertés. 6 degrés de libertés pour la transformation rigide, et 4 pour lecalibrage du dispositif d’acquisition 2D. Une classe à part : simulation de la modalité 2D à partir de la modalité 3D,et comparaison avec l’original.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Recalage non-rigide La fonctionnelle à minimiser inclue en général deux termes :• Une mesure de similarité entre les deux images• Un terme de régularisation qui interdit les transformations indésirables (tropimportante, trop discontinues) Classes de transformations plus variées : affine, spline, élastique,fluide,….Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Optimisation L’approche est dans la plupart des cas itérative : on améliore pas à pas latransformation estimée jusqu’à convergence. Attention aux mimima locaux. Il faut très souvent estimer une transformationinitiale, suffisamment proche de la solution (dans le « capture range ») pourinitialiser l’algorithme. Pour cela une stratégie multi-résolution est parfois utilisée. On recale à très basserésolution, le résultat sert d’initialisation pour un recalage à meilleure résolution,etc… Dans le cas d’un recalage non-rigide, on peut hiérarchiser les transformations :d’abord une transformation rigide, puis affine, puis déformations locales. IMPORTANT : souvent, on ne cherche pas le minimum global mais le minimumlocal le plus adapté.Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage

Exemple : recalage rigideMaster MINT – Analyse d’imagesOlivier Coulon(CISG Kings College, Londres,http://www.image-registration.com/)5 . Introduction au recalage

Exemple : recalage affine(CISG Kings College, Londres,http://www.image-registration.com/)Master MINT – Analyse d’imagesOlivier Coulon5 . Introduction au recalage