Correction des effets de relief

Correction des effets de relief
en spectro-­‐imagerie aéroportée
Proposition de Sujet de Thèse
Andrés Almansa, Julie Delon – Telecom ParisTech
Yann Ferrec -­‐ ONERA
Résumé
Le but de cette thèse est de résoudre un défi technologique qui nous est posé par
l’ONERA, à l’aide des méthodes avancées en mathématiques appliquées au
traitement d’images et la vision artificielle.
Notre partenaire académique et industriel à l'ONERA vient de développer un
nouvel spectroimageur par interférométrie statique en infrarouge [8].
Le nouvel instrument est capable de produire des images hyperspectrales avec une
résolution d’environ 400 bandes spectrales par pixel. Le principe du système est
d’acquérir une séquence de 400 images de la même scène, lorsque l’aéroporteur
avance en ligne droite et à vitesse constante. Chaque image est le résultat de
l’interférométrie avec une différence de marche variable dans le sens des lignes
(mouvement). En conséquence après rectification épipolaire commune, chaque
pixel contient une interférogramme à 400 échantillons, ce qui permet de
reconstruire le spectre correspondant moyennant une inversion de Fourier.
L’instrument a montré des performances excellentes quand le terrain observé est
plat. Dans ces conditions un simple recalage homographique global suffit.
Néanmoins, quand le terrain comporte des variations plus fortes, voir des
discontinuités (comme c’est le cas en milieu urbain), un recalage très localisé
spatialement et avec une précision sous-­‐pixellique très élevée, devient une
nécessité.
Le développement pendant cette thèse d’une méthode complètement automatique
pour obtenir une carte de disparité assez précise et fiable pour ces séquences,
permettrait d’élargir considérablement le champ d’application de cet instrument.
La tache est très ambitieuse quant aux degrés de précision requis, et difficulté par
la présence de franges d’interférence (nécessaires pour la spectrométrie).
Néanmoins la mise à disposition de quelques centaines d’images en trajectoire
rectiligne permet, en principe, d’envisager des nouvelles méthodes numériques et
des niveaux de précision inatteignables par stéréoscopie classique.
Principe de l’imagerie hyperspectrale par transformée de Fourier statique
L’imagerie hyperspectrale –c’est-­‐à-­‐dire l’imagerie résolue spectralement– est un
sujet de recherche qui s’est beaucoup développé au cours des quinze dernières

années, tant sur le plan de l’analyse des données que sur celui l’instrumentation,
et aujourd’hui de nombreuses sociétés commercialisent des spectroimageurs
fonctionnant dans le domaine visible. En revanche, les spécificités de l’infrarouge
(fort bruit de lecture des détecteurs comparés aux détecteurs visibles, faiblesse
du signal pour la bande [3μm ; 5μm], importance du courant de fond pour les
détecteurs sensibles jusqu’à 11μm, etc.) font que le développement de spectro-­imageurs
infrarouges aéroportés est un exercice technologiquement ardu, au
point qu’actuellement, la France ne dispose pas d’un instrument capable de
répondre aux besoins scientifiques et opérationnels. L’Onera a donc été chargé
de développer cet instrument, appelé Sieleters.
Celui-­‐ci est schématiquement constitué d’une caméra matricielle visant au nadir
au travers d’un interféromètre. Ce dernier agit comme un filtre spectralement
sinusoïdal, dont la période dépend de l’angle d’incidence et par conséquent de la
colonne de l’image. Chaque colonne du détecteur est ainsi associée à un état
d’interférences particulier, ce qui se traduit par le fait que les franges
d’interférences se superposent à l’image de la scène.
L’appareil est alors placé dans un porteur aéroporté ayant une trajectoire
rectiligne : l’image de la scène défile donc par rapport à la matrice de détecteurs
et, à chaque fois que l’image a avancé d’une colonne, on déclenche une
acquisition. On dispose ainsi de toute une séquence d’images fortement
recouvrantes, à partir de laquelle on retrouve le spectre de chaque point de la
scène, puisque chaque colonne du détecteur est associée à une différence de
marche. Ce principe de mesure est schématisé par la figure 1, où l’on a mis à
gauche trois images extraites d’une séquence, avec une croix pour marquer un
point fixe au sol.
Fig. 2. (Color online) Figure Principle 1 for obtaining a spectral image using a high étendue Fourier transform hyperspectral imager: first, a
sequence of images are acquired by scanning the scene (only three images are shown on the diagram). These images are then registered,
so that the signal associated to one ground pixel can be retrieved in all the images of the sequence. This signal is the interferogram of the
pixel; its spectrum is deduced by a Fourier transform.
dispersive imaging spectrometers, tunable filter
imaging spectrometers, wedge filter imaging spectrometers,
and slitless Fourier transform imaging
• The spectral resolution is limited by the number
of pixels of the focal plane array in the alongtrack
direction. Furthermore, the spectrum is

L’image de ce point a été formée à travers différents états d’interférences, et on
peut ainsi reconstituer son interférogramme, puis son spectre par
transformation de Fourier.
Importance du recalage des images : difficulté liée aux variations d’altitude
ou d’élévation
Le recalage de toutes les images de la séquence est donc une étape clef du
dépouillement des données, et, pour être le plus exact possible, il doit prendre en
compte les variations d’élévation de la scène, qu’elles soient dues au relief
intrinsèque du terrain ou aux éléments du sursol (bâtiments, arbres, etc.).
Sur la figure 3, on peut voir l’effet d’une variation d’élévation non prise en
compte : les images ont été recalées selon un modèle global {translation ;
dilatation ; rotation}, et on n’a donc pas tenu compte de la moindre vitesse
apparente du toit du bâtiment. Pour un pixel situé au milieu du toit (croix verte),
l’erreur de recalage ne se traduit pas par une erreur radiométrique, car le point
reste à l’intérieur d’une zone homogène. Par contre, un pixel situé au bord du toit
sombre (croix rouge) glisse peu à peu vers la façade blanche : l’interférogramme
associé n’est donc pas exploitable, ce qui est particulièrement visible sur sa ligne
de base (partie droite de la figure 2).
Fig. 12. (Color online) Effects of a change in elevation of the scene. At the beginning, the two pixels are both from the roof (bottom left
image: Figure image 2 number 65). Because of errors in registration, the pixel indicated by a red cross slips gradually toward the front of the house
(top image: image number 435). On the right are the interferograms associated with these two pixels.
by this noise. The second consideration is that with a
proper stabilization system, which strongly filters
high frequency vibrations, this jitter noise on the interferogram
will be temporally correlated; thus, it
will mainly affect low wavenumbers of the spectrum
and may be concentrated in an out-of-band spectral
domain.
Un modèle numérique d’élévation suffisamment précis est donc nécessaire,
particulièrement en milieu urbain, que ce soit pour corriger les variations
d’élévation ou pour indiquer les zones où l’information n’est pas exploitable. Or,
ce modèle numérique d’élévation n’est pas toujours disponible : il est alors
Elevation variations. The second cause of error
nécessaire de retrouver cette information à to partir the intensity des images variations elles-­‐mêmes. in the image. Ceci
est possible, car, du fait de l’avancée du porteur, chaque zone de la scène a été
vue sous un grand nombre d’angles différents.
in registration comes from the variations of elevation
of the scene. Indeed, two ground points at different
elevations will have different apparent speeds for
the imager. Thus a rigid model like the one we used
is no more suitable when the scene is not flat. This
effect can be seen on Fig. 12; we have chosen a pixel
at the edge of the roof of a building. This building is
Proposition de thèse
viewed by the instrument under different angles as
the carrier flies over the scene, and on the registered
sequence the roof seems to move with respect to the
ground. Thus, our pixel initially belongs to the roof
but gradually slips to the ground, passing through
the white front of the building. Because of that effect,
the interferogram associated with this pixel is nonsense,
as can be seen on its baseline (Fig. 12).
It is obvious that it is hopeless to retrieve the full
spectrum of parts of the scene that are partially
hidden, like the front of the building on our example.
However, it is possible to take advantage of these
for instance, 5%, the intensity parasitic image is only
0.25% of that of the nominal image. But in our system,
the interferometer acts as a semireflective mirror;
only one parasitic reflection is thus sufficient to
create a parasitic image on the detector (see Fig. 14).
As this unwanted image moves in the opposite direction
compared to the nominal one, it will add noise on
the interferograms, with an amplitude proportional
The basic solution to avoid this problem is to improve
the antireflective layer’s performance. Another
is to use birefringent interferometers, where the nontransmitted
light is absorbed and not reflected, but
even with reflective interferometers, this parasitic
image can be suppressed, by separating the entrance
Le premier objet de la thèse sera de développer un outil permettant d’estimer à
partir des images les variations d’élévation de la scène. Ceci se fera en adaptant

les outils de l’imagerie stéréoscopique « standard » aux spécificités de Sieleters,
en particulier la disponibilité de plusieurs centaines d’images de la même scène.
Il s’agira ensuite d’utiliser les informations ainsi obtenues pour améliorer le
recalage des images, en affinant à la fois le modèle numérique d’élévation et les
mesures d’attitude du porteur (vitesse, hauteur sol, roulis, lacet et tangage)
fournies par une centrale inertielle. On obtiendra ainsi un outil de recalage
robuste et précis. Toutefois, cet outil ne pourra évidemment pas être parfait : le
travail de thèse consistera aussi à en évaluer les limites, afin de quantifier l’effet
sur les images finales des défauts de recalage.
Pour mener à bien l’ensemble de ce travail, le doctorant disposera dès le début
de sa thèse d’images expérimentales aéroportées prises avec un instrument
fonctionnant dans le domaine visible, ainsi que des données d’attitude et de
navigation du porteur associées, en attendant la mise en service de l’instrument
Sieleters en 2013. Si nécessaire, des mesures complémentaires pourront être
envisagées.
Méthodologie
Pour répondre au défi technologique de l’ONERA, l’étudiant s’appuiera sur des
développements précédents de l’équipe. Notamment en ce qui concerne la
fiabilité et précision en stéréoscopie [4], que dans notre cas est couplée à la
difficulté additionnelle que les blocs à mettre en correspondance sont
contaminés par des patterns d’interférométrie différents. Pour une bonne
modélisation mathématique du problème, on tiendra en compte l’irrégularité
induite dans l’échantillonnage des interférogrammes par la variabilité du terrain,
un problème qui a déjà été étudié par l’équipe en collaboration avec le CNES,
aussi bien dans le cadre de l’interférométrie que dans le cadre stéréoscopique
[3].
Profil du candidat
Le candidat aura une formation en Mathématiques Appliquées au Traitement
d’Images et un goût particulier pour
• la modélisation physique et mathématique des instruments de capture
d'images
• la mise en œuvre informatique d'algorithmes de traitement d'images
Bibliographie
[1] Présentation des instrumentaux CaHyD, Sieleters, et d’autres fruits de la
collaboration Onera/Institut d’optique dans le domaine de la spectroscopie par
transformée de Fourier statique.
http://teledetection.ipgp.fr/sfth/documents/SFTH_5.5_Guerineau.pdf

[2] M. Bryson, M. Johnson-­‐Roberson et S. Sukkarieh, « Airborne Smoothing and
Mapping using Vision and Inertial Sensors », 2009 IEEE International Conference
on Robotics and Automation Exemple d’estimation d’un modèle numérique de
terrain à partir d’une caméra et d’une central inertielle.
[3] J. Caron, “Irregular Sampling Restoration. Theory and applications to
satellite images and signals.,” Universitée de Picardie -­‐ S. Durand & A. Almansa
(Dir.), 2012.
http://perso.telecom-­‐paristech.fr/~almansa/julien.caron/phd_thesis-­‐v4.pdf
[4] N. Sabater, “Reliability and accuracy in stereovision : application to aerial
and satellite high resolution images,” Ecole Normale Supéerieure de Cachan -­‐ JM.
Morel & A. Almansa (Dir.), 2010.
http://tel.archives-­‐ouvertes.fr/tel-­‐00505143
[5] A. Criminisi, S. B. Kang, R. Swaminathan, R. Szeliski, and P. Anandan,
“Extracting layers and analyzing their specular properties using epipolar-­‐plane-­image
analysis,” Computer Vision and Image Understanding, vol. 97, no. 1, pp.
51-­‐85, Jan. 2005.
doi:10.1016/j.cviu.2004.06.001
[6] E. Bughin, “Towards automated, precise & validated vectorisation of
disparity maps in urban satellite stereoscopy,” Ecole Normale Supérieure de
Cachan -­‐ A. Almansa (Dir.), 2011.
http://tel.archives-­‐ouvertes.fr/tel-­‐00653875
[7] J. Delon and B. Rougé, “Small Baseline Stereovision,” Journal of
Mathematical Imaging and Vision, vol. 28, no. 3, pp. 209-­‐223, Jul. 2007.
doi:10.1007/s10851-­‐007-­‐0001-­‐1
[8] Y. Ferrec, J. Taboury, Hervé Sauer, P. Chavel, P. Fournet, C. Coudrain, J.
Deschamps, and J. Primot. “Experimental results from an airborne static Fourier
transform imaging spectrometer,” Applied Optics, 50(30):5894, October 2011.
ISSN 0003-­‐ 6935. doi: 10.1364/AO.50.005894.