TD 8 : ACP - IA

Bases de l’imagerie
Spécialité IMAgerie
Analyse des données - Classification
Travaux dirigés
Exercice 1 — Analyse en Composantes Principales
— Soit un vecteur aléatoire X ∈ R d , et g l’espérance mathématique de X : g = 1 n
n∑
X i .
— On considère la projection Π de X sur une droite vectorielle V définie par le vecteur −→ v
unitaire (|| −→ v || = 1). On note v les coordonnées de −→ v dans R d , on a (voir annexe 1.1) :
Π = vv T et v T v = 1.
— La variance σ 2 v de X sur V s’écrit :
σ 2 v(X) = 1
n − 1
n∑
i=1
1. Montrer que σ 2 v(X) = 1
n−1
Π(X i − g) T Π(X i − g) (= 1
n − 1
n∑
(X i − g) T vv T (X i − g)
i=1
2. En déduire que σ 2 v(X) = v T Σ v, où Σ = 1
n−1
variance-covariance de X.
i=1
n∑
||Π(X i − g)|| 2 ) (1)
i=1
n∑
(X i − g)(X i − g) T est la matrice de
Le principe de l’Analyse en Composantes Principales (ACP) consiste à déterminer
le vecteur −→ v unitaire qui maximise σ 2 v(X). On cherche donc v qui maximise v T Σ v, sous
la contrainte v T v = 1. Pour résoudre ce problème, on définit le Lagrangien L(v, λ) (voir
annexe 1.2) :
i=1
L(v, λ) = v T Σ v − λ(1 − v T v) (2)
3. En utilisant les conditions nécessaires { du 1 er ordre données à l’annexe 1.2, montrer que
Σv = λv
la maximisation de 2 conduit à :
v T v = 1
4. En déduire que l’équation 2 peut être résolue en diagonalisant la matrice Σ. Quelle est
alors la variance de σ 2 v(X) pour chacun des vecteurs propres ?
5. Conclusion : proposer une méthode pour déterminer la droite V maximisant la variance
des données définie à l’équation 1.
Université Pierre et Marie Curie 1 Master 1 Informatique

1 Annexes
1.1 Projection orthogonale sur une droite vectorielle
Dans un espace vectoriel E de dimension finie, la projection orthogonale Π sur une sousespace
S de E est un opérateur linéaire, et peut donc étre représentée par une matrice PS. Soit
Z une matrice dont les colonnes forment une base orthonormée du sous-espace S, la projection
orthogonale u = Π(x) d’un vecteur x est donnée par :
u = Π(x) = Z × Z T × x = P S × x (3)
Dans le cas de la projection sur une droite vectorielle, on a Z = v où v est un vecteur unitaire
directeur de la droite. La matrice de projection s’écrit donc P S = v × v T .
1.2 Optimisation sous contraintes : multiplicateurs de Lagrange
On considère X = (x 1 , ..., x n ) ∈ R n , et le probléme suivant : max X f(X) sous la contrainte
h(X) = 0, où f est quadratique en X, et h linéaire. On appelle Lagrangien associé à ce probléme
la fonction L(X, λ) :
L(X, λ) = f(X) − λ · h(X) (4)
Le Lagrangien permet d’introduire la contrainte dans la fonction objectif avec une certaine
pénalité λ. On se retrouve ainsi à maximiser une fonction à n + 1 variables (X et λ) sans
contrainte.
On peut montrer que les conditions suivantes (du premier ordre) sont nécessaires pour maximiser
f sous la contrainte h :
∀i : ∂L
∂x i
= 0
∂L
∂λ = 0
⇔
∀i : ∂f
∂x i
= λ ∂h
∂x i
h(X) = 0
2