traitement d'images par modèles discrets sur ... - Olivier Lezoray

70 Chapitre 3 - Classification de données d’images par apprentissage
3.4 Construction de fonctions de décision parcimonieuses
☞ Mes publications associées : [13, 14, 43, 44, 48–50, 52, 60, 64, 65, 71]
3.4.1 Sélection de modèle et parcimonie
La construction de fonctions de décision simplifiées est essentielle dans les applications
ayant des contraintes de temps réel importantes. L’objectif est alors de pouvoir produire des
solutions fortement parcimonieuses tout en conservant des capacités en généralisation performantes.
Dans nos travaux, nous nous sommes intéressés à la construction de fonctions de décision
parcimonieuses pour les SVM [ABE05, CRISTI00]. La réduction de la complexité des
fonctions de décision des SVM peut être réalisée en agissant sur deux points essentiels :
– la réduction de la taille de la base d’apprentissage, en ne conservant que les exemples les
plus informatifs,
– la sélection des attributs les plus utiles pour un problème donné de classification.
La complexité, en temps d’évaluation de la fonction de décision d’un SVM, est linéairement
dépendante du nombre de vecteurs de support. Comme ce nombre est borné par le nombre
d’exemples, l’utilisation d’une base d’apprentissage de taille réduite permet de s’assurer une
limitation contrôlée de sa complexité. Les SVM ont par nature la possibilité de sélectionner un
nombre réduit d’exemples comme vecteurs de support, mais les données d’apprentissage étant
bruitées dans la majorité des cas, ce nombre est généralement élevé.
Nous avons vu dans la section précédente qu’il n’est pas toujours nécessaire d’utiliser l’ensemble
des données d’apprentissage. En revanche, il est très intéressant de choisir un ensemble réduit
d’exemples représentatifs du problème d’apprentissage, pour produire une fonction de décision
performante avec l’algorithme des SVM. Bien entendu, plus il y a de données pour décrire un
problème d’apprentissage et plus les possibilités pour produire une fonction de décision performante
à partir de ces données sont grandes. La sélection d’un sous-ensemble réduit d’exemples
(ou d’attributs) est lui-même un processus d’apprentissage et elle doit utiliser un principe d’inférence
robuste pour garantir de bonnes capacités en généralisation. Ces deux points se retrouvent
également dans le processus de fouille de données.
Pour tous les classificateurs, la sélection d’un modèle a une grande influence sur les capacités
en généralisation. Les SVM n’y échappent pas. Il est en effet nécéssaire de régler deux hyperparamètres
que sont la largeur de bande du noyau Gaussien σ et la constante de régularisation
C. Si l’algorithme des SVM permet de sélectionner un hyperplan de séparation optimal, lorsque
ces différents paramètres sont fixés, la façon de réaliser le choix des valeurs optimales à donner
aux paramètres libres d’un modèle reste à définir. Une procédure classique, nommée grid search
[CHANG01], est suffisante dans le cas où le noyau n’a qu’un paramètre à sélectionner (en plus
de la valeur de la constante de régularisation C), mais elle devient difficilement exploitable avec
plus de deux paramètres. Parmi les paramètres que l’on peut souhaiter régler, on trouve par
exemple :
– La recherche d’un sous-ensemble d’exemples pertinents,
– La recherche d’un sous-ensemble d’attributs pertinents,
– Le réglage des hyper-paramètres de l’algorithme (σ et C).
Dans la littérature liée à la classification de données provenant d’images, les SVM sont souvent
écartés pour plusieurs raisons [MARÉ03, MARTIN04]. Premièrement, si la base d’apprentissage
est grande, l’apprentissage des SVM peut s’avérer très long. De plus, si la fonction de