traitement d'images par modèles discrets sur ... - Olivier Lezoray

3.4. Construction de fonctions de décision parcimonieuses 71
décision produite par un SVM utilise beaucoup de vecteurs de support (ce qui risque d’arriver
si les données sont bruitées), le processus de classification sera également long. En outre, les
SVM sont souvent utilisés sans réellement prendre garde à optimiser les précédents paramètres
que nous avons cités et ceci peut avoir une grande influence sur leurs performances, comme
pour tout algorithme d’apprentissage artificiel supervisé. Nous nous attacherons dans la suite à
montrer qu’en cherchant à construire des fonctions de décision simplifiées, les SVM peuvent,
à l’aide d’une sélection de modèle appropriée, fournir les modèles parcimonieux adaptés à la
classification de données d’images.
3.4.2 Construction de fonctions de décision simplifiées
Partant des constatations précédentes, nous avons proposé d’exploiter des techniques de classification
non-supervisées pour réduire la redondance inutile dans les données, et ainsi découvrir
une représentation simplifiée et représentative de la base initiale. Comme les SVM sont
sensibles à une sélection efficace des hyper-paramètres, nous avons également pour objectif de
réaliser une optimisation de ceux-ci. La recherche d’un modèle performant combinant le choix
des hyper-paramètres des SVM, la simplification de la base en nombre d’exemples et en nombre
d’attributs utilisés correspond à l’exploration d’un espace de recherche de dimension importante.
Pour pallier cet inconvénient, une méthode méta-heuristique à base de recherche avec tabous a
été définie. Un nouveau critère de qualité qui correspond à un compromis entre capacité de
généralisation et rapidité de la décision est proposé. Il permet à l’utilisateur de spécifier quel
taux de dégradation de la qualité prédictive de la fonction de décision il est prêt à accepter, si
cela conduit à une amélioration significative des temps de décision. Nous détaillons tous ces
principes dans la suite.
3.4.2.1 Prototypage d’une base
Naturellement, nous nous sommes intéressés aux techniques d’apprentissage non supervisé
pour produire un ensemble réduit de prototypes à partir d’un ensemble plus conséquent de données
d’apprentissage [JAIN99, MEILA05, XU05, TAN06]. Notre but est de produire un ensemble
de prototypes suffisamment représentatifs de la base de données. Ces prototypes seront
ensuite utilisés pour entraîner un SVM. Les prototypes ne sont pas nécessairement des exemples
de la base d’apprentissage, mais des données synthétisées à partir d’elle. Nous avons choisi
d’utiliser l’algorithme de quantification vectorielle LBG (Linde, Buzo et Gray [LINDE80]).
Le but de notre méthode de simplification est de produire, pour un niveau donné de simplification,
un ensemble réduit de prototypes qui soit fortement représentatif de la répartition des données
de chaque classe. Chaque prototype produit par notre méthode de simplification doit résumer
le mieux possible un ensemble d’exemples d’une classe donnée de la base d’apprentissage.
Pour produire ce résultat, l’algorithme LBG est appliqué, pour une valeur de k fixée représentant
le niveau de simplification, à tous les exemples d’une classe donnée (maximum 2 k prototypes
sont obtenus). Une valeur de k faible correspondra à un niveau de simplification important, et
réciproquement. La figure 3.7 présente la construction d’un ensemble de prototypes sur une base
d’apprentissage de classification de pixels. Nous avons pu mettre en évidence [LEBRUN06], sur
plusieurs bases de référence, que l’apprentissage d’un SVM sur une base prototypée est plus sensible
aux choix de ses hyper-paramètres (C et σ). Cependant, l’apprentissage sur des prototypes
fournit des informations utiles sur les couples d’hyper-paramètres performants. La simplifica-