Extraction de panneaux de signalisation - Recherche - Ign

Extraction de panneaux designalisationPhilippe Foucher, Rachid Belaroussi,Bahman Soheilian, Jean-Philippe Tarel,Pierre Charbonnier, Nicolas PaparoditisJournées de la recherche - IGN - 10 mars 2011Centre d'Études techniques de l'Équipement de l'Est1Ministère de l'Écologie, du Développement durable, des Transports et du Logement

ProblématiqueObjectif : Annotation automatique des imagesDétection et reconnaissance de la signalisation routièreMarquagesPanneauxJournées de la recherche - IGN - 10 mars 20112

Détection des panneaux Etude comparative de trois algorithmesR. Belaroussi et al., Proc. ICPR 2010, pp 484-488 ;P.Foucher et al., ERLPC CR 53, 128 p. Panneaux d’intérêt Difficultés• Variations lumineuses• Variations d’aspect (usure),• Différences d'échelle,• Déformations perspectivesJournées de la recherche - IGN - 10 mars 20113

Plan Problématique Méthodologie• Couleur et transformations univariées• Couleur et ajustement de modèles géométriques• Transformations bivariées Protocole expérimental Résultats ConclusionJournées de la recherche - IGN - 10 mars 20114

Couleur et transformationsunivariées (SPV) - 11- Sélection colorimétrique et extraction des composantes connexes2- Critères de forme : Position, taille, couvertureCercle Rouge Triangle RougeCercle Bleu Carré bleuJournées de la recherche - IGN - 10 mars 20115

Couleur et transformationsunivariées (SPV) - 23- Transformations univariéesCercleSymétrie radiale(Loy & Zelinsky, IEEEtrans. on PAMI 25(8))Triangle(ou Carré)Transforméede HoughJournées de la recherche - IGN - 10 mars 20116

Couleur et ajustement demodèles (CF) - 11- Sélection colorimétrique et extraction des composantes connexes2- Détection de formes (ellipse,quadrilatère , triangle)Approche itérative de type RANSAC- N points contours aléatoires- Estimation de la forme- Compatibilité entre modèle estimé et imageJournées de la recherche - IGN - 10 mars 20117

Couleur et ajustement demodèles (CF) - 2DétectionIdentificationRectification des panneauxJournées de la recherche - IGN - 10 mars 20118

to the time when the manipulation sequence began. Low level features are: jointvalues, hand position, contact points with the object and the object as well asinformation about where the object was grasped using grasp ports. High levelfeatures denote the resulting category of a grasp w.r.t. a certain taxonomy. Graspevents can be stored in XML files for the purpose of later playback. An examplefor the structure of such an XML file is shown in Fig. 6.Fig. 6. An XML example for grasp events19.8306 -0.0865252 0.678805 0.729203Ball-10.00730081 -0.0734563 0.0135953 Ball-1 0.0205884 0.211408 -0.97718 00.0805939 0.973855 0.212386 00.996533 -0.0831275 0.00301189 0-0.1502 -0.626599 0.917001 1 right schlesingerspherical...4.2 Reproducing Actions from Grasp EventsTo animate the virtual character and reproduce the recorded sequence of graspevents, the events have to be converted into executable plans. This is done intwo steps (see the synthesis part of Fig. 5): First, a plan is selected, based on thereceived grasp events. As a simple example, this could be the plangrasp-objectwhenever events of type grasp are received. After that, the selected plan isrefined by means of the features contained in the grasp events. Refinement isdone by filling unspecified parameters of the plan with reasonable values. Thiscan be done in a very simple way by providing the last value that was received

Transformations bivariées(PWPV) - 23- Triangles: Accumulation des sommets et bissectrices (TSB)(Belaroussi & Tarel, proc. ISVC’09, p 1161-1170)Sélection selon : - distance entre pixels- orientation des gradients(angle proche π/3)TSBJournées de la recherche - IGN - 10 mars 201110

Protocole expérimental (2) 4 catégories de taille de panneauxJournées de la recherche - IGN - 10 mars 201112

Résultats (optimisation) Base de 847 images et 251 panneauxJournées de la recherche - IGN - 10 mars 201113

Résultats (validation) Base de 3384 images et 1250 panneauxBD/FA SPV CF PWPV> 16x16 71.7% 5.6FA/ima 73.2% 15FA/ima 61% 4FA/ima> 32x32 75.7% 5.5FA/ima 77.1% 6.3%FA/ima 76.1% 4FA/ima> 48x48 83.5% 2.25FA/ima 82.7% 3.05% FA/ima 83.4% 4FA/ima> 64x64 87.7% 1.1FA/ima 82.4% 1.8% FA/ima 85.2% 1.25FA/ima Temps de calcul :• 1.5 s (SPV ; Matlab) , 2 s (CF) et 0.8 s (PWPV)Journées de la recherche - IGN - 10 mars 201114

Conclusion Filtre colorimétrique (SPV et CF)• Détection petits panneaux• Problème des composantes connexes Résultats proches quand la taille augmente Rectification des panneaux Comment augmenter BD et diminuer FA ?• Coopération des trois algorithmes• Cohérence temporelle des séquences d’images• Données 3DJournées de la recherche - IGN - 10 mars 201115

Merci de votreattentionJournées de la recherche - IGN - 10 mars 2011Centre d'Études techniques de l'Équipement de l'EstMinistère de l'Écologie, du Développement durable, des Transports et du Logement16