Algoritmo ungherese - Esempio

DIPARTIMENTO 

DI INGEGNERIA 

DELL’INFORMAZIONE 

L6 Visual Tracking 

Corso di Visione Artificiale 

Ing. Matteo Panciroli 

ANNO ACCADEMICO 2011-2012 

giovedì 10 novembre 11

Assegnamento 

·Progettare e sviluppare un’applicazione che 

permetta l’inseguimento di oggetti “rigidi” e 

“colorati” (opzionale) la memorizzazione 

del percorso per statistiche offline 

·Nome applicazione: Matricola_Cognome 

·Il problema è diviso in 3 LIVELLI 

·Tool utilizzabili per analisi off-line: 

gnuplot(open source), matlab 

01/12/2010 

giovedì 10 novembre 11 

Matteo Panciroli 

2

Visual Tracking 

01/12/2010 



3

Assegnamento Input 

·Video di oggetti colorati (Rosse, Verdi, Blu e 

Giallo) su sfondo BIANCO 

·i filmati possono essere convertiti in 

sequenze di immagini e viceversa 

ffmpeg -i foo.avi -r 1 -s WxH -f image2 foo-%06d.ppm 

ffmpeg -f image2 -i foo-%06d.jpeg -r 12 -s WxH foo.avi 

·I filmati si trovano nella cartella in cui si 

dovrà caricare l’assegnamento 

01/12/2010 



4

Assegnamento -Level 1 

·TASK: 

·inseguire un 

solo oggetto nella scena. 

·associazione possibile 

predizione 

·associazione con 

anche senza 

predizione (filtri predittori) 

5 

01/12/2010 


Matteo Panciroli


·Concetto base 

6 

DETECT 

Then 

TRACK 

T0 

T1 

T2 

VIDEO 

Frame 0 Frame 1 Frame 2 

01/12/2010 


Matteo Panciroli

Visual Tracking - design 

T0 

T1 

T2 

DETECT 

VIDEO 

01/12/2010 



7


T0 

T1 

T2 

DETECT 

VIDEO 

?? 

?? 

?? 

?? 

01/12/2010 



8


T0 

T1 

T2 

VIDEO 

DETECT 

?? 

?? 

?? 

?? 

TRACK 

Hystory? 

01/12/2010 



9


T0 

T1 

T2 

VIDEO 

DETECT 

?? 

?? 

?? 

?? 

TRACK 

1 

2 

01/12/2010 



10


T0 

T1 

T2 

VIDEO 

DETECT 

?? 

?? 

?? 

?? 

TRACK 

1 1 1 

2 2 

01/12/2010 



11

Visual Tracking - OD 

·Identificazione 

·selezione degli oggetti di interesse 

·considerare le features dell’oggetto in 

esame: 

area 

centro di massa 

· colore 

12 

01/12/2010 


Matteo Panciroli

Visual Tracking - OD Hints 

·Il Background è Bianco! (RGB: 255,255,255) 

·estrarre una componente significa 

valutarne la dominanza rispetto agli altri 

RED GREEN BLUE BIANCO 

01/12/2010 



13

Visual Tracking - OD 

·Associazione mediante 

1 

?? 

1 

a 

b 

2 

2 

a 

b 

1 2 

10 20 

40 5 

1 

2 

diverse tecniche 

14 

T0 

T1 

a 

b 

a 

b 

1 2 

0 10 

35 0 

1 

2 

T0 

T1 

a 

b 

01/12/2010 


Matteo Panciroli

Algoritmo ungherese 

· L’algoritmo 

· Questi 

ungherese, modifica progressivamente una 

matrice C dei costi tramite somme e sottrazioni di costanti 

sulle righe e sulle colonne. 

aggiornamenti della matrice dei costi vengono fatti 

in modo tale da garantire sempre costi non negativi e 

cercando contemporaneamente di aumentare gli elementi 

nulli (e conseguentemente gli accoppiamenti di costo nullo) 

sino a raggiungere la soluzione ottima, consistente appunto 

in n accoppiamenti di costo nullo. 

01/12/2010 



15


1. Analizzare la matrice C per trovare il valore minimo di 

ciascuna riga e sottrarre tale valore ad ogni elemento della 

riga: in questo modo si aggiorna la matrice C il cui 

generico elemento vale ora: 

cij =cij −mincij i=1,...,n. j 

2. Analizzare la matrice C per trovare il valore minimo di 

ciascuna colonna e sottrarre tale valore ad ogni elemento 

della colonna: in questo modo si aggiorna nuovamente la 

matrice C il cui generico elemento vale ora 

cij =cij −mincij j=1,...,n. 

01/12/2010 



16


3. Sia dato il grafo bipartito B = (N1, N2, A), in cui N1 e N2 

corrispondono rispettivamente alle righe ed alle colonne 

della matrice C e A sia formato dall’insieme di coppie (i,j) 

tali che cij = 0. Verificare, con l’algoritmo per la ricerca del 

massimo matching, se esiste un matching completo, ossia 

se ci sono n accoppiamenti di costo nullo, uno per ogni 

riga e per ogni colonna, sulla matrice C. Se è così, STOP. 

4. Applicare alla matrice C la procedura U (updating) per 

aggiornarla e tornare al passo 3. 

01/12/2010 



17

Algoritmo ungherese - U 

1. Considerare la matrice C reinizializzata, ossia con tutte le righe e le colonne non barrate. 

2. Etichettare tutte le righe che non sono state accoppiate dall’algoritmo per la ricerca del 

massimo matching. 

3. Etichettare le colonne che hanno degli 0 in corrispondenza delle righe etichettate. 

4. Etichettare le righe che sono state accoppiate, dall’algoritmo per la ricerca del massimo 

matching, con le colonne etichettate. 

5. Ripetere i passi 2 e 3 finché non ci sono più righe o colonne da etichettare. 

6. Barrare ogni riga non etichettata ed ogni colonna etichettata. 

7. Trovare il minimo tra gli elementi non barrati della matrice ed indicarlo con 

8. Sottrarre il valore agli elementi non barrati ed aggiungere a quelli barrati sia per 

riga che per colonna. 

9. La matrice così ottenuta è la nuova matrice C. 

10. Si noti che alla fine del passo 5, se tutto è stato eseguito correttamente, ogni zero deve 

essere barrato e la somma del numero di righe e di colonne barrate deve essere pari al 

numero degli accoppiamenti ottenuti dall’algoritmo per la ricerca del massimo matching. 

01/12/2010 



18

Algoritmo ungherese - Esempio 

Si risolva il problema di assegnamento caratterizzato dalla 

seguente matrice dei costi 

1 2 3 4 

A 

B 

C 

D 

1 8 5 2 

4 7 7 5 

3 5 4 2 

3 1 6 3 

Applichiamo i passi dell’algoritmo ungherese 

01/12/2010 



19


1. 

2. 

A 

B 

C 

D 

1 2 3 4 

0 7 4 1 

0 3 3 1 

1 3 2 0 

2 0 5 2 

A 

B 

C 

D 

1 2 3 4 

0 7 2 1 

0 3 1 1 

1 3 0 0 

2 0 3 2 

01/12/2010 



20


3. Ricerca del massimo matching 

A 

1 

B 

2 

A 

1 2 3 4 

0 7 2 1 

B 

0 3 1 1 

C 

3 

C 

1 3 0 0 

D 

2 0 3 2 

D 

4 

01/12/2010 



21


4. Visto che il matching non è completo, ossia la soluzione 

non è ottima, applichiamo la procedura U per aggiornare la 

matrice 

* 

1 2 3 4 

* 

* 

A 

B 

C 

D 

0 7 2 1 

0 3 1 1 

1 3 0 0 

2 0 3 2 

01/12/2010 



22


5. La matrice aggiornata è la seguente 

1 2 3 4 

A 

B 

C 

D 

0 6 1 0 

0 2 0 0 

2 3 0 0 

3 0 3 2 

01/12/2010 



23


6. Ricerca del massimo matching 

A 

1 

B 

2 

A 

1 2 3 4 

0 6 1 0 

C 

3 

B 

C 

0 2 0 0 

2 3 0 0 

D 

4 

D 

3 0 3 2 

La soluzione è ottima (matching completo) ed è data dagli 

accoppiamenti A-1,B-3, C-4, D-2, mentre il valore della 

funzione obiettivo è 11 

01/12/2010 



24

Assegnamento - Vincoli 

·Consideriamo una memoria del passato di 

pochi frame (N.B.: dipendenza con FPS) 

·Con/Senza predizione (usualmente con) 

·si eredita l’ID dall’oggetto passato più vicino 

T0 

T1 

T2 

VIDEO 

T-1 T-2 T-1 

01/12/2010 



25

Assegnamento -Level 2 

·multi objects: inseguimento di più oggetti 

anche diversi 

·gestione delle associazioni 

·è necessario considerare come descrittore il 

percorso 

? 

P1 

P1, P2 

? 

P2 

01/12/2010 



26

Assegnamento - Level 3 

·ghosts: gestire le occlusioni parziali o totali 

mediante una lista di “ghost” ovvero oggetti 

temporaneamente scomparsi 

P1 

P2 

SBAGLIATO 

P1 

P1 

GIUSTO 

01/12/2010 



P1 - Ghost 

27

Visual Tracking - ghost 

T0 

T1 

T2 

DETECT 

VIDEO 

01/12/2010 



28


T0 

T1 

T2 

DETECT 

VIDEO 

?? 

?? 

?? 

?? 

01/12/2010 



29


T0 

T1 

T2 

VIDEO 

DETECT 

?? 

?? 

?? 

?? 

TRACK 

1 

2 

1 

1 

2 - ghost 1 - ghost 

01/12/2010 



30


si memorizzano i ghosts (oggetti scomparsi) per un futuro 

matching 

?? 

1 - ghost ?? 

01/12/2010 



31


si memorizzano i ghost (oggetti scomparsi) per un futuro 

matching 

A 

1 

B 

A 

B 

2 

1 

2 

4 

3 

C 

3 

4 

3 

D 

4 

01/12/2010 



32

Assegnamento Output 

·Immagine input RGB (immagine di output) 

·3 immagini binarizzate dei 3 canali R,G e B 

·sovrapporre all’output l’OD con informazioni 

di id, age 

·(OPZIONALE) files di log: 

·per ogni pallina generare un file 

con lo storico del suo passaggio 

attraverso lo schermo 

01/12/2010 



33

Algoritmo ungherese - Esempio

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?