Intro all'analisi dei principali filtri convolutivi.pdf - SaLUG

Analisi dei principali filtri convolutivi
Fabio Viola

Immagini e segnali
Lavorando con software di elaborazione delle immagini e' impossibile
non imbattersi in operazioni quali miglioramento, sfocatura, rilevamento
contorni. Queste sono solo alcune delle numerose operazioni realizzabili
con dei filtri di convoluzione...
La progettazione dei filtri e' strettamente connessa allo studio di segnali
e sistemi.
Ma cosa c'entrano i segnali e i sistemi in un campo cosi'
apparentemente lontano come la grafica?

Immagini e segnali
Un segnale e' la variazione di una grandezza d'interesse, solitamente
nel tempo. I segnali vengono classificati fra continui e discreti a seconda
che possano assumere tutti i valori in un intervallo (si veda ad esempio la
temperatura di una stanza) o che assumano un numero finito di valori
(consideriamo ad esempio i bit, questi possono assumere valore 0 o 1).
Nel nostro caso la grandezza da studiare e' la quantita' di colore di ogni
pixel ed e' bidimensionale discreto, ma soprattutto la nostra variabile non
e' il tempo... E' lo spazio!
Un sistema e' un dispositivo che, dato un segnale in ingresso lo elabora
e ne fornisce il risultato in uscita. Un sistema e' in genere una
modellazione matematica di un fenomeno fisico. Esistono numerose
classificazioni dei sistemi, ma non entreremo nel merito. Ci
accontentiamo di sapere che anche i sistemi possono essere continui o
discreti (o talvolta ibridi).

La convoluzione
I sistemi vengono descritti (ad esempio) tramite la loro risposta
impulsiva, cioe' indicando il modo in cui rispondono all'impulso di Dirac
in ingresso.
Sapendo la risposta impulsiva di un sistema e conoscendo l'espressione
del segnale in ingresso, l'uscita del sistema puo' esser calcolata tramite
l'operazione di convoluzione definita rispettivamente nel continuo e nel
discreto da:
v t=ut ∗h t=∫ −∞
∞
u t h t−= ∫ −∞
∞
u t−ht
v t=ut ∗ht=∑ −∞
∞
u t ht−= ∑ −∞
∞
ut− ht

La convoluzione
Operando con un segnale discreto e bidimensionale, l'immagine in uscita
viene calcolata con la seguente operazione:
M −1
v x , y=ux , y∗h x , y=∑ m=0
N −1
∑ n=0 u m , nhx−m , y−n
Quest'operazione corrisponde a far scorrere una matrice detta kernel
sulla matrice che rappresenta l'immagine e calcolare il nuovo valore di
ogni pixel come sommatoria dei prodotti fra un elemento del kernel con il
corrispondente elemento sulla matrice immagine

La convoluzione
Supponiamo di avere una matrice di convoluzione (il kernel) come la
seguente:
0 1 0
1 −5 1
0 1 0
e consideriamo ora un pezzo di una matrice immagine a caso:
124 112 98
124 45 29
110 102 110
Il nuovo valore del pixel al centro sara':
0⋅1241⋅1120⋅981⋅12445⋅−51⋅290⋅1101⋅1020⋅110=142

The Gimp e la convoluzione
Per provare nella pratica quanto vedremo
con questa presentazione e' bene prima
dire che The Gimp permette l'inserimento
di una propria matrice di convoluzione da:
Filtri → Generici → Matrice di
Convoluzione

Categorie di filtri
I filtri che si possono ottenere con le matrici di convoluzione sono
innumerevoli, ma i piu' utilizzati possono essere classificati fra le
seguenti categorie:
●
Filtri di Edge Detection
●
Filtri di Rilievo / Basso Rilievo
●
Filtri di Sfocatura
●
Filtri di Sharpening
●
Filtri di Shifting

Edge Detection

Filtri di Edge Detection
I filtri di Edge Detection vengono utilizzati per il rilevamento dei bordi.
Praticamente tutti si basano su operazioni differenziali, la maggior parte
del primo ordine, meno del secondo.
Gli operatori piu' conosciuti e usati sono:
●
Roberts
●
Prewitt
●
Sobel
●
Kirsch
●
Laplaciano

Roberts
Roberts, Prewitt e Sobel hanno sviluppato delle tecniche di rilevamento
dei contorni basate sullo studio della derivata prima o per essere piu'
precisi del gradiente (dato che siamo in due dimensioni).
∇ f x , y= ∂ f x , y
∂ x
, ∂ f x , y
∂ y
Nei tre metodi si riconoscono pero' differenti approssimazioni del
gradiente. Quella proposta da Roberts e':
f x
i , j = f i , j− f i1, j1
f y
i , j= f i1, j− f i , j1

Roberts
Le approssimazioni appena viste ci conducono alle seguenti matrici:
0 0 0
0 0 1
0 −1 0
0 0 0
0 1 0
0 0 −1
..che spiegano come mai questo operatore viene anche detto Roberts'
Cross Operator. Le matrici individuate agiscono lungo le diagonali.
Vediamo il risultato dell'applicazione delle due matrici:

Prewitt
Le matrici proposte da Roberts sono in fin dei conti delle matrici 2x2...
Aumentando il numero di elementi coinvolti nello studio della derivata si
aumenta la precisione nell'opera di rilevamento dei bordi. Prewitt fa
esattamente questo, proponendo un metodo di approssimazione del
gradiente differente da quello di Roberts:
f x i , j = 1 2
f y i , j= 1 2
[ f i1, j − f i−1, j]
[ f i , j1− f i , j−1]
Supponendo di prendere il gradiente orientato lungo il semiasse positivo
delle x, otteniamo una matrice di convoluzione come la seguente (dalla
quale con rotazioni di 45 gradi otteniamo tutte le altre):
−1 0 1
−1 0 1
−1 0 1

Prewitt
Esempio: con la matrice precedente abbiamo ottenuto il rilevamento dei
contorni lungo l'asse x, direzione positiva. Si puo' notare come il numero
dei contorni rilevati sia maggiore rispetto a quanto fatto dal'operatore
crociato di Roberts.

Sobel
Le matrici costruite da Sobel si basano sullo stesso metodo proposto da
Prewitt, ma introducono un nuovo importante elemento: ai pixel piu' vicini
a quello di applicazione viene attribuito un peso maggiore. Le matrici
cosi' ottenute sono (rispettivamente con angoli pari a 0, 90, 180 e 270
gradi per la prima riga e 45, 135, 225 e 315 per la seconda):
−1 0 1
−2 0 2
−1 0 1
1 2 1
0 0 0
−1 −2 −1
1 0 −1
2 0 −2
1 0 −1
−1 −2 −1
0 0 0
1 2 1
0 1 2
−1 0 1
−2 −1 0
2 1 0
1 0 −1
0 −1 −2
0 −1 −1
1 0 −2
2 1 0
−2 −1 0
−1 0 1
0 1 2

Sobel
Vediamo nella pratica come cambia l'effetto rispetto al metodo di Prewitt:
I bordi sono nettamente piu' nitidi...

Kirsch
L'operatore di Kirsch, meno conosciuto rispetto ai precedenti, non calcola
esplicitamente il gradiente, ma le derivate prime in direzioni specifiche e
approssimando quella con il risultato maggiore si ottiene l'orientazione
del gradiente.
L'approssimazione proposta da Kirsch e' esprimibile come:
7
Dove:
G j , k= Max [∣5S −3T∣]
i =0 i i
S i
= A i
A i1
A i 2
T i
= A i
A i 1
A i 2
A i 3
A i5
A i 5
Si originano matrici come la seguente (che e' diretta lungo il semiasse
positivo delle x):
5 −3 −3
5 0 −3
5 −3 −3

Kirsch
Vediamo nella pratica come cambia l'effetto rispetto al metodo di Sobel:
Aumenta la quantita' di bordi rilevati, ma con essi anche il rumore
catturato (che puo' essere poi pulito con filtri di noise cleaning che pero'
sono non lineari!)

Proprieta' ...
I filtri analizzati fino a questo momento hanno due caratteristiche:
●
Sono direzionali e per questo non invarianti: questo vuol dire che la
loro applicazione su un'immagine avra' effetti diversi a seconda di come
l'immagine viene ruotata.
●
Hanno somma dei coefficienti pari 0, e questo e' il motivo del loro
aspetto prevalenemente nero.

Laplaciano
Il primo filtro invariante che vediamo e' costituito da un'approssimazione
dell'operatore laplaciano che e' definito come:
e approssimato da:
∇ 2 f x , y= ∂2 f x , y
∂2 f x , y
∂ x 2
∂ y 2
ai , j1ai , j−1ai1, j a i−1, j −4 a i , j
da cui ricaviamo:
0 1 0
1 −4 1
0 1 0

Laplaciano
Si puo' notare che il laplaciano agisce in ogni direzione allo stesso modo:

Rilievo e Bassorilievo

Rilievo e Bassorilievo
Gli effetti di rilievo e bassorilievo si ottengono con la sovrapposizione di
matrici di rilevamento dei contorni ad una matrice kernel neutra.
Prendiamo ad esempio la matrice di Sobel orientata lungo la bisettrice
direzione nord-est e sovrapponiamola alla matrice neutra:
0 0 0
0 1 0
0 0 0
0 1 2
−1 0 1
−2 −1 0
=
0 1 2
−1 1 1
−2 −1 0
A seconda della direzione scelta per il gradiente nella matrice di Edge
Detection variera' l'effetto ottenuto. Vediamo cosa succede applicando la
matrice ottenuta alla nostra immagine di esempio...

Rilievo e Bassorilievo

Blurring / Smoothing

Sfocatura
Esistono vari metodi per sfocare un'immagine. Quello piu' intuitivo e' dato
dal filtro cosiddetto N-Box, un altro e' ad esempio il filtro gaussiano.

Filtro N-Box
Si ottiene semplicemente calcolando la media dei valori dei pixel nel
vicinato del punto di applicazione. Risulta quindi che nel caso di una
maschera 3x3 la matrice avra' il seguente aspetto:
...e produrra' il seguente risultato:
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9

Filtro N-Box
Maggiore e' l'ordine della matrice di sfocatura maggiormente evidente
sara' l'effetto, come dimostra quest'immagine elaborata con una
maschera 5x5 con coefficienti pari a 1/25:

Filtro Gaussiano
Piu' elaborato del filtro N-Box e' il filtro gaussiano che sfrutta la funzione
gaussiana definita da:
La gaussiana ha il seguente aspetto:
g i , j=c⋅e − i 2 j 2
2 2

Filtro Gaussiano
Proprieta' evidente della gaussiana e' quella di dare un peso maggiore
tanto piu' i pixel sono vicini a quello centrale. Il parametro σ definisce la
larghezza della campana, c definisce quanto peso assegnare ai termini.
Un esempio di matrice gaussiana con parametri σ=1 e c=10 e':
3,68 6,06 3,68
6,06 10 6,06
3,68 6,06 3,68
Che produce la seguente sfocatura:

Filtro Gaussiano
Aumentare c aumenta il tasso di sfocatura.
Incrementare σ vuol dire aumentare la larghezza della campana e di
conseguenza aumentare il peso dato ai pixel circostanti.

Sharpening

Sharpening
Lo sharpening e' l'operazione che ci consente di migliorare la qualita'
dell'immagine.
Quest'operazione, anche detta edge crispening, agisce come un filtro
passa alto che fa passare soltanto le alte frequenze spaziali di variazione
del colore.
Anche qui abbiamo a disposizione vari metodi piu' o meno intuitivi:
●
Unsharp masking
●
Laplaciano
●
Laplaciano di Gaussiana

Unsharp Masking
Da quanto appreso in segnali e sistemi sappiamo che lo stesso risultato
di un filtro passa alto si puo' ottenere sottraendo all'immagine originale,
opportunamente amplificata, una sua versione filtrata con un filtro passabasso
(e quindi una versione sfocata):
0 0 0
a⋅0 1 0
0 0 0
−
1
9
1
b⋅
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9
=
−b 1 9
−b 1 9
−b 1 9
−b 1 9
−b 1 9
a−b 1 9 −b 1 9
−b 1 9
−b 1 9
I coefficienti a e b si possono scegliere arbitrariamente a patto di
mantenere la somma degli elementi del kernel pari a 1 per non variare il
livello di luminosita' dell'immagine.

Unsharp Masking

Sharpening con Laplaciano
In questo filtro si sfrutta la derivata seconda (o in due dimensioni il
laplaciano) per rendere l'andamento dei contorni piu' simile a quello
ideale (cioe' netto) e diverso da quello reale (dove i colori vaiano in
maniera graduale).
0 0 0
0 1 0
0 0 0
−
0 1 0
1 −4 1
0 1 0
=
0 −1 0
−1 5 −1
0 −1 0
Come tutti i filtri passa alto non elimina il rumore e in alcuni casi lo
accentua. Nella nostra immagine il rumore e' leggermente aumentato
con l'applicazione di un filtro di sharpening laplaciano...

Sharpening con Laplaciano

Shifting

Filtri di Shifting
I filtri di shifting sono i piu' semplici ed intuitivi. Come dice il termine
servono a shiftare, spostare dunque l'immagine.
Generalmente un filtro di shifting ha quest'aspetto:
0 0 0
1 0 0
0 0 0

Applicazioni pratiche

Plugin di esempio
Per mettere in pratica quanto imparato con lo studio delle matrici di
convoluzione sono stati realizzati due script-fu per il software di grafica
raster The Gimp.
Entrambe i plugin sono stati scritti in Scheme, linguaggio basato su Lisp
supportato nativamente da The Gimp sin dalla prima versione.

Plugin di esempio: warholize
Il primo plugin e' warholize che data un'immagine la trasforma creando
un'opera in stile pop-art.
Per fare cio' ci si costruiscono quattro livelli ognuno di un quarto dell'area
dell'immagine e ci si avvale di matrici di Edge Detection (di Prewitt o
Sobel) applicate su diversi canali. Per far si che il risultato sia migliore
pero' si applica prima una matrice di sharpening, di modo tale che il
rilevamento dei contorni agisca in maniera piu' efficace.

Plugin di esempio: warholize
Guardiamo alcuni esempi:
Immagine originale senza Edge Detection Sobel Edge Detection

Plugin di esempio: warholize
Guardiamo alcuni esempi:
i
Prewitt Edge Detection
Prewitt Edge Detection, w=5
Sobel Edge Detection, w=5

Plugin di esempio: warholize
Con warholize l'utente non soltanto puo' decidere se applicare o meno
un operatore di Edge Detection, ma puo' scegliere quale utilizzare (fra
Prewitt e Sobel), in che direzione applicarlo (Nord, Sud, Ovest, Est,
Tutte), che peso dare ad ogni elemento nella matrice.

Plugin di esempio: shifting blur
Shifting Blur invece implementa una particolare sfocatura (o per meglio
dire disturbo) basata sulle matrici di convoluzione di shifting.
Ogni canale viene sottoposto ad una differente maschera di shifting che
lo trasla in una particolare direzione. L'utente puo' scegliere se applicare
il plugin alle sole direzioni orizzontale e verticale, alle sole direzioni
diagonali o a tutte le direzioni possibili e quante volte iterare.

Plugin di esempio: shifting blur
Nella pratica:
Immagine originale Direzioni Tutte – iterazioni 1

Plugin di esempio: shifting blur
Nella pratica:
Direzione V/O – 3 iterazioni
Direzione Diag. – 3 iterazioni

...oltre la convoluzione
Sebbene i filtri di convoluzione, oggetto dello studio, permettano di
realizzare un numero quasi infinito di effetti, non sono gli unici filtri che
esistono. Un esempio e' dato dai filtri non lineari, come ad esempio quelli
usati per ottenere effetti quali erosione, dilatazione, noise cleaning...
Nonostante si basino su maschere, il procedimento adoperato e' ben
diverso da quello utilizzato nella convoluzione...

Conclusione
Lo scopo di questa panoramica sulle matrici di convoluzione e' far
comprendere la potenza di questo strumento matematico applicato alla
grafica. Analizzare nel dettaglio tutti i possibili filtri realizzabili con questo
procedimento e' pressoche' impossibile dal momento che l'unico limite e'
la fantasia e l'inventiva dell'utente!
Questa presentazione e' rilasciata con licenza Creative Commons 2.5 –
Attribuzione, Non commerciale, Condividi allo stesso modo
I plugin di esempio sono rilasciati con licenza GNU GPL 3