Polinom Filtresi ile Görüntü Stabilizasyonu - KULIS - Kocaeli ...

1. Giriş
Polinom Filtresi ile Görüntü Stabilizasyonu
Fatma Özbek, Sarp Ertürk
Kocaeli Üniversitesi
Elektronik ve Hab. Mühendisliği Bölümü
İzmit, Kocaeli
fozbek@kou.edu.tr , serturk@kou.edu.tr
Özetçe
Bu bildiride video görüntü dizininde istenmeyen titreşimleri yok etmek amacıyla,
hareket tahmin işlemi önceden yapılmış, iki boyutlu çerçeve konumu düzeltme
işlemi için geliştirilen Polinom Filtresiyle görüntü dizini stabilizasyonu yöntemi
sunulmuştur. Polinom filtresi ile çerçeve konumu düzeltme yöntemi, görüntü
dizininin polinom filtre ile düzgünleştirilmesi sonucu titreşimi tamamen giderirken
aynı anda istenen kamera hareketlerini de korumasıyla iyi sonuç vermektedir.
Görüntü stabilizasyonu, hareket halindeki araçlardan yapılan çekimler, görüntülü cep telefonları ve
robot-kamera uygulama alanlarında olduğu gibi video görüntülerinde de istenmeyen kamera
hareketlerinden dolayı oluşan düzensiz titreşimlerin giderilmesini amaçlamaktadır. Görüntü
stabilizasyonunda, kamera hareketinden dolayı oluşan ve çerçevenin yer değişimi şeklinde gözlenen
global hareketin istenmeyen bileşeni ayrıştırılırken sadece gerekli global hareketlerin muhafaza
edilmesi amaçlanmaktadır.
Görüntü dizini stabilizasyon (GDS) sistemi hareket tahmin sistemi ve hareket düzeltme sisteminden
oluşur. Hareket tahmin sistemi, görüntü dizini içerisinde çerçevelerin ardışık olarak global
hareketlerini bularak, kameranın gösterdiği yer değişimini tespit etmektedir. Hareket düzeltme
sistemi, global hareketleri ele alarak istenmeyen hareketlerin ayrıştırılması sonucu stabilize edilmiş
bir görüntü dizininin oluşturulmasını sağlamaktadır.
Görüntü stabilizasyonu için vektör entegrasyonu, frekans uzayında çerçeve konum filtrelemesi,
zaman uzayında FIR ve IIR filtreler ile çerçeve konum filtrelemesi ve Kalman filtresi [2] ile çerçeve
konum düzeltmesi yöntemleri önerilmiştir. Bu bildiride polinom filtresi kullanarak çerçeve konum
düzeltmesi ile görüntü stabilizasyonu önerilmektedir. Global çerçeve konumlarının polinom filtresi
ile düzgünleştirilmesi sonucu görüntüler titreşimden arındırılırken aynı anda istenen kamera
hareketleri de korunmaktadır. Polinom filtresi ile global hareketin yüksek frekanslarda görülen
titreşim öğeleri atılırken, düşük frekans elemanlarına karşılık gelen kamera hareketleri
korunmaktadır. Görüntülerin gerekli pozisyona getirilmesi sonucu titreşim öğelerinden arındırılmış
video oluşturulmaktadır. Polinom filtresinin yapısından dolayı bu teknik, gerçek-zamanlı çalışma
gerektirmeyen, kaydedilmiş video dizinlerinin stabilizasyon işleminde uygun bir yöntem
sağlamaktadır.

2. Polinom Filtresi
Polinomlar, bir adet x değişkenine bağımlı ve bu değişkenin pozitif tam sayı güçlerinin ağırlıklı
toplamıyla bir çıkış değeri oluşturan basit matematiksel fonksiyonlardır [1]. Polinom filtrelerin
temelini oluşturan polinom ifadesi aşağıdaki gibidir [3].
a , j [ 0,
m]
j
m
f a x = a + a x + a x + ..... + a
i = ∑
j = 0
j
j
i
2
m
0 1 i 2 i
m i
(1)
∈ için m ’nci dereceden polinomun katsayıları ve bilinmeyen gerçel sabit sayılardır.
Polinom filtresinin görüntü stabilizasyonuna uygulanmasında önceden yapılmış global hareket
tahmin işlemiyle elde edilen çerçeve konum vektör sinyaline, düşük dereceli bir polinomun
uydurulması sonucu düzgünleştirilmiş bir çerçeve konum vektörü elde edilmektedir.Yatay ve düşey
düzlemde çerçeve konum değerleri sırasıyla ( xi , yi
) olan polinom filtresi aşağıdaki gibi ifade
edilmektedir.
m
f =
i ∑
x j=
0
a
j
j
i
x
h
,
f
y
j
m
=
i ∑
=
Video dizininin çerçeve sayısı n alındığında i ∈[ 0, n −1]
, j ∈ [ 0,
m]
; yatay hareket dinamiğinde
görüntü dizinin çerçeve numarası,
filtrelenmiş çıkış değerleri; düşey hareket dinamiğinde
fi x
0
b
j
j
i
y
h
ise i'nci çerçeve için a katsayılı m'nci dereceden polinomun
j
hi y
x
(2)
hi x
görüntü dizinin çerçeve numarası, i f y
ise i'nci çerçeve için j b katsayılı m'nci dereceden polinomun filtrelenmiş çıkış değerlerdir. Bu fi
değerleri bize stabilizasyon için çerçevelerin yatay ve düşey düzlemde bulunması gereken
konumlarını vermektedir.
hi x
ve
hi y
gözlemleme bilgileri yatay ve düşey düzlemde i’nci çerçevenin
numarasını belirttiği için bu iki giriş değerleri eşit alınmaktadır. Böylece tek bir H gözlemleme
matrisin h ij
eleman değerleri aşağıdaki gibi hesaplanabilir.
h = f ( h ) = h i=0,1,..,n-1 j=0,1,..,m (3)
ij
j
i
j
i
Burada f j ( hi
) , gözlemleme bilgisini uyarlamak için seçilmiş bir fonksiyon modeli olup polinom
j
filtresinde f j ( hi
) = hi
olarak hesaplanır. Polinom filtresinde H gözlemleme matrisi aşagıdaki gibi
ifade edilmektedir[3].
⎡1
h
⎢
⎢1
h
H =
⎢M
⎢
⎢⎣
1 h
0
1
n−1
h
2
n−1
m
0
m
1
2
h LLh
2
h LLh
1
0
LLh
m
n−1
⎤ ⎡1
⎥ ⎢
⎥
= ⎢
1
⎥ ⎢M
⎥ ⎢
⎥⎦
⎢⎣
1
0
1
0
1
LLLL
LLLL
( ) ( ) ( ) ⎥ ⎥⎥⎥⎥
2
m
n -1
n -1
LL
n -1
0
1
⎤
⎦
(4)

Denklem (2) kısaca Fx = HA , Fy = HB yazılabilir.
F x , F y stabilize edilmiş çerçeve konum değerlerini elde etmek için öncelikle, en küçük chi-kare
2
düzlem metodu kullanılarak aşağıdaki denklemlerde tanımlanan h ifadesini en küçük yapan
A , B katsayıları hesaplanır[3].
2 hx 2 hy 2
⎛ x
n 1 i f ⎞
⎛
⎜
− x
i
⎜
n 1 i −
− ⎟ −
x ⎜
= ∑⎜
⎟ = ∑⎜
i= 0⎜
σ i ⎟
⎜ ⎟
⎜
⎝ ⎠
⎝
2
yi f ⎞
i ⎟ n−1
y
m
∑
j=
0
σ
i= 0 i
⎛ ⎛
n 1⎜
− ⎜ yi
−
−
⎜
= ⎜ ⎟ ∑
= ⎜
i 0⎜
i ⎟ ∑
= σ
⎜ ⎟ ⎜
⎝ ⎠ ⎜
⎝
m
∑
a
j=
0
σ
i= 0 i
b
j
j
2
j ⎞
i ⎟
x ⎟
⎟
=
⎟
⎠
h
H
0
A − X
2
0
2
j ⎞
i ⎟
y ⎟
2
⎟ = H 0B
− Y0
⎟
⎠
Sisteme en iyi çözümü veren 0 H , 0 X ve Y 0 matrislerin elemanları aşağıdaki gibi hesaplanır.
j
hi
xi
yi
h0ij = , x0i
= , y0i
= , i = 0, 1,....,
n −1
; j = 0,
1,...,
m
(7)
σ σ σ
i
i
i
(5) ve (6) ifadelerin en küçük kare tahmini olması için σ standart sapmanın sabit bir sayıya
i
atanması yani ölçüm hataların bağımsız ve bu sapmaya göre dağılmış olması gerekir. Standart
sapma σ =1 alınmıştır.
i
2 h ifadelerini en küçük yapmak için tercih edilen bir yöntem, aşağıdaki denklemlerin en küçük
kare çözümünü bulmaktır.
H 0 A = X 0 , 0B
Y0
h
(5)
(6)
H = (8)
Böylece görüntü dizinini en iyi satabilize eden yatay ve düşey düzlemdeki konum değerlerini
oluşturan A ve B polinom katsayıları aşağıdaki gibi hesaplanır.
A
T −1
T
T −1
T
= ( H 0 H 0 ) H 0 X 0 , B ( H 0 H 0 ) H 0 Y0
= (9)
Fx = HA , Fy = HB olmak üzere stabilize edilmiş çerçeve konum vektörleri elde edilir.
Stabilizasyon edilirken yatay ve düşey pozisyon hareketinde oluşan karesel hatalar
mse
1
=
n
x
n
∑ −1
i=
0
⎛
⎜
f −
i
⎝ x
xi
⎞
⎟
⎠
2
, ∑ −1
1 ⎛
= ⎜ −
= 0⎜
⎝
n
msey
f
n i i y
yi
⎞
⎟ ⎟
⎠
2
(10)

kriterine göre çerçevelerin orjinal (stabilize edilmemiş) konumları ( )
(çerçevelerin stabilize edilmiş konumları)
polinom katsayıları hesaplanmaktadır.
3. Polinom Filtresi İle Stabilizasyon
x i , yi
, ile polinom çıkışı
⎛ ⎞
⎜ f ⎟
⎜ i
, f arasında minimum karesel hata olacak şekilde
i ⎟
⎝ x y ⎠
İki-boyutlu görüntü dizini stabilizasyon sisteminde sadece kayma titreşimlerinin stabilizasyonu için
daha verimli çalışan çerçeve konum düzeltmesi uygulanmıştır. Görüntü dizini içerisindeki
çerçevelerin düzeltme vektörü, çerçevelerin orijinal konum değerleri ile düzgünleştirilmiş konum
değerleri arasındaki fark, ( , ) ( x , y ) F F Y X V = − olarak bulunur.
Polinom filtresi, gerçek zamanlı çalışmayan yapısı nedeniyle stabilizeyi etkileyen gürültü
parametreleri olmadığından sadece filtresinin derecesi önemlidir. Polinom filtresinin derecesi,
stabilize edilmiş dizinde izin verilen konum değişimi miktarını belirlemektedir. Düşük dereceli bir
polinom sadece yavaş değişimler göstereceği için stabilize edilmiş çerçeve konumları ani
değişimler göstermeyecektir, bununla beraber bilinçli kamera hareketlerinin takip edilebilmesi için
polinom derecesinin aşırı küçük olmaması gerekir. Yüksek dereceli polinomda global hareketin
yüksek frekanslarda görülen titreşimle birlikte istenilen kamera hareketleri de atıldığından
stabilizasyon performansı azalabilmektedir.
4. Deneysel Sonuçlar
Hareket halindeki bir motorsiklete bağlanmış kamera ile yapılan çekimle elde edilmiş örnek görüntü
dizini stabilize edilmiştir. Şekil 1’ de bu görüntü dizini için işlenmemiş çerçeve konum bileşenleri
ve 3’ncü dereceden polinom filtresiyle düzgünleştirilmiş konum bileşenleri , Şekil 2’de ise 8‘nci
dereceden polinom filtresiyle düzgünleştirilmiş konum bileşenleri gösterilmiştir.
25
20
15
10
5
0
-5
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
Ç erçeve N um arasi
100
Şekil 1. Motor dizini için orijinal ve 3üncü dereceden polinom filtre ile düzgünleştirilmiş çerçeve
konum bileşenleri
15
10
5
0
-5
-1 0
-1 5
-2 0
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
Ç erçeve N um arasi
100

25
20
15
10
5
0
-5
0 20 40 60 80
100
Şekil 2. Motor dizini için orijinal ve 8inci dereceden polinom filtre ile düzgünleştirilmiş çerçeve
konum bileşenleri
Videoda geniş bir virajı dönen motorsikletin hareketinden dolayı oluşan yataysal ve düşeysel
kamera yer değişimine ek olarak, istenmeyen dikey sallantılar da gözlenmektedir.Şekillerden
görüldüğü gibi 3. dereceden polinom hareketteki değişiklikleri yakından takip edememektedir.
Derece arttıkça kısmen hesap yükü fazla olan işlemler gerekse de kamera hareketleri tam olarak
takip edilmektedir. 8. dereceden polinomda yatay ve düşey harekette en düşük karesel hatayı elde
etmekle birlikte global hareketteki ani değişimler yeterli yakınlıkta izlenip titreme hareketleri
alınmamıştır.
Farklı görüntü dizinlerinde yapılan incelemelerde, sekizinci dereceli polinomlar kullanıldığında iyi
bir stabilizasyonun sağlandığı ve bununla birlikte hareket dinamiğindeki değişimlerin tam olarak
takip edildiği gözlenmiştir. Şekil 3 ve Şekil 4’de, eğimli bir arazide ilerleyen araçtan paralel yolda
ilerleyen aracının görüntülendiği bir örnek dizin için çekimin yapıldığı aracın hareketinden dolayı
oluşan kamera yer değişimleri ve filtreyle düzgünleştirilmiş yer değişimler gösterilmiştir. Bu
görüntü dizininin stabilizasyonu neticesinde görüldüğü gibi polinomun derecesi belli bir dereceye
kadar arttıkça genel kamera hareketleri yakından takip edilirken titreşimler de bastırılmaktadır.
Özellikle 8’nci derceden polinom filtresinde, dikeyde arazinin engebeli olmasından kaynaklanan
sallantıların uygun bir şekilde düzgünleştirildiği görülmektedir. 8’nci derceden polinom filtresinde
çok fazla hesap yükü olmayan, yoğunluğu yüksek bir stabilizasyon elde edilmiştir.
250
200
150
100
50
0
-5 0
orjinal çerçeve konum lari
stabilize çerçeve konum lari
Ç erçeve N um arasi
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
Ç erçeve N um arasi
100
Şekil 3. 3üncü dereceden polinom filtre ile stabilize edilen araba dizini için konum bileşenleri
15
10
5
0
-5
-1 0
-1 5
-2 0
15
10
-5
-1 0
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
5
0
Ç erçeve N um arasi
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
Ç erçeve N um arasi
100
100

250
200
150
100
Şekil 4. 8inci dereceden polinom filtre ile stabilize edilen araba dizini için konum bileşenleri
Deneysel sonuçlara genel olarak bakıldığında kasıtlı kamera hareketlerinin yatay ve düşey konumda
tam olarak takibi 8’nci dereceden polinom filtre stabilizasyonu ile sağlanmıştır. Bu derecede
istenmeyen titreşimler en iyi bastırılmakla birlikte en küçük karesel hata elde edilmektedir. Fakat
derece çok küçük alındığında polinom sadece yavaş değişimler göstereceği için satabilize edilmiş
harekette ani değişimler takip edilememektedir. Ayrıca polinom filtresinde düzgünleştirilmiş
çerçeve konum değerlerini hesaplarken matris tersi ve vektör işlemleri nedeniyle hesaplama
açısından karmaşıklık polinom derecesi büyüdükçe artmaktadır. Fakat kullanılan polinom filtresi
gerçek zamanlı olmadığı için bu hesapsal yük filtrenin performansını etkilememektedir.
5. Sonuç
50
0
-5 0
Bu bildiride, polinom filtresi kullanarak çerçeve konum pozisyonlarının düzgünleştirilmesi sonucu
oluşturulmuş yeni bir stabilizasyon sistemi gösterilmiştir. Gerçek-zamanlı çalışmamakla beraber,
önceden kaydedilmiş video dizinleri için etkin bir stabilizasyon elde edilmektedir. Gelecekte
polinom filtresine adaptiflik getirerek gerçek-zamanlı bir stabilizasyon sisteminin geliştirilmesi
amaçlanmaktadır.
Kaynakça
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
Ç erçeve N um arasi
[1]. S. Valiviita, S. J. Ovaska, ve O. Vainio, “Polynomial predictive filtering in control
instrumentation: a review”, IEEE Trans. on Ind. Electronics, Vol. 46, No: 5, pp. 876-888, 1999.
[2]. E. Yaman, F. Tekin, S. Ertürk, “Kalman filtresi ile görüntü stabilizasyonu”, Elektrik
Elektronik-Bilgisayar Mühendisliği 9. Ulusal Kongresi, Kocaeli, 2001, pp. 557-560.
[3]. National Instruments TM , LabVIEW TM , User Manuel
100
15
10
5
0
-5
-1 0
orjinal çerçeve konum lari
stabilize çerçeve konum lari
0 20 40 60 80
Ç erçeve N um arasi
100