gerçek zamanlı gömülü hedef takibi yapabilen soğutmasız kızıl ötesi ...

GERÇEK ZAMANLI GÖMÜLÜ HEDEF TAKİBİ
YAPABİLEN SOĞUTMASIZ KIZIL ÖTESİ KAMERA
AN UNCOOLED INFRARED CAMERA WITH EMBEDDED
REAL-TIME TARGET TRACKING CAPABILITY
Çağrı Güvenel 1,2 , Ahmet Tekyıldız 1 , Çağın Türkoğlu 2 , Çağlar Yıldız 1,2 , Ayhan Küçükmanisa 1,2 ,
Anıl Çelebi 1,2 , Oğuzhan Urhan 1,2 , M. Kemal Güllü 1,2 , Sarp Ertürk 1,2
1 Kocaeli Üniversitesi Elektronik ve Haberleşme Mühendisliği Bölümü
İşaret ve Görüntü İşleme Laboratuvarı
2 Pars Ar-Ge Ltd., Kocaeli Üniversitesi Teknopark
Kocaeli, Türkiye
ÖZETÇE
Bu çalışmada gömülü hedef tespit ve takip işlemlerini
yapabilen soğutmasız kızılötesi kamera tasarımı
gerçekleştirilmiştir. Kamera dört ayrı elektronik kartın
birleşiminden oluşmaktadır. Algılayıcı kartı, kızılötesi
algılayıcının ürettiği çıkış verilerini okumak için
tasarlanmıştır. APKD (Alanda Programlanabilir Kapı
Dizileri - FPGA) kartı algılayıcı kart ile çevresel birimler
arasındaki kontrol görevini üstlenir. DSP kartı, APKD
kartından gelen algılayıcı çıkış verilerini işleyerek gömülü
hedef tespit ve takip işlemlerini yapmaktadır. Hedef tespit
işleminin uygulanmasında çerçeve eşikleme ve çerçeve farkı
yöntemleri kullanılmıştır. Hedef takibi için ise Kalman
süzgecinden faydalanılmıştır. Denemeler sonucunda,
tasarlanan kameranın hedef tespit ve takip işlemlerini gerçek
zamanlı olarak yaptığı gözlenmiştir.
ABSTRACT
In this paper an uncooled infrared camera with embedded
target detection and tracking capability is presented. The
camera is built upon four main electronic cards. Sensor card
is designed to read and digitize the analog output signal
generated by the infrared (IR) imaging sensor. FPGA card
carries out the control process of the data transfer between
sensor card and other peripherals. Target detection/tracking
task is on the row image data provided by the FPGA card is
carried out on the DSP card. Frame thresholding and
differencing methods are used for target detection. Kalman
filter is utilized for target tracking. According to the
experimental results, camera is capable of performing target
detection and tracking tasks in real time.
1. GİRİŞ
Kızılötesi kameraların kullanım alanları çok geniş bir
alana yayılmıştır. Güvenlik uygulamaları ile askeri
uygulamalar bu alanlar içinde en çok öne çıkanlarıdır.
Örneğin [1]’de açık bir alanda kızılötesi video dizisinde
otomatik hedef tespiti yöntemi önerilmiştir. [2]’de bir video
Bu çalışma 7091014 numaralı TUBITAK-TEYDEB projesi
ile DPT2011K120330 numaralı proje tarafından
desteklenmiştir.
978-1-4673-0056-8/12/$26.00 ©2012 IEEE
dizisinden, gerçek zamanlı kızılötesi sıcak bölge tespit ve
özellik çıkartımı yöntemi önerilmiştir. [3]’te elektronik
bileşenlerin yüksek akımlı güç sistemlerindeki sıcaklık
performansı incelenmiştir. [4]’te minyatür helikopterde kızıl
ötesi kamera kullanılarak hareket kestirimi yapılmıştır. [5]’te
kızıl ötesi dalga boyu aralığında, APKD kullanılarak genel
imge işleme uygulamaları yapılmıştır.
Literatürde hedef tespiti/takibi için kızılötesi dalga boyu
aralığında çalışan çeşitli yöntemler önerilmiştir. [6]'da küçük
kızıl ötesi hedef algılaması için etkin yöntemler önerilmiştir.
[7]’de şablon uyumlama algoritması ile sınırları ayarlanabilir
dönüşüm ilişkilendirici algoritma ile birleştirilmiştir. [8]’de
Kernel temel bileşenler analizi ve karesel ilişkilendirme
süzgeçleri kızılötesi hedef tespitinde kullanılmıştır.
Bu çalışma iki ana kısımdan oluşmaktadır. Birinci
kısımda, kamera donanımını oluşturan bileşenler anlatılmıştır.
İkinci kısım, kızılötesi kamera üzerinde koşan gömülü hedef
tespit/takip uygulamalarından oluşmaktadır.
Tasarlanan kızılötesi kamera sisteminin mimarisi Şekil
1'de gösterilmiştir.
Şekil 1: Kızılötesi kamera sisteminin mimarisi
Algılayıcı kartında analog çıkış veren bir algılayıcıdan
ADC ile alınan kızılötesi imge verisi APKD kartına gönderilir.
APKD kartı Algılayıcı kartından gelen ham veriyi Ethernet
birimi aracılığıyla dış ortama aktarır ya da ham verinin
işlenmesi için DSP kartına gönderir. DSP kartı işlenen veriyi
ya APKD kartına Ethernet birimi aracılığıyla, dış ortama
aktarması için geri gönderir ya da işlenmiş sayısal veriyi
gerekli format dönüşümünü yaparak PAL/NTSC çıkışı
aracılığıyla dış ortama aktarır.

2. KAMERA DONANIMI
Kızıl ötesi kameranın donanımsal mimarisi dört ayrı
kartın birleşiminden oluşmaktadır. Bu kartlar Algılayıcı kartı,
APKD kartı, DSP kartı ve Arayüz kartıdır.
Algılayıcı kartı, kızıl ötesi algılayıcı ile algılayıcının çıkış
verilerini üretebilmesini sağlayan çevresel birimlerden
oluşmaktadır. Algılayıcı kartında üretilen çıkış verileri APKD
kartına aktarılmaktadır. Kameranın kontrol merkezi APKD
kartıdır. Kartın üzerinde bulunan APKD algılayıcı kartından
gelen çıkış verilerini gerekli birimlere iletmekle yükümlüdür.
APKD kartının bir diğer görevi üzerinde bulunan Ethernet
birimi sayesinde algılayıcıdan gelen ham veriyi ya da DSP
tarafından işlenmiş veriyi dış dünyaya aktarmaktır. DSP
kartının birincil görevi APKD kartından gelen ham veriyi
işlemek, işlenmiş veriyi APKD kartına geri aktarmaktır. DSP
kartı aynı zamanda kameranın güç kartıdır. Kamera üzerinde
bulunan elemanların çalışmasını sağlayan gerilim değerleri
DSP kartı üzerinde bulunan regülatörler ile üretilir.
Arayüz kartı, kameranın dış dünya ile haberleşmesini
sağlayan karttır. Kameranın giriş gerilimi, tetikleme sinyali
giriş ve çıkış uçları ile Ethernet konektörü, ara yüz kartının
üzerinde bulunmaktadır.
Kızılötesi kameranın içindeki kartların yerleşimi Şekil
2’de gösterilmiştir.
Şekil 2: Kızılötesi kamerada bulunan elektronik kartların
yerleşimi
2.1. Algılayıcı Kartı
Algılayıcı kartı üzerinde ULIS firmasının UL 04 27 2
model kızılötesi algılayıcısı kullanılmıştır. Algılayıcı uzun
dalga boyu aralığında çalışmakta olup, 640×480 piksel
çözünürlüğe sahiptir.
Algılayıcı 7 bitlik sayısal çıkış ucuna sahiptir, ancak
kullanılan algılayıcı sürümünde, algılayıcı yalnızca analog
çıkış verisi üretmektedir. Bu nedenle, algılayıcı kartının
üzerinde analog çıkış verisini sayısal veriye dönüştürme
işlemini yapan Texas Instruments firmasının ADS5421 kodlu
analog-sayısal dönüştürücü (ASD) yongası kullanılmıştır.
ASD, APKD kartı tarafından kontrol edilmektedir.
Algılayıcı kartının üzerinde, algılayıcı için gerekli farklı
voltaj değerlerini üreten Maxim firmasının MAX5590 kodlu
sayısal-analog dönüştürücü (SAD) yongası kullanılmıştır.
SAD, APKD kartı tarafından kontrol edilmektedir.
Algılayıcı kartı öbek gösterimi Şekil 3’de görülmektedir.
2.2. APKD Kartı
APKD kartının ana elemanı Xilinx firmasının Spartan6-
LX25T kodlu APKD yongasıdır. Kamera üzerinde bulunan
tüm aktif elemanların denetimi APKD tarafından
yapılmaktadır. Kullanılan APKD'nin belleği kalıcı olmadığı
için üretilen programlama dosyası APKD kartı üzerinde
bulunan flash tipi hafıza birimine yazılır. Bu amaçla, kart
üzerine Xilinx firmasının XCF32P kodlu bellek yongası
konulmuştur.
Ham olarak algılayıcı kartından veya DSP kartından
işlenmiş olarak gelen veri dış dünyaya Ethernet aracılığı ile
aktarılır. Bu nedenle kartın üzerinde National Semiconductor
firmasının DP83865 kodlu Gigabit Ethernet PHY yongası
kullanılmıştır.
Şekil 3: Algılayıcı kartı öbek gösterimi
2.3. DSP Kartı
DSP kartı üzerinde Analog Devices firmasının ADSP-
BF561 numaralı DSP işlemcisi bulunmaktadır. DSP işlemcisi,
APKD kartından gelen ham görüntü verisini işleyerek video
çerçevesi üzerinde hedef tespit ve takip işlemlerini
yapmaktadır. Bu işlemleri yaparken iki adet SDRAM, ve bir
adet flash tipi hafıza birimi kullanılmaktadır.
Kart üzerinde ayrıca, sayısala dönüştürülmüş veriyi analog
olarak dış dünyaya aktarma işlevini yürüten Philips firmasının
SAA7126H numaralı PAL/NTSC video dönüştürücü yongası
kullanılmıştır.
2.3.1. APKD ile DSP arasındaki veri akışı
APKD algılayıcıdan aldığı ham görüntü verisini DSP’ye
aktarır. BF561 DSP işlemcisi iki çekirdeğe sahiptir ve bu iki
çekirdek birbirinden bağımsız çalışabilmektedir. BF561 kodlu
DSP yongası bu özelliği nedeniyle tercih edilmiştir. Aynı
zamanda, DSP doğrudan bellek erişimi DBE birimine de
sahiptir. DSP’nin gerçek zamanlı veri transferi
gerçekleştirebilmesi için APKD ile arasında paralel çevresel
arayüzü (Parallel Peripheral Interface-PPI) kullanılmıştır.
Kamerada bulunan kartların birleştirilmiş hali Şekil 4 ve
Şekil 5’te gösterilmiştir.
Şekil 4: Kızıl ötesi kamera donanımı görüntüsü-1

Şekil 5: Kızıl ötesi kamera donanımı görüntüsü-2
En öndeki kart Algılayıcı kartıdır. Algılayıcı, kartın
önünde bulunan konektörlere takılmıştır. Üst ve altta bulunan
kartlar DSP ve APKD kartlarıdır. Arkada bulunan kart,
Arayüz kartıdır.
Dış kasası ile birlikte tamamlanmış kameranın görüntüsü
Şekil 6'da gösterilmiştir.
Şekil 6: Kamera Dış Görünümü
Kızıl ötesi kamerada ham ya da işlenmiş veriler Gigabit
Ethernet birimi aracılığıyla bilgisayara aktarılır. Verileri
görüntülemek için bilgisayarda bir arayüz programı
koşmaktadır. Şekil 7'de ara yüz programından alınmış bir
görüntü görülmektedir.
Şekil 7: Tasarlanan kızıl ötesi kameradan ara yüz programı
kullanılarak elde edilmiş ham görüntü
3. YAZILIM
Gerekli kontrol algoritmaları APKD üzerinde Verilog
HDL donanım tanımlama dili kullanılarak yapılmıştır. APKD,
algılayıcının analog veriyi ASD'ye aktarması, ASD'nin bu
veriyi APKD karta aktarması, APKD kartının sayısal veriyi
gerekli birimlere aktarması kontrollerini yapmaktadır. Ayrıca,
SAD, ASD, PAL entegrelerinin çalışmasını sağlayan gerekli
sinyalleşmeleri APKD yapmaktadır. Sayısal ya da analog
verinin dış ortama aktarılma işleminde gerekli kontrolleri yine
APKD yapmaktadır.
Kamera üzerinde bulunan DSP işlemcisi üzerinde gömülü
görüntü işleme yazılımları koşar. Bu yazılımlar hedef tespit ve
takip uygulamalarını gerçekleştirmektedir.
3.1. Hedef Tespiti
Hedef tespit için iki yöntem kullanılmıştır. Çerçeve eşik
yönteminde hedef nesnenin yaydığı ısı ortamda bulunan
nesnelerin ısı ortalamalarından yüksektir. Bu durum genlikle
ilişkilendirildiğinde hedef piksellerin genliği arka plan
genliğinden yüksek çıkmaktadır. Dolayısıyla, hedef tespit için
bu yöntem uygun bir yöntemdir.
Bir diğer yöntem ise çerçeve farkı yöntemidir. Çerçeve
farkı yönteminde ardışık görüntü çerçeveleri arasındaki fark
hesaplanmaktadır. Bu durumda, hedefin bulunduğu çerçevenin
genliği arka plan genlik değerlerinden yüksek çıkmaktadır.
3.2. Hedef Takibi
Hedef tespit edildikten sonra hedef takip uygulamasına
geçilmektedir. Hedef takip uygulamasında kullanılan en uygun
yöntem Kalman Filtreleme (KF) yöntemidir.
Bu çalışmada sabit hızlı Kalman Filtesi yöntemi
kullanılmıştır. Hedefin yeni pozisyonuna bir önceki koordinat
ve ölçüm değerleri kullanılarak karar verilir. Hedefin hızı sabit
kabul edildiği için, hafıza kullanımı diğer yöntemlerden daha
düşüktür.
4. TEST SONUÇLARI
Hedef tespit/takip gömülü yazılımları Blackfin BF561
DSP işlemcisi üzerinde koştuğu için, işlemcinin çift çekirdek
ve DMA özelliklerinden dolayı, saniyede 50 çerçeve işlem
hızına ulaşılmıştır.
Hedef tespit/takip sistemlerini test etmek amacıyla iki
farklı görüntü seti kullanılmıştır. İlk set, yapay olarak yarı ve
tam karanlık odalarda, düşük yoğunluklu ışık olan bir ortamda
çekilmiş videodan elde edilen kızılötesi görüntüdür. İkinci test
seti, tasarlanan kızılötesi kamera kullanılarak çekilmiş gerçek
kızılötesi görüntüsüdür. Örnek çerçeveler Şekil 8’de
gösterilmiştir.
(a) (b) (c)
Şekil 8: Test gruplarından örnek imgeler; (a) Yarı karanlık oda, (b)
Tam karanlık oda , (c) Tasarlanan kızılötesi kamera
İlk olarak yapay olarak üretilmiş imge verileri kullanılarak
eşikleme yapılmıştır. Şekil 9’da hedef tespit sonuçları
gösterilmiştir.

(a)
(c)
Şekil 9: (a) Orjinal İmge, (b) İmge histogrramı,
(c) Eşikleme
sonrası hedef (d) Morfolojik işlem sonrası hedef
Yapay imgenin ardından eşikleme tabannlı
yaklaşım gerçek
kızıl ötesi imgeler üzerinde denenmiştir. ŞŞekil
10(a)’da kızıl
ötesi imgede yakalanan hedef gösterilmiştir.
Karşılaştırma için
Otsu’nun eşikleme yöntemi kullanılmıştıır.
Şekil 10(b)’de
Otsu’nun eşikleme yöntemi sonucu ellde
edilen sonuç
gösterilmiştir.
(a)
(b)
Şekil 10: (a) Uyarlanabilir eşikleme yönntemi
ile yakalana
hedef, (b) Otsu yöntemi ile yakalanan hedef f
Şekil 11’de Kalman filtreleme sonuccu
oluşan imgeler
gösterilmiştir. Şekil 11(a)’da x eksenine görre
hedef pozisyonu
gösterilmiştir. Şekilden görüleceği üzere, x ekseninde hedef
tespit ile takip sonuçları arasında bir fark bulunmamaktadır.
Şekil 11(b)’de y eksenine göre hedef pozisyyonu
gösterilmiştir.
y ekseninde x ekseninin aksine, hedeefin
pozisyonunun
zamanla değiştiği gözlenmektedir.
(a)
(b)
Şekil 11: Kalman Filtreleme Sonuçları: (aa)
x eksenine göre
hedef tespit ve takip sonuçları, (b) y ekseninne
göre hedef tespit
ve takip sonuçları
(b)
(d)
5. SONUUÇLAR
Bu çalışmada, kızılötesi kammera
tasarımı ve bu kamerayı
kullanarak gerçek zamanlı gömmülü
hedef tespit ve takip
uygulamaları gerçekleştirilmiştirr.
Kamera, algılayıcıdan imge
verisini okumak için gerekli kkontrolleri
sağlayan, çevresel
birimlerin ve DSP'nin kontrolüünü
sağlayan APKD kartına
sahiptir. APKD ve DSP'nı birrbiriyle
haberleşmesinde PPI
protokolü kullnılmıştır. DSP, ggerçek
zamanlı olarak hedef
tespit ve takip uygulamalarını geerçekleştirebilmektedir.
Hedef
tespit ve takip sistemleri için kulllanılan
algoritmalar, hesapsal
yükünün az olması nedeniyle ddiğer
algoritmalara göre daha
avantajlıdır. Testler yapay olarakk
üretilen kızılötesi görüntü ile
tasarlanan kameradan elde edilen kızılötesi görüntü
kullanılarak yapılmıştır. Her ikki
görüntü verisi kullanılarak
yapılan testler sonucu, gerçek zzamanlı
hedef tespit ve takip
uygulamalarının gerçekleştirildiğği
gözlemlenmiştir.
Tasarlanan kamera 16 MHzz
saat frekansında, 640×480
uzamsal çözünürlüğü için saniyede 50 çerçeve
işleyebilmektedir.. Kameranın güç tüketimi 4.8 Watt'tır.
Kamera tasarımı sonucunda, kkameranın
üzerinde bulunan
LX25T model APKD kaynaklarınnın
%25'i kullanılmıştır.
6. KAYNNAKÇA
[1] L. Changchun, J. Nan, J.SSi,
G.P. Abousleman,"Robust
target detection and trackinng
in outdoor infrared video,"
Acoustic, Speech and Signaal
Processing, 2008. ICASSP
2008. IEEE International Conference
on, pp. 1489-1492,
March 2008.
[2] R.Walczyk, A. Armitage, T. David Binnie, "FPGA
Implementation of Hot Spott
Detection in Infrared Video,"
ISSC 2010, UCC, Cork, Junne
23-24
[3] T.E. Salem, D. Ibitayo, B.RR.
Geil, "Validation of Infrared
Camera Thermal Measuremments
on High-Voltage Power
Electronic Components, ," Instrumentation and
Measurement, IEEE Transaaction
on, vol. 56, pp. 1973-
1978, October 2007.,
[4] A. Cherian, J. Anders, VV.
Morellas, B. Mettler, N.
Papanikolopoulos, "Motionn
estimation of a miniature
helicopter using a single onboard camera," pp. 4456-
4461, July 2010.
[5] T. Sosnowski, G. Bieszczzad,
M. Kastek, H. Madura,
"Processing of the image frrom
infrared focal plane array
using FPGA-based system," " Mixed Design of Integrated
Circuits and Systems (MIXXDES),
2010 Proceedings of
the 17th International Connference,
pp. 581-586, June
2010.
[6] Z. Tang, X. Wang, "An Effficient
Algorithm for Infrared
Small Target Detectionn,"
Second International
Conference on Information aand
Computing Science, , vol.
2, pp.51-54, 2009.
[7] M.S. Alam, A.Bal, "Improvved
Multiple Target Tracking
via Global Motion Compensation
and Optoelectronic
Correlation", Industrial Eleectronics,
IEEE Transactions
on, vol.54, pp 522-529, Feb. . 2007.
[8] W.Kun, Z. Yongqiang, P. QQuan,
Z. Hongcai, "IR Target
Detection Based onn
Kernel PCA and
QuadraticCorrelation Filter, ," Image and Graphics, 2007.
ICIG 2007. Fourth Internatiional
Conference on. pp. 448-
452, Aug. 2007