Bilgisayarla Görü İle Deney Hayvanlarında Dönme Hareketi Takibi ...

Bilgisayarla Görü İle Deney Hayvanlarında Dönme Hareketi Takibi
Tracking the Rotation of Lab Animals via Computer Vision
A. Volkan Atlı 1 , M. Kemal Güllü 1 , Sarp Ertürk 1 , Ayşe Karson 2 , Nurbay Ateş 2 ,
1 Kocaeli Üniversitesi İşaret ve Görüntü İşleme laboratuarı (KULIS), Elektronik ve Haberleşme
Mühendisliği Bölümü, Kocaeli Üniversitesi, 41040, İzmit/KOCAELİ
2 Fizyoloji Anabilim Dalı, Tıp Fakültesi, Kocaeli Üniversitesi, 41040, İzmit/KOCAELİ
avatli@yahoo.com, {kemalg, sertur}@kou.edu.tr, akarson@yahoo.com, nates@kou.edu.tr
Özetçe
Bu çalışmada, bir renkli QVGA kamera, bilgisayar ve
kafesten oluşturulan deney düzeneğinden elde edilen gerçek
zamanlı video üzerinde, çeşitli görüntü işleme yöntemlerinin
kullanılması ile deney hayvanına ait dönüş hareketinin takibi
gerçekleştirilmektedir. Yöntemde öncelikle gri-ölçekli
morfolojik işlemler ile uzamsal temizlik yapılmakta ve imge
çerçevesinde deney hayvanına ait bölge belirlenmektedir.
Öklid uzaklığı hesabı ve Radon dönüşümü kullanılarak deney
hayvanının doğrultusu bulunmaktadır. Belirlenen durum
modeline bağlı olarak dönüş durumu ve tur sayısı
çıkartılmaktadır. Geliştirilen sistem farklı yapıdaki sahnelerde
kullanılmış ve başarılı sonuçlar elde ettiği gözlemlenmiştir.
Abstract
In this work, rotation information of lab animals are extracted
using test videos obtained with a computer vision system that
includes a QVGA color camera, PC, cage and the developed
software. Grayscale morphological operations are performed
to remove small artefacts and then the lab animal region is
extracted for a given image frame. Euclidean distance and
Radon transforms are performed to compute the rotation
direction afterwards. The information of rotation and number
of turns are obtained taking the predefined state model into
account. It is observed that the developed system gives
successful results for different kinds of scenes.
1. Giriş
Tıbbi deney hayvanlarının hareket yönü, dönüş hızı, dönüş
sayısı gibi çeşitli hareket ve davranışlarının görsel analizi
fizyoloji, farmakoloji (ilaç bilimi) ve toksikoloji (zehir bilimi)
gibi bir çok araştırma alanında çok önemli bir yere sahiptir.
Bu tür analizler özellikle ilaç endüstrisinde, yeni bulunan veya
geliştirilmekte olan bir ilacın canlı üzerindeki etkilerinin
araştırılması gibi çalışmalarda kullanılmaktadır. Video
görüntülerinde deney hayvanlarının takibi üzerine çok fazla
çalışma yapılmamıştır. Birden fazla deney hayvanının takibi
için, çevrit değişimini ele alan, aktif çevrit modelli optik akış
yöntemi [1]’de önerilmiştir. [2]’de RFID temelli takip sistemi
kullanılarak deney hayvanlarının konumları ve geçtiği yollar
bulunmaktadır.
Bu çalışmada ise, ilaç deneylerinde kullanılan ve verilen
ilacın etkisiyle sürekli olarak saat yönüne ya da tersi yöne
doğru dönme eğilimi gösteren deney hayvanlarının dönüş
analizinin otomatik olarak bilgisayarla görü ile
gerçekleştirilebilmesi için bir kamera, DirectX 9.0 SDK
programı yüklü bir PC ve çekim düzeneğinden oluşan bir
sistem kurulmuştur. Kurulan deney düzeneğinden elde edilen
gerçek zamanlı video, iki aşamalı değerlendirilmektedir. İlk
aşamada, her imge çerçevesi için uzamsal olarak deney
hayvanına ait genel yapı belirlenmektedir. İkinci aşamada ise,
her imge çerçevesinin zamansal ilişkisi değerlendirilerek
sürekli bir dönüş hareketinin oluşup oluşmadığı kontrol
edilmektedir. Çalışmanın yazılımı, Visual C++.NET
platformunda yazılmıştır ve iki sınıftan oluşmaktadır. İlk sınıf
(FRAME_KULIS) her imge çerçevesi üzerinde uzamsal olarak
işlem yapmakta ve çıkış olarak deney hayvanına ait doğrultu
bilgisini üretmektedir. İkinci sınıf (VIDEO_KULIS) ise diğer
sınıfın ürettiği doğrultu bilgisini kullanarak, deney hayvanının
bulunabileceği doğrultulara ilişkin önceden tanımlanmış olan
durum modelini kullanarak, hayvanın dönüş yönü, dönüş hızı,
dönüş sayısı ve dönüş zamanı gibi bilgileri çıkış olarak
vermektedir (Şekil 1).
Kameradan alınan imge çerçeveleri
FRAME_KULIS
İmge çerçevelerine ait doğrultu bilgisi
VIDEO_KULIS
Deney hayvanının dönüşüne ait durum
Şekil 1. Sistemin Çalışma Şeması.
2. Önerilen Sistem
2.1. Doğrultu Bilgisinin Bulunması
İlk aşamada, ilgili imge çerçevesi için deney hayvanına ait
doğrultu uzamsal olarak bulunmaktadır. Bu işlemin
yapılabilmesi için deney hayvanının, her bir imge
çerçevesindeki yerinin belirlenmesi gerekmektedir. Bu amaçla
sırasıyla, işlem yoğunluğunu azaltmak için imge çerçeveleri
alt örneklenmektedir. Deney hayvanına ait bölgenin arka
plandan ayırt edilmesi için incelikle gri-ölçekli morfolojik ön
işlemler yapılmakta, ardından da sınıflandırma işlemi ile ön
plan nesnesi elde edilmektedir. Son olarak, Öklid uzaklığı
(Euclidean distance) ve Radon dönüşümü kullanılarak deney
hayvanının doğrultusu bulunmaktadır.
2.1.1. İmge Çerçevelerinin Alt Örneklenmesi
Sistemin gerçek zamanlı çalışması istendiğinden, işlenecek
veri miktarını azaltmak için öncelikle imge çerçeveleri dört
kat alt örneklenmektedir. Alt örnekleme işlemi için çift
doğrusal ara değerleme kullanılmaktadır [3]. Bu sayede işlem

yükünün azaltılmasının yanında, imgedeki gürültü etkisi de
yumuşatılmış olmaktadır [4].
2.1.2. Gri-Ölçekli Morfolojik Ön-İşlemler
İmge çerçevesinde deney hayvanına ait bölgenin etkin bir
şekilde sınıflandırılabilmesi için, sahne içerisindeki bozucu
etkilerin (aydınlatmadan yerel parlaklıklar ya da kobayın
pisliği gibi nedenlerden kaynaklanan istenmeyen etkilerin)
giderilmesi gerekmektedir. Bu amaçla gri-ölçekli morfolojik
işlemler (aşındırma, yayma, geri çatma) kullanılmaktadır. Griölçekli
morfolojik ön işlemlerin uygulama sırası Şekil 2’de
gösterilmektedir.
Gri tonlu
imge
I
GRİ
Gri-ölçekli
aşındırma
I
A
Geri çatma
I
GA
Gri-ölçekli
yayma
Y _ GA
Geri çatma
Bozucu etkiler
giderilmiş imge
I
I
GY _ GA
Şekil 2. Gri-ölçekli morfolojik ön işlemler.
Öncelikle gri tonlu imge üzerinden gri-ölçekli aşındırma
ve geri çatma yapılarak, sahne içerisindeki yerel parlaklıkların
giderilmesi amaçlanmaktadır. Gri-ölçekli aşındırma işleminin
hızlı olması için van Herk/Gil-Werman (vHGW) algoritması
[5], [6]; geri-çatma işleminde ise yine yazılımsal anlamdaki
hızdan dolayı “hızlı karma gri-ölçekli geri-çatma” yöntemi
kullanılmaktadır [7]. Gri-ölçekli aşındırma işleminde
kullanılan yapı elemanı ( S ), kendinden daha küçük boyutlara
sahip, yüksek ışıklılık değerli bölgeleri yok etmek amacı ile
kullanılmaktadır. Gri-ölçekli aşındırma işlemi aşağıdaki gibi
tanımlanmaktadır.
( , ) = ( Θ )( , ) =
( ) ( ) ( )
IAs t I S s t
min , ( , ) , ;( , )
{ IGRİ s+ x t+ y − S x y s+ x t+ y ∈DIx y ∈D
}
GRİ
S
Gri-ölçekli aşındırma işlemi sonrasında elde edilen imge
I A olmak üzere, çekim düzeneğinden alınan örnek bir imge
çerçevesi için I GRİ ve I A imgeleri Şekil 3’de görülmektedir.
Gri-ölçekli aşındırma işlemi sonrasında, I GRİ imgesi
kullanılarak I A imgesi üzerinden gri-ölçekli geri çatma
yapılarak, sahne içerisindeki yüksek ışıklılık değerine sahip
yerel bölgelerin atılması sağlanmaktadır. Gri-ölçekli geri
çatma işlemi (2)’de verildiği gibi ifade edilebilir [7].
( st , ) DI, IGA( st , ) ρI
( I )( , )
GRİ A st
= max{ k∈[ 0, N −1 ]( s, t) ∈ρT
( ) ( T ( ) ) }
k I k IA
GRİ
∀ ∈ =
(a) (b)
Şekil 3. a) I GRİ , b) I A imgeleri.
(1)
(2)
burada
ρ I geri çatılmış imgeyi (
GRİ
GA
I ), T ( I ) ve T ( I )
k A
k GRİ
de k değişkenine bağlı olarak eşiklenmiş imgeleri
göstermektedir. Şekil 4’de, Şekil 3’de verilen I GRİ ve geri
çatılmış imge ( I GA ) görülmektedir.
(a) (b)
Şekil 4. a) I GRİ , b) I GA imgeleri.
Gri ölçekli morfolojik işlemlerin sonraki aşamasında ise,
gri-ölçekli yayma ve geri çatma işlemleri ile sahne içerisinde
deney hayvanı dışında kalan koyu tonlu bölgelerin (örn;
kobay dışkısı ve gölge etkisi) imge çerçevesinden atılması
amaçlanmaktadır. Gri-ölçekli yayma işlemi, aşındırma işlemin
tersi olacak şekilde, yapı elemanından daha küçük alanlara
sahip, düşük ışıklılık değerli bölgeleri yok etmek amacı ile
kullanılmaktadır. Gri-ölçekli yayma işlemi aşağıdaki gibi
tanımlanmaktadır.
IY _ GA( s, y) = ( IGA ⊕ S)( s, t)
=
(3)
max { IGA ( s+ x, t + y) − S( x, y) ( s+ x) , ( t + y) ∈DI;( x, y) ∈D
}
GA
S
Şekil 4’de verilen I GA ve gri-ölçekli yayma işlemi
sonrasında elde edilen imge ( I Y _ GA ) Şekil 5’da verilmektedir.
(a) (b)
Şekil 5. a) I GA , b) I Y _ GA imgeleri.
Gri-ölçekli yayma işlemi sonrasında, I GA imgesi
kullanılarak I Y _ GA imgesi üzerinden gri-ölçekli geri çatma
yapılarak elde edilen imgede ( I GY _ GA ), sahne içerisinde deney
hayvanına ait olmayan yerel koyulukların giderildiği
Şekil 6’da açıkça görülmektedir.
(a) (b)
I , b) I GY _ GA imgeleri.
Şekil 6. a) GA
2.1.3. Deney Hayvanın Elde Edilmesi
Gri-ölçekli morfolojik işlemler sonrasında elde edilen I GY _ GA
imgesinde, deney hayvanın yerinin bulunabilmesi için, ilk
olarak Sobel matrisi kullanılarak bu imgenin eğil (gradient)
değerleri bulunmaktadır. Eğil imgesi ( I GRAD ) Şekil 7’de
görülmektedir.

(a) (b)
Şekil 7. a) I GY _ GA , b) I GRAD imgeleri.
Elde edilen I GRAD imgesinde deney hayvanına ait bölgenin
ayrıştırılabilmesi için bu aşamada da gri-ölçekli geri çatma
işlemleri yapılmaktadır. Bu amaçla öncelikle I GY _ GA
imgesindeki en küçük ışıklılık değerine sahip piksellere −∞
9
anlamına gelecek küçük bir değer ( 2 )
− , diğer noktalara da
9
+∞ anlamına gelecek büyük bir ( 2 ) değerin atandığı I FM
imgesi tanımlanmaktadır. Burada amaçlanan, kesin olarak
arka plana ait olduğu bilinen belirli bir bölgeye çok küçük
değerler atılarak geri çatma sonrasında oluşan imgede arka
planın koyu tonlu kalmasının sağlanmasıdır. Şekil 8’de,
I GY _ GA imgesi ile bu imgedeki en küçük ışıklılık değerine
sahip (en koyu) bölge görülmektedir.
(a) (b)
Şekil 8. a) I GY _ GA , b) I FM imgeleri.
Aynı zamanda I GRAD imgesinde de, I GY _ GA imgesindeki en
küçük ışıklılık değerine sahip piksellerin olduğu konumlara
9
+∞ anlamına gelecek 2 değeri yazılmaktadır. Bu
işlemlerden sonra I GRAD ve I FM imgeleri kullanılarak, I FM
imgesi üzerinden gri-ölçekli geri çatma işlemi
gerçekleştirilmektedir. Esasında, gri-ölçekli geri çatma
sayesinde gri tonlu bölütlere ayrılmış yeni bir J imgesi
oluşmaktadır. Bu işlem sonucunda örnek çerçeve için elde
edilen J imgesi Şekil 9’da görülmektedir.
(a) (b)
Şekil 9. a) I GRAD , b) J imgeleri.
İmge çerçevesindeki bozucu etkilerin gri-ölçekli
morfolojik işlemler ile giderilmesinden sonra, I GY _ GA
imgesinin en büyük ışıklılık değerine sahip bölgenin yalnızca
deney hayvanına ait bölge olduğu görülmektedir. Bu bilgi, J
imgesinden deney hayvanına ait bölgesinin ikili imge olarak
elde edilmesinde kullanılmaktadır. Bu amaçla öncelikle
I imgesindeki en büyük ışıklılık değerinin olduğu piksel
GY _ GA
konumu bulunmakta ve bu konumun J imgesindeki iz
düşümündeki piksel değeri elde edilmektedir. J imgesinde
bulunan piksel değerindeki bütün piksellere ‘1’, diğer
piksellere de ‘0’ değeri atanarak ikili maske imgesi
(a) (b)
Şekil 10. a) J , b) J m imgeleri.
oluşturulmaktadır ( J m ). Örnek imge için elde edilen J m ikili
imgesi Şekil 10’da verilmektedir.
Şekil 10’dan de görüldüğü üzere, J m imgesinde gürültü
bileşenlerinin yanında, deney hayvanına ait bölgede kayıp
pikseller oluşabilmektedir. Gürültü bileşenlerini bastırmak
için, J m ikili imgesinde deney hayvanı bölgesine bağlı
olmayan pikseller atılmaktadır. Bunun için, I GY _ GA imgesinde
en büyük ışıklılık değeri tespit edilerek bulunan deney
hayvanı bölgesinin J m imgesindeki izdüşüm konumlarında
bulunan ve deney hayvanına ait olduğu düşünülen bölüt
korunmakta, diğer aday bölütler atılmaktadır. Bir sonraki
aşamada deney hayvanı üzerine düşen fakat bu aşamaya kadar
algılanamamış (kayıp) pikseller doldurulmaktadır. Bu amaçla,
I imgesindeki en küçük ışıklılık değeri tespit edilmekte
GY _ GA
ve J m imgesinin bu konuma karşılık gelen arka plan bölütleri
korunurken, diğer arka plan bölütleri deney hayvanına ait
olacak şekilde değiştirilmektedir. Sonuçta elde edilen
gürültüsüz ikili maske imge ( J m_s ) Şekil 11’de
görülmektedir.
(a) (b)
Şekil 11. a) J m , b) J m_s imgeleri.
Deney hayvanına ait bölgeyi bulmak için yüksek sayıda
yapılan morfolojik işlemlerin en önemli nedeni,
gerçekleştirilen sistemin değişik şartlar altında da deney
hayvanını hatasız şekilde elde etmesine olanak sağlamaktır.
Şekil 12’de verilen örneklerde iki farklı ortamdan elde edilen
imge çerçeveleri ve deney hayvanına ait ikili imgeler
görülmektedir.
Şekil 12. Farklı ortamlarda elde edilen imge çerçeveleri ve
deney hayvanına ait ikili imgeler.
2.1.4. Deney Hayvanın Doğrultusunun Bulunması
İlgili çerçevede deney hayvanına ait bölgenin bulunmasından
sonra, deney hayvanının doğrultusunun bulunması için J m_s ikili imgesi üzerinden Öklid uzaklığı hesabı [8] yapılmaktadır.

(a) (b)
Şekil 13. a) J m_s , b) J Öklid imgeleri.
Örnek imge için elde edilen J m_s ikili imgesine ait Öklid
uzaklığı ( J Öklid ) Şekil 13’de görülmektedir.
Elde edilen J Öklid imgesinde, uzaklık değerlerinin en
büyük değerinin %75’inden büyük olan pikseller Radon
dönüşümüne [9] sokulmaktadır. Elde edilen Radon dönüşümü
matrisinde en büyük genliğin sahip olduğu açı değeri deney
hayvanının doğrultusunu vermektedir. Radon dönüşümünde
hız gereksiniminden dolayı 0 ° ile 179 ° arasındaki tüm tam sayı
dereceler yerine sadece 20 °’ lik açı aralıkları alınmaktadır.
Bunun sonucunda deney hayvanının doğrultusunda 20 ° ’lik bir
nicemleme hatası oluşmaktadır. Fakat bu hata hem birikimli
olmadığından hem de görsel olarak fark edilemeyeceğinden
sorun yaratmamakta, sistemin gerçek zamanlı çalışma
gereksinimini karşılaması açısından da avantaj sağlamaktadır.
Örnek J Öklid imgesi için, Radon dönüşümü sonrasında elde
edilen Radon dönüşüm matrisi ( J Radon ) ve deney hayvanının
bulunan doğrultusu Şekil 14’de görülmektedir.
Şekil 14. a) Radon
(a) (b)
J , b) deney hayvanının bulunan doğrultusu.
2.2. Deney Hayvanının Dönüş Durumunun Belirlenmesi
İmge çerçevesi için elde edilen deney hayvanına ait
doğrultu bilgisi, önceki doğrultu bilgileri ile birlikte
değerlendirilerek deney hayvanının dönüş durumuna ait
gerekli bilgiler ortaya çıkarılmaktadır. Bu amaçla ilk olarak
deney hayvanının doğrultusunun alabileceği tüm durumları
içeren bir durum modeli oluşturulmuştur. Bu durum modeli,
Şekil 15’de de görüldüğü gibi, 0 ° ile 360 ° lik daireyi kapsayan
20 ° lik açı aralıklarına sahip 18 farklı durumdan meydana
gelmektedir. Bu durum modeli kullanılarak elde edilen deney
hayvanının saat yönü tersindeki tam dönüşe ait örnek
sonuçlar, Şekil 16’da görülmektedir.
3. Sonuç
Bu çalışmada deney hayvanlarının otomatik dönme hareketi
analizi gerçekleştiren özgün bir bilgisayarla görü yaklaşımı
kafesten oluşturulan deney düzeneğinden ve geliştirilen
yazılımdan oluşmaktadır. Yöntemde öncelikle yakalanan
renkli imge gri tonlu imgeye dönüştürülmektedir. Gri ölçekli
morfolojik işlemler ile, deney hayvanının imge çerçevesinden
elde edilmesini zorlaştıran bozucu etkenler bastırılmakta ve
deney hayvanı bölgesi elde edilmektedir. Daha sonra Öklid
Şekil 15. Tanımlanan durum modeli.
Şekil 16. Deney hayvanının ters-saat yönündeki dönüşü.
uzaklığı hesabı ve Radon dönüşümü kullanılarak deney
hayvanının doğrultusu bulunmaktadır. Dönüş doğrultusu
bilgisi hesaplandıktan sonra, belirlenen durum modeline bağlı
kalarak dönüş durumu ve tur sayısı çıkartılmaktadır.
Geliştirilen sistemin çerçeve işleme hızı, çalıştırıldığı
bilgisayarın donanımına bağlı olmakla birlikte, bu hızın
deneylerde 5 fps ’ye sınırlandırılması uygun görülmüştür.
Geliştirilen sistem farklı yapıdaki sahnelerde kullanılmış ve
başarılı sonuçlar elde ettiği gözlemlenmiştir.
4. Kaynakça
[1] Kalafatic, Z., “Model-Based Tracking of Laboratory
Animals,” ICIAP Proc. of 11th Int. Conf. on Image
Analysis and Processing, pp. 334-339, 2003.
[2] Kritzler, M., Lewejohann, L., Krüger, A., Raubal, M.,
Sachser, N., “An RFID-Based Tracking System for
Laboratory Mice in a Semi-Natural Environment,”
PTA2006 Workshop, Dublin, Ireland, 2006.
[3] Pres, W. H., Teukolsky, S. A., Vetterling, W. T., and
Flannery, B.P., “Numerical Recipes in C,” Cambridge
University Press, Cambridge, NY, USA, 1992.
[4] Urhan, O., Güllü, M.K., Ertürk, S., “Modified Phase-
Correlation Based Robust Hard-Cut Detection with
Application to Archive Film,” IEEE Trans. on Circuits
and Systems for Video Technology, Vol. 16, No. 6,
pp. 753-770, 2006.
[5] Gil, J., Werman, M.,. “Computing 2-d Min, Median, and
Max Filters” IEEE Trans. Pattern Anal. Mach. Intell.
Vol. 15, No. 5, pp. 504–507, 1993.
[6] Herk, M., “A Fast Algorithm for Local Minimum and
Maximum Filters on Rectangular and Octagonal Kernels”
Pattern Recogn. Lett. Vol. 13, No. 7, pp. 517-521, 1992.
[7] Vincent, L., “Morphological Grayscale Reconstruction in
Image Analysis: Applications and Efficient Algorithms”,
IEEE Trans. on Image Proc., Vol. 2, No. 2, pp. 176-201,
1993.
[8] Breu, H., Gil, J., Kirkpatrick, D., and Werman, M.,
“Linear Time Euclidean Distance Transform
Algorithms,” IEEE Trans. Pattern Analysis and Machine
Intelligence, Vol. 17, No. 5, pp. 529-533, 1995.
[9] Ronald, N. Bracewell, “Two-Dimensional Imaging,”
Prentice-Hall, pp. 518-525, 1995.