3-B Yüz Modelleme ve Yerel Deformasyonlar 3-D Face Modeling ...

3-B Yüz Modelleme ve Yerel Deformasyonlar
3-D Face Modeling and Local Deformations
Ersin ÖZÜAĞ , M. Kemal GÜLLÜ, Oğuzhan URHAN, Sarp ERTÜRK
Elektronik ve Haberleşme Mühendisliği Bölümü
Kocaeli Üniversitesi İşaret ve Görüntü İşleme Laboratuvarı (KULIS)
Kocaeli Üniversitesi
ersinsys1@gmail.com , {kemalg,urhano,sertur}@kocaeli.edu.tr
Özetçe
Bu çalışmada, bir DLP projeksiyon cihazı ve yüksek
çözünürlüğe sahip bir fotoğraf makinesi ile insan yüzleri
3-Boyutlu (3-B) olarak bilgisayar ortamında elde edilmiş ve
çeşitli deformasyonlara uğratılmıştır. Sistem kalibrasyonu
otomatik olarak, kalibrasyon örüntüsünden alınan bir
imgeyle gerçekleştirilmiştir. Yüze projektör yardımı ile renkli
örüntü yansıtılarak derinlik bilgisi elde edilmiştir. Deneysel
sonuçlar bu yöntemle derinlik bilgisinin yüksek çözünürlükte
elde edilebildiğini göstermiştir. Derinlik bilgisinin elde
edilmesinden sonra kullanıcının 3-B model üzerinde
modifikasyonlar yapabilmesini sağlayacak bir grafiksel
kullanıcı arayüzü (GUI) tasarlanmıştır.
Abstract
In this work, 3-D deformable face models are obtained at a
computer by making use of a DLP projector and a high
resolution camera. The system calibration is carried out
using a calibration pattern image. A colored structured light
is projected to face to obtain depth information. Experiments
show that high resolution depth information can be extracted
with this approach. Furthermore, a graphical user interface
(GUI) is designed to enable user controlled modifications of
the 3-D model.
1. Giriş
3-B bilgisi tıp, biyoloji, insansız kontrol, nesne tanıma gibi
sistemlerde yaygın şekilde kullanılmaktadır. Bir çok
uygulamada 3-B modelleme için, stereo görme,
yapılandırılmış ışık, kodlanmış ışık gibi yöntemler
kullanılmıştır [1].
Nesnelerin 3-B görüntülerinin bilgisayar ortamında
oluşturulabilmesi için farklı yöntemler olmakla birlikte çizgi
lazer [2] veya projeksiyon cihazı kullanımı ve bir kamera
sayesinde düşük maliyetli sistemlerin oluşturulması
mümkündür [3-4]. Çizgi lazer kullanımı durumunda tarama
için kullanılacak cihazın hareketli parçalar içermesi
gerekmektedir. Projeksiyon cihazı kullanılması durumunda
ise bir örüntünün taranacak cisim üzerine yansıtılması
sonrasında bu görüntünün kamera veya fotoğraf makinesi ile
alınıp işlenmesi gerekmektedir. Dolayısıyla projeksiyon
cihazı kullanımı durumunda herhangi bir hareketli parçaya
gereksinim duymayan bir 3-B tarama cihazı
gerçekleştirilebilmektedir [4].
Bu çalışmada yukarıda önerilen yöntemle elde edilen
3-B verilerin istenen bölgelerinde çeşitli yerel deformasyon
yöntemleri uygulanması amaçlanmıştır. Bu
deformasyonların 3-B veride görsel bir bozulmaya yol
açmadan pürüzsüz bir şekilde yapılması sağlanmıştır.
Bu çalışmada, [4]’tekine benzer şekilde insan yüzünden
yüksek çözünürlükte derinlik bilgisi çıkarılması için
projeksiyon cihazı ve yüksek çözünürlüklü fotoğraf
makinesinden oluşan bir donanım kullanılmıştır. Kullanılan
donanım, bir bilgisayar tarafından üretilen örüntülerin
taranacak cisme yansıtılması ve sonrasında fotoğraf makinesi
ile yazılım geliştirme kiti (SDK) kullanılarak alınan bu
görüntülerden derinlik bilgilerinin çıkarılması mantığı
üzerine çalışmaktadır. Daha sonra elde edilen 3-B derinlik
bilgileri OpenGL yardımıyla bilgisayar ortamında çeşitli
yerel deformasyonlara uğratılmıştır.
2. 3-B Tarama Sistemi
3-B tarama amaçlı geliştirilen sistem bir cisim üzerine
yansıtılan yapısal ışığın (structured light) cismin biçimine
göre yapı değiştirmesi mantığı üzerine kurulmuştur. Şekil
1(a)’da bu yaklaşımın temel mantığı gösterilmiştir. Şekilden
açıkça görüldüğü gibi, ışık kaynağına göre farklı bir açıdan
bakıldığında, yansıtılan yapısal ışığın cismin şekline göre
deforme olduğu ve derinlik bilgisini açığa çıkardığı
görülmektedir.
Şekil 1: (a)Yapısal ışık kaynağı ile tarama mantığı, (b) 3B
tarama sistemi blok şeması
2.1. Donanım
Bahsedilen yapısal ışığın bir bilgisayar yardımıyla projektör
ile üretilmesi ve yine aynı bilgisayara bağlı bir kamera ile bu
görüntülerin alınması mümkündür. Şekil 1(b)’de bu
konfigürasyonun blok gösterimi verilmiştir. Bu çalışma için
tercih edilen projeksiyon cihazı 1024×768 piksel
çözünürlükte ve 3000 ANSI lümen şiddetinde ışık
yayabilmektedir. Kullanılan fotoğraf makinesi ise
12Megapiksel çözünürlükte görüntü elde edebilmektedir.
Bir 3-B modelleme sisteminin başarılı ve doğru
modelleme yapabilmesi için öncelikle kalibrasyonunun
yapılması gerekmektedir [5]. Bu nedenle sistemin
donanımsal hatalarının giderilmesi için gerekli kalibrasyon
işlemleri, otomatik olarak uygun bir ortamda kalibrasyon
(b)

örüntüsünden alınan görüntüyle sağlanmıştır. Böylece
kamera geometrisinden ve lens bozunumundan kaynaklanan
hatalar düzeltilmiştir.
Yüksek çözünürlükte 3B modellemenin yapılabilmesi
için öncelikle yüksek çözünürlükte derinlik bilgilerinin elde
edilmesi gerekmektedir. Ancak, bu işlemlerinin işlemsel
yükünün fazla olması, derinlik bilgisi çıkarımı için kullanılan
derinlik betimleyici örüntünün önemini arttırmaktadır.
Bu çalışmada kullanılan derinlik betimleyici örüntü
[4]’tekinden farklı olarak Şekil 2(a)’da görüldüğü gibi
çizgiler arası ayırt ediciliği en büyükleyecek yedi ayrı
renkten oluşmaktadır [3]. Böylece ani derinlik değişimi olan
bölgelerin takibi [4]’teki yönteme göre kolaylaşmaktadır.
Yüze yansıtılan örüntüdeki karşıtlığın yüksek olması, daha
iyi sonuçların alınmasını sağlamaktadır [3]. Ancak,
projektördeki her bir renk kanalının diğer kanalları
etkilemesiyle renk girişiminin oluşması [6], karşıtlığı fiziksel
olarak sınırlamaktadır. Bu nedenle kullanılan her örüntü
bileşeninin (üç satır) arasında iki satır siyah örüntü (geçiş
örüntüsü) oluşturulmuştur. Böylece örüntüdeki renk girişimi
engellenip, karşıtlık olabildiğince yüksek tutulmaya
çalışılmıştır. Şekil 2(c)’de yukarıda açıklanan yapıdaki
örüntü kullanılarak elde edilen bir ham test imgesi
görülmektedir.
2.2. Yöntem
Çalışmanın akış şeması Şekil-3(a)’da verilmiştir. Yüz
bölgesinin belirlenmesi aşamasında kullanıcı desteği ile yüz
bölgesi işaretlenmektedir. Bu aşamada elde edilen görüntü
Şekil-3(b)’de verilmiştir. Bu yöntemde derinlik bilgisinin
elde edilmesi için kullanılan yaklaşımda öncelikle imgedeki
gürültüleri yok etmek ve renk takibini kolaylaştırmak için 2B
kumsaatimsi alçak geçiren süzgeç (2D hourglass shaped lowpass
filter) ve 1B bant geçiren süzgeç kullanılarak hem yatay
şeritlerin olabildiğince yumuşatılması sağlanmış hem de
şeritlerin düşey düzlemdeki farklarını arttırarak görüntü
[3]’deki gibi iyileştirilmiştir. Burada süzgeçlenmiş imgede
her bir renk kanalının tepe noktasının tespiti ve bunların
takibi gerekmektedir. Bu nedenle her bir renk şeridinin 3 renk
kanalı (RGB) için de tepe noktaları hesaplanmıştır.
Sonrasında üç renk kanalının tepe noktaya ulaştığı yerlerin
ortalaması alınarak her bir renk şeridinin ortalama tepe
noktası [3]’dekine benzer şekilde hesaplanmıştır.
Şeritlerin düşeydeki tepe noktaları hesaplandıktan sonra,
orijinal imge (Şekil-3(b))’de bu noktalara karşılık gelen
piksellerin renklerinin belirlenmesi gerekmektedir. İlgili
piksellerin projektörden yansıtılan örüntüdeki 7 ayrı renge
sınıflandırılması için [3]’de uygulanan KMeansLineFit
algoritması kullanılmıştır. Bu algoritma piksellerin RGB
uzayındaki dağılımına göre 3B uzayda sınıflandırma
yapmaktadır. Şekil-3(b)’deki imgenin hesaplanan tepe
noktalara karşılık gelen piksellerinin RGB uzaydaki dağılımı
Şekil-5’te verilmiştir. Burada yedi farklı renge ilişkin
kümeler kabaca görülmektedir. Bu aşamada kullanılan
KMeansLineFit yöntemi her bir pikselin hangi renge ait
olduklarının kararını vermektedir. Ancak yapılan deneyler
sırasında genlik değeri düşük olan piksellerde sınıflandırma
başarımının istenenden düşük olduğu gözlemlenmiştir. Bu
nedenle bu çalışmaya özgün olarak orijinal imge I (Şekil-
3(b)), süzgeçlenmiş imge I f ile gösterilmek üzere,
Iw I I f w şeklinde w çarpanı ile bir ölçekleme
yaparak elde edilen I w üzerinde KMeansLineFit yöntemi
yeniden çalıştırılmıştır.
(a)
(b) (c)
Şekil 2: (a) Kullanılan örüntünün bir bölgesi (90 derece
döndürülmüş)[3], (b) örüntü yansıtılmadan çekilen imge
(doku bilgisi için), (c) 3-B modelleme sistemiyle elde edilen
ham imge.
(a)
(b)
Şekil 3: (a) Önerilen yöntemin akış şeması[3], (b) Yüz
bölgesinin belirlenmesi.
Bu durumda önceki aşamada sorun yaratan piksellerin daha
doğru şekilde sınıflandığı görülmüştür. Şekil-5’te ölçekleme
yapılmış imgenin renk dağılımı verilmiştir.
Bu aşamadan sonra da KMeansLineFit yöntemi
tarafından hatalı olarak sınıflanan pikseller bulunmaktadır.
Düzgün bir 3-B modelin oluşturulabilmesi için bu etkilerinde
de giderilmesi gerekmektedir. Bu amaçla öncelikle
KMeansLineFit işlemi sonrası tek renge sahip en büyük şerit
bulunmaktadır. Bu şerit yardımıyla bütün imge yukarı ve
aşağı yönde taranır ve şeritler sıralanır. Bu yöntemle aynı
şeride ait olduğu saptanan fakat farklı renklere sahip parçalar
bulunursa, bu parçalar arasında oylama yapılır ve çoğunluk
rengi bütün şeride atanır. KMeansLineFit yöntemiyle renkleri
yüksek doğrulukla ayırt edebiliyor olmamız oylama
yönteminin sorunsuz işlemesini sağlamaktadır. Renk
doğrulaması yapıldıktan sonra, eğer varsa birden fazla
parçadan oluşan şeritler (kaş, sakal ve kirpik gibi ışığı
soğuran ve dağıtan, burun gibi keskin derinlik değişimi olan
bölgelerde oluşan kopukluklar nedeniyle) doğrusal bir
aradeğerleme işlemiyle birleştirilir. Bu aşamada elde edilen
görüntü Şekil-6’da verilmiştir.

Şekil 4: (üst) Şekil 3(b)’de işaretlenmiş bölge, (orta)
süzgeçleme işlemleri sonrasında aynı bölge,(alt) ölçeklenmiş
imge üzerindeki aynı bölge
Sonraki aşamada her bir çizginin yansıtılan çizgiden ne kadar
saptığının tespit edilmesi yoluyla derinlik bilgisinin elde
edilmesi gerekmektedir. Bu amaçla yüz bölgesindeki
çizgiler, kamera-projeksiyon kalibrasyonundan [7] elde
edilen referans çizgilerle karşılaştırılarak derinlik bilgisi
çıkarılmıştır. Şekil-7’de elde edilen derinlik bilgisi
verilmektedir. Bu aşamadan sonra elde edilen derinlik
bilgilerinden 3-B modele geçmek için üçgenleme
(triangulation) işleminin gerçekleştirilmesi gerekmektedir. Bu
amaçla Delaunay üçgenleme [8] yaklaşımı kullanılmıştır.
2.3. 3-D Model Deformasyonu
Bu çalışma kapsamında üçgenleme sonrası modelin doku
bindirilmiş halinde (3-B model üzerinde) çeşitli işlemler
yapılması üzerine de çalışılmıştır. Bu işlemler için yaygın
olarak kullanılan OpenGL [9-10] yazılım arayüzünün
kullanılması tercih edilmiştir. Modelin kullanıcı arayüzünde
Şekil 5: (üst) Şekil-3(b)’deki imgede tepe noktalara karşılık
gelen piksellerin RGB uzayındaki dağılımı, (alt) I w nın tepe
noktalara karşılık gelen piksellerinin RGB uzayında dağılımı
Şekil 6: Renklerin sınıflandırılması ve doğrulanması sonucu
oluşan imge
gösterilmesi için modeli oluşturan üçgenlerin koordinatları ve
renk bilgileri OpenGL ortamında oluşturulmaktadır. Bu
aşamada öteleme ve döndürme fonksiyonlarıyla modele
istenilen açıdan ve noktadan bakılması sağlanmaktadır. Bu
aşamadan sonra model üzerinde değişiklik yapma işlemleri
gerçekleştirilebilir. Deformasyon işlemi temelde modeli
oluşturan üçgenleri 3-B uzayda değiştirmeye karşılık
gelmektedir. Bu uygulamada kullanıcının deformasyonun
yapılacağı alanı bilgisayar faresi ile seçmesi gerekmektedir.
Deformasyonun yapılacağı bölge belirlendikten sonra
yapılması gereken deformasyonun biçimini ve büyüklüğünü
belirlemektir. Uygulamada deformasyon şekli olarak küre ve
benzeri yumuşak yüzeye sahip biçimler seçilmiştir. Ayrıca
deformasyon şiddetinin seçilen noktadan uzakltıkça azalması

sağlanmıştır. Bu amaçla kullanılan fonksiyonlar aşağıda
verilmiştir.
2 1 *(1 / )
X X k dist R (1)
X 2 X1 k /(1 dist / R )
(2)
Burada X 1 ve X 2 sırasıyla eski ve yeni konumu
gösterirken, k ağırlıklandırma sabitini, dist ise ilgili
noktanın merkeze olan uzaklığını göstermektedir. (1)’deki
fonksiyon modelde seçilen bölgeyi büyütmek için, (2)’deki
fonksiyon ise küçültmek için kullanılmıştır. Şekil-8’de sağ
sütunlarda orijinal modeller sol sütunlarda ise yukarıda
açıklanan şekilde farklı bölgeleri deformasyona uğratılmış
modeller gösterilmiştir
3. Sonuçlar
Bu çalışmada, bir projektörden yansıtılan renkli bir
örüntüyle, insan yüzünden yüksek çözünürlükte derinlik
bilgisi çıkarımı üzerine çalışılmıştır. 3-B modellemede
gerekli olan derinlik bilgilerinin yüksek çözünürlükte düzgün
bir şekilde çıkarılmasının daha hızlı ve düzgün yapılabilmesi
için kullanılan renkli örüntü derinlik bilgisinin basit bir
şekilde çıkarılmasında önemli kolaylıklar sağlamıştır. Ayrıca
modelin deformasyona uğratılmasında kullanılan OpenGL
fonksiyonları ile modelleri istenilen şekilde düzenlenmesi ve
ve değiştirmesi sağlamıştır.
4. Teşekkür
Bu çalışma, Sanayi ve Ticaret Bakanlığı ve Pars Ar-Ge
Ltd.Şti tarafından 00262.STZ.2008-1’nolu Sanayi Tezleri
(SANTEZ) projesi kapsamında desteklenmiştir.
5. Kaynakça
[1] S. Winkelbach and F. M. Wahl “Shape from Single
Stripe Pattern Illumination” Pattern Recognition,
Lecture Notes in Computer Science 2449, Springer 2002,
page 240-247.
[2] İ. Yıldırım, B. Demir, S. Ertürk, “3-Dimensional
Modelling and Visualization of Cultural Assets For E-
Government ", Signal Processing and Communications
Applications, 2006 IEEE 14th, On pages:1-4
[3] P. Fechteler, P. Eisert and J. Rurainsky “Fast And High
Resolution 3D Face Scanning ”, 2007. ICIP 2007. IEEE
International Conference, Publication Date: Sept. 16
2007-Oct.192007, Volume: 3, 81 – 84
[4] E. Özüağ, M.K. Güllü, O. Urhan, S. Ertürk, “Extraction
of High Resolution Depth Data from Human Face”,
Signal Processing and Communications Applications,
2009 IEEE 17th, Pages : 77 - 80
[5] F. Sadlo, T. Weyrich, R. Peikert, M. Gross “A Practical
Structured Light Acquisition System for Point-Based
Geometry and Texture” Appeared in the Proceedings of
the Eurographics Symposium on Point-Based Graphics
2005
[6] Li Zhang, Brian Curless, and Steven M. Seitz “Rapid
Shape Acquisition Using Color Structured Light and
Multi-pass Dynamic Programming ” 3D Data
Processing Visualization and Transmission, 2002.
Proceedings. First International Symposium, 24- 36
[7] M. Ashdown, R. Sukthankar “Robust Calibration of
Camera-Projector System for Multi-Planar Displays”
HPL – 2003-24
[8] http://en.wikipdia.org/wiki/Delaunay_triangulation
(Erişim Tarihi: 10 Ocak 2009)
[9] OpenGL Programming Guide Fifth Edition
[10] M. Segal, K.Akeley “The OpenGLR Graphics System:
A Specification (Version 2.1 - July 30, 2006
Şekil 7: Derinlik bilgisi
Şekil 8: Deformasyona uğratılmış(sol sütun) ve orijinal(sağ
sütun) modeller