Views
1 year ago

OCAK - MART 2017 SAYI 75

YpB6sb

Robot İşaret Dili

Robot İşaret Dili Öğretmeni Doç. Dr. Hatice Köse İTÜ Bilgisayar ve Bilişim Fakültesi İnsan-robot etkileşiminde temel unsur robotun insan ile iletişimde bulunmasıdır. Robotlar etkileşim sırasında insanın üç duyusunu (görme, işitme, dokunma) tetikleyebilir. Bu nedenle sadece sözlü değil, sözsüz jestlere dayalı iletişim de kurulabilir. Özellikle sözlü iletişim konusunda sorun yaşayan işitme engelliler, otizmliler ya da konuşma bozukluklarına sahip bireyler için bu önemli bir unsurdur. Türk işaret dilini bir robottan öğrenmek ister misiniz? Doç. Dr. Hatice Köse ve araştırma ekibi 5 yılı aşkın bir süredir robotik tabanlı etkileşimli bir işaret dili eğitim sisteminin tasarımı ve geliştirilmesi üzerinde çalışıyor. Bu sistem, robotun işaret dilinde “konuşmasını”, yapılan işaretleri anlamasını ve insan davranışlarını algılayıp uygun geribildirimi seçmesini sağlayan ve yapay zekâ uygulamalarına dayanan bir bilişsel mimariyi temel alıyor. Bu yapısı ile “Robot işaret dili öğretmeni” sistemi dünyada ilk ve tek olma özelliği de taşıyor. Literatürde işaret dilini gerçekleyen çeşitli insansı robot çalışmaları yer almaktadır. Ancak bu çalışmalarda robotlar işaret dilini kısıtlı bir veri tabanı için sadece demo amaçlı gerçeklemektedir. Yine işaret dili tanıma konusunda başarılı görü tabanlı sistem- Resim 1. Doç. Dr. Hatice Köse, doktora öğrencileri Pınar Uluer ve Neziha Akalın. ler de mevcuttur, ancak çift taraflı iletişimi sağlayan ve bunu etkileşim ve eğitim için kullanan başka bir robotik sistem mevcut değildir. İnsan-robot etkileşimini temel alan bu sistem, özellikle çocuklar için tasarlanmış ve çocukların robotla oynayacağı taklit tabanlı sıralı oyunlar (örneğin iSpy-uSign) yöntemini kullanarak işaret dili eğitimi vermeyi amaçlamaktadır. Bu çalışmalarda Dr. Köse ve öğrencilerinden oluşan araştırma ekibi yer almaktadır (Resim 1). Çalışmalar Bilgisayar ve Bilişim Fakültesi, HELP laboratuvarında sürdürülmektedir. Çalışmalar sırasında 8’i doktora olmak üzere 13 öğrenciye burs sağlanmıştır. Bu robotik sistem ile şimdiye kadar 200’den fazla gönüllünün katıldığı çeşitli çalışmalar yapılmıştır. Katılımcılar arasında itü vakfı dergisi 31

İNSANLAŞAN MAKİNALAR - YAPAY ZEKÂ yer alan kısmi işitme kaybı olan veya sağır çocukların sayısı 100’ü geçmektedir. Bu çalışmalarda özellikle küçük yaşlardaki çocukların eğitim performansında robotun fiziksel varlığının istatistiksel olarak daha başarılı sonuçlar verdiği, gençler ve yetişkinlerde ya da işaret dili bilen kişilerde bu etkinin azaldığı, bu kişilerin avatar ve video tabanlı görsel medyayı da başarı ile takip edebildikleri saptanmıştır. Neden işaret dili? Türk İşaret Dili’nin önemi son yıllarda artan bir ivmeyle kabul görmektedir. 2017’de 23. İşitme Engelliler Olimpiyat (Deaflympics) Oyunları Samsun’da yapılacaktır. Gençlik ve Spor Bakanlığı, Samsun Valiliği ve İşitme Engelliler Federasyonu’nun desteğiyle yapılan bu olimpiyat Türkiye’de yapılacak en büyük spor organizasyonu olacaktır. İşaret dilinin öneminin anlaşılmasıyla, işaret dili eğitimi alanların sayısı da hızla artmaktadır. Özellikle sağır çocukların erken yaşta bu eğitimi alması bilişsel ve sosyal gelişimleri açısından büyük önem arzeder. İşaret dili, yüz, baş, üst gövde, kollar, eller ve parmakların kullanıldığı görsel bir dildir. İşaret dillerinin dilbilimsel yapısı ve kuralları sözel dillerden büyük oranda farklıdır. Bu yüzden her işaret diline özgü eğitim yöntemlerinin geliştirilmesi esastır. Ancak geliştirilen eğitim sistemlerinin büyük bölümü yetişkinleri hedef almaktadır. 2011 ve 2014’te Dr. Köse ve ekibinin yürüttüğü çalışmalarda [KOSE, vd.,2014 ve KOSE, vd., 2011] yetişkinlerin görsel medya aracılığıyla işaret dili eğitimi alabildiği ancak, özellikle işaret dili bilmeyen küçük çocukların görsel materyaller- Şekil 1. Genel oyun modeli (Kose vd., 2015a) 32 itü vakfı dergisi Resim 2. iSign oyunundan bir sahne den ziyade fiziksel cisimlerden daha iyi öğrenebildikleri gözlemlenmiştir. Bu amaçla Dr. Köse ve ekibi tarafından robotik tabanlı bir işaret dili eğitim sistemi tasarlanmış ve geliştirilmiştir. Bu sistemi oluşturan parçalar, robotun; 1) insan hareketlerini algıladığı bir hareket tanıma modülü, 2) işaretlerin anlamlarını pekiştirmek için kullanılan renkli kartları tanıdığı görü modülü, 3) hareketleri gerçeklediği bir hareket veri tabanı, 4) çocuklarla karşılıklı iletişimini sağlamak için verdiği jest, ses ve işaret tabanlı geri bildirimleri kontrol eden modül ve 5) tüm bu davranışları yönetip robotun otonom olarak doğru zamanda doğru davranışı/geri bildirimi vermesini sağlayan bilişsel mimaridir Bu çalışmalarla; robotlar ve görsel avatar bazlı etkileşimli eğitim platformları kullanarak, hem ulusal hem de uluslararası alanda iletişim sorunları yaşayan çocukların eğitim ve iletişim başarısını artırmak hedeflenmektedir. (Şekil 1). Bu modüllerin tasarım ve geliştirilmesinde yapay zekâ uygulamalarından yararlanılmıştır. Sistem, iki yönlüdür ve robot ve çocuk arasında bu amaca özel olarak tasarlanan sıralı etkileşim oyunları üzerinde çalışır. Burada amaç, robotun öğretmen ya da ebeveyne çocuğun eğitimi sırasında yardımcı olması, çocuğun tekrarlı eğitim fazı ve sonrasında öğrendiklerini test etmesi için bir test ortamı sunması ve bu sırada çocuğun öğrenme performansını ve motivasyonunu artırmasıdır. Çocuk ve robota oyun sırasında eşlik eden bir öğretmen, oyunda seçtiği kelimelere ait renkli kartları çocuk ve robot arasındaki sırayı düzenlemekte kullanır. Robot “eğitim” modundayken öğretmenin gösterdiği kartta yazan ve görseli bulunan kelimeye ait işaretleri gerçekler. Örneğin robota “elma” resmi gösterildiğinde görü modülünü kullanarak bu resmi tanır ve “elma” kelimesine ait işareti yapar. Çocuk bu karttaki görseli, metni ve robotun hareketlerini birleştirerek kelimeye ait işaretlerin kinematik ve semantik anlamlarını öğrenir. Eğitim modu bitiminde robot “test” modu-

MEDYATABLET 2017 OCAK
Kobilife Mart 2018
MEDYATABLET 2017 MART
OCAK 2017