Views
3 years ago

Penggenerasian Ciri I : Transformasi Linier - Teknik Elektro UGM

Penggenerasian Ciri I : Transformasi Linier - Teknik Elektro UGM

separabilitas kelas

separabilitas kelas maksimum dalam subspace berdimensi lebih rendah. Hal ini beralasan karena reduksi dimensionalitas bukan dioptimisasi terhadap separabilitas kelas. Pada Gambar 6.1, vektor-vektor ciri pada kedua kelas mengikuti distribusi Gauss dengan matrik kovarian sama. Ellip-ellip tersebut menunjukkan kurva dengan nilai pdf konstan. Vektor eigen a 1 adalah yang bersesuaian dengan nilai eigen terbesar. Proyeksi pada a 1 membuat kedua kelas hampir serupa. Tetapi proyeksi pada a 2 menjadikan kedua kelas terpisah. x 2 a 2 a 1 x 1 Gambar 6.1. Transformasi KL tidak selalu terbaik untuk pengenalan pola. Dalam contoh ini, proyeksi pada vektor eigen dengan nilai eigen yang lebih besar membuat kedua kelas serupa. Dengan kata lain, proyeksi pada vektor eigen yang lain menjadikan kelas-kelas tersebut terpisah. Varian Total. Misalkan E[x] adalah nol. Jika ini bukan kasus, reratanya selalu dapat dikurangi. Misalkan y 2 adalah KL tertransformasi vektor x. Dari masing-masing definisi diperoleh bahwa σ y(i) ≡ E[y 2 (i)] = λ i . Yaitu bahwa nilai-nilai eigen dari matrik korelasi masukan sama dengan variansi ciri-ciri tertransformasi. T Kemudian pemilihan ciri-ciri itu, y(i) ≡ a i x, bersesuaian dengan nilai-nilai eigen terbesar m yang membuat jumlah variansinya Σ i λ i maksimum. Dengan kata lain, ciri-ciri m yang terpilih menahan sebagian besar varian total yang terkait dengan variable acak aslinya x(i). Tentu saja, yang terakhir itu sama dengan trace dari R x , yang diketahui dari aljabar linier sama dengan jumlah dari nilai-nilai eigen, yakni : N ∑ − 1 i= 0 λ . i Dapat ditunjukkan bahwa hal tersebut merupakan sifat yang lebih umum, yaitu bahwa dari semua kemungkinan kumpulan ciri-ciri m, diperoleh melalui transformasi linier ortogonal pada x, salah satunya dihasilkan dari transformasi KL yang memiliki jumlah varian terbesar.

Entropy. Diketahui bahwa entropy suatu proses didefinisikan sebagai H y = -E[ln p y (y)] dan merupakan ukuran keacakan suatu proses. Untuk Gaussian dengan rerata nol dari proses berdimensi m multivariabel, entropy tersebut menjadi : H y = 1 E[y T −1 1 Ry y] + ln R y + 2 2 1 m ln (2π). (6.20) 2 Tetapi E[y T R −1 y y] = E[trace {y T −1 −1 Ry y}] = E[trace { Ry y y T }] = trace (I) = m dengan menggunakan sifat yang telah diketahui dari aljabar linier, maka determinannya adalah ln R y = ln (λ 0 λ 1 λ 2 ... λ m-1 ). Pemilihan terhadap ciri-ciri m yang bersesuaian nilai eigen terbesar m akan memaksimumkan entropy proses. Hal ini diharapkan karena varian dan keacakan berhubungan langsung. Catatan. Konsep subspace vektor eigen utama juga diekspliotasi sebagai pengklasifikasi. Pertama, rerata cuplikan dari seluruh pelatihan dikurangkan dari vektor-vektor ciri. Untuk setiap kelas, ω i , matrik korelasi R i diestimasi dan menghitung vektor-vektor eigen utama m (bersesuaian dengan nilai-nilai eigen terbesar m). Suatu matrik A i dibentuk menggunakan masing-masing vektor eigen sebagai kolom. Vektor ciri x yang tidak diketahui kemudian diklasifikasi ke dalam kelas ω j dengan : A T j x > A T i x , ∀ i ≠ j (6.21) yaitu bahwa kelas tersebut sesuai dengan norm maksimum proyeksi subspace dari x. Dari teorema Pythagoras, ini ekivalen dengan pengklasifikasian sebuah vektor dalam subspace kelas terdekat. Decision surface-nya merupakan hyperplanes jika semua subspace memiliki dimensi yang sama atau surface kuadrik dalam kasus yang lebih umum. Pengklasifikasian subspace mengintegrasi tahapan-tahapan penggenerasian atau pemilihan ciri dan rancangan klasifikasi. Contoh 6.2. Matrik korelasi dari sebuah vektor x diberikan sebagai : R x = ⎡0,3 ⎢ ⎢ 0,1 ⎢⎣ 0,1 0,1 0,3 − 0,1 0,1 ⎤ − 0,1 ⎥ ⎥ 0,3 ⎥⎦ Menghitung transformasi KL dari vektor masukan tersebut. Nilai-nilai eigen dari R x adalah λ 0 = 0,1; λ 1 = λ 2 = 0,4. Karena matrik R x simetrik, maka selalu dapat disusun vektor-vektor eigen ortonormal. Untuk kasus ini dapat diperoleh : a 0 = 1 3 ⎡ 1 ⎤ ⎢ ⎥ ⎢ −1 , a ⎥ 1 = ⎢⎣ −1⎥⎦ 1 6 ⎡2⎤ ⎢ ⎥ ⎢ 1 , a ⎥ 2 = ⎢⎣ 1⎥⎦ 1 2 ⎡ 0 ⎤ ⎢ ⎥ ⎢ 1 . ⎥ ⎢⎣ −1⎥⎦

Sunu Wibirama~ - Teknik Elektro UGM
Algoritma dan Struktur Data 2 - Teknik Elektro UGM
Metode Penulisan Ilmiah - Teknik Elektro UGM - Universitas Gadjah ...
KLASIFIKASI NON LINIER - Teknik Elektro UGM
wirelesslan032 - Teknik Elektro UGM
DI YOGYAKARTA - Teknik Elektro UGM
bab7_1-bab7_4 - Teknik Elektro UGM
.A KAPASITOR - Teknik Elektro UGM
paper2 - Teknik Elektro UGM
Thread01 - Teknik Elektro UGM
paper-bab-2 - Teknik Elektro UGM
bab-i_bayes - Teknik Elektro UGM
resume - Teknik Elektro UGM
paper1 - Teknik Elektro UGM
david_32542 - Teknik Elektro UGM - Universitas Gadjah Mada
Transistor2Logic - Teknik Elektro UGM
Komunikasi Akses Jamak - Teknik Elektro UGM
Sistem GSM 2 - Teknik Elektro UGM
bab-3-pengklasifikasi-linear - Teknik Elektro UGM
SISTEM KOMUNIKASI CDMA-fix.pdf - Teknik Elektro UGM
Uji Hipotesis dengan ANOVA - Teknik Elektro UGM
koding1 - Teknik Elektro UGM
IEEE 802.11b - Teknik Elektro UGM
bab-54-544 - Teknik Elektro UGM
Spread Spectrum (2) - Teknik Elektro UGM
networking dan internetworking - Teknik Elektro UGM - Universitas ...