KLASIFIKASI NON LINIER - Teknik Elektro UGM

minimum lokal. Dalam [Mill 96] prosedur deterministic annealing digunakan untuk melatih
jaringan, dengan potensi ditingkatkan untuk menghindari minimum lokal (lihat Bab 15).
Pilihan terakhir dari fungsi biaya tergantung pada masalah yang spesifik di bawah
pertimbangan. Namun, seperti yang ditunjukkan dalam [Kaya 91], di sejumlah praktis situasi
penggunaan alternatif, untuk kuadrat terkecil, fungsi biaya tidak selalu mengarah pada
peningkatan kinerja substansial.
Sebuah Kerangka kerja Bayesian untuk Pelatihan Jaringan
Semua fungsi biaya sejauh ini dianggap bertujuan untuk komputasi satu set nilai optimal
untuk parameter yang tidak diketahui dari jaringan. Sebuah pemikiran alternatif adalah
melihat fungsi distribusi probabilitas dari bobot diketahui, ω, dalam bobot ruang. Gagasan di
balik pendekatan ini berasal dari teknik inferensi Bayesian yang digunakan untuk perkiraan
suatu pdf parametrik yang tidak diketahui, sebagaimana kita bahas dalam Bab 2. Mengikuti
langkah-langkah dasar untuk jenis pelatihan jaringan, yang dikenal sebagai pembelajaran
Bayesian, adalah (misalnya, [Mack 92a]):
Asumsikan model untuk distribusi prior p(ω) dari bobot. Ini harus agak luas dalam bentuk,
untuk memberikan kesempatan yang sama untuk berbagai nilai agak besar.
Misalkan Y = {y (i), i = 1,2,..., N} menjadi set pelatihan vektor output yang diinginkan untuk
data masukan yang diberikan set X = {x (i), i = 1,2,. . . N}. Asumsikan model untuk fungsi
likelihood p(Y│ω), misalnya, Gaussian 4 . ( 4 Strictly berbicara kita harus menulis P (Y│ω, X).
Namun semua probabilitas dan pdf dikondisikan pada X dan kami menghilangkan untuk
kenyamanan notasi).
Ini pada dasarnya model distribusi eror antara output yang benar dan nilai-nilai yang
diinginkan, dan ini adalah tahap dimana data input pelatihan datang ke tempat kejadian.
Menggunakan teorema Bayes, kita memperoleh
dimana
. Pdf posterior yang dihasilkan akan lebih
berbentuk tajam sekitar nilai ω 0 , karena telah belajar dari data pelatihan yang tersedia.
Menafsirkan output yang benar dari suatu jaringan,
, karena masingmasing
kelas probabilitas, dikondisikan pada input x dan vektor bobot ω, probabilitas kelas
bersyarat dihitung dengan rata-rata lebih dari semua ω [Mack 92b]:
Biaya komputasi utama yang terkait dengan jenis teknik ini dibutuhkan integrasi dalam ruang
multidimensi. Ini bukan tugas yang mudah, dan berbagai implementasi praktis telah
diusulkan dalam literatur. Lebih lanjut diskusi tentang masalah ini adalah di luar cakupan
buku ini. Sebuah pengantar yang bagus untuk pembelajaran Bayesian, termasuk diskusi
tentang implementasi praktis yang terkait, disediakan dalam [Bish 95].