KLASIFIKASI NON LINIER - Teknik Elektro UGM

memenuhi kriteria tertentu, yang menjamin bahwa algoritma gradient descent menyatu untuk
solusi tersebut, asalkan satu ada. Kelas ini fungsi biaya dikenal sebagai fungsi well-formed.
Sekarang kita akan menyajikan fungsi biaya jenis ini, yang cocok untuk tugas-tugas
pengenalan pola.
Jaringan multilayer melakukan pemetaan nonlinear dari vektor input x ke nilai output
untuk masing-masing node output k = 1,2,. . . k L , dimana ketergantungan
pemetaan pada nilai-nilai bobot ditampilkan secara eksplisit. Dalam bab 3 kita telah melihat
bahwa, jika kita mengadopsi fungsi kuadrat biaya termurah dan output yang diinginkan y k
adalah biner (milik atau tidak dalam kelas ω k ), kemudian untuk nilai optimal bobot ω* output
yang sesuai jaringan, ŷ k , adalah pengaruh optimal kuadrat terkecil dari probabilitas
posterior P (ω k │x) (pertanyaan tentang baik atau buruk perkiraan ini akan menarik untuk
kami). Pada titik ini kita akan mengadopsi interpretasi probabilistik dari output riil ŷ k sebagai
dasar fungsi biaya kami akan dibangun. Mari kita berasumsi bahwa output yang diinginkan
nilai-nilai, ŷ k , bersifat independen variabel-variabel biner acak dan ŷ k yang masing-masing
probabilitas posterior bahwa variabel acak adalah 1 [Hint90, Baum 88].
Fungsi biaya cross-entropi kemudian didefinisikan oleh
J mengambil nilai minimum ketika y k (i) = ŷ k (i) dan untuk minimum nilai respon yang
diinginkan biner adalah nol. Ada berbagai penafsiran dari fungsi biaya [Hint 90, Baum 88,
Gish 90, Rich 91]. Mari kita mempertimbangkan, untuk contoh, vektor keluaran y(i) bila x(i)
muncul di input. Ini terdiri dari 1 di node kelas benar dan nol untuk lainnya. Jika kita
memperhitungkan bahwa probabilitas node k menjadi l(0) adalah ŷ k (i)(l - ŷ k (i)) dan dengan
mempertimbangkan node secara independen, kemudian
dimana ketergantungan pada i telah tertekan untuk kenyamanan notasi. Kemudian mudah
untuk memeriksa bahwa hasil J dari loglikelihood negatif pelatihan sepasang sampel. Jika
y k (i) adalah probabilitas benar pada (0,1) kemudian mengurangkan nilai minimum dari J
(4.30) menjadi
Untuk nilai biner y k di atas masih berlaku jika kita menggunakan nilai batas 0 ln0 =0.
Hal ini tidak sulit untuk menunjukkan(Masalah 4.5) bahwa fungsi biaya cross entropi
tergantung pada kesalahan relatif dan bukan pada kesalahan mutlak, seperti pasangan
kuadrat kecil, sehingga memberikan bobot yang sama untuk nilai kecil dan besar.
Selanjutnya, telah menunjukkan bahwa itu memenuhi kondisi fungsi terbentuk baik [Adal
97]. Akhirnya, dapat ditunjukkan bahwa mengadopsi fungsi biaya cross entropi dan nilai