KLASIFIKASI NON LINIER - Teknik Elektro UGM

dan diklasifikasikan di kelas yang ditunjukkan oleh output dari jaringan. Perhitungan
dilakukan oleh neuron adalah dari tipe memperbanyak-menambah diikuti oleh sebuah
nonlinier. Ini menyebabkan implementasi berbagai hardware mulai dari optik sampai
desain chip VLSI. Selain itu, jaringan saraf memiliki sebuah sifat paralel secara natural
terpasang tetap dan perhitungan dalam setiap lapisan dapat dilakukan secara paralel. Ini
nyata karakteristik dari jaringan saraf telah menyebabkan perkembangan khusus
neurocomputers, dan sejumlah mereka yang sudah tersedia secara komersial; lihat,
sebagai contoh, [Koli 97].
4.7 VARIASI PADA PROPAGASI BALIK
Kedua versi dari skema backpropagation (propagsi balik), mode batch dan pola, mewarisi
kelemahan dari semua metode dibangun di atas pendekatan turunan gradien: konvergensi
mereka untuk fungsi biaya minimum lambat. Lampiran C membahas fakta bahwa sifat ini
menjadi lebih menonjol jika nilai eigen dari yang sesuai matriks Hessian menunjukkan
penyebaran besar. Dalam kasus tersebut, perubahan gradien fungsi biaya antara langkah
iterasi yang berurutan tidak lancar tapi berosilasi, mendahului untuk memperlambat
konvergensi. Salah satu cara untuk mengatasi masalah ini adalah dengan menggunakan sebuh
batas momentum yang menghaluskan keluaran osilasi dan mempercepat konvergensi.
Algoritma propagasi balik dengan batas momentum mengambil bentuk
Dibandingkan dengan (4.4), kita melihat bahwa vektor koreksi tidak hanya tergantung
pada gradien tetapi juga pada nilai pada langkah iterasi sebelumnya. Konstan α disebut faktor
momentum dan dalam praktek dipilih antara 0,1 dan 0,8. Untuk melihat pengaruh faktor
momentum, mari kita lihat koreksi untuk sejumlah langkah iterasi yang berurutan. Pada tahap
iterasi ke-1 kami mempunyai
dimana batas terakhir menunjukkan gradien. Untuk total T langkah iterasi yang berurutan kita
mendapatkan
Sejak α