Inisialisasi Jaringan Syaraf Tiruan

Jaringan Syaraf Tiruan (JST) atau dalam bahasa Inggrisnya Artificial Neural Network, atau Neural Network saja, merupakan salah satu Machine Learning yang terkenal, dan saat ini juga dikenal dengan istilah Deep Learning (lihat post yg lalu). Sejak dulu setelah ditemukannya metode training terkenal “Backpropagation” atau rambatan error kian banyak yang meriset, terutama dalam proses pembelajarannya.

Dalam training JST, faktor inisialisasi bobot sangat menentukan kualitas dan kecepatan proses pembelajaran. Banyak faktor-faktor yang mempengaruhinya kecepatan proses pembelajaran, antara lain:

• Nilai awal bobot dan bias
• Laju pembelajaran
• Topologi JST
• Peningkatan laju pembelajaran (momentum)

Menggunakan pendekatan “Global Search” untuk menentukan parameter-parameter tersebut sangat tidak layak, karena pengaruh kecil saja sudah mempengaruhi konvergensi dari proses pembelajaran. Konvergensi ini sangat menentukan keberhasilan proses training.

Metode Inisialisasi Bobot

Beberapa periset sudah merekomendasikan metode-metode terbaik dalam menentukan inisialisasi bobot, antara lain:

• Inisialisasi Bobot Acak. Ini merupakan cara paling sederhana. Lebih baik dari pada seluruh bobot diberi harga nol, yang menurut Rummerhald, tiap training cenderung memberikan hasil yang sama. Dengan bobot acak, akan diperoleh hasil pelatihan yang berbeda-beda, sangat tergantung dengan attractors, istilah untuk faktor-faktor yang mempengaruhi konvergensi.
• Menggunakan analisa statistik dan geometri. Metode ini sangat menguras waktu. Salah satu yang terkenal adalah metode pseudo-inverse. Menurut peneliti masih banyak memiliki kelemahan.
• Menggunakan properti yang khusus dari JST yang akan ditraining, misalnya untuk tipe JST radial basis, menggunakan cara yang berbeda dengan multilayer perceptron lainnya.

Tulisan yang membahas metode-metode inisialisasi bobot yang terkenal adalah Thimm, dkk (Thimm & Fiesler, 1994). Beberapa peneliti terkenal antara lain: Fahlman, Bottou, Boers, Smieja, Lee, Haffner, Watrous, dan yang saat ini banyak digunakan yaitu Nguyen dan Widrow. Silahkan baca bagi yang berminat, semoga bermanfaat bagi yang riset tentang JST.

Referensi:

Thimm, G., & Fiesler, E. (1994). High Order and Multilayer Perceptron Initialization. NEURAL NETWORKS.