Inisialisasi Jaringan Syaraf Tiruan

Jaringan Syaraf Tiruan (JST) atau dalam bahasa Inggrisnya Artificial Neural Network, atau Neural Network saja, merupakan salah satu Machine Learning yang terkenal, dan saat ini juga dikenal dengan istilah Deep Learning (lihat post yg lalu). Sejak dulu setelah ditemukannya metode training terkenal “Backpropagation” atau rambatan error kian banyak yang meriset, terutama dalam proses pembelajarannya.

Dalam training JST, faktor inisialisasi bobot sangat menentukan kualitas dan kecepatan proses pembelajaran. Banyak faktor-faktor yang mempengaruhinya kecepatan proses pembelajaran, antara lain:

  • Nilai awal bobot dan bias
  • Laju pembelajaran
  • Topologi JST
  • Peningkatan laju pembelajaran (momentum)

Menggunakan pendekatan “Global Search” untuk menentukan parameter-parameter tersebut sangat tidak layak, karena pengaruh kecil saja sudah mempengaruhi konvergensi dari proses pembelajaran. Konvergensi ini sangat menentukan keberhasilan proses training.

Metode Inisialisasi Bobot

Beberapa periset sudah merekomendasikan metode-metode terbaik dalam menentukan inisialisasi bobot, antara lain:

  • Inisialisasi Bobot Acak. Ini merupakan cara paling sederhana. Lebih baik dari pada seluruh bobot diberi harga nol, yang menurut Rummerhald, tiap training cenderung memberikan hasil yang sama. Dengan bobot acak, akan diperoleh hasil pelatihan yang berbeda-beda, sangat tergantung dengan attractors, istilah untuk faktor-faktor yang mempengaruhi konvergensi.
  • Menggunakan analisa statistik dan geometri. Metode ini sangat menguras waktu. Salah satu yang terkenal adalah metode pseudo-inverse. Menurut peneliti masih banyak memiliki kelemahan.
  • Menggunakan properti yang khusus dari JST yang akan ditraining, misalnya untuk tipe JST radial basis, menggunakan cara yang berbeda dengan multilayer perceptron lainnya.

Tulisan yang membahas metode-metode inisialisasi bobot yang terkenal adalah Thimm, dkk (Thimm & Fiesler, 1994). Beberapa peneliti terkenal antara lain: Fahlman, Bottou, Boers, Smieja, Lee, Haffner, Watrous, dan yang saat ini banyak digunakan yaitu Nguyen dan Widrow. Silahkan baca bagi yang berminat, semoga bermanfaat bagi yang riset tentang JST.

Referensi:

Thimm, G., & Fiesler, E. (1994). High Order and Multilayer Perceptron Initialization. NEURAL NETWORKS.

 

Iklan

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s