Ulasan

Mengenal Jaringan Saraf Tiruan (Neural Networks)

6 Mins read

Konsep kecerdasan artifisial jaringan saraf tiruan (JST) atau artificial neural networks (ANNs) termasuk ke dalam arah perkembangan sistem cerdas yang menganut paradigma connectionism. Dari sini secara langsung tentu kita sudah dapat menduga bahwa konsep ini terinspirasi dari prinsip kerja otak yang merupakan salah satu sistem saraf pusat manusia.

Sebagai gambaran yang mana merujuk pada neurosains, dalam otak kita terdapat milyaran unit komputasi terkecil yang disebut neuron. Neuron-neuron ini terhubung antar satu dengan lainnnya dan berkomunikasi melalui suatu partikel (baik itu melalui zat kimia (chemical) maupun elektrik (electrical)) yang disebut neurotransmitter. Satu neuron akan menerima masukan dari neuron sebelumnya melalui dendrit (dendrites), memproses dan mengintegrasikan informasi-informasi yang didapat tersebut melalui axon hillock, kemudian meneruskan informasi melalui akson (axon) kepada neuron lainnya yang terhubung. Keluaran atau respon dari neuron ini berbeda-beda tergantung hasil pemrosesan informasi tersebut, bisa jadi sebagai perangsangan (exication) atau halangan (inhibition). Berikut adalah ilustrasi struktur neuron beserta prinsip kerjanya.

Ilustrasi struktur dari neuron dan prinsip komunikasi antara dua neuron.  Prinsip kerja ini kemudian menjadi inspirasi dari jaringan saraf tiruan.
Ilustrasi struktur dari neuron dan prinsip komunikasi antar dua neuron. Prinsip kerja ini kemudian menjadi inspirasi dari jaringan saraf tiruan.

Prinsip kerja jaringan saraf pada otak manusia ini ditemukan oleh peneliti-peneliti di bidang neurosains pada pertengahan abad ke 19 hingga awal abad 20 . Selang beberapa tahun setelahnya para ilmuwan yang bergerak di bidang ilmu komputer kemudian merancang konsep kecerdasan artifisial yang terinspirasi dari cara neuron tersebut bekerja . Berikut merupakan beberapa penemuan penting yang menjadi tonggak sejarah perkembangan kecerdasan artifisial sampai saat ini.

Neuron oleh McCulloch – Pitts (1943)

Warren McCulloch and Walter Pitts adalah peneliti pertama yang mendesain konsep kecerdasan artifisial meniru sel otak dengan istilah McCulloch -Pitts’s Neuron atau threshold logic unit (TLU) . Neuron oleh mereka dimodelkan sebagai unit komputasi atau unit logika dengan persamaan matematika yang merujuk pada prinsip kerja neuron yang sudah dibahas sebelumnya. Ilustrasi unit komputasi tersebut dapat dilihat pada gambar berikut.

Ilustrasi neuron buatan oleh McCulloh-Pitts.
Ilustrasi neuron buatan oleh McCulloh-Pitts.

Masukan dan keluaran ke dan dari unit neuron ini berupa bilangan biner. Dengan neuron buatan ini, keluaran dapat dihitung dengan menggunakan rumus berikut.

z = \sum_{j=0}^m w_j x_j \\ \hat{y} = \varphi(z)

Pada persamaan tersebut, peubah z merupakan hasil penjumlahan dari input x dengan mempertimbangkan bobot w . Kemudian, fungsi ambang batas \varphi yang akan menentukan keluaran \hat{y} dengan melakukan pengecekan terhadap peubah z , apakah nilanya melebihi parameter ambang batas \theta atau tidak. Pada praktiknya, dalam memodelkan neuron buatan ini kemudian dikenalkan adanya bias yang didefinisikan berdasarkan ambang batas dengan w_0 = -1 dan x_0 = 1.

\varphi(z) \begin{cases}1, & \textrm{jika} \ z \geq \theta \\ 0 , & \textrm{sebaliknya.} \end{cases}

Pada penerapannya, unit ini bisa digunakan untuk menghitung gerbang logika sederhana seperti gerbang AND, OR, atau XOR dengan catatan bobot didapat dari analisis manual (tidak dilatih) terhadap persoalan tersebut.

Perceptron oleh Rosenblatt (1958)

Neuron yang dibahas sebelumnya didesain secara manual dalam hal pembobotan untuk mendapat keluaran yang sesuai. Tentunya yang diharapkan adalah neuron tersebut dapat menetapkan ambang batas \theta secara otomatis dengan suatu teknik pelatihan. Oleh karena itu, pada tahun 1958, Frank Rosenblatt melakukan penyempurnaan dari neuron buatan ini dengan menambahkan suatu teknik pemelajaran untuk mendapatkan nilai ambang batas yang optimal. Hal ini dapat dilakukan dengan cara pembaruan bobot dengan melakukan penghitungan nilai galat (error) dari keluaran dibandingkan dengan masukan yang diberikan. Ilustrasi teknik pelatihan ini dapat dilihat pada ilustrasi berikut.

Ilustrasi Perceptron yang diusulkan oleh Rosenblatt.
Ilustrasi perceptron yang diusulkan oleh Rosenblatt.

Secara ringkas algoritma pembaruan pembobotan tersebut dapat dirumuskan sebagai berikut.

  1. Inisialisasai bobot w_j dengan nilai nol atau nilai kecil yang acak
  2. Untuk setiap sampel x^{(i)}
    • Hitung keluaran \hat{y}
    • Pembaruan bobot dengan rumus berikut

w_j := w_j + \Delta w_j \\ \Delta w_j = \eta (y^{(i)} – \hat{y}^{(i)})x_j^{(i)}

Penjelasan dari rumus di atas adalah sebagai berikut. Pembaruan bobot w_jdilakukan dengan menambahkan nilai bobot saat ini dengan suatu nilai \Delta w_j. Nilai tersebut didapatkan dari komparasi keluaran sebenarnya y dengan prediksi keluaran \hat{y} dikalikan dengan masukannya dan suatu parameter \eta yang merupakan parameter untuk menentukan tingkat pemelajaran (learning rate). Langkah-langkah tersebut dilakukan selama beberapa kali perulangan/iterasi. Dengan cara ini bobot dan ambang batas dapat diperoleh secara otomatis berdasarkan masukan dan keluaran yang diberikan.

Adaptive Linear Neuron (ADALINE) (1960)

ADALINE dikenalkan oleh Bernard Widrow dan Tedd Hoff pada tahun 1960. Kunci pembeda antara ADALINE dan perceptron yang ditemukan oleh Rosenblatt adalah adanya fungsi aktivasi linear \phi(.) sebelum fungsi ambang batas \varphi(.) dan juga pendefinisian fungsi kerugian (loss function).

Ilustrasi ADALINE sebagai neuron buatan penyempurnaan dari Perceptron.
Ilustrasi ADALINE sebagai neuron buatan penyempurnaan dari perceptron.

z = w^\top x \\ \hat{y} = \varphi(\phi(z))

Dari ilustrasi di atas, kita dapat mellihat bahwa pada algoritma ADALINE, label sebenarnya dibandingkan dengan keluaran dari fungsi aktivasi linear yang bernilai kontinyu untuk menghitung galat yang kemudian digunakan untuk memperbarui bobot. Hal ini berbeda dengan perceptron yang membandingkan keluaran fungsi ambang batas dengan label sebenarnya. Oleh karena itu, ADALINE menjadi model yang lebih baik dibandingkan dengan perceptron dalam hal mendapatkan bobot yang optimal .

Kontribusi lain dari ADALINE ialah kita dapat mendefinisikan fungsi kerugian untuk melatih bobot tersebut. Salah satunya yaitu dengan rumus sum of squared errors (SSE). Formula ini digunakan untuk membandingkan label sebenarnya dan keluaran fungsi linear sebagai berikut:

J(w) = \frac{1}{2}\sum_i (y^{(i)} – \phi(z^{(i)}))^2

Masa musim dingin untuk connectionism (sampai sekitar 1980an)

Pada tahun 1969 dua orang pioner AI pada masa itu, yakni Marvin Minsky dan koleganya Seymour Papert, mempublikaskan sebuah buku berjudul Perceptrons yang membahas secara lengkap perceptron mencakup juga semua keterbatasan-keterbatasannya SQ2FEQ5F. Salah satunya ialah ketidakmampuan perceptron dalam melatih bobotnya untuk menyelesaikan permasalahn exclusive OR (XOR). Dalam sebuah logika biner, XOR ialah suatu kondisi dimana terdapat dua masukan, tetapi hanya salah satu dari input tersebut yang benar (tidak keduanya). Hal ini membuktikan bahwa neuron buatan saat itu tidak dapat diterapkan pada untuk suatu masalah yang tidak dapat dipisahkan secara linear (non-linearly separable problem). Ilustrasi logika OR dan XOR dengan dua masukan adalah sebagai berikut.

Logika OR dan XOR.

Menyusul beberapa tahun setelah publikasi tersebut, muncul laporan yang ditulis oleh James Lighthill pada tahun 1973, yang merupakan sebuah laporan evaluasi yang ditujukan kepada British Science Research Council. Laporan tersebut mengenai status penelitian-penelitian kecerdasan artifisial pada masa itu . Salah satu kesimpulan yang dapat ditarik dari laporan tersebut ialah janji-janji para peneliti AI yang dirasa terlalu dilebih-lebihkan. Dalam laporan tersebut juga dibahas mengenai bidang penelitian yang paling mengecewakan, yaitu mesin penerjemah (machine translation) yang menghabiskan banyak anggaran, tetapi manfaat yang bisa diambil hanya sedikit. Laporan ini berdampak pada pengurangan anggaran di bidang penelitian kecerdasan artifisial, salah satunya ialah anggaran dari Defense Advanced Research Project Agency (DARPA). Momen ini menandai masa musim dingin untuk penelitian di bidang kecerdasan artifisial (AI winter). Ini merupakan masa ketika kecerdasan artifisial dengan paradigma connectionsm mulai ditinggalkan (the abandonment of the connectionism).

Propagasi mundur (backpropagation) untuk melatih jaringan saraf tiruan (1986)

Walaupun Minsky dan Papert mengungkapkan berbagai keterbatasan dari perceptron sebagai neuron buatan, mereka mengakui bahwa dengan menghubungkan neuron-neuron tersebut ke dalam beberapa lapisan dapat meningkatkan kapabilitas dari model tersebut. Akan tetapi, saat itu belum ditemukan cara untuk melatih model jaringan saraf tiruan tersebut yang mempunyai beberapa lapisan (multilayers). Baru pada tahun 1986, David E. Rumelhart, Geoffrey E. Hinton, dan Ronald J. Williams mempublikasikan sebuah konsep propagasi mundur (backpropagation) yang dapat digunakan untuk melatih bobot-bobot pada perceptron yang dirancang dengan beberapa lapis atau lebih populer dengan istilah multi-layer perceptron (MLP) .

Propagasi maju (forward propagation) dan mundur (backpropagation) untuk melatih jaringan saraf tiruan dengan beberapa satu lapisan tersembunyi.
Propagasi maju (forward propagation) dan propagasi mundur (backpropagation) untuk melatih jaringan saraf tiruan dengan satu lapisan tersembunyi.

Secara singkat, dalam melatih sebuah MLP, dibutuhkan propagasi maju untuk mendapatkan prediksi keluaran dan propagasi mundur untuk menghitung galat, yakni seberapa besar kesalahan prediksi keluaran tersebut dari label yang diharapkan. Propagasi mundur ini dihitung dengan menggunakan konsep gradien galat dan digunakan juga untuk memperbarui bobot agar optimal dalam melakukan prediksi pada iterasi selanjutnya. Secara lebih lanjut dari konsep backpropagation ini akan dibahas pada artikel terpisah.

Deep Neural Network (DNN) (2006-sekarang)

Backpropagation memungkinkan peneliti untuk menambahkan beberapa lapisan pada jaringan saraf tiruan secara mendalam atau banyak lapis sehingga hal ini dikenal dengan istilah istilah deep neural network atau juga deep learning model. Asumsinya, penambahan lapisan tersebut dapat membantu suatu jaringan saraf tiruan untuk belajar lebih baik dan juga dapat mengekstraksi fitur-fitur dari data masukan secara otomatis secara hierarki. Dengan ditemukannya cara untuk melatih jaringan tersebut ditambah dengan perkembangan graphics processing unit (GPU) serta limpahan data yang besar (big data), maka kecerdasan artifisial connectionism mulai bergairah kembali semenjak itu sampai sekarang. Ini ditandai dengan diusulkannya berbagai varian dari jaringan saraf tiruan dalam banyak publikasi beserta penerapannya di berbagai bidang.

Salah satu pionir dari penelitian deep learning ini ialah penelitian dalam bidang pengolahan citra yang dirancang oleh Yann LeCun. Ilmuwan komputer ini mengenalkan convolutional neural networks (CNNs) pada tahun 1989 . Model yang ditelitinya dinamai sebagai LeNet dan digunakan untuk mendeteksi angka pada dataset MNIST,

Masukan dari LeNet berupa gambar-gambar digit dari tulisan tangan yang mencakup 60.000 data untuk pelatihan (training) dan 10.000 data untuk pengujian (testing). Sedangkan keluaran dari model tersebut adalah 10 kelas dari digit tersebut (digit 0-9). Selain gambar dua dimensi, CNN juga dapat digunakan pada data dengan dimensi lain, seperti misalnya pada objek tiga dimensi, dll.

LeNet sebagai model jaringan saraf tiruan untuk mengenali digit dengan menggunakan convolutional neural networks (CNNs).
LeNet sebagai model jaringan saraf tiruan untuk mengenali digit dengan menggunakan convolutional neural networks (CNNs).

Selain CNN, banyak juga jaringan saraf tiruan lain yang dikenalkan seperti misalnya recurrent neural networks (RNNs) yang digunakan untuk data dengan deret waktu (time-series data) atau graph neural networks (GNNs) untuk data graf. Berbagai model ini dan model lainnya akan dibahas secara mendalam pada artikel terpisah.

Referensi

1.
Bear, M. F., Connors, B. W. & Paradiso, M. A. Neuroscience: exploring the brain. (Wolters Kluwer, 2016).
1.
Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. Proc. IEEE 86, 2278–2324 (1998).
1.
Rumelhart, D. E., Hinton, G. E. & Williams, R. J. Learning representations by back-propagating errors. Nature 323, 533–536 (1986).
1.
Schuchmann, S. History of the first AI Winter. Medium (2020). Available at: https://towardsdatascience.com/history-of-the-first-ai-winter-6f8c2186f80b. (Accessed: 6th June 2020)
1.
What is the difference between a Perceptron, Adaline, and neural network model? Dr. Sebastian Raschka (2020). Available at: https://sebastianraschka.com/faq/docs/diff-perceptron-adaline-neuralnet.html. (Accessed: 6th June 2020)
1.
McCulloch, W. S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics 5, 115–133 (1943).
1.
Raschka, S. & Mirjalili, V. Python machine learning: machine learning and deep learning with Python, scikit-learn, and TensorFlow. (Packt Publishing, 2019).
1.
Goodfellow, I., Bengio, Y. & Courville, A. Deep learning. (The MIT Press, 2016).

Jika ada pertanyaan, koreksi, ataupun ingin sekadar berdiskusi lebih lanjut, silakan gunakan kolom komentar untuk berkomunikasi dengan penulis.

About author
Mahasiswa program doktoral di Korea University, Korea Selatan dengan jurusan Brain & Cognitive Engineering | Anggota dari Machine Intelligence Lab @ Korea University | Perintis dari Konsep.AI
Articles
Related posts
StartupUlasan

7 startup Indonesia yang telah menerapkan teknologi AI

3 Mins read
Tidak dapat dipungkiri bahwa perkembangan teknologi kecerdasan artifisial sangatlah pesat. Hampir di seluruh sektor kehidupan, mulai dari sektor pendidikan, kesehatan, sampai ke…
Ulasan

5 Model Populer dari Jaringan Saraf Tiruan (JST)

4 Mins read
Jaringan saraf tiruan atau artificial neural networks (ANNs) merupakan model yang mengacu pada pendekatan konsep kecerdasan artifisial connectionism. Pendekatan ini melihat bagaimana…
Ulasan

5 ebook kecerdasan artifisial yang tersedia secara gratis

3 Mins read
Kalian yang ingin mulai belajar mengenai konsep kecerdasan artifisial tentunya pernah mencari-cari sumber belajar, baik itu berupa buku, tutorial, maupun kumpulan kode….
Daftarkan email kamu untuk mendapatkan ulasan terkini seputar teknologi kecerdasan buatan!

 

Leave a Reply

Your email address will not be published. Required fields are marked *

×
Ulasan

Pengenalan Konsep Kecerdasan Artifisial / Artificial Intelligence