Oleh : Rahmadya Trias H., ST, MKom.

Online Analytical Processing (OLAP) pertama kali dikemukakan oleh E.F. Codd pada tahun 1994. Banyak kegunaannya terutama untuk Sistem Pengambil Keputusan (Decision Support System) yang melibatkan multiple database.

OLAP saat ini hampir pasti digunakan untuk sistem berbasis Business Intelligent (BI) bersama dengan data mining. Terdiri dari Tabel Fakta (Fact Table) dengan beberapa dimensi (dimensions) dengan bentuk hierarchy. Sasarannya adalah bagaimana menemukan informasi yang berguna dari suatu cube.

13.1. Pengenalan OLAP

Online Transaction Processing (OLTP) ditujukan untuk merekam transaksi harian, misalnya transaksi penjualan, pembelian dan perbankan. OLTP tidak memiliki perangkat yang cukup untuk menganalisa, oleh karena itu diperlukan sistem OLAP yang digunakan dalam sistem DSS.

Cube adalah database dengan dimensi banyak (multidimensions) dengan bentuk hirarkinya. Misalnya, dalam pola All Product -> Category -> Sub Category -> Product Name. Kemudian tiap Cube memiliki ukuran (measure) yang berasal dar tabel fakta.

Gambar 13.1. Skema OLAP

13.2. Pembuatan CUBE

Buka kembali SQL Server BI Dev Studio, buat project baru degan mengambil database “MovieClick”. Berbeda dengan data source view yang lalu hanya satu tabel, untuk membuat cube kita harus memiliki tabel fakta dan dimensi. Untuk database movieclick, kita memiliki satu dimensi yaitu Customer dan tabel fakta misalnya yang disewa.

Langkah berikutnya adalah kita merelasikan antara dimensi dengan tabel fakta. Jangan sampai salah arahnya. Coba sendiri ya … Cao (Bersambung)

Oleh: Rahmadya Trias H., ST, MKom.

Sesuai dengan namanya Jaringan Syaraf Tiruan berupaya meniru logika syaraf biologis manusia yang terdiri dari neuron dan sinapsis. Tiap neuron berupaya mengarahkan masukan menuju keluaran yang tepat hasil proses pembelajaran (training).

12.1. Pengenalan Neural Network

Model NN pertama kali diperkenalkan oleh Warren McCulloch dan Walter Pits tahun 1940 yang berusaha memodelkan bagaimana syaraf biologis otak bekerja. Pada tahun 1982, John Hopfield menemukan metode terkenal perambatan balik (backpropagation).

Dalam data mining, NN dimanfaatkan dalam tugas-tugas klasifikasi dan regresi. Di antara metode lainnya seperti decision tree dan naive bayes, NN dalam prosesnya memakan waktu yang lebih lama. Selain itu, agak sulit dalam melakukan interpretasi hasilnya.

NN baik digunakan dalam proses segmentasi dan dapat digunakan baik untuk data kontinyu maupun diskrit.

12.2. Cara Kerja Neural Network

Langkah pertama NN adalah dengan menyusun jumlah Neuron yang diperlukan dari satu set database yang akan di-mining. Selanjutnya dilakukan proses pembelajaran untuk menentukan bobot (weight) tiap neuron-nya.

Gambar 12.1. Pembobotan

Normalization dan Pemetaan (Mapping) digunakan untuk menentukan neuron-neuron anggota NN. Metode-metode yang digunakan antara lain: z-score, z-axis, log score dan sebagainya. Metode paling sederhana adalah: V=(A-A_min)/(A_max-A_min).

Gambar 12.2. Normalization dan Pemetaan

12.4. NN dengan Microsoft BI Development

Berikutnya kita akan mencoba memanfaatkan Microsoft BI Development untuk membuat Mining dengan teknik Microsoft Neural Network. Microsoft Neural Network secara otomatis akan melakukan Normalisasi dan mapping, misalnya usia akan dipecah menjadi group-group usia 20-22, 22-23 dan seterusnya. Selain itu kita dapat melihat struktur untuk usia 22-23 yang berjenis kelamin wanita, janda tanpa anak dan berapa peluang terhadap kepemilikan rumah (menyewa atau memiliki sendiri).

Gambar 12.3. Hasil Keluaran Microsoft Neural Network

Coba lakukan untuk data “Movie Click”. Gunakan Key, Input dan Predic yang sama dengan Decision Tree.

Oleh: Rahmadya Trias H., ST, MKom.

Clustering adalah mengumpulkan sederetan data sejenis dalam satu cluster yang membedakan dengan cluster lainnya. Ciri yang mendasari pengelompokkan berdasarkan variabel tertentu dari database. Tentu saja makin banyak variabel yang mendasari pengelompokkan, proses pengklasteran makin rumit.

11.1. Pengenalan Microsoft Clustering

Microsoft clustering bekerja menemukan peng-groupan secara alami dari data yang kita meliki dengan cara mencari variabel-variabel tersembunyi. Manfaat utama dari clustering, misalnya jika kita akan memasarkan suatu produk, katakanlah mobil, maka tentu saja kita akan mencari data-data dalam suatu cluster yang memiliki ciri-ciri tidak memiliki mobil tetapi berpenghasilan di atas rata-rata.

Ada dua metode yang digunakan untuk pengklusteran yaitu K-Means dan Expectation Maximization (EM). K-Means melakukan pengklusteran dengan menghitung jarak (distance) rata-rata satu kluster dengan kluster lainnya. Pusat kluster bergeser sesuai dengan jarak rata-ratanya. Metode ini sering diistilahkan dengan Hard clustering karena satu objek tepat hanya menjadi anggota suatu kluster.

Berbeda dengan K-Means, EM cenderung menggunakan probabilitas dalam pengklusteran. Kurva yang dipakai adalah kurva Bell. Karena antara satu kluster dengan kluster lainnya bisa overlapping, maka metode ini sering diistilahkan dengan nama Soft Clustering.

Gambar 11.1. Metode K-Means (Kiri) dan Metode EM (Kanan)

11.2. Pemodelan Clustering

Pemodelan diperlukan untuk melakukan clustering pada data set milik kita. Variabel yang menjadi basis klusterifikasi harus kita pilih setepat mungkin. Klusterifikasi dimanfaatkan untuk menganalisis, misalnya analisa terhadap kerugian penjualan. Sebaiknya model yang kita buat lebih dari satu untuk menghindari bias.

Gambar 11.2. Model Kluster

11.3. Klusterifikasi dengan Microsoft BI Development

Akhirnya kita mencoba melakukan klusterifikasi dengan aplikasi dari microsoft, yaitu Microsoft Clustering. Langkah pembuatan project sama dengan bab-bab terdahulu hanya saat memodelkan Mining Structure kita memilih teknik yang digunakan dengan teknik Microsoft Clustering. Key, Input dan Predict agak berbeda. Pada Clustering, kita memiliki Input dan Predict dengan variabel (Field) yang sama.

Dan yang terpenting adalah kemampuan membaca hasil pengolahan Microsoft BI Development yang terdiri dari view-view: Cluster Diagram, Cluster Characteristic dan Cluster Discrimination.

Gambar 11.3. Cluster Diagram

Coba Sendiri dengan Data “Movie Click” !!! Klasifikan berdasarkan Gender, Jenis Kelamin dan Status Perkawinan.

Oleh: Rahmadya Trias H., ST, MKom

Pohon keputusan (decision tree) merupakan salah satu teknik terkenal dalam data mining. Tugas paling umum yang diserahkan kepada pohon keputusan adalah klasifikasi. Dari set database kita bisa mengetahui apakah suatu nasabah merupakan nasabah yang baik atau tidak dari riwayatnya, seseorang berpeluang terkena suatu penyakit tertentu berdasarkan riwayatnya dan lain-lain.

Pohon keputusan merupakan teknik yang paling efisien. Ibaratnya, kita menyaring sesuatu lewat pohon keputusan, apakah suatu data lolos atau tidak terhadap saringan kita dengan proses yang cukup cepat. Teknik regresi sangat banyak, tetapi yang paling terkenal adalah algoritma yang diperkenalkan oleh Prof. Briemann dengan istilah The Classification and Regression Tree (CART).

10.1. Prinsip Dasar

Untuk lebih mempercepat pemahaman tentang pohon keputusan, ada baiknya kita mengambil contoh kasus data “college plan” yang meriset beberapa orang yang akan mengambil kuliah berdasarkan IQ, Paksaan Orang Tua, Ekonomi dan Gender. Sasarannya adalah kita mampu membuat pohon keputusan, apakah seseorang kemungkinan besar mengambil kuliah atau tidak berdasarkan IQ, Paksaan Orang Tua, Ekonomi dan Gender.

Masalah pertama pada pembuatan pohon keputusan adalah, variabel manakah yang menjadi akar dari pohon tersebut. Akar di sini adalah pemisah pertama dari pohon keputusan. Dikenal istilah Bayesian Score yang menilai suatu variabel, atau dalam Pohon Keputusan terkenal dengan sebutan Entropi. Entropi dihitung dengan rumusan sebagai berikut:

Akar dipilih berdasarkan nilai entropi terendah, dan berdasarkan hasil hitungan ternyata entropi terendah adalah Paksaan Orang tua. Jadi penentu pertama peluang tertinggi seseorang mengambil kuliah berdasarkan database tersebut adalah paksaan orang tua.

10.2. Penggunaan MS BI Development

Langkah pembuatan dengan Microsoft Business Intelligent Development sama dengan bab IX tentang Naive Bayes. Bedanya adalah pada saat menentukan Mining Technique, kita memilik “Microsoft Decision Tree”. Pilih ID sebagai Key, kemudian pilih semua variabel sebagai input, prediksi kita pilih “College Play” yang berisi data “yes” atau “no”.

Coba Sendiri !!!

Gambar 10.1. Hasil Mining

Oleh: Rahmadya Trias H., ST, MKom.

Algoritma bayes mempelajari kejadian-kejadian dari rekaman database dengan cara memperhitungkan korelasi antara variabel yang dianalisa dengan variabel-variabel lainnya. Hasilnya adalah kita dapat memprediksi sesuatu, misalnya apakah seseorang berasal dari golongan tertentu berdasarkan variabel-variabel yang melekat padanya. Selain itu, naive bayes dapat juga menganalisa variabel-variabel yang paling mempengaruhinya dalam bentuk peluang.

9.1. Algoritma

Naive bayes memanfaatkan teori peluang, yakni jika diketahui suatu hipotesa H dengan kejadian tentang hipotesa E, maka kita dapat mengkalkulasi probabilitas dari H dengan formula:

Atau secara sederhana dapat dikatakan bahwa probabilitas dari hipotesa kita terhadap suatu kejadian sama dengan probabilitas kejadian yg memberikan hipotesis dikalikan dengan probabilitias hipotesa yang kemudian dinormalkan.

9.2. Naive Bayes dengan Microsoft BI Development

Dengan Ms BI Development kita diberika empat views yang menggambarkan data yang kita “Mining”, antara lain:

• Dependency Net
  
• Attribute Profiles
  
• Attribute Characteristics
  
• Attribute Discrimination
  

Berikut adalah prosedur yang kita lakukan:

• Buka MS BI Development
  
• Buat Project dengan cara File – New – Project, Piliha “Analysis Services”.
  

Gambar 9.1. New Project Creation

• Klik kanan “Data Source” pada Solutian Explorer lalu pilih database yang akan diambil (New Data Source). Cari data provider yang sesuai, dalam hal ini microsoft jet 4 OLE DB Provider.
  
• Klik Next, dilanjutkan dengan mengklik “New”
  

Gambar 9.2. Mengambil Database Yg akan Diolah

• Jangan lupa pada “Impersonation Information” diklik “Use the Service account” jika tidak kita password.
  
• Berikutnya klik kanan pada “Data Source View” dilanjutkan “New Data Source View”. Pilih Data Source yang telah kita buat sebelumnya.
  
• Langkah terakhir dan terpenting adalah memasukkan Mining Structure dengan mengklik kanan “Mining Structure” dilanjutkan dengan “New Mining Structure”.
  
• Klik Next, hingga saat dijumpai pilihan “Mining Technique” Pilih Microsoft Naive Bayes.
  
• Pilih Key, Input dan Predict yang sesuai lalu klik “Sugest” untuk menganalisa variabel-variabel mana yang paling tinggi peluangnya sekaligus paling berpengaruh terhadap prediksi dari partai mana seseorang.
  

Gambar 9.3. Sugest Related Columns

• Klik “Process Mining …” untuk memproses Data Mining. Klik “Yes” dilanjutkan dengan proses Mining. Tunggu hingga selesai.
  
• Klik “RUN” saat selesai, tunggu sesaat dan jika telah selesai “CLOSE” hasil Running.
  
• Klik tab “Mining Model Viewer” akan menghasilkan Dependency network sebagai berikut:
  

Gambar 9.4 Dependency Network

• Coba sendiri dengan data yang lainnya.
  

Hari/Tgl/Ruang/Mata Kuliah/Dosen/: Jumat/18-06-2010/Data Mining/Rahmadya Trias H., ST, MKom.

Salah satu kemampuan manusia yang alami adalah memisahkan sesuatu. Misal kita sebar berbagai jenis jeruk, lalu kita suruh seorang anak mengumpulkan sesuai dengan jenis jeruk, warna jeruk atau kualitas jeruk (rusak atau tidak) maka dengan mudah anak tersebut sanggup mengumpulkannya. Karakteristik tersebut dapat dimengerti oleh manusia, tapi tidak oleh sistem. Kita harus mendefinisikan sistem dengan baik, sebab jangan-jangan ada bola dianggap sebagai jeruk!

Dalam data mining, pengelompokkan berdasarkan isi suatu field, apakah gender, indeks prestasi, pendapatan atau sebagainya, sesuai dengan kebutuhan. Dalam Microsoft BI development sudah tersedia machine learning-nya yang diberi nama Micorosoft Clustering. Cara mengerjakannya mudah saja, tinggal memanggil database yang akan diolah.

Dalam praktek pada malam ini, sedikit ada error yang diakibatkan oleh sistem analysis service yang tidak “Up” karena suatu hal (masih misterius). Cara menyelesaikan masalah tersebut dengan mudah lewat configuration manager pada MS SQL Server. Tinggal di “Start” saja.

Clustering sangat bermanfaat, misalkan  jika seorang marketing ingin memasarkan mobil, tinggal mencari data yang tercluster dimana paling banyak orang yang belum memiliki mobil padahal berpenghasilan menengah ke atas. OKEH.

Hari/Tgl/MK/Ruang/Dosen: Jumat/21-05-2010/Prakt. Data Mining/Lab-Hardware/Rahmadya Trias, ST, MKom.

Setelah pada pertemuan sebelum UTS dipelajari teknik mengolah data dengan metode naive bayes sederhana dengan excel, sekarang saatnya menggunakan software komersial untuk database berukuran besar seperti Microsoft Business Intelligent Development Studio 2005. Untuk yang gratisan dapat menggunakan software WEKA buatan Prof. Waikato.

Buka Ms BI Dev Studio, ambil contoh database, di sini yang digunakan adalah kasus senat partai demokrat dan republik USA. Untuk UAS diharapkan mampu sendiri mengolah database lainnya. Untuk melihat langkah-langkah pengolahan data, KLIK DI SINI.

Note: Tutorial dibuat dengan program screen2exe yang dapat didonlot di www.screen-record.com, yang bisa dijalankan tanpa software tambahan (ie, mozilla, flash player, dsb). Untuk beberapa antivirus mungkin dianggap adware/malware.