Big Data dengan Matlab

Dulu saya pernah menggunakan Matlab dengan paralel prosesing (pos yang lalu). Caranya dengan menjalankan serempak aplikasi Matlab beberapa kali. Tetapi saat ini, Matlab terbaru menyediakan fasilitas Big Data.

Salah satu fasilitasnya adalah dengan menyediakan ‘workers’, yaitu proses terpisah, istilah lain dari processor. Selain itu disediakan pula sejenis matriks tetapi hanya sebagian yang ditampilkan, dikenal dengan nama ‘Tall Array’. Fasilitas ini memungkinkan pemodel merakit model tanpa khawatir berat akibat menguji dengan seluruh data. Dengan Tall array tidak seluruh data dirunning, hanya beberapa saja, yang penting jalan. Jika model yang dirakit sudah ok dijalankan dengan Tall Array, maka untuk menjalankan total data dengan instruksi ‘gather’. Silahkan baca lagi postingan tersebut untuk detilnya.

Untuk mengeksekusi Big Data dan Deep Learning, ada baiknya anda menggunakan laptop/komputer dengan GPU dengan compute ability di atas 5. Khusus Windows, silahkan diset GPU agar idle time diperpanjang, mengingat Windows ketika melihat GPU ‘nganggur’/idle, akan direset, padahal tidak idle, melainkan sedang mengeksekusi program. Silahkan lihat cara mengeset di sini.

Untuk mengetahui bagaimana menggunakan Matlab untuk aplikasi Big Data, silahkan lihat video berikut ini. Sekian selamat mencoba.

REF: https://www.mathworks.com/matlabcentral/answers/22047-cuda_error_launch_timeout

To keep running when the data is empty in Python

Machine learning is a method that involves methods with datasets. Sometimes when the dataset to be processed is empty an error will appear as below.

Several ways can be taken, but the easiest way is to check the size of the csv file. If the file size is zero Kb then it is confirmed that there is no content. Then just use the ‘if not’ instruction as sample below.


Here, the ‘os’ library is required. Don’t forget to indent the ‘if’, including the ‘else:’ side.

Contoh Deployment Python dengan PHP

Lanjutan dari pos sebelumnya, kali ini membahas praktik sederhana menjalankan hasil pemodelan Machine Learning (ML) dengan Python pada PHP. Sebenarnya Python memiliki framework Web sendiri, misalnya Flask dan Django. Namun, kebanyakan server menggunakan Apache yang berbasis PHP. Oleh karena itu perlu mengintegrasikan Python dengan Apache. Silahkan lihat tatacara untuk XAMPP di windows pada video berikut.

Untuk Linux, misal Ubuntu agak sedikit rumit karena hak akses pada file, serta environment yang agak rumit, seperti video berikut.

Video berikut menjelaskan sample deployment sentiment analysis dengan bahasa Python pada PHP-MySQL di windows.

CRISP-DM & CRISP-ML

So far, we are familiar with both waterfall-based and iteration-based development cycles. The rapid development of Artificial Intelligence (AI) and Machine Learning (ML) makes it quite difficult for vendors to follow the development methods used because AI, DM, and ML involve datasets. So the data and methods in ML cannot be separated.

One of the development processes currently used is the Cross Industry Standard Process for Data Mining (CRISP-DM). This process integrates DM modeling into the development process. Especially in the data understanding to evaluation section.

After CRISP-DM was used to create Data Mining-based applications, some developers needed a new process standard specifically for ML, especially due to the rapid development of Deep Learning. So that raises CRISP-ML where ML is slightly different from DM. An integration with quality assurance (QA) results in the CRISP-ML(Q) development model.

In accordance with its meaning, ML requires a learning process before inference, which is usually unsupervised. For more details, please see the following video.

Praktik Web Online

Praktik belajar web paling mudah dengan XAMPP yang terinstal di Windows. Namun terkadang kita perlu belajar bagaimana mengonlinekan. Nah, salah satu situs yang bisa digunakan adalah http://000webhost.com. Ada pilihan gratis, sehingga memudahkan mahasiswa untuk mengimplementasikan web yang telah dibuatnya.

Salah satu syaratnya tentu saja sinyal/jaringan yang baik karena mengakses phpMyAdmin dan web server secara online. Namun karena hanya mengupload kode hasil koding offline di laptop maka tidak jadi masalah. Selain itu dengan online, kita belajar bagaimana mengelola file di server, baik dengan Github maupun lewat ftp untuk mengirim file ke server.

Untuk aplikasi sederhana silahkan coba ikuti cara sederhana berikut ini. Untuk kode silahkan cari di internet sample aplikasi Php-MySql. Termasuk juga bagaimana menguji/tes vulnerability page yang baru kita buat dengan ZAP, yang juga gratis (https://hostedscan.com/owasp-vulnerability-scan). Selamat mencoba.

Mencari Jurnal yang Tepat dengan Find Journals Elsevier

Problem utama dosen adalah publikasi, salah satunya jurnal internasional, karena lektor kepala dan guru besar perlu kewajiban khusus per tiga tahun. Termasuk juga lektor yang akan mengajukan pangkat menjadi Lektor Kepala. Syarat tidak boleh jurnal predator dan diskontinyu mengharuskan peneliti mencari tahu jurnal-jurnal apa saja yang diperbolehkan. Dengan daftar bealls dapat diketahui jurnal-jurnal mana saja yang predator.

Jika sudah diketahui, ada problem lain yaitu jurnal apa saja yang sesuai dengan topik yang kita bahas. Elsevier memberikan link yang berisi saran jurnal apa saja yang cocok dengan penelitian kita. Input yang diperlukan adalah judul, abstrak, dan kata kunci. Selain itu ada pilihan lain terkait impact factor dan sebagainya. Silahkan buka linknya: https://journalfinder.elsevier.com/.

Klik Refine your search jika ingin menambahkan informasi mengenai jurnal yang dituju. Pilihannya antara lain:

  • Tipe publikasi, Open Access atau Subscription.
  • Impact Jurnal (CiteScore dan JIF)
  • Review & Publication Time (First decision dan Time to Publication)

Setelah diklik Find journals akan diperoleh jurnal-jurnal yang disarankan berisi informasi sesuai dengan Refine your search yang baru saja dipilih. Oiya, tampak juga Acceptance Rate-nya, misalnya Micoroprocessors and Microsystems 40%, jadi dari 100 submit hanya 40% yang diterima. Selamat mencoba.

Rest API Sederhana – Read Database dengan GET

Saat ini kebanyakan aplikasi Web menggunakan metode mengakses dengan Application Programming Interface (API). Metode ini berisi web service yang menyediakan fasilitas mengakses data lewat protokol HTTP: GET, PUT, POSH, dan DELETE. Lewat protokol http, yang akan mengakses tidak perlu menggunakan bahasa pemrograman yang mengakses data, misal lewat SELECT pada akses standar SQL.

Dengan API maka data di database serves dapat diakses oleh aplikasi lain yang berbeda platform dan bahasa dengan Web server, misal mengakses lewat aplikasi Android/IOS atau lewat front-end VuJS, React-JS, dan sejenisnya. Jadi API laksana tombol yang dapat diakses oleh aplikasi lain. Berikut ilustrasi penggunaannya, dengan GET yang berfungsi me-read database. Tentu saja dalam implementasinya dibutuhkan token untuk membatasi siapa saja yang bisa mengakses API tersebut.

Kondisi Sudah Normal Kembali, Yuk Studi Lanjut

Berbeda dengan negara kita, negara lain sudah mulai memaksa dosen harus S3 (doktor). Repotnya generasi saya berbeda dengan generasi sekarang. Kalau reuni, ada yang unik, rombongan ‘menengah ke bawah’ dalam hal akademik seperti saya dan minoritas rekan2 lain, justru malah menjadi guru dan dosen. Rombongan cerdas malah cenderung bekerja di kantor/industri. Ada beberapa top 10 yang jadi dosen, itu pun sebelum lulus sudah dikader oleh kampus.

Mungkin ada kaitannya dengan gaji ketika cenderung berkarir di kantor/industri. Saya ingat ketika tahun kedua ada pengumuman ada ikatan dinas untuk menjadi dosen di kampus (untuk dosen D3) tidak ada yang berminat. Malah pada memilih pengumuman di atasnya, untuk mahasiswa IPK 3 ke atas masuk ke PT Astra tanpa tes. Kalau saya memang ketika melamar kerja, tidak ada yang menerima. Bisa jadi alasan pemerintah tidak memaksa S3 karena hal tersebut, untuk generasi saya jangankan S3, magister (S2) saja rasanya sudah berat.

Postingan Fesbuk dari P Munir, mungkin ada benarnya, karena sebagian besar yang ambil S3 di dalam negeri adalah generasi saya. Tapi untuk Anda generasi milenial, jangan terlalu dibaca serius ya postingan itu, karena beda jamannya. Saat ini profesi dosen bukan pilihan terakhir, sudah menjadi idola. Jadi tidak boleh menolak untuk lanjut ke S3. Coba peluang yang ada, perkuat bahasa Asing dan fokus ke riset, supaya bisa halan-halan sambil belajar.

Animasi dengan Ms PowerPoint

Banyak cara orang menampilkan sebuah pesan, dari teks, suara, hingga gambar. Termasuk juga sebuah organisasi perlu menampilkan sebuah pesan yang efektif kepada anggotanya. Saat ini media sosial menjadi andalan dalam penyebaran informasi setelah sebelumnya email dan web.

Tidak dapat dipungkiri, pesan lewat gambar dan video lebih efektif dibandingkan dengan tulisan. Apalagi jika ditampilkan dalam bentuk yang lucu dan menghibur. Sayangnya, untuk membuat sebuah video diperlukan keahlian khusus, apalagi dalam bentuk animasi.

Mengingat Ms office sudah menjadi tools yang sebagian besar orang telah lama menggunakan, ada baiknya memanfaatkan salah satu fasilitas terkenalnya, yakni Ms Powerpoint. Ternyata tool ini dapat digunakan untuk animasi lewat slideshownya (dengan ekstensi *.pps atau *.ppsx). Contoh di bawah merupakan salah satu pesan dalam bentuk animasi.

Banyak fitur-fitur yang tersedia dalam animasi pada Ms Powerpoint, dari entrance, exit, transition, dan sejenisnya yang dapat digunakan. Silahkan lihat video berikut untuk tata cara penggunaan sederhananya.

Praktikum Web Online

Aplikasi web saat ini merupakan aplikasi standar karena aplikasi berbasis desktop sudah jarang dijumpai. Perkembangan teknologi yang cepat pada bidang ini mengharuskan kampus ikut menyesuaikan pula. Mahasiswa selain mampu membuat disain pada lokal komputer, misalnya dengan php-mysql, harus mampu juga meng-online-kan. Jadi baik development dan production mahasiswa memiliki kemampuan itu.

Beberapa tempat hosting banyak dijumpai. Untuk mahasiswa hosting gratis menjadi andalan utama. Tentu saja dengan kapasitas yang seadanya. Tapi untuk aplikasi-aplikasi dasar tidak menjadi masalah. Misalnya www.000webhost.com seperti ditunjukan pada video di bawah ini.

Sebagai latihan dasar, skill yang dibutuhkan pada aplikasi Web adalah menghubungkan Web dan Database server. Biasanya menggunakan PHP dan MySQL, dilanjutkan dengan menjalankan proses Create, Read, Update, dan Delete, atau biasa disingkat CRUD.

Berikutnya adalah menambahkan Role atau hak akses yang membedakan pengguna biasa dengan administrator. Tentu saja dapat dikembangkan dengan role lainnya selain admin dan user biasa.

Silahkan coba manfaatkan fasilitas tersebut. Lumayan, gratis. Yang penting adalah bisa meng-online-kan aplikasi yang dibuat di server development (komputer/laptop kita).

Excluding Jurnal Pada Turnitin

Karena ada kewajiban cek Turnitin untuk kepangkatan (PAK) dosen pada jurnal yang telah terpublikasi maka muncul masalah skor turnitin yang 90% ke atas karena terdeteksi ada di link Jurnal tertentu. Tentu saja tidak benar karena tulisan yang terdeteksi plagiat tersebut memang milik sendiri. Justru malah kalau tidak terdeteksi berarti belum terpublikasi.

Pada Turnitin ada fasilitas exclude agar jurnal kita yang sudah publish tidak ikut dalam perhitungan skor plagiasi. Video singkat berikut ilustrasi bagaimana menjalankan fasilitas tersebut.

Stopwords Removal Bhs Indonesia – via Sastrawi

Dalam text processing, selain menghilangkan karakter-karakter non bahasa seperti hashtag, website symbols, dan lain-lain, perlu juga menghilangkan stopwords yang merupakan kata yang kurang bermakna untuk diproses karena hampir di setiap berkas ada, misalnya ‘dan’,’atau’, ‘untuk’, dan lain-lain. Bayangkan misalnya kita searching di Google dengan kata kunci ‘A dan B’ maka kata ‘dan’ tentu saja tidak perlu di-searching karena hampir semua dokumen ada kata itu.

Natural Language Processing (NLP) merupakan bidang ilmu komputer yang fokus ke bahasa, sehingga mau tidak mau antara satu bahasa dengan bahasa lain pasti berbeda. Untuk bahasa Inggris, Natural Language Toolkit (NLTK) pada library Scikit Learn sudah lama ada, sementara untuk bahasa Indonesia, tersedia library Sastrawi yang dapat digunakan untuk menghilangkan Stopwords, selain tentu saja untuk Stemming dalam menghilangkan imbuhan (awalan, sampiran dan akhiran). Lebih lengkapnya dapat dilihat pada video berikut.

Software Testing

Salah satu aspek penting dalam software engineering adalah pengujian perangkat lunak. Fungsinya adalah mengetahui apakah aplikasi yang dibuat sesuai dengan kebutuhan (requirements) atau tidak. Ada beragam jenis pengujian, salah satunya adalah vulnerability test. Tes yang masuk kategori black box ini terkadang disebut penetration test karena bertujuan mengetahui apakah aplikasi tersebut memiliki tingkat keamanan yang baik. Biasanya untuk aplikasi-aplikasi berbasis web (web-based).

Banyak software-softaware yang bisa digunakan, salah satu yang gratis adalah OWASP ZAP yang bersifat online tanpa perlu menginstal terlebih dahulu. Silahkan lihat tata cara berikut ini.

Software Tester, Software Quality Assurance, dan sejenisnya banyak dibutuhkan dalam project pengembangan perangkat lunak. Kompetensi ini sudah ada dalam skema Badan Nasional Sertifikasi Profesi (BNSP) di Indonesia.