Web Scraping

There are two terms in web searching, namely Web Crawling and Web Scraping. The two terms have a difference. If Web Crawling looks for the location/address of the site, Web Scrapping retrieves the content or site content.

Google for example, when searching, this engine will crawl sites around the world based on keywords. Next the user will get a list of sites suggested by Google based on their ranking. Furthermore, the content will be searched manually by the user from sites suggested by Google or other search engines. The combination of crawling and scraping results in a system that in addition to finding the location of sites based on keywords, also retrieves the content of these sites.

The following video is an example of how a simple application scrapes information from four sample sites based on keywords and then the results are stored in csv (Jurnal link). Stored results can be further utilized, for example for sentiment analysis (Jurnal link).

 

 

Belajar Cepat Pemrograman Web

Saat ini hampir semua aplikasi berbasis web. Bahkan aplikasi yang sedang tren saat ini, aplikasi mobile, membutuhkan aplikase web sebagai sumber servisnya. Nah, dari mana kita memulai?

Perkembangan bahasa saat ini sangat pesat. Satu bahasa yang saat ini sedang tren belum tentu ke depan tetap banyak yang pakai. Nah, repotnya ketika kita selesai belajar satu bahasa, tidak lama kemudian tuntutan pengguna adalah dengan bahasa yang lain yang lagi ‘in’.

Oiya, selain bahasa ada juga istilah framework, misalnya bahasa php memiliki beberapa framework seperti zen, codeigniter, laravel dan lain-lain, python memiliki django, flask, dan juga bahasa yang lain. Framework tersebut berformat model-view-controller yang aman dari hacking. Nah, cara mempelajarinya pun butuh waktu lama. Tetapi postingan ini sedikit memberi tips dan trick bagaimana belajar cepatnya.

Banyak mahasiswa yang belajar tidak sampai tuntas, alias hanya sepenggal saja. Nah, perlu kiranya para mahasiswa mengetahui bagaimana satu project lengkap terbentuk. Tidak perlu menunggu mengerjakan skripsi/tugas akhir. Silahkan akses saja link gratis ini: https://freeprojectscodes.com/

Sekian, semoga bermanfaat. Untuk penggunaannya silahkan lihat video lengkap berikut ini:

Cek Plagiarisme dengan Turnitin

Syarat wajib tiap naskah publikasi adalah bebas plagiarisme. Biasanya dibatasi prosentase kemiripannya. Banyak tools untuk cek plagiarisme, salah satunya adalah Turnitin. Tools ini merupakan standar kemendikbud, selain iThenticate. Untuk yang gratisan silahkan lihat post terdahulu.

Turnitin memiliki kemampuan mengecek naskah yang tidak dibuka di internet (blog, open access, dan sejenisnya) seperti repository skripsi, tesis, dan disertasi. Sehingga jika menggunakan cek plagiarisme gratisan tidak terdeteksi, dengan turnitin bisa terdeteksi.

Turnitin bisa juga untuk mengecek naskah kerjaan siswa yang dikumpulkan. Bisa jadi tidak terdeteksi karena tidak ditemukan via internet, padahal naskah tersebut plagiat dari rekannya yang dikumpulkan bersamaan. Berikut bagaimana melakukan proses cek plagiarisme dengan Turnitin, tentu saja Anda harus punya akun turnitin.

Mengimpor data Crossref, Scopus, dan BASE ke ORCID

ORCID id saat ini menjadi standar id peneliti di seluruh dunia. Beberapa jurnal ternama sudah memasukan id ini pada informasi artikel yang dipublish. ORCID sendiri dapat menjadi CV kita yang berisi info diri, pekerjaan, hingga artikel yang telah kita publikasikan.

Salah satu kemudahan yang diberikan oleh ORCID adalah tersambungnya dengan database index lain yang ada seperti crossref, scopus, dan base. Caranya mudah karena dari ORCID terhubung langsung ke para pengindeks tersebut.

Tentu saja untuk mengisi ORCID perlu ketelitian disamping kejujuran. Saat mengimpor terkadanga ada yang bukan milik kita. Selain itu untuk pengindeks BASE perlu dicek apakah ada duplikasi atau tidak. Video berikut bisa menjadi rujukan bagaimana cara mengimpor artikel kita dari pengindek ternama.

Insert Image on MkDocs

Now that you know how to install MkDocs and edit the configuration, it’s time to manage your documents. One of the managements is to insert images. In addition, this post also shows how to make our documents online, so that our documents can be read by all people in the world.

Setting mkdocs.yml

This file is available when we finish installing MkDocs via PIP. This file can be opened with any editor, such as Visual Studio Code (VSC). Please delete or edit the available menus according to your needs.

Setting index.md

This is the main part for editing text, namely mark down (md). To make it easier where the script, titles, and images are placed, run the mkdocs serve server. By running the server, the changes we can see the change immediately. Insert the image using the following code in the section you want.

![Screenshot](img/<file_name>.<extension>)

Continue by filling in the image in the img folder location in the docs folder in MkDocs.

Deploy markdown results

Finally, deploy index.md settings by running the code:

mkdocs gh-deploy

If there are no errors, the site folder in MkDocs is ready to be uploaded online. For details, see the following video.

Dokumentasi dengan MkDocs

Dalam mata kuliah Interaksi Manusia dan Komputer (Human Computer Interraction) ada satu bab tentang dokumentasi help. Salah satu dokumentasi penting adalah dokumentasi online yang menjelaskan suatu aplikasi yang dibuat. Kalau jaman dulu mungkin berupa berkas readme atau file pdf tata cara penggunaan. Namun saat dunia online seperti saat ini, mau tidak mau kemampuan mendokumentasi online mutlak diperlukan. Sayang kan kalau harus bayar ke orang untuk publish onlinenya. Server online pun banyak yang gratis kalo hanya untuk dokumen, misalnya yang terkenal Github.io (lihat post yg lalu).

Banyak aplikasi untuk membuat dokumentasi online misalnya document360, nuclino, Github, MarkdownPad, ProProfs, Read the Docs, Doxygen, dan lain-lain. Nah, postingan ini akan membahas MkDocs, sebuah alat membuat dokumentasi online berbasis Python.

MkDocs memiliki keunggulan, yakni cepat dan gratis. Salah satu problem utama adalah untuk yang belum pernah menggunakan Python, karena harus belajar sedikit. Kalau sudah pernah dengan mudah dapat menjalankannya. Alur untuk pembuatan dokumentasi online dengan MkDocs adalah:

  • Instal MkDocs
  • Mengunduh Template
  • Mengedit mkdocs.yml dengan editor
  • Mengedit index.md dengan editor
  • Menjalankan server lokal MkDocs
  • Mendeploy hasil edit
  • Mempublish online

Lumayan panjang, tapi tidak membutuhkan sumber daya yang besar. Semua dapat dibuka dengan cepat. Sedikit butuh kreativitas ketika mengedit mkdocs.yml dan index.md. Karena ketika kita menjalankan server MkDocs kita langsung melihat perubahannya, jadi mirip mengkustomasi wordpress misalnya.

Ada sedikit rancu bagi pengguna awal, di sini mkdocs server (dengan mengetik mkdocs serve) hanya berfungsi melihat hasil editan saja, kalau ingin publish misal di XAMPP perlu mendeploy lewat fungsi mkdocs gh-deploy yang akan menghasilkan folder yang siap diupload di folder docs.

Untuk jelasnya lihat video berikut ini. Sekian, semoga bermanfaat.

Transfer Learning with Matlab

Transfer learning is a term that is often encountered by deep learning practitioners. For those who do not understand, the following explanation may be useful.

In accordance with the ‘word’, transfer learning means using past learning to use new domains or cases. The benefit is that we don’t learn from scratch again. The easiest way is to freeze the pretrained model termed pretrained, and replaces the last layer of the old number of classes with the new model class.

The following video uses Matlab 2021a to demonstrate how transfer learning works, along with techniques for freezing and augmenting data with rotation and translation. The benefit of augmentation is to increase the amount of training data by changing ‘slightly’ from the initial training data.

Final Submit to AIP Publishing

There are many journals and conferences indexed by Scopus, one of which is AIP Publishing based in the United States. Although Indonesia is currently pushing for researchers to publish in local journals, the Scopus index still has a significant weight in the SINTA ranking (Indonesian Index). So, the Scopus indexed conferences are still being hunted.

Many beginners are a bit confused when following the publishing process, besides the language, the style of the process of each conference is different. Sometimes changes occur, for example, IEEE which requires a signature scan before publishing, now it is no longer necessary. Well, for AIP publishing, the following video provides the procedure for filling out the final form before publishing. So, hopefully, it can be useful.

Calculating the Number of Parameters of the Deep Learning Model

Deep learning (DL) is a development of the Neural Network where the number of layers is much more. In the past, neural networks were not able to handle many layers, now due to the development of methods and hardware, models with a large number of layers (even hundreds) can be done.

To improve DL performance, it is sometimes necessary to analyze the design model. In addition to accuracy, sometimes models with high performance in terms of speed are needed. To find out the performance, it is sometimes necessary to analyze floating point operations, namely the computation of computational complexity in DL. Check out the following video.

Currently, FLOPs are no longer relevant for the current hardware conditions that work in parallel. The calculation of processing time can be an alternative which of course will differ from one machine to another, but for comparison it does not matter (as long as running on the same machine). Another method is to calculate the number of parameters of a model. A large number of parameters certainly affects performance, so a system with a small number of parameters with an accuracy that is not much different is a topic that is now being studied a lot, especially those that can work for small computers or mobile phones. Here’s how to find out the number of parameters in Matlab. For Python the TensorFlow library automatically calculates the number.

Membuat Grafik untuk Jurnal

Grafik merupakan salah satu alat bantu menjelaskan dalam sebuah jurnal. Ada pribahasa “satu gambar lebih baik dari 1000 kata”. Tentu saja jika gambarnya ok dan mudah dimengerti. Oiya, grafik dalam jurnal masuk dalam kategori gambar (Figure). Oleh karena itu perlu membuat grafik sejelas mungkin.

Banyak mahasiswa menggunakan Excel untuk membuat grafik, padahal hasilnya kurang ok untuk jurnal, apalagi jurnal internasional. Salah satu aplikasi yang dapat digunakan untuk membuat grafik yang cukup baik adalah Matlab. Misalnya link berikut menunjukan jurnal Elsevier yang membolehkan submission berupa Matlab viewer.

Selain itu Matlab figure bisa juga terkoneksi ke Visio untuk memberi kustomisasi lebih lanjut, seting warna, ukuran dan jenis garis, dan lain-lain. Untuk lebih jelasnya silahkan lihat video berikut ini. Selamat mencoba.