Kategori: Python

Python versi 2 ternyata masih powerful untuk menangani pekerjaan semantik analisis dengan fasilitas tambahannya yang terkenal yaitu natural language toolkits (NLTK). Postingan ini sedikit mengulang bagaimana menginstal versi 2 tersebut. Untuk yang ingin menginstal versi 3 64 bit yang biasanya digunakan untuk menangani Keras dan TensorFlow silahkan lihat postingan terdahulu.

Situs Resmi Download Python 2.7.3

Python versi ini ternyata tidak bisa menjalankan PIP untuk instal NLTK, silahkan menuju bagian bawah postingan ini (install python 2.7.14). Ada baiknya mengunduh sendiri source python dan dari situs resminya agar terhindar dari masuknya virus atau malware. Silahkan akses ke situs berikut. Cari versi yang diinginkan lalu tekan Download.

Ada banyak pilihan, tetapi untuk NLTK yang dipilih ada versi 32 bit, bukan yang 64 bit. Setelah file “msi” diunduh, jalankan installer tersebut.

Tunggu beberapa saat hingga selesai, ditandai dengan menekan Finish. Yang terpenting kita harus mengetahui lokasi instalasi Python tersebut untuk dilanjutkan ke seting environment.

Seting Environment Python.

Tidak serta merta ketika python diinstal langsung bisa dimanfaatkan. Terlebih dahulu perlu dilakukan beberapa seting, salah satunya adalah seting environment. Untuk masuk ke seting environment jika dengan windows lebih mudah lewat searching dengan kata kunci “environment”.

Atau jika Windows 7 lewat buka Control Panel->System and Security->System dilanjutkan dengan Advanced system settings, Environment Variables.

 

Pada System Variables pilih Path. Lanjutkan dengan menekan Edit untuk menyisipkan C:\Python27. Namun ketika dijalankan ternyata untuk instalasi natural language toolkits (NLTK) ada masalah.

Masalah Instal NLTK di Python 2.7.3

Masalah ini sudah dibahas di milis stackoverflow. Jika dijalankan instalasi NLTK akan muncul pesan kesalahan berikut ini.

Solusinya termudah adalah mengunduh versi 2.7.14 seperti yang disarankan oleh situs tanya jawab tersebut. Jangan lupa pilih yang versi 32 bit dan install lagi dengan versi itu. Di sini python yang lama di-remove (mungkin bisa juga tanpa diremove).

Pilih saja seluruh instalasi termasuk Path pada python.exe nya. Tunggu beberapa saat hingga selesai. Jalankan: python -m pip install nltk untuk instal NLTK. Beberapa saat kemudian akan diminta upgrade ke pip versi 19.2.1. Ketik saja: python -m pip install –upgrade pip.

Mengunduh NLTK

Terakhir adalah mengunduh NLTK. Caranya adalah dengan masuk ke python dengan mengetik python di console dilanjutkan dengan mengaktifkan nltk lewat: import nltk di console python. Setelah itu proses pengunduhan dijalankan lewat: nltk.download(). Oiya, jangan lupa kurung buka dan kurung tutupnya. Kemudian muncul jendela NLTK berikut.

Silahkan unduh yang dibutuhkan (corpora atau paket). Atau unduh saja semua untuk amannya, tapi lumayan besar (beberapa giga). NOTE: Repotnya python per januari tahun depan (2020) tidak lagi mensuport NLTK. SIap-siap upgrade python-nya ya.

 

 

Jika Natural Language Toolkit (NLTK) sudah diinstal, di dalamnya terdapat pula corpus yang berisi sampel data maupun kamus khusus, salah satunya adalah stopwords. Jalankan kode berikut ini dengan Python. Buka IDLE dan masukan instuksi berikut, simpan dan RUN.

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
stop_words=set(stopwords.words(“english”))
print(stop_words)

Seperti biasa kode program mengimpor NLTK. Selain itu pada corpus diimpor juga stopwords. Berikutnya mengimpor word_tokenize dari tokenize pada NLTK. Kode terakhir adalah menampilkan stop words dalam bahasa Inggris. Sayangnya ketika mengganti “english” dengan “indonesia”, tidak ditemukan stop words dalam bahasa Indonesia. Kalau begitu kita coba dengan bahasa Inggris. Berikut hasil runningnya:

Kata-kata tersebut adalah stopword, yaitu kata yang tidak menjadi fokus search engine karena terlalu sering muncul seperti saya, kamu, dia, tatkala, dan lain-lain. Hanya saja dari corpus (berkas) NLTK untuk bahasa Inggris saja hasil donlot via nltk.download() (lihat post terdahulu).

Sastrawi Sebagai Corpus Berbahasa Indonesia

Corpus sastrawi dapat dilihat pada link resminya berikut ini. Jalankan pip install Sastrawi pada command prompt. Tunggu beberapa saat karena mengunduh file-file pendukung yang cukup besar.

Untuk mengujinya, jalankan kode berikut ini via IDLE python.

from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory
stop_factory = StopWordRemoverFactory()
more_stopword = [‘dengan’, ‘ia’,’bahwa’,’oleh’]
data = stop_factory.get_stop_words()+more_stopword
stopword = stop_factory.create_stop_word_remover()
print(data)

Perhatikan “more_stopword” bisa digunakan untuk menambah stopword baru jika dirasa Sastrawi kurang stopword-nya dan perlu ditambah misalnya “dengan”, “ia”, “bahwa”, “oleh”, atau lainnya.

Perhatikan dalam bahasa Indonesia, stopword selain kata ganti adalah penunjuk, sapaan, dan sebagainya. Sekian, semoga bermanfaat.

Salah satu keunggulan Python adalah menyediakan toolkit gratis. Salah satunya adalah Natural Language Toolkit yang disingkat NLTK. Selain di versi Linux, NLTK juga disertakan di versi Windows yang ketika tulisan ini dibuat ada pesan untuk menggunakan Python versi 32 bit, terpaksa install ulang karena pada postingan yang lalu menggunakan versi 64 bit. Salah satu yang tidak saya suka dari Python adalah simbolnya ular, menyeramkan, he he.

Instal Python 32 Bit

Jika menggunakan sistem operasi Windows silahkan kunjungi situs resmi ini, pilih “Download Windows x86 executable installer” yang berupa installer agar lebih enak. Setelah diunduh (sekitar 20-an Mb) jalankan hingga proses instalasi selesai, cukup mudah.

Instal NLTK

Jika Python sudah terinstal masuk ke command prompt. Searching saja di Windows 10 ketik cmd dan pilih jendela hitam command prompt. Ketik pip install nltk pada command prompt. Oiya, sebelumnya untuk menguji apakah Python sudah terinstal atau belum ketik: python –version. Pastikan muncul versi Python anda di bawahnya.

Tunggu beberapa saat hingga muncul pesan “Successfully installed nltk-3.4.1 six-1.12.0. Tetapi ada pesan lain pip versi 18.1 sebaiknya diupgrade menjadi versi 19.0.3.

Upagrade PIP NLTK

Untuk mengupgrade PIP ternyata mudah, ketik instruksi: python –m pip install – upgrade pip.

Tunggu beberapa saat hingga muncul pesan “Successfully installed pip-19.0.3. Apakah sudah selesai? Ternyata belum.

Download Paket Lengkap

Tentu saja harus mendownload paket lengkapnya. Untungnya bisa dengan lewat command prompt di atas. Ketik: python untuk masuk ke lembar kerja Python yang dicirikan simbool >>>. Selanjutnya ketik: import nltk. Fungsinya adalah mengimport NLTK yang sudah diinstal, untuk digunakan. Dengan memanggil jika akan digunakan saja bisa menghemat RAM dan tidak memberatkan komputer dibanding ketika Python dijalankan, semua fasilitas hidup. Lanjutkan dengan mengetik: nltk.download(). Perhatikan, jendela NLTK Downloader langsung muncul.

Jika ingin mengunduh lengkap silahkan tekan all packages yang besarnya hampir 2 Gb, jadi kalau miskin pulsa, sebaiknya cari Wifi cepat dan gratis, hehe. Progres mengunduh dapat dilihat di pojok kanan bawah jendela NLTK Downloader.

Hmm .. lama juga. Sabar ya, tunggu hingga selesai, jangan menduga-duga kalau komputernya “ngerjain” apalagi curang. Silahkan baca tatacara-nya di link resmi NLTK ini. Terkadang saat menginstall satu komponen hang atau gagal. Lebih baik instal ulang manual saja dengan mengklik ganda item tersebut, misalnya “twitter samples”. Selamat menginstal.

Menguji Hasil Instalasi NLTK

Saatnya menguji dengan salah satu fasilitas yaitu word_tokenize. Fungsi ini berguna untuk memecah satu kalimat menjadi beberapa token. Token di sini mirip dengan kata. Ketik: from nltk.tokenize import word_tokenize yang bermaksud memanggil fungsi tersebut dari NLTK. Buat satu contoh kalimat yang akan ditoken, cek apakah berhasil atau tidak. Jika berhasil berarti NLTK siap digunakan. Selamat menginstal.

 

 

Saya mengenal nama bahasa pemrograman Python pertama kali pada tahun 2003. Rekan saya selain mengajar ternyata bekerja di perusahaan pengembang perangkat lunak. Bahasa yang digunakan di perusahaannya adalah Python. Dengan gayanya yang unik ciri khas programmer dia mengatakan bahwa bahasa pemrograman tersebut sangat “powerful”. Terus terang saya tidak terlalu tertarik karena waktu itu Visual Basic, PHP, dan Delphi merupakan pilihan utama bahasa pemrograman para mahasiswa yang sedang menyelesaikan tugas akhirnya. Ternyata bagi para data scientist Python merupakan pilihan utama (selain bahasa R). Matlab sendiri tidak direkomendasikan karena berbayar.

Untuk optimalnya, Python diinstal di Linux karena full gratis. Jika diinstal di Windows tentu saja membutuhkan lisensi Windows. Tetapi bagi pengguna yang masih belum familiar dengan Linux (misalnya Ubuntu), dengan menginstal di Windows maka Python bisa langsung dipelajari. Situs untuk mengunduh software Python sudah tersedia (www.python.org). Saat tulisan ini dibuat tersedia versi 3.7.2. Pilih sesuai Platform OS Windows, misalnya 64 bit.

Saya lebih suka web-based installer karena tidak memenuhi ruang harddisk untuk master softwarenya. Jika ingin diinstal juga di komputer lain, pilih saja yang executable installer karena tidak perlu mengunduh dua kali.

Seperti biasa Windows butuh kepastian mengenai aplikasi yang akan diinstal. Ketik saja Run untuk memulai proses mengunduh sekalian menginstal. Saya lebih memilih menambahkan PATH Python agar bisa dijalankan di semua folder kerja dengan cara memberi checklist di pilihan tersebut.

Kita tinggal menunggu Setup Progres hingga selesai. Sebagai informasi, Python diciptakan oleh orang Belanda Guido Von Rossum yang sempat bekerja di Google. Maka tidak heran jika bahasa ini diterapkan di Google, Youtube, Yahoo, dan NASA.

Jangan khawatir, Python memiliki alat bantu yang bernama The IDLE Python Development Environment yang sering kita kenal pada bahasa pemrograman lainnya yaitu IDE.

Ada baiknya men-disable panjang path agar Python tidak bermasalah nantinya jika Path-nya di atas 260 karakter. Jalankan Python yang baru saja diinstal.

Seperti biasa tes program dengan “hello word” untuk memastikan bahasa pemrograman tersebut berjalan dengan normal.

Ternyata mirip dengan Shell pada Matlab dan sepertinya mudah juga, dan yang penting tidak berbayar. Silahkan mencoba.