Python

Menganalisa Akun Twitter – Mendapatkan Keys & Token Twitter API

rahmadya Information Retrieval, Python

Twitter menyediakan API untuk mengunduh tweets seseorang. Walaupun yang tepat istilahnya “wrapper” bukan Application Programming Interface (API). Langkah pertama, tentu saja harus punya akun Twitter dulu. Berikut langkah-langkah yang perlu dilakukan.

Mendaftar Sebagai Developer

Pertama-tama masuk ke situs https://developer.twitter.com/ setelah login Twitter di browser, misalnya Mozilla. Atau langsung saja ke sini untuk membuat application baru: https://developer.twitter.com/en/apps. Tekan Create Account untuk membuat app baru.

Tiap saat sepertinya peraturan berubah-ubah. Ketika tulisan ini dibuat harus meng-apply akun sebagai developer.

Kemudian muncul pesan untuk verifikasi via nomor handphone. Tekan Add a valid phone number.

Setelah memasukan nomor ponsel yang sesuai, tunggu sms dari twitter untuk memasukan nomor verifikasi. Setelah meinginput nomor tersebut, maka phone number kita sudah terverifikasi. Tekan Continue. Berikutnya pilih perorangan atau organisasi app yang akan digunakan. Ada pertanyaan yang agak sulit mengenai mengapa membutuhkan API? Serta untuk apa dan metode apa yang digunakan nanti. Nah di sini kita diminta menjawab dengan gaya “mengarang bebas” karena diminta menulis jawaban lebih dari 300 kata. Akhiri dengan menekan Accept setelah membaca (kalau sempat) Term of Service.

Jangan lupa menceklis kotak di bagian bawan TOS. Selanjutnya diminta membuka email dari akun kita. Jika sudah ada pesan masuk dari Twitter, tekan konfirmasi.

Selesai sudah mendaftar sebagai developer yang menggunakan fasilitas Twitter. Pastikan akan masuk ke jendela developer https://developer.twitter.com/en/account/get-started.

Mendapatkan Twitter API Key

Setelah terdaftar sebagai developer berikutnya adalah membuat app. Di bagian dashboard tekan Apps dan jika tidak ada akan muncul tombol Create an App. Cukup banyak yang harus diisi, tetapi ikuti saja sampai selesai, terutama yang required harus diisi. Jika sudah maka terakhir konfirmasi kembali. Di sini beberapa kali ditolak karena nama aplikasi sudah ada yang punya, akhirnya setelah diganti, misalnya “kepo_movie”, baru lah bisa, hehe.

Keys and tokens inilah yang akan digunakan untuk aplikasi meneliti tweets dari sebuah akun twitter. Langkah selanjutnya adalah memilih aplikasi untuk analisa tweeter, misalnya Tweepy yang terkenal bagi programmer Python. Selamat mencoba, semoga peraturan Twitter masih seperti ketika tulisan ini dibuat.

Stopword Berbahasa Indonesia – via Sastrawi

rahmadya Python

Jika Natural Language Toolkit (NLTK) sudah diinstal, di dalamnya terdapat pula corpus yang berisi sampel data maupun kamus khusus, salah satunya adalah stopwords. Jalankan kode berikut ini dengan Python. Buka IDLE dan masukan instuksi berikut, simpan dan RUN.

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
stop_words=set(stopwords.words(“english”))
print(stop_words)

Seperti biasa kode program mengimpor NLTK. Selain itu pada corpus diimpor juga stopwords. Berikutnya mengimpor word_tokenize dari tokenize pada NLTK. Kode terakhir adalah menampilkan stop words dalam bahasa Inggris. Sayangnya ketika mengganti “english” dengan “indonesia”, tidak ditemukan stop words dalam bahasa Indonesia. Kalau begitu kita coba dengan bahasa Inggris. Berikut hasil runningnya:

Kata-kata tersebut adalah stopword, yaitu kata yang tidak menjadi fokus search engine karena terlalu sering muncul seperti saya, kamu, dia, tatkala, dan lain-lain. Hanya saja dari corpus (berkas) NLTK untuk bahasa Inggris saja hasil donlot via nltk.download() (lihat post terdahulu).

Sastrawi Sebagai Corpus Berbahasa Indonesia

Corpus sastrawi dapat dilihat pada link resminya berikut ini. Jalankan pip install Sastrawi pada command prompt. Tunggu beberapa saat karena mengunduh file-file pendukung yang cukup besar.

Untuk mengujinya, jalankan kode berikut ini via IDLE python.

from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory
stop_factory = StopWordRemoverFactory()
more_stopword = [‘dengan’, ‘ia’,’bahwa’,’oleh’]
data = stop_factory.get_stop_words()+more_stopword
stopword = stop_factory.create_stop_word_remover()
print(data)

Perhatikan “more_stopword” bisa digunakan untuk menambah stopword baru jika dirasa Sastrawi kurang stopword-nya dan perlu ditambah misalnya “dengan”, “ia”, “bahwa”, “oleh”, atau lainnya.

Perhatikan dalam bahasa Indonesia, stopword selain kata ganti adalah penunjuk, sapaan, dan sebagainya. Sekian, semoga bermanfaat.

Install Natural Language Toolkit (NLTK) Python

rahmadya Python

Salah satu keunggulan Python adalah menyediakan toolkit gratis. Salah satunya adalah Natural Language Toolkit yang disingkat NLTK. Selain di versi Linux, NLTK juga disertakan di versi Windows yang ketika tulisan ini dibuat ada pesan untuk menggunakan Python versi 32 bit, terpaksa install ulang karena pada postingan yang lalu menggunakan versi 64 bit. Salah satu yang tidak saya suka dari Python adalah simbolnya ular, menyeramkan, he he.

Instal Python 32 Bit

Jika menggunakan sistem operasi Windows silahkan kunjungi situs resmi ini, pilih “Download Windows x86 executable installer” yang berupa installer agar lebih enak. Setelah diunduh (sekitar 20-an Mb) jalankan hingga proses instalasi selesai, cukup mudah.

Instal NLTK

Jika Python sudah terinstal masuk ke command prompt. Searching saja di Windows 10 ketik cmd dan pilih jendela hitam command prompt. Ketik pip install nltk pada command prompt. Oiya, sebelumnya untuk menguji apakah Python sudah terinstal atau belum ketik: python –version. Pastikan muncul versi Python anda di bawahnya.

Tunggu beberapa saat hingga muncul pesan “Successfully installed nltk-3.4.1 six-1.12.0. Tetapi ada pesan lain pip versi 18.1 sebaiknya diupgrade menjadi versi 19.0.3.

Upagrade PIP NLTK

Untuk mengupgrade PIP ternyata mudah, ketik instruksi: python –m pip install – upgrade pip.

Tunggu beberapa saat hingga muncul pesan “Successfully installed pip-19.0.3. Apakah sudah selesai? Ternyata belum.

Download Paket Lengkap

Tentu saja harus mendownload paket lengkapnya. Untungnya bisa dengan lewat command prompt di atas. Ketik: python untuk masuk ke lembar kerja Python yang dicirikan simbool >>>. Selanjutnya ketik: import nltk. Fungsinya adalah mengimport NLTK yang sudah diinstal, untuk digunakan. Dengan memanggil jika akan digunakan saja bisa menghemat RAM dan tidak memberatkan komputer dibanding ketika Python dijalankan, semua fasilitas hidup. Lanjutkan dengan mengetik: nltk.download(). Perhatikan, jendela NLTK Downloader langsung muncul.

Jika ingin mengunduh lengkap silahkan tekan all packages yang besarnya hampir 2 Gb, jadi kalau miskin pulsa, sebaiknya cari Wifi cepat dan gratis, hehe. Progres mengunduh dapat dilihat di pojok kanan bawah jendela NLTK Downloader.

Hmm .. lama juga. Sabar ya, tunggu hingga selesai, jangan menduga-duga kalau komputernya “ngerjain” apalagi curang. Silahkan baca tatacara-nya di link resmi NLTK ini. Terkadang saat menginstall satu komponen hang atau gagal. Lebih baik instal ulang manual saja dengan mengklik ganda item tersebut, misalnya “twitter samples”. Selamat menginstal.

Menguji Hasil Instalasi NLTK

Saatnya menguji dengan salah satu fasilitas yaitu word_tokenize. Fungsi ini berguna untuk memecah satu kalimat menjadi beberapa token. Token di sini mirip dengan kata. Ketik: from nltk.tokenize import word_tokenize yang bermaksud memanggil fungsi tersebut dari NLTK. Buat satu contoh kalimat yang akan ditoken, cek apakah berhasil atau tidak. Jika berhasil berarti NLTK siap digunakan. Selamat menginstal.

 

 

Instal Python di Windows

rahmadya Python

Saya mengenal nama bahasa pemrograman Python pertama kali pada tahun 2003. Rekan saya selain mengajar ternyata bekerja di perusahaan pengembang perangkat lunak. Bahasa yang digunakan di perusahaannya adalah Python. Dengan gayanya yang unik ciri khas programmer dia mengatakan bahwa bahasa pemrograman tersebut sangat “powerful”. Terus terang saya tidak terlalu tertarik karena waktu itu Visual Basic, PHP, dan Delphi merupakan pilihan utama bahasa pemrograman para mahasiswa yang sedang menyelesaikan tugas akhirnya. Ternyata bagi para data scientist Python merupakan pilihan utama (selain bahasa R). Matlab sendiri tidak direkomendasikan karena berbayar.

Untuk optimalnya, Python diinstal di Linux karena full gratis. Jika diinstal di Windows tentu saja membutuhkan lisensi Windows. Tetapi bagi pengguna yang masih belum familiar dengan Linux (misalnya Ubuntu), dengan menginstal di Windows maka Python bisa langsung dipelajari. Situs untuk mengunduh software Python sudah tersedia (www.python.org). Saat tulisan ini dibuat tersedia versi 3.7.2. Pilih sesuai Platform OS Windows, misalnya 64 bit.

Saya lebih suka web-based installer karena tidak memenuhi ruang harddisk untuk master softwarenya. Jika ingin diinstal juga di komputer lain, pilih saja yang executable installer karena tidak perlu mengunduh dua kali.

Seperti biasa Windows butuh kepastian mengenai aplikasi yang akan diinstal. Ketik saja Run untuk memulai proses mengunduh sekalian menginstal. Saya lebih memilih menambahkan PATH Python agar bisa dijalankan di semua folder kerja dengan cara memberi checklist di pilihan tersebut.

Kita tinggal menunggu Setup Progres hingga selesai. Sebagai informasi, Python diciptakan oleh orang Belanda Guido Von Rossum yang sempat bekerja di Google. Maka tidak heran jika bahasa ini diterapkan di Google, Youtube, Yahoo, dan NASA.

Jangan khawatir, Python memiliki alat bantu yang bernama The IDLE Python Development Environment yang sering kita kenal pada bahasa pemrograman lainnya yaitu IDE.

Ada baiknya men-disable panjang path agar Python tidak bermasalah nantinya jika Path-nya di atas 260 karakter. Jalankan Python yang baru saja diinstal.

Seperti biasa tes program dengan “hello word” untuk memastikan bahasa pemrograman tersebut berjalan dengan normal.

Ternyata mirip dengan Shell pada Matlab dan sepertinya mudah juga, dan yang penting tidak berbayar. Silahkan mencoba.