Chatbot yang menggunakan model bahasa besar (LLM) biasanya hanya bisa menjawab berdasarkan data yang sudah dilatih sebelumnya. Jika pertanyaan yang diajukan berada di luar cakupan datanya, jawabannya bisa jadi kurang relevan atau umum. Oleh karena itu, metode Retrieval-Augmented Generation (RAG) menjadi solusi untuk meningkatkan akurasi jawaban dengan menambahkan data eksternal yang lebih spesifik. Dengan RAG, chatbot bisa mencari informasi di database lokal terlebih dahulu sebelum memberikan jawaban, sehingga lebih sesuai dengan kebutuhan pengguna.
Dalam pengimplementasiannya, data yang digunakan oleh chatbot bisa disimpan dalam bentuk embedding vektor yang memudahkan pencarian informasi relevan. Sebagai contoh, jika chatbot awalnya tidak mengetahui tren konsumsi gas domestik, pengguna dapat menambahkan dataset terbaru ke dalam sistem. Dengan begitu, chatbot dapat memberikan jawaban berdasarkan sumber yang lebih aktual tanpa perlu melatih ulang modelnya. Hal ini sangat berguna dalam skenario seperti informasi harga minyak terkini atau jadwal pendaftaran mahasiswa yang selalu diperbarui setiap tahun.
Keunggulan utama dari metode RAG dibanding fine-tuning adalah fleksibilitasnya. Fine-tuning memerlukan waktu dan sumber daya komputasi yang besar untuk melatih ulang model dengan data baru. Sebaliknya, dengan RAG, cukup dengan memperbarui repository data eksternal, chatbot dapat memberikan jawaban yang lebih akurat tanpa perlu melakukan pelatihan ulang. Oleh karena itu, pendekatan ini lebih efisien untuk aplikasi yang membutuhkan pembaruan informasi secara berkala.