Wawancara Seri AI 8: Apa itu RAG? Mengapa Memikirkan Proyek RAG?

Apa itu RAG?

RAG adalah singkatan dari Retrieval-Augmented Generation, yang dalam bahasa Indonesia berarti Generasi yang Ditingkatkan dengan Pengambilan.

Sederhananya, ini adalah teknik memberikan "buku referensi yang bisa dibaca kapan saja" kepada model bahasa besar.

Bayangkan model bahasa besar sebagai "siswa super" yang memiliki daya ingat luar biasa dan pengetahuan luas. Namun, siswa super ini memiliki dua "kekurangan" bawaan:

1. Batas Pengetahuan: Pengetahuan yang ia miliki hanya sampai data saat pelatihan. Peristiwa setelah tahun 2023 tidak ia ketahui sama sekali.
2. Mungkin "Mengarang": Ketika menghadapi pertanyaan yang tidak ia ketahui, ia tidak akan mengatakan "Saya tidak tahu", melainkan akan "mengarang" jawaban yang terdengar masuk akal berdasarkan imajinasinya (ini disebut halusinasi AI).

RAG hadir untuk mengatasi dua masalah ini. Alur kerjanya sederhana, terdiri dari tiga langkah:

1. Pengambilan: Saat Anda mengajukan pertanyaan, sistem akan mencari di "basis pengetahuan eksternal" (misalnya semua dokumen perusahaan Anda, Wikipedia terbaru, atau kumpulan hukum) dengan cepat dan menemukan beberapa bagian informasi yang paling relevan. Ini seperti menyuruh siswa mencari di buku berdasarkan pertanyaan.
2. Peningkatan: Sistem menggabungkan "pertanyaan Anda" dan "bagian relevan yang ditemukan" menjadi satu paket, membentuk sebuah petunjuk yang "ditingkatkan". Ini seperti memberikan bahan referensi kepada siswa.
3. Generasi: Model bahasa besar menghasilkan jawaban akhir berdasarkan petunjuk yang "ditingkatkan" ini. Ia tidak lagi hanya bergantung pada pengetahuan lama yang ada di "ingatannya", melainkan terutama merujuk pada "bahan referensi" yang Anda berikan. Ini seperti siswa menjawab pertanyaan sambil melihat buku, bukan berimajinasi.

Analogi sederhana:
- LLM tradisional: "Bagaimana cara memperbaiki sepeda model XX saya?" → Model menjawab dari ingatan, mungkin usang atau salah.
- RAG: "Bagaimana cara memperbaiki sepeda model XX saya?" → Pertama, ambil manual perbaikan resmi terbaru → Kemudian hasilkan: "Menurut Bab 3 manual perbaikan edisi 2024, Anda harus terlebih dahulu..."

Mengapa memikirkan proyek RAG?

Melakukan proyek RAG pada dasarnya adalah untuk memaksimalkan kelebihan dan meminimalkan kekurangan, melepaskan potensi sebenarnya dari model bahasa besar. Ada beberapa pendorong inti utama:

1. Mengatasi masalah "pengetahuan usang" dan "halusinasi"

   • Motivasi: Ingin LLM menjawab pertanyaan tentang peristiwa terbaru, data internal, dokumen pribadi, sambil memastikan jawaban dapat diverifikasi.
   • Nilai: Sistem tanya jawab medis yang menggunakan RAG dapat mengutip jurnal medis terbaru untuk menjawab "gejala varian baru COVID-19", bukan memberikan informasi usang tahun 2021, dan menyertakan sumber kutipan, sehingga mengurangi risiko "berbicara sembarangan" secara signifikan.

2. Memungkinkan AI menangani "data pribadi" sambil tetap aman

   • Motivasi: Setiap perusahaan memiliki basis pengetahuan sendiri (kontrak, kode, catatan layanan pelanggan, dll.). Data ini tidak bisa digunakan untuk melatih ulang atau menyetel model (biaya tinggi, sulit secara teknis, risiko kebocoran data).
   • Nilai: Dengan RAG, Anda dapat membangun "asisten tanya jawab AI" internal perusahaan. Karyawan mengajukan pertanyaan, AI akan mengambil informasi relevan dari dokumen pribadi internal perusahaan untuk menjawab. Data pribadi tetap disimpan di dalam perusahaan dan tidak dikirim ke vendor model untuk pelatihan, sehingga memanfaatkan kemampuan pemahaman LLM sekaligus menjaga keamanan data.

3. Mengurangi biaya, meningkatkan efisiensi

   • Motivasi: Melatih ulang atau menyetel model besar untuk menyerap pengetahuan baru seperti mempelajari seluruh perpustakaan dari awal, membutuhkan daya komputasi dan biaya yang sangat besar.
   • Nilai: RAG hampir tidak memerlukan pelatihan, hanya perlu membangun sistem pengambilan. Biayanya mungkin hanya 1% dari penyetelan, bahkan lebih rendah. Selain itu, jika basis pengetahuan diperbarui, hasil pengambilan otomatis diperbarui tanpa perlu melatih ulang model, sehingga mencapai "pembaruan waktu nyata".

4. Membuat AI "tahu apa yang diketahui dan tidak diketahui"

   • Motivasi: Ingin model memiliki kesadaran yang jelas tentang batas pengetahuannya.
   • Nilai: Sistem RAG dapat menetapkan aturan: jika tidak ada dokumen relevan yang ditemukan, langsung menjawab "Maaf, saya tidak menemukan informasi terkait di basis pengetahuan. Silakan periksa pertanyaan Anda." Mekanisme "kutipan gagal" ini membuat cara kerja AI lebih andal dan transparan.

Kesimpulan:

Memikirkan proyek RAG adalah karena kita ingin memiliki kemampuan pemahaman dan ekspresi yang kuat dari model bahasa besar, sekaligus membuatnya "jujur, andal, mengikuti perkembangan zaman, dan memahami bisnis pribadi". Ini seperti memasang kemudi yang presisi dan peta navigasi yang diperbarui secara real-time (sistem pengambilan) pada mesin super (LLM), dan merupakan salah satu jalur teknis paling efektif dan mainstream untuk menerapkan LLM di bidang serius seperti perusahaan, medis, hukum, dan keuangan.