Wawancara Seri AI 8: Apa iku RAG? Kenapa mikir nggawe proyek RAG?

Apa iku RAG?

RAG singkatan saka Retrieval-Augmented Generation, ing basa Jawa tegese Generasi Kang Ditambahi Retrieval.

Luwih prasaja, iki minangka teknik kang menehi model basa gedhe "buku referensi sing bisa diwaca sawayah-wayah".

Sampeyan bisa mbayangake model basa gedhe minangka "siswa super" sing pinter banget lan wiyar kawruhe. Nanging siswa iki duwe loro "kekurangan" bawaan:

1. Tanggal kadaluwarsa kawruh: Kawruh sing disinaoni mung nganti data latihan. Kedadeyan sawise taun 2023, dheweke ora ngerti babar pisan.
2. Bisa "ngarang-ngarang": Nalika nemoni pitakonan sing ora dingerteni, dheweke ora bakal ngomong "Aku ora ngerti", nanging bakal "ngarang" jawaban sing katon nalar (iki halusinasi AI).

RAG kanggo ngatasi loro masalah iki. Cara kerjane prasaja, telung langkah:

1. Retrieval: Nalika sampeyan takon, sistem bakal pisan menyang "pustaka kawruh njaba" (kayata kabeh dokumen perusahaan, Wikipedia paling anyar, utawa aturan hukum) kanggo nggoleki lan nemokake sawetara informasi sing relevan. Iki kaya siswa sing mbukak buku golek jawaban.
2. Augmentasi: Sistem ngemas "pitakonanmu" lan "paragraf sing ditemokake" dadi siji, dadi prompt sing "ditambahi". Iki kaya menehi referensi marang siswa.
3. Generasi: Model basa gedhe ngasilake jawaban pungkasan adhedhasar prompt "ditambahi" iki. Ora mung ngandel kawruh lawas saka "elingan" dhewe, nanging utamane nganggo "referensi" sing diwenehake. Iki kaya siswa sing njawab karo ndeleng buku, dudu ngalamun.

Perumpamaan prasaja:
- LLM tradisional: "Kepiye ndandani sepedha model XXku?" → Model mangsuli saka memori, bisa uga kadaluwarsa utawa salah.
- RAG: "Kepiye ndandani sepedha model XXku?" → Pisan retrieval manual pangopènan resmi paling anyar → Banjur generasi: "Miturut bab 3 manual pangopènan 2024, sampeyan kudu pisan ..."

Kenapa mikir nggawe proyek RAG?

Nggawe proyek RAG, sejatine kanggo nggunakake kaluwihan lan nutupi kekurangan, mbebasake potensi nyata model basa gedhe. Utamane ana sawetara pendorong inti:

1. Ngatasi masalah "kawruh kadaluwarsa" lan "halusinasi"

   • Motivasi: Pengin LLM mangsuli pitakonan babagan kedadeyan paling anyar, data internal, dokumen pribadi, lan uga mesthekake jawaban ana dhasare.
   • Nilai: Sistem tak jawab medis sing bisa RAG, bisa ngutip jurnal medis paling anyar kanggo mangsuli "gejala varian anyar COVID", ora menehi informasi lawas taun 2021, lan nyantumake sumber kutipan, nyuda resiko "ngarang-ngarang".

2. Nggawe AI bisa ngolah "data pribadi", lan uga aman

   • Motivasi: Saben perusahaan duwe pustaka kawruh dhewe (kontrak, kode, cathetan layanan pelanggan, lsp). Data iki ora bisa digunakake kanggo latihan ulang utawa fine-tune model (biaya dhuwur, angel teknis, risiko bocor data).
   • Nilai: Kanthi RAG, sampeyan bisa mbangun "asisten tak jawab AI" internal ing perusahaan. Sawise karyawan takon, AI bakal retrieve informasi saka dokumen pribadi internal kanggo mangsuli. Data pribadi tetep disimpen ing perusahaan, ora dikirim menyang pabrik model kanggo latihan, saengga nggunakake kemampuan pangerten LLM lan uga njamin keamanan data.

3. Ngurangi biaya, ningkatake efisiensi

   • Motivasi: Latihan ulang utawa fine-tune model gedhe kanggo nyerep kawruh anyar, kaya sinau perpustakaan kabeh maneh, mbutuhake daya komputasi lan biaya gedhe.
   • Nilai: RAG meh ora mbutuhake latihan, mung kudu mbangun sistem retrieval. Biaya bisa mung 1% saka fine-tune, malah luwih murah. Lan yen pustaka kawruh dianyari, asil retrieval kanthi otomatis anyar, ora perlu nglatih maneh model, dadi "anyaran wektu nyata".

4. Nggawe AI "ngerti sing dingerteni, ora ngerti sing ora dingerteni"

   • Motivasi: Pengin model nduweni wates kawruh sing jelas.
   • Nilai: Sistem RAG bisa nyetel aturan: yen ora bisa retrieve dokumen relevan, langsung mangsuli "Nyuwun pangapunten, aku ora nemokake informasi ing pustaka kawruh, mangga priksa pitakonanmu." Mekanisme "gagal kutipan" iki ndadekake cara kerja AI luwih dipercaya lan transparan.

Kesimpulan:

Mikir nggawe proyek RAG, amarga kita kepengin duwe kemampuan pangerten lan ekspresi sing kuat saka model basa gedhe, lan uga kepengin ndadekake dheweke "jujur, bisa dipercaya, anyar, ngerti bisnis pribadi" . Iki kaya masang setir sing presisi lan peta navigasi anyaran wektu nyata (sistem retrieval) menyang mesin super (LLM), minangka salah sawijining jalur teknis paling efektif lan populer kanggo ngetrapake LLM ing bidang serius kaya perusahaan, medis, hukum, keuangan, lsp.