Siri Temuduga AI 8: Apakah RAG? Mengapa Memikirkan Projek RAG?

Apakah RAG?

RAG adalah singkatan untuk Retrieval-Augmented Generation, dalam Bahasa Melayu bermaksud Penjanaan Dipertingkatkan dengan Pengambilan Semula.

Secara ringkas, ia adalah teknologi memberikan model bahasa besar "sebuah buku rujukan yang boleh dirujuk pada bila-bila masa".

Anda boleh bayangkan model bahasa besar sebagai seorang "pelajar super" yang mempunyai ingatan yang luar biasa dan pengetahuan yang luas. Tetapi pelajar super ini mempunyai dua "kekurangan" semula jadi:

1. Tarikh akhir pengetahuan: Pengetahuan yang dipelajarinya hanya terhad kepada data pada masa latihan. Peristiwa selepas tahun 2023, dia tidak tahu langsung.
2. Mungkin "mereka-reka": Apabila berhadapan dengan soalan yang tidak diketahuinya, dia tidak akan berkata "Saya tidak tahu", sebaliknya akan "mereka-reka" jawapan yang kedengaran munasabah berdasarkan imaginasinya (inilah yang dipanggil halusinasi AI).

RAG adalah untuk menyelesaikan dua masalah ini. Proses kerjanya mudah, terdiri daripada tiga langkah:

1. Pengambilan Semula: Apabila anda bertanya soalan, sistem akan pergi ke "pangkalan pengetahuan luaran" (seperti semua dokumen syarikat anda, Wikipedia terkini, atau sekumpulan undang-undang) untuk mencari dengan pantas dan mendapatkan beberapa perenggan yang paling relevan. Ini seperti menyuruh pelajar merujuk buku untuk mencari jawapan.
2. Penguatan: Sistem menggabungkan "soalan yang anda tanya" dan "perenggan berkaitan yang diambil" menjadi satu gesaan yang "dipertingkatkan". Ini seperti memberikan pelajar bahan rujukan.
3. Penjanaan: Model bahasa besar menjana jawapan akhir berdasarkan gesaan "dipertingkatkan" ini. Ia tidak lagi hanya bergantung pada pengetahuan lama dalam "ingatannya", tetapi terutamanya merujuk kepada "bahan rujukan" yang anda sediakan untuk menjawab. Ini seperti pelajar menjawab soalan dengan melihat bahan buku, bukan dengan berkhayal.

Analogi mudah:
- LLM Tradisional: "Bagaimana membaiki basikal model XX saya?" → Model menjawab dari ingatan, mungkin ketinggalan zaman atau salah.
- RAG: "Bagaimana membaiki basikal model XX saya?" → Mula-mula ambil manual pembaikan rasmi terkini → Kemudian jana: "Menurut Bab 3 manual pembaikan edisi 2024, anda perlu terlebih dahulu..."

Mengapa Memikirkan Projek RAG?

Melakukan projek RAG, pada asasnya adalah untuk memaksimumkan kelebihan dan meminimumkan kelemahan, melepaskan potensi sebenar model bahasa besar. Terdapat beberapa daya penggerak utama:

1. Menyelesaikan masalah "pengetahuan lapuk" dan "halusinasi"

   • Motivasi: Ingin membolehkan LLM menjawab soalan tentang peristiwa terkini, data dalaman, dokumen peribadi, sambil memastikan jawapan boleh dirujuk.
   • Nilai: Sistem soal jawab perubatan yang boleh melakukan RAG boleh merujuk jurnal perubatan terkini untuk menjawab "gejala varian COVID-19 terkini", daripada memberikan maklumat lapuk dari 2021, dan menyertakan sumber petikan, mengurangkan risiko "bercakap tanpa fakta" dengan ketara.

2. Membolehkan AI memproses "data peribadi" sambil memastikan keselamatan

   • Motivasi: Setiap syarikat mempunyai pangkalan pengetahuan sendiri (kontrak, kod, rekod perkhidmatan pelanggan, dll.). Data ini tidak boleh digunakan untuk melatih semula atau memperhalusi model (kos tinggi, sukar teknikal, risiko kebocoran data).
   • Nilai: Melalui RAG, anda boleh membina "pembantu soal jawab AI" dalaman syarikat. Selepas pekerja bertanya, AI akan mengambil maklumat berkaitan dari dokumen peribadi dalaman syarikat untuk menjawab. Data peribadi sentiasa disimpan di dalam syarikat, tidak akan dihantar kepada pengeluar model untuk latihan, memanfaatkan keupayaan pemahaman LLM sambil memastikan keselamatan data.

3. Mengurangkan kos, meningkatkan kecekapan

   • Motivasi: Melatih semula atau memperhalusi model besar untuk menyerap pengetahuan baru adalah seperti mempelajari semula seluruh perpustakaan, memerlukan kuasa pengiraan dan kos yang besar.
   • Nilai: RAG hampir tidak memerlukan latihan, hanya perlu membina sistem pengambilan semula. Kos mungkin hanya 1% daripada penalaan halus, atau lebih rendah. Dan apabila pangkalan pengetahuan dikemas kini, hasil pengambilan semula secara automatik dikemas kini, tanpa perlu melatih semula model, mencapai "kemas kini masa nyata".

4. Jadikan AI "tahu apa yang diketahui, dan tahu apa yang tidak diketahui"

   • Motivasi: Ingin model mempunyai kesedaran yang jelas tentang batasan pengetahuannya.
   • Nilai: Sistem RAG boleh menetapkan peraturan: jika tiada dokumen berkaitan diambil, terus menjawab "Maaf, saya tidak menemui maklumat berkaitan dalam pangkalan pengetahuan, sila sahkan soalan anda." Mekanisme "petikan gagal" ini menjadikan operasi AI lebih boleh dipercayai dan telus.

Kesimpulan:

Memikirkan projek RAG adalah kerana kita ingin kedua-dua keupayaan pemahaman dan ekspresi model bahasa besar yang kuat, dan juga menjadikannya "jujur, boleh dipercayai, mengikut perkembangan zaman, memahami perniagaan peribadi". Ia seperti memasang stereng yang tepat dan peta navigasi yang dikemas kini secara masa nyata (sistem pengambilan semula) pada enjin super (LLM), dan merupakan salah satu laluan teknikal yang paling berkesan dan paling utama untuk membolehkan LLM benar-benar digunakan dalam bidang serius seperti perusahaan, perubatan, undang-undang, kewangan, dan lain-lain.