AI Dizi Mülakatı 9: Bilgi Sorgulama Sistemlerinin Doğruluk Oranını Nasıl Değerlendirmeli?

Doğruluk oranı, özellikle ciddi alanlarda (tıp, hukuk, kurumsal destek) kullanılmaya çalışıldığında, bilgi sorgulama sistemlerinin temel can damarıdır. Görüşüm şu şekilde özetlenebilir: Doğruluk oranı çok boyutlu bir kavramdır; tek bir rakama bakılmamalı, sistem yeteneği, görev zorluğu ve hata tolerans maliyeti birleştirilerek değerlendirilmelidir.

Aşağıda dört açıdan ele alınmıştır:

Birincisi: Doğruluk Oranı Sadece "Doğru/Yanlış"tan İbaret Değildir

Geleneksel sınıflandırma problemlerinde (örneğin görüntü tanıma) doğruluk oranı net bir şekilde tanımlanır. Ancak bilgi sorgulama sistemlerinde yaygın alt boyutlar şunlardır:

Boyut	Anlamı	Değerlendirme Örneği
Alma İsabet Oranı	Sistem, doğru cevabı içeren belge parçasını bilgi tabanından getirebiliyor mu?	Kullanıcı "A Şirketi 2024 geliri" diye sorduğunda, sistem bu veriyi içeren mali raporu getirebiliyor mu?
Üretim Sadakati	Modelin ürettiği cevap, alınan içeriğe tamamen dayanıyor mu, yoksa uyduruyor mu?	Alınan kaynakta "büyüme oranı" geçmezken, model "%5 büyüdü" derse → sadakatsizdir
Cevap Doğruluğu	Nihai cevap gerçeklerle (veya referans cevapla) tutarlı mı?	Doğru cevap "42 milyar" ise, model "42 milyar" veya "yaklaşık 42 milyar RMB" derse doğru sayılabilir
Cevap Vermeme Oranı	Bilgi tabanında ilgili bilgi yokken, sistem aktif olarak "bilmiyorum" diyebiliyor mu, yoksa rastgele tahmin mi ediyor?	Alma boş veya güven düşük olduğunda, "Üzgünüm, ilgili bilgi bulunamadı" çıktısı vermelidir

Bir sistem, alma isabet oranında yüksek (her zaman ilgili paragrafı bulur) ancak üretim sadakatinde düşük (her zaman abartı ekler) olabilir, sonuçta doğruluk oranı yine düşüktür. Bu nedenle doğruluk oranını değerlendirirken önce hangi aşamayı ölçtüğünüzü netleştirmelisiniz.

İkincisi: Mevcut Teknoloji Seviyesinde RAG Sistemlerinin Doğruluk Oranı Ne Kadardır?

Tek bir rakam yoktur, ancak bazı kamuya açık araştırma ve uygulamalara atıfta bulunulabilir:

Basit gerçek soruları (tek atlamalı, cevap doğrudan bir kaynakta geçer):
Alma isabet oranı %90-98 (bilgi tabanı kalitesi ve alıcıya bağlı), iyi tasarlanmış yönlendirmelerle üretim sadakati %95+, bileşik doğruluk oranı %85-95 arası.
Çok atlamalı akıl yürütme (iki veya daha fazla farklı kaynaktan bilgi birleştirme gerektirir):
Alma doğruluğu %50-70'e düşer, cevap doğruluğu sadece %40-60 olabilir. Bu, RAG'ın şu anki ana zorluğudur.
Açık alan + gürültülü bilgi tabanı (büyük miktarda web sayfası gibi):
Alma gürültü ekleyebileceğinden ve model kolayca etkilenebileceğinden doğruluk oranı belirgin şekilde düşer.

Sonuç: Kontrollü ortamlarda (temiz, yapılandırılmış, uygun belge boyutu) RAG %90'ın üzerinde doğruluk oranına ulaşabilir; ancak karmaşık, açık ve çok adımlı akıl yürütme gerektiren senaryolarda doğruluk oranı genellikle tatmin edici değildir ve çok sayıda optimizasyon gerekir.

Üçüncüsü: Doğruluk Oranını Etkileyen Temel Faktörler

Eğer RAG sisteminizin doğruluk oranının düşük olduğunu düşünüyorsanız, genellikle aşağıdaki dört aşamayı inceleyebilirsiniz:

Bilgi Tabanının Kendisi
Veriler güncel değil mi, eksik mi, hatta hatalı mı?
Belgeler düzensiz mi (örneğin taranmış belgeler OCR yapılmamış, tablolar karmaşık)?
Parçalama ve İndeksleme
Metin parçaları çok kısa kesilmiş → bağlam kaybı; çok uzun kesilmiş → gürültü karışması.
Gömmeler modeli alanınıza uygun mu (genel modeller hukuki terimlerde kötü performans gösterebilir)?
Alma Stratejisi
Sadece vektör alma kullanmak, kesin anahtar kelimeleri (örneğin ürün modeli) gözden kaçırabilir.
Yeniden sıralama yapılmazsa ilk sonuçlara ilgisiz içerik karışabilir.
Üretim Aşaması
Yönlendirme, "Yalnızca sağlanan kaynaklara göre cevap ver, yeterli değilse reddet" şeklinde açıkça belirtilmiş mi?
Model yeteneği yeterli mi (küçük modeller uzun bağlamdaki ayrıntıları kaçırabilir)?

Yaygın bir hata: Düşük doğruluk oranını doğrudan LLM'in yetersizliğine bağlamak, oysa sorunların çoğu "alma" ve "yönlendirme tasarımı"ndan kaynaklanır.

Dördüncüsü: Doğruluk Oranını Nasıl Doğru "Değerlendirmeli" – Pratikteki Bazı Anahtar Tutumlar

1. Makul Temel ve Beklentiler Belirleyin

Yüksek riskli alanlarda (tıbbi teşhis, hukuki tavsiye) %90 doğruluk oranı bile yeterli değildir; insan incelemesi veya çoklu doğrulama eklenmelidir.
Düşük riskli senaryolarda (müşteri hizmetleri destek, kurumsal bilgi arama) %80 doğruluk oranı ve dostane bir "bilmiyorum" yanıtı, verimliliği büyük ölçüde artırabilir.

2. %100'ü Hedeflemeyin, "Doğrulanabilir Doğruluk Oranı"nı Hedefleyin

Sistemin otomatik olarak kaynak gösterimi eklemesini sağlayın (hangi makaleden, hangi paragraftan alındı).
Kullanıcı orijinal belgeyi görüp kendisi doğrulayabilir, hatalı cevaplar olsa bile şeffaflık güven oluşturur.
Güven puanı ekleyin, düşük puanlarda "Bu cevabın güvenilirliği düşüktür, orijinal belgeyi incelemenizi öneririz" şeklinde uyarı verin.

3. Doğruluk Oranını Sürekli İyileştirilecek Bir Nesne Olarak Görün, Tek Seferlik Hedef Değil

Değerlendirme süreci oluşturun: Periyodik olarak insan tarafından etiketlenmiş sorular seçin, alma isabet oranı ve üretim sadakatini otomatik değerlendirin.
RAGAS, TruLens gibi araçları kullanarak sistematik değerlendirme yapın, birkaç örnekle karar vermeyin.
Hatalı durumlara göre ayarlamalar yapın: parçalama yöntemi, alma parametreleri, yeniden sıralama modeli, yönlendirme.

4. "Sistem Hatası" ile "İnsan Standardı Uyumsuzluğu"nu Ayırt Edin

Bazen sistemin verdiği cevap kullanıcının beklentisinden farklıdır, ancak bilgi tabanındaki bilgilere göre aslında doğrudur (çünkü bilgi tabanının sınırlamaları veya tartışmalı olabilir).
Bu durumda doğruluk oranının "bilgi tabanı gerçeklerine" mi yoksa "dışarıdan kabul görmüş gerçeklere" mi dayandığı tanımlanmalıdır.

Son Özet

Bilgi sorgulama sistemlerinin doğruluk oranı statik bir mükemmellik göstergesi değil, "bilgi kapsamı + alma hassasiyeti + üretim sadakati + cevap vermeme yeteneği"ni yansıtan birleşik bir yetenek değeridir. Değerlendirirken, mevcut teknolojinin mükemmel olamayacağını rasyonel bir şekilde kabul etmek ve kaynak belirtme, güven puanı, insan-makine iş birliği gibi tasarımlarla iş sürecinde gerçek değer yaratmak gerekir.