AI-Serie Interview 9: Wéi gesidd Dir d'Genauegkeet vu Wëssensfro-Antwertsystemer?

D'Genauegkeet ass déi zentral Liewenslinn vun engem Wëssensfro-Antwertsystem, besonnesch wann een et a seriéise Kontexter (wéi Medezin, Droit, bannenzeg Firmenënnerstëtzung) asetze wëll. Meng Vue kann esou zesummegefaasst ginn: D'Genauegkeet ass e multidimensional Konzept, deen net nëmmen op eng eenzeg Zuel kucke kann, mä muss a Kombinatioun mat de Systemfäegkeeten, der Aufgabeschwieregkeet an de Käschte vu Feeler evaluéiert ginn.

Drënner gëtt op véier Niveauen agegraff:

I. D'Genauegkeet ass net einfach "richteg/falsch"

Bei traditionelle Klassifikatiounsproblemer (wéi Bilderkennung) ass d'Genauegkeet kloer. Awer e Wëssensfro-Antwertsystem huet aner Ënnerdeelungen:

Dimensioun	Bedeitung	Evaluatiounsbeispill
Retrieval-Trefferquote	Kann de System aus der Wëssensbasis d'Dokumenter fannen, déi déi richteg Äntwert enthalen?	Benotzer freet "2024 Ëmsaz vun der Firma A", fënnt de System dee Finanzbericht mat deene Daten?
Generatiounstreu	Baséiert d'Äntwert vum Modell streng op déi fonnten Inhalter, ouni eppes ze erzielen?	D'Quell seet näischt iwwer "Wuesstumsrate", awer de Modell seet "5% gewuess" → net trei
Richtegkeet vun der Äntwert	Stëmmt d'Endäntwert mat de Fakten (oder der Referenzäntwert) iwwereneen?	Richteg Äntwert ass "4,2 Milliarden", Modell seet "4,2 Milliarden" oder "ongeféier 4,2 Milliarde Yuan"
Refusalquote	Kann de System aktiv soen "ech weess net", wann keng Informatioun an der Wëssensbasis ass, amplaz ze rätselen?	Wann d'Recherche eidel ass oder d'Konfidenz niddereg, gëtt "Entschëllegt, keng relevant Informatioun fonnt" aus

E System kann eng héich Retrieval-Trefferquote hunn (fënnt ëmmer relevant Passage), awer eng niddreg Generatiounstreu (ëmmer dobäierzielen), an d'Genauegkeet ass trotzdeem schlecht. Also wann een d'Genauegkeet kuckt, muss ee kloer maachen, wéi een Deel gemooss gëtt.

II. Ënner dem aktuellen techneschen Niveau: Wéi héich ass d'Genauegkeet vun RAG-Systemer?

Et gëtt keng eenheetlech Zuel, mä ee kann op ëffentlech Studien a Praktike referéieren:

Einfach faktesch Fro-Antwert (Single-Hop, Äntwert direkt an engem Dokument):
Retrieval-Trefferquote tëscht 90-98% (ofhängeg vun der Wëssensbasisqualitéit an dem Retriever), Generatiounstreu bei 95%+ mat guddem Prompt, Gesamtgenauegkeet tëscht 85-95%.
Multi-Hop-Schlussfolgerung (Informatioun aus verschiddene Quelle musse kombinéiert ginn):
Retrieval-Trefferquote fällt op 50-70%, Richtegkeet vun der Äntwert eventuell nëmmen 40-60%. Dat ass de Moment de gréisste Schwieregkeet vu RAG.
Oppene Domain + Kaméidi-Wëssensbasis (wéi Rënd er Web):
D'Genauegkeet geet däitlech erof, well d'Recherche Kaméidi bréngt an de Modell gestéiert gëtt.

Conclusioun: An enger kontrolléierter Ëmwelt (propper, strukturéiert, passend Dokumentgréisst) kann RAG iwwer 90% Genauegkeet erreechen; bei komplexen, oppene Szenarie mat Multi-Hop brauch et vill Optimisatioun.

III. Kernelementer déi d'Genauegkeet beaflossen

Wann d'Genauegkeet vun Ärem RAG-System net zefriddestellend ass, kënnt Dir dës véier Schrëtt iwwerpréiwen:

D'Wëssensbasis selwer
Sinn d'Donnéeën al, onvollstänneg oder souguer falsch?
Sinn d'Dokumenter duercherneen (z. B. Scans net OCR, Tabellen als Kauderwelsch)?
Segmentatioun an Indexéierung
Sinn d'Textblocken ze kleng → Verloscht vum Kontext; ze grouss → Kaméidi bäigemëscht.
Ass den Embedding-Modell fir Äre Beräich gëeegent (allgemenge Modell bei juristeschen Terme schlecht)?
Retrieval-Strategie
Nëmme Vektorsich léisst prezis Schlësselwierder (wéi Produktmodell) ignoréieren.
Kee Re-Ranking féiert dozou, datt irrelevant Inhalter an den Topresultater sinn.
Generatiounsphase
Ass de Prompt kloer: "Nëmme baséiert op de geliwwerten Donnéeën äntweren, soss refuséieren"?
Ass de Modell staark genuch (kleng Modeller verpassen Detailer am laange Kontext)?

Ee gemeinsame Feeler: D'niddreg Genauegkeet direkt dem LLM senger Schwächt zouzeschreiwen, awer tatsächlech léien déi meescht Problemer an der "Recherche" an dem "Prompt-Design".

IV. Wéi "kuckt" ee richteg op d'Genauegkeet - e puer wichteg Haltungen an der Praxis

1. Setzt realistesche Benchmark an Erwaardungen

Fir Risikoberäicher (medezinesch Diagnos, juristesch Berodung) ass 90% nach laang net genuch; et muss mënschlech Iwwerpréifung oder multuple Validatioun agebaut ginn.
Fir niddereg-Risiko Szenarie (Client-Service, intern Wëssensssich) kënnen 80% Genauegkeet plus eng frëndlech "Ech weess net"-Äntwert scho vill Effizienz bréngen.

2. Net 100% ustreiewen, mä "verifizéierbar Genauegkeet"

Loosst de System automatesch Quelle referenzéieren (wéi ee Artikel, wéi eng Passage).
De Benotzer kann den Original gesinn a selwer verifizéieren; och wann d'Äntwert heiansdo falsch ass, schaaft Transparenz Vertrauen.
Füügt Konfidenz-Scores derbäi, a bei niddrege Wäerter weist "Dës Äntwert ass wéineg zouverléisseg, kuckt w.e.g. d'Originaldokument".

3. D'Genauegkeet als kontinuéierlech Optimisatioun, net als eemolegt Zil

Erstellt Evaluatiouns-Pipelines: Regelméisseg e Set vu mënschlech annotéierte Froen huelen, automatesch Retrieval-Trefferquote a Generatiounstreu moossen.
Benotzt Tools wéi RAGAS, TruLens fir systematesch Evaluatioun, net nëmmen op Basis vun e puer Beispiller.
Passt op Basis vu Bad Cases un: Segmentatiounsstrategie, Retriever-Parameter, Re-Ranking-Modell, Prompt.

4. Differenzéiert tëscht "Systemfeeler" a "mënschlech Standard-Onstëmmegkeet"

Heiansdo gëtt de System eng Äntwert déi anescht ass wéi de Benotzer erwaart, mee no der Wëssensbasis ass se richteg (well d'Basis limitéiert oder kontrovers ass).
Da muss ee festleeën: Gëtt d'Genauegkeet no der "Wëssensbasis-Fakten" oder no den "extern allgemeng unerkannten Fakten" gemooss?

Abschléissend Zesummefaassung

D'Genauegkeet vun engem Wëssensfro-Antwertsystem ass kee stateschen idealen Indicateur, mee e komponéierte Wäert deen "Wëssensofdeckung + Retrieval-Precisioun + Generatiounstreu + Refusal-Fäegkeet" reflektéiert. Wann een drop kuckt, soll ee realistesch erkennen, d déi aktuell Technik net perfekt ka sinn, mä duerch Quellenreferenzéierung, Konfidenz-Usweisen, Mënsch-Maschinn-Zesummenaarbecht asw. an der Praxis Wäert bréngen.