Mistoqsija tal-Intervista dwar l-AI Nru 2: Kif Tiżgura li l-Mudell Kbir tal-Lingwa (LLM) Juża l-Għodod b'mod Affidabbli

Kif tiżgura li Mudell Kbir tal-Lingwa (LLM) jaħdem b'mod affidabbli u kkontrollat meta juża l-għodod, aktar milli sempliċement tiddependi fuq il-prompts biex "tikkonvinċi" lill-mudell. Hemm bżonn ta' qafas ta' restrizzjonijiet b'ħafna livelli b'mod sistematiku.

Pereżempju, fil-każ ta' mistoqsija dwar it-temp, il-mudell spiss juri tliet tipi ta' "invenzjoni" fl-użu tal-għodod:
1. Ma jużax l-għodda, u jivvinta risposta direttament.
2. Jgħaddi parametri b'format żbaljat meta juża l-għodda (eż., l-għodda ma tappoġġjax "pitgħada", iżda jgħaddi date="pitgħada").
3. Jikkonverti l-format tal-parametri b'mod awtonomu (eż., jibdel "pitgħada" f'data speċifika), anki jekk l-għodda ma titlobx dan.

L-għerq tal-problema huwa li l-output tal-mudell huwa essenzjalment probabilistiku, u l-prompts japplikaw biss "restrizzjoni artab" fuq id-distribuzzjoni tal-probabbiltà, mhux mekkaniżmu obbligatorju li jiżgura li l-mudell jaderixxi strettament. F'xenarji kumplessi, din ir-"restrizzjoni artab" tista' faċilment tfalli.

Biex tissolva din il-problema, hemm bżonn ta' soluzzjoni ta' inġinerija b'ħafna livelli:

1. L-Ewwel Livell: Ottimizza l-Prompts (Restrizzjoni Artab)

   • Il-pożizzjoni hija l-punt tat-tluq tas-sistema ta' restrizzjonijiet, iżda assolutament mhux il-punt tat-tmiem.
   • Il-prompts għandhom jitqiesu bħala "kuntratt operattiv", li jispjega b'mod ċar l-iskop tal-għodda, it-tip ta' kull parametru, il-konfini, u jagħti eżempji ta' valuri illegali.
   • Għandhom jiżdiedu eżempji Few-shot, billi juru eżempji ta' "input korrett → sejħa korretta", biex jużaw it-tagħlim kuntestwali biex jankraw il-mudell ta' mġiba tal-mudell.

2. It-Tieni Livell: Introduċi JSON Schema (Restrizzjoni iebsa)

   • Dan huwa pass kruċjali minn "tiddiskuti" għal "tpoġġi l-limitazzjonijiet".
   • Uża definizzjoni strutturata li tinqara mill-magna u tista' tiġi vverifikata (JSON Schema) minflok deskrizzjoni bil-lingwa naturali tal-parametri. Tista' tiddefinixxi strettament it-tip ta' kamp, jekk huwiex obbligatorju, il-firxa ta' valuri enumerati, u tista' tipprojbixxi lill-mudell milli joħroġ kwalunkwe kamp mhux definit billi tissettja additionalProperties: false.
   • Pjattaformi API ewlenin jappoġġjaw din ir-restrizzjoni tal-output strutturat waqt il-fażi ta' dekodifikazzjoni tal-mudell, u b'hekk jevitaw ksur tal-format mill-bidu nett.

3. It-Tielet Livell: Stabbilixxi Ċiklu ta' Validazzjoni-Korrezzjoni-Prova mill-ġdid (Eżekuzzjoni ta' Riżerva)

   • Anki jekk ikun hemm Schema, xorta waħda hemm bżonn li, wara li jinkiseb l-output tal-mudell, issir validazzjoni sintattika u tal-Schema.
   • Meta l-validazzjoni tfalli, għandu jiġi ddisinjat mekkaniżmu awtomatiku ta' tindif u prova mill-ġdid (b'limitu massimu), li jirrifletti l-informazzjoni ta' żball lura lill-mudell biex jikkoreġi l-output. Jekk in-numru ta' provi jinqabeż, għandu jkun hemm pjan ta' degradazzjoni jew intervent uman.

4. Livell Arkitetturali: Separazzjoni tar-Rwoli

   • Id-deċiżjoni għandha tiġi separata mill-eżekuzzjoni, biex tinħoloq arkitettura ta' tliet saffi:
     • Saff tal-Mudell: Responsabbli biss għad-deċiżjoni (jiġġudika liema għodda tuża, liema parametri tiġġenera).
     • Saff tal-Qafas: Responsabbli għall-eżekuzzjoni tal-qafas, inklużi validazzjoni tal-Schema, sejħa tal-għodda, ġestjoni tal-provi mill-ġdid, u integrazzjoni tar-riżultati. Dan jiżgura li l-iżbalji tal-mudell ma jaffettwawx direttament is-sigurtà tal-għodda, u li bidliet fl-għodda ma jeħtiġux aġġustamenti frekwenti tal-prompts.
     • Saff tal-Għodda: L-implimentazzjoni tal-kapaċitajiet tan-negozju speċifiċi.
   • LangChain, LlamaIndex, eċċ., qed jagħmlu dan ix-xogħol.

Limitazzjonijiet tas-soluzzjoni attwali: Tista' timmaniġġja sew il-problemi tal-format tal-parametri, iżda l-kopertura tal-validazzjoni tas-semantika tal-parametri (eż., l-ekwivalenza bejn "Shanghai" u "沪") għadha insuffiċjenti. Dan se jkun sfida ta' inġinerija fil-futur.

Konklużjoni Ewlenija: Li l-LLM juża l-għodod b'mod affidabbli huwa essenzjalment problema ta' inġinerija tas-softwer, li teħtieġ soluzzjoni sistematika ta' inġinerija minn restrizzjonijiet artab, restrizzjonijiet iebsa, eżekuzzjoni ta' riżerva, sa disinn arkitetturali, aktar milli sempliċement tiddependi fuq l-ottimizzazzjoni tal-prompts.