AI Müsahibə Sualı 2: Böyük Dil Modelinin (LLM) Alət Çağırışının Etibarlılığını Necə Təmin Etmək

Böyük dil modelinin (LLM) alət çağırışı zamanı etibarlı və idarə olunan şəkildə işləməsini təmin etmək üçün sadəcə təlimat sözləri ilə modeli "inandırmaq" kifayət deyil. Sistemli şəkildə çoxsəviyyəli məhdudiyyət çərçivəsi tələb olunur.

Məsələn, hava məlumatı sorğusunda modelin alət çağırışı zamanı üç ümumi "uydurma" davranışı:
1. Aləti çağırmadan birbaşa uydurma cavab vermək.
2. Aləti çağırarkən səhv formatda parametr ötürmək (məsələn, alət "sabah"ı dəstəkləmədiyi halda date="sabah" parametrini ötürmək).
3. Özbaşına parametr formatını dəyişdirmək (məsələn, "sabah"ı konkret tarixə çevirmək), alətin belə bir tələbi olmasa belə.

Problemin kökü model çıxışının mahiyyətcə ehtimala əsaslanmasıdır; təlimat sözləri ehtimal paylanmasına yalnız "yumşaq məhdudiyyət" qoyur, modelin ciddi şəkildə riayət etməsini təmin edən məcburi mexanizm deyil. Mürəkkəb ssenarilərdə bu "yumşaq məhdudiyyət" asanlıqla sıradan çıxa bilər.

Bu problemi həll etmək üçün çoxsəviyyəli mühəndislik həlli lazımdır:

1. Birinci Səviyyə: Təlimat Sözlərinin Optimallaşdırılması (Yumşaq Məhdudiyyət)
2. Məhdudiyyət sisteminin başlanğıc nöqtəsi kimi xidmət edir, lakin son nöqtə deyil.
3. Təlimat sözləri "əməliyyat müqaviləsi" kimi qəbul edilməli, alətin məqsədini, hər bir parametrin növünü, sərhədlərini aydın izah etməli və qeyri-qanuni dəyər nümunələri göstərməlidir.

4. Bir neçə nümunə (Few-shot) əlavə edilməli, "düzgün giriş → düzgün çağırış" nümunələri göstərilərək kontekst öyrənmə vasitəsilə modelin davranış nümunəsi sabitləşdirilməlidir.

5. İkinci Səviyyə: JSON Sxeminin Tətbiqi (Sərt Məhdudiyyət)

6. Bu, "inandırmaq"dan "baryer qoymağa" keçidin əsas addımıdır.
7. Parametrləri təsvir etmək üçün təbii dil əvəzinə maşın tərəfindən oxuna bilən, yoxlanıla bilən strukturlaşdırılmış tərif (JSON Sxemi) istifadə olunur. Sahə növləri, məcburi olub-olmaması, sadalanan dəyərlər ciddi şəkildə müəyyən edilə bilər və additionalProperties: false təyin edilərək modelin heç bir təyin olunmamış sahə çıxarması qadağan edilə bilər.

8. Əsas API platformaları modelin dekodlaşdırma mərhələsində bu cür strukturlaşdırılmış çıxış məhdudiyyətini dəstəkləyir, format pozuntularının qarşısını mənbədən alır.

9. Üçüncü Səviyyə: Doğrulama-Təmir-Yenidən Cəhd Dövrü (İcra Zəmanəti)

10. Sxem olsa belə, model çıxışı alındıqdan sonra sintaksis və sxem doğrulaması aparılmalıdır.

11. Doğrulama uğursuz olduqda, avtomatik təmizləmə və yenidən cəhd mexanizmi (məhdud sayda) dizayn edilməli, səhv məlumatı modelə geri bildirilərək çıxışın düzəldilməsi təmin edilməlidir. Yenidən cəhd sayı aşıldıqda, endirim və ya insan müdaxiləsi planı olmalıdır.

12. Memarlıq Səviyyəsi: Vəzifə Ayrılığı

13. Qərar və icra ayrılmalı, üç qatlı memarlıq qurulmalıdır:
    • Model Qatı: Yalnız qərar verməkdən məsuldur (hansı aləti çağırmaq, hansı parametrləri yaratmaq).
    • Çərçivə Qatı: İcra çərçivəsindən məsuldur, o cümlədən sxem doğrulaması, alətin çağırılması, yenidən cəhdlərin idarə edilməsi və nəticələrin birləşdirilməsi. Bu, model səhvlərinin birbaşa alət təhlükəsizliyinə təsir etməməsini təmin edir və alət dəyişiklikləri üçün təlimat sözlərinin tez-tez dəyişdirilməsinə ehtiyac qalmır.
    • Alət Qatı: Konkret biznes funksiyalarının icrası.
14. LangChain, LlamaIndex kimi çərçivələr məhz bu işi görür.

Cari həllin məhdudiyyəti: Parametr formatı problemlərini yaxşı həll edir, lakin parametr semantikasının (məsələn, "Bakı" ilə "paytaxt"ın ekvivalentliyi) doğrulamasını kifayət qədər əhatə etmir. Bu, gələcəkdə qarşılaşılacaq mühəndislik çətinliyidir.

Əsas Nəticə: LLM-in alətləri etibarlı şəkildə çağırmasını təmin etmək mahiyyətcə proqram mühəndisliyi problemidir; yumşaq məhdudiyyət, sərt məhdudiyyət, icra zəmanəti və memarlıq dizaynını əhatə edən sistemli mühəndislik həlli tələb olunur, sadəcə təlimat sözlərinin optimallaşdırılmasına güvənmək kifayət deyil.