AI Mülakat Sorusu 2: Büyük Dil Modelinin (LLM) Araç Çağrılarının Güvenilirliği Nasıl Sağlanır?

Büyük dil modellerinin (LLM) araç çağrılarında güvenilir ve kontrol edilebilir bir şekilde çalışmasını sağlamak, yalnızca modeli ikna etmek için istemlere güvenmekten öte bir yaklaşım gerektirir. Sistematik olarak çok katmanlı bir kısıtlama çerçevesi sunulmalıdır.

Hava durumu sorgulama örneğinde olduğu gibi, modelin araç çağrılarında sıkça yaptığı üç tür "uydurma" davranışı:
1. Aracı çağırmadan doğrudan uydurma cevap verme.
2. Aracı çağırırken hatalı parametre formatı gönderme (örneğin, araç "yarın"ı desteklemiyorken date="yarın" göndermek).
3. Kendi başına parametre formatını dönüştürme (örneğin, "yarın"ı belirli bir tarihe çevirmek), araç bunu gerektirmese bile.

Sorunun kökeni, model çıktısının olasılıksal olmasıdır; istemler yalnızca olasılık dağılımı üzerinde "yumuşak kısıtlamalar" uygular, modelin kesinlikle uymasını sağlayan zorlayıcı bir mekanizma değildir. Karmaşık senaryolarda bu "yumuşak kısıtlama" kolayca başarısız olur.

Bu sorunu çözmek için çok katmanlı bir mühendislik çözümü gereklidir:

1. Birinci Katman: İstemleri Optimize Etme (Yumuşak Kısıtlama)

   • Kısıtlama sisteminin başlangıç noktasıdır, ancak kesinlikle son nokta değildir.
   • İstemler bir "işlem sözleşmesi" olarak görülmeli; aracın amacı, her parametrenin türü, sınırları açıkça belirtilmeli ve geçersiz değer örnekleri verilmelidir.
   • Few-shot örnekler eklenmeli; "doğru girdi → doğru çağrı" örnekleri gösterilerek bağlam içi öğrenme ile modelin davranış kalıbı sabitlenmelidir.

2. İkinci Katman: JSON Şeması Ekleme (Sert Kısıtlama)

   • Bu, "mantık anlatmaktan" "bariyer koymaya" geçişin kritik adımıdır.
   • Doğal dildeki parametre açıklamalarının yerine makine tarafından okunabilir, doğrulanabilir yapısal tanımlar (JSON Şeması) kullanılır. Alan türleri, zorunluluk, enum değer aralıkları kesin olarak tanımlanabilir ve additionalProperties: false ayarı ile modelin tanımlanmamış herhangi bir alan çıkarması engellenebilir.
   • Ana akım API platformları, model kod çözme aşamasında bu tür yapısal çıktı kısıtlamalarını destekleyerek format ihlallerini kaynağında önler.

3. Üçüncü Katman: Doğrulama-Düzeltme-Yeniden Deneme Döngüsü Oluşturma (Yedekleme)

   • Şema olsa bile, model çıktısı alındıktan sonra sözdizimi ve şema doğrulaması yapılmalıdır.
   • Doğrulama başarısız olursa, otomatik temizleme ve yeniden deneme mekanizması (üst sınırlı) tasarlanmalı; hata bilgisi modele geri bildirim olarak verilerek çıktının düzeltilmesi sağlanmalıdır. Yeniden deneme sayısı aşıldığında, düşürme veya insan müdahalesi planı bulunmalıdır.

4. Mimari Seviye: Sorumlulukların Ayrılması

   • Karar ve yürütme ayrılmalı, üç katmanlı bir mimari oluşturulmalıdır:
     • Model Katmanı: Yalnızca karar vermekten sorumludur (hangi aracın çağrılacağına, hangi parametrelerin üretileceğine karar verme).
     • Çerçeve Katmanı: Yürütme çerçevesinden sorumludur; şema doğrulama, aracı çağırma, yeniden denemeleri yönetme ve sonuçları birleştirme. Bu, model hatalarının doğrudan araç güvenliğini etkilememesini ve araç değişikliklerinin sık sık istem güncellemesi gerektirmemesini sağlar.
     • Araç Katmanı: Somut iş yeteneklerinin uygulanması.
   • LangChain, LlamaIndex gibi çerçeveler tam olarak bu işi yapmaktadır.

Mevcut çözümün sınırlamaları: Parametre formatı sorunlarını iyi ele alabilir, ancak parametre anlambilimi (örneğin, "Şanghay" ile "Hu"nun eşdeğerliği) üzerindeki doğrulama kapsamı hala yetersizdir. Bu, gelecekte karşılaşılacak bir mühendislik zorluğudur.

Temel Sonuç: LLM'lerin araçları güvenilir bir şekilde çağırmasını sağlamak, özünde bir yazılım mühendisliği sorunudur; yalnızca istemleri optimize etmeye güvenmek yerine, yumuşak kısıtlamalardan sert kısıtlamalara, yürütme yedeklemesinden mimari tasarıma kadar sistematik bir mühendislik çözümü gerektirir.