AI-intervjufråga 2: Hur säkerställer man att stora språkmodeller (LLM) anropar verktyg på ett tillförlitligt sätt

Hur säkerställer man att en stor språkmodell (LLM) fungerar pålitligt och kontrollerbart vid verktygsanrop, snarare än att bara förlita sig på promptar för att "övertala" modellen? Det krävs ett systematiskt, flernivåmässigt ramverk för begränsningar.

Exemplet med att slå upp väder: Tre vanliga "hittepå"-beteenden hos modellen vid verktygsanrop:
1. Anropar inte verktyget, utan hittar på ett svar direkt.
2. Skickar parametrar med fel format vid verktygsanrop (t.ex. verktyget stöder inte "i övermorgon", men parametern date="i övermorgon" skickas).
3. Konverterar parameterformatet på eget bevåg (t.ex. omvandlar "i övermorgon" till ett specifikt datum), även om verktyget inte kräver det.

Problemet bottnar i att modellens utdata i grunden är probabilistisk; promptar är bara "mjuka begränsningar" som påverkar sannolikhetsfördelningen, inte en tvingande mekanism som garanterar att modellen följer reglerna. I komplexa scenarier fallerar dessa "mjuka begränsningar" lätt.

För att lösa detta behövs en flernivåmässig ingenjörslösning:

1. Nivå 1: Optimera promptar (mjuka begränsningar)

   • Detta är startpunkten för begränsningsramverket, men absolut inte slutpunkten.
   • Promptar bör ses som "operationskontrakt" som tydligt beskriver verktygets syfte, varje parameters typ och gränser, samt exempel på ogiltiga värden.
   • Inkludera Few-shot-exempel genom att visa exempel på "korrekt indata → korrekt anrop", för att genom kontextinlärning förankra modellens beteendemönster.

2. Nivå 2: Inför JSON Schema (hårda begränsningar)

   • Detta är ett avgörande steg från "förklara" till "sätta upp räcken".
   • Ersätt naturliga språkbeskrivningar av parametrar med maskinläsbara, verifierbara strukturerade definitioner (JSON Schema). Detta kan strikt definiera fälttyper, obligatoriska fält, enumerationsvärden, och genom att sätta additionalProperties: false förhindra modellen från att generera odefinierade fält.
   • Större API-plattformar stöder sådana strukturerade utdatabegränsningar redan vid modellens avkodningsfas, vilket förhindrar formatöverträdelser redan vid källan.

3. Nivå 3: Skapa en validerings-reparations-återförsöksloop (exekveringssäkerhet)

   • Även med Schema måste man efter att ha fått modellens utdata utföra syntax- och Schema-validering.
   • Vid valideringsfel bör en automatisk rengörings- och återförsöksmekanism (med tak) utformas, där felinformationen återkopplas till modellen för att korrigera utdatan. Efter att antalet återförsök överskridits krävs en nedgraderings- eller manuell hanteringsplan.

4. Arkitekturnivå: Ansvarsseparation

   • Beslut och exekvering bör separeras i en trelagersarkitektur:
     • Modellager: Ansvarar endast för beslut (avgöra vilket verktyg som ska anropas, vilka parametrar som ska genereras).
     • Ramverkslager: Ansvarar för exekveringsramverket, inklusive Schema-validering, anropa verktyg, hantera återförsök och integrera resultat. Detta säkerställer att modellfel inte direkt påverkar verktygssäkerheten, och att verktygsändringar inte kräver frekventa promptjusteringar.
     • Verktygslager: Specifik affärsfunktionalitet.
   • Ramverk som LangChain och LlamaIndex gör just detta.

Begränsningar med nuvarande lösning: Den hanterar parameterformat bra, men täcker inte tillräckligt validering av parametersemantik (t.ex. ekvivalensen mellan "Shanghai" och "Hu"). Detta är en framtida ingenjörsutmaning.

Slutsats: Att få LLM att pålitligt anropa verktyg är i grunden ett mjukvaruutvecklingsproblem som kräver ett systematiskt ingenjörsmässigt tillvägagångssätt från mjuka begränsningar, hårda begränsningar, exekveringssäkerhet till arkitekturdesign, snarare än att bara förlita sig på att optimera promptar.