Funktsioonikutse tehnoloogia kokkuvõte

1. Definitsioon

Funktsioonikutse on mehhanism, mis võimaldab arendajatel kirjeldada suurtele keelemudelitele (LLM) saadaolevaid väliseid tööriistu (nt API) JSON-skeemi abil. Kui mudel otsustab, et küsimusele vastamiseks on vaja tööriista kasutada, väljastab see struktureeritud tool_calls JSON-andmed, mis näitavad väljakutsutava funktsiooni nime ja parameetreid. Hostprogramm analüüsib ja täidab selle kutse, tagastab tulemuse mudelile, mis seejärel genereerib lõpliku vastuse.

2. Põhiprintsiip ja lahendatud probleemid

• Olemus: "Kahe vooru vestlus + vahepealne täitmine" suletud ahel. Esimeses voorus teeb mudel otsuse ja väljastab tööriista kutse; vahepeal täidab kood tööriista; teises voorus genereerib mudel täitmistulemuse põhjal lõpliku vastuse.
• Lahendatud probleemid: Lahendab varasema probleemi, kus mudeli tööriista kutsumisel tuli toetuda ebastabiilsele ja veaaltile loomuliku keele analüüsile (if/else otsused), saavutades struktureeritud väljundi abil standardiseerimise ja täpsuse tõusu.

3. Ülesannete jaotus (analoogia ülesannete delegeerimisega)

• Arendaja (HR): Määratleb tööriistad, kirjutab JSON-skeemi, mis kirjeldab tööriista funktsiooni, parameetreid jms.
• LLM mudel (juht): Mõistab tööriista kirjeldust, otsustab, kas tööriista on vaja kutsuda, millist tööriista ja milliste parameetritega, ning väljastab struktureeritud kutsetaotluse (tool_calls). Mudel teeb ainult otsuseid ja genereerib teksti, ei täida ise koodi.
• Täitja/hostkood (töötaja): Analüüsib mudeli tool_calls taotlust, täidab tegelikult vastava funktsiooni või API kutse ja tagastab tulemuse.

4. Tööriista määratlemine (JSON-skeem)

Skeem on tööriista "kasutusjuhend", oluline teave hõlmab:
- name: Tööriista unikaalne identifikaator.
- description: Äärmiselt oluline, mudel toetub täielikult sellele kirjeldusele, et otsustada, kas tööriista kutsuda. Mida selgem ja täpsem kirjeldus, seda täpsem on mudeli otsus.
- parameters: Määratleb tööriista vajalikud parameetrid, nende tüübi, kirjelduse ja piirangud (nt loeteluväärtused, kohustuslikkus jne).

5. Täielik kutseprotsess

Artikkel näitab ilma päringu koodinäite abil kogu protsessi alates kasutaja küsimusest, tööriista definitsiooni kaasamisest esimesesse mudelikutse, mudeli tool_calls tagastamisest, koodi funktsiooni täitmisest, tulemuse role: "tool" sõnumina vestlusajalukku lisamisest kuni mudeli lõpliku loomuliku keele vastuse genereerimiseni.

6. Täiustatud omadus - paralleelne tööriista kutsumine

Kui kasutaja küsimus vajab vastamiseks mitme tööriista koostööd (nt mitme linna ilma samaaegne pärimine), saab mudel ühes vastuses väljastada loendi, mis sisaldab mitut tool_calls elementi. Hostkood saab need kutsed paralleelselt täita ja seejärel kõik tulemused korraga mudelile tagastada, et need kokku panna, suurendades seeläbi tõhusust.