Function Calling технологиясына шолу

1. Анықтама

Function Calling — бұл әзірлеушілерге JSON схемасы арқылы үлкен тілдік модельге (LLM) қолжетімді сыртқы құралдарды (мысалы, API) сипаттауға мүмкіндік беретін механизм. Модель пайдаланушының сұрағына жауап беру үшін құралды шақыру қажет деп шешкенде, ол құрылымды tool_calls JSON деректерін шығарады, ол шақырылатын функцияның аты мен параметрлерін көрсетеді. Хост бағдарламасы бұл шақыруды талдап, орындайды, нәтижені модельге қайтарады, содан кейін модель соңғы жауапты құрады.

2. Негізгі принцип және шешілетін мәселелер

• Мәні: «Екі раундтық әңгіме + аралық орындау» циклы. Бірінші раундта модель шешім қабылдап, құралды шақыру сұрауын шығарады; аралық код құралды орындайды; екінші раундта модель орындау нәтижесіне сүйене отырып, соңғы жауапты құрады.
• Шешілетін мәселелер: Бұрын модельге құралдарды шақыру үшін тұрақсыз және қатеге бейім табиғи тілді талдауға (if/else тексерулері) сүйену қажет болатын; құрылымды шығару арқылы стандарттау мен дәлдікті арттыруға қол жеткізілді.

3. Міндеттерді бөлу (тапсырманы тапсыруға ұқсас)

• Әзірлеуші (HR): Құралдарды анықтайды, олардың функцияларын, параметрлерін және т.б. сипаттайтын JSON схемасын жазады.
• LLM моделі (менеджер): Құрал сипаттамасын түсінеді, шақыру қажет пе, қай құралды және қандай параметрлермен шақыру керектігін шешеді, содан кейін құрылымды шақыру сұрауын (tool_calls) шығарады. Модель тек шешім қабылдайды және мәтін құрады, кодты өзі орындамайды.
• Орындаушы/хост коды (қызметкер): Модельдің tool_calls сұрауын талдап, сәйкес функцияны немесе API шақыруды нақты орындайды және нәтижені қайтарады.

4. Құралды анықтау (JSON схемасы)

Схема — бұл құралдың «нұсқаулығы», негізгі ақпарат:
- name: Құралдың бірегей идентификаторы.
- description: Өте маңызды, модель осы сипаттамаға сүйене отырып, құралды шақыру керектігін шешеді. Сипаттама неғұрлым анық және дәл болса, модельдің шешімі соғұрлым дәл болады.
- parameters: Құралға қажетті параметрлерді, олардың түрлерін, сипаттамасын, шектеулерін (мысалы, мүмкін мәндер, міндеттілігі және т.б.) анықтайды.

5. Толық шақыру процесі

Мақала ауа райын сұрау мысалында код арқылы пайдаланушы сұрағынан, құрал анықтамасымен бірінші модельді шақырудан, модельдің tool_calls қайтаруынан, кодтың функцияны орындауынан, нәтижені role: "tool" хабарламасы ретінде әңгіме тарихына енгізуден және соңында модельдің табиғи тілдегі соңғы жауабын құруына дейінгі толық процесті көрсетеді.

6. Кеңейтілген мүмкіндік - Параллель құрал шақыру

Пайдаланушы сұрағына бірнеше құрал бірлесіп жауап беруі қажет болғанда (мысалы, бірнеше қаланың ауа райын бір уақытта сұрау), модель бір жауапта бірнеше tool_calls тізімін шығара алады. Хост коды бұл шақыруларды параллель орындап, барлық нәтижелерді модельге бірге қайтара алады, осылайша тиімділік артады.