AI суроо-жооп №2: Чоң тил моделинин (LLM) куралдарды ишенимдүү чакыруусун кантип камсыз кылуу керек

Чоң тил модели (LLM) куралдарды чакырганда ишенимдүү жана башкарылуучу иштешин камсыз кылуу үчүн, жөн гана "көндүрүү" үчүн кеңештерге таянуу эмес, системалык түрдө көп деңгээлдүү чектөө алкагын берүү керек.

Мисалы, аба ырайын суроо мисалында, модель куралдарды чакырганда үч кеңири таралган "ойдон чыгаруу" жүрүм-туруму:
1. Куралды чакырбай, түздөн-түз ойдон чыгарылган жооп берүү.
2. Куралды чакырганда формат катасы бар параметрлерди берүү (мисалы, курал "эртеңден кийинки күн" колдобосо да, date="эртеңден кийинки күн" берүү).
3. Өз алдынча параметр форматын өзгөртүү (мисалы, "эртеңден кийинки күн" дегенди белгилүү бир күнгө айландыруу), курал муну талап кылбаса да.

Көйгөйдүн тамыры модель чыгаруусу негизинен ыктымалдык экендигинде; кеңештер ыктымалдык бөлүштүрүүгө "жумшак чектөө" коёт, бирок модель катуу сакташы керек болгон механизм эмес. Татаал сценарийлерде бул "жумшак чектөө" оңой эле иштебей калат.

Бул көйгөйдү чечүү үчүн көп деңгээлдүү инженердик чечим керек:

1. Биринчи деңгээл: Кеңештерди оптималдаштыруу (жумшак чектөө)

   • Бул чектөө системасынын башталышы, бирок акыркы чекит эмес.
   • Кеңештерди "операциялык контракт" катары карап, куралдын максатын, ар бир параметрдин түрүн, чектерин так көрсөтүп, мыйзамсыз маанилердин мисалдарын келтирүү керек.
   • Бир нече мисал (Few-shot) кошуу керек, "туура киргизүү → туура чакыруу" мисалдарын көрсөтүү менен контексттик үйрөнүү аркылуу модель жүрүм-турумун бекитүү.

2. Экинчи деңгээл: JSON Schema киргизүү (катуу чектөө)

   • Бул "акыл айтуудан" "тосмо коюуга" өтүүдөгү маанилүү кадам.
   • Параметрлерди сүрөттөө үчүн табигый тилдин ордуна машина окуй турган, текшерилүүчү структураланган аныктама (JSON Schema) колдонуу. Талканын түрүн, милдеттүүлүгүн, чектелген маанилердин диапазонун катуу аныктап, additionalProperties: false коюу менен модельге эч кандай аныкталбаган талааны чыгарууга тыюу салуу.
   • Негизги API платформалары модель декоддоо этабында ушундай структураланган чыгаруу чектөөсүн колдоп, формат бузулушун баштапкы булакта эле алдын алат.

3. Үчүнчү деңгээл: Текшерүү-оңдоо-кайра аракет кылуу циклин түзүү (аткаруунун коопсуздугу)

   • Schema болсо да, модель чыгаруусун алгандан кийин синтаксис жана Schema текшерүүсүн жүргүзүү керек.
   • Текшерүү ишке ашпаса, автоматтык тазалоо жана кайра аракет кылуу механизмин (чеги менен) иштеп чыгуу, ката маалыматын модельге кайтарып, чыгарууну оңдоо. Кайра аракеттердин саны чегинен ашканда, деградация же кол менен иштетүү планы болушу керек.

4. Архитектура деңгээлинде: Милдеттерди бөлүү

   • Чечим кабыл алуу менен аткарууну бөлүп, үч катмарлуу архитектура түзүү керек:
     • Модель катмары: Тек гана чечим кабыл алууга жооптуу (кайсы куралды чакыруу, кандай параметрлерди түзүү).
     • Фреймворк катмары: Аткаруу фреймворкуна жооптуу, анын ичинде Schema текшерүү, куралды чакыруу, кайра аракеттерди иштетүү жана натыйжаларды интеграциялоо. Бул модель каталарынын куралдын коопсуздугуна түздөн-түз таасирин тийгизбөөсүн камсыздайт, ошондой эле курал өзгөргөндө кеңештерди көп өзгөртүүнүн кереги жок.
     • Курал катмары: Конкреттүү бизнес мүмкүнчүлүктөрдү ишке ашырат.
   • LangChain, LlamaIndex сыяктуу фреймворктор дал ушундай ишти аткарышат.

Учурдагы чечимдин чектөөлөрү: Параметр форматы көйгөйүн жакшы чечет, бирок параметр семантикасын (мисалы, "Шанхай" менен "Ху" эквиваленттүүлүгү) текшерүү дагы эле жетишсиз. Бул келечектеги инженердик кыйынчылык болуп калат.

Негизги жыйынтык: LLMдин куралдарды ишенимдүү чакыруусун камсыз кылуу, негизинен, программалык камсыздоо инженериясынын көйгөйү; жөн гана кеңештерди оптималдаштыруу эмес, жумшак чектөөдөн баштап, катуу чектөө, аткаруунун коопсуздугу жана архитектуралык дизайнга чейинки системалык инженердик чечимди талап кылат.