AI Pangutana sa Interbyu 2: Giunsa Pagsiguro nga ang Dako nga Modelo sa Pinulongan (LLM) Kasaligan sa Pagtawag sa mga Himan

Giunsa pagsiguro nga ang dako nga modelo sa pinulongan (LLM) kasaligan ug kontrolado sa pagtawag sa mga himan, imbes nga magsalig lamang sa mga prompt aron "makombinse" ang modelo? Kinahanglan nga sistematikong maghatag og multi-level nga balangkas sa mga pagdili.

Pananglitan sa pagpangutana sa panahon, tulo ka kasagarang "paghimo-himo" nga mga kinaiya sa modelo sa pagtawag sa himan:
1. Dili pagtawag sa himan, direktang pag-imbento og tubag.
2. Pagtawag sa himan nga adunay sayop nga pormat nga mga parameter (pananglitan, ang himan wala mosuporta sa "ugma", apan gipasa ang parameter date="ugma").
3. Pag-ilis sa pormat sa parameter nga walay pagtugot (pananglitan, pag-ilis sa "ugma" ngadto sa espesipikong petsa), bisan kung ang himan wala magkinahanglan niini.

Ang gamut sa problema mao nga ang output sa modelo sa kinaiyahan probabilistiko, ug ang mga prompt naghatag lamang og "malumo nga pagdili" sa probabilidad nga pag-apod-apod, dili usa ka mekanismo nga nagsiguro nga ang modelo hugot nga mosunod. Sa komplikadong mga sitwasyon, kining "malumo nga pagdili" dali nga mapakyas.

Aron masulbad kini nga problema, kinahanglan adunay multi-level nga solusyon sa inhenyeriya:

1. Unang Ang-ang: Pag-optimize sa mga Prompt (Malumo nga Pagdili)

   • Ang posisyon mao ang sinugdanan sa sistema sa pagdili, apan dili gyud ang katapusan.
   • Ang mga prompt kinahanglan isipon nga "kontrata sa operasyon", tin-aw nga nagpatin-aw sa gamit sa himan, ang tipo sa matag parameter, mga utlanan, ug paglista sa mga pananglitan sa dili balido nga mga kantidad.
   • Kinahanglan idugang ang Few-shot nga mga pananglitan, pinaagi sa pagpakita sa mga pananglitan sa "husto nga input → husto nga tawag", gamit ang konteksto nga pagkat-on aron maangkla ang pattern sa kinaiya sa modelo.

2. Ikaduhang Ang-ang: Pagpaila sa JSON Schema (Gahi nga Pagdili)

   • Kini usa ka mahinungdanong lakang gikan sa "pagsulti og rason" ngadto sa "pagtakda og mga babag".
   • Gamit ang makina nga mabasa ug mapamatud-an nga structured nga kahulugan (JSON Schema) imbes nga natural nga pinulongan sa paghulagway sa mga parameter. Mahimo nga hugot nga ipasabot ang tipo sa field, kung gikinahanglan ba, ang range sa enumerated values, ug pinaagi sa pagtakda og additionalProperties: false aron idili ang modelo sa pag-output sa bisan unsang wala mahubit nga field.
   • Ang mga mainstream API platforms nagsuporta sa ingon nga structured output constraint sa panahon sa decoding stage sa modelo, nga naglikay sa format violations gikan sa gigikanan sa pagmugna.

3. Ikatulong Ang-ang: Pagtukod og Balik-balik nga Pag-validate-Pag-ayo-Pag-usab (Execution Safety Net)

   • Bisan pa sa Schema, kinahanglan pa nga human makuha ang output sa modelo, himuon ang syntax ug Schema validation.
   • Kung mapakyas ang validation, kinahanglan magdisenyo og awtomatikong paglimpyo ug pag-usab nga mekanismo (adunay limitasyon), nga ipabalik ang sayop nga impormasyon ngadto sa modelo aron matul-id ang output. Kung molapas na sa gidaghanon sa mga pagsulay, kinahanglan adunay downgrade o manual handling nga solusyon.

4. Arkitektura nga Ang-ang: Pagbulag sa mga Responsibilidad

   • Kinahanglan nga pagbulag sa desisyon ug pagpatuman, nga maghimo og tulo-ka-ang-ang nga arkitektura:
     • Model Layer: Responsable lamang sa desisyon (paghukom kung unsang himan ang tawgon, unsang mga parameter ang mugnaon).
     • Framework Layer: Responsable sa pagpatuman sa balangkas, lakip ang Schema validation, pagtawag sa himan, pagdumala sa mga pag-usab, ug pag-integrate sa mga resulta. Kini nagsiguro nga ang mga sayop sa modelo dili direktang makaapekto sa kaluwasan sa himan, ug ang mga pagbag-o sa himan dili magkinahanglan kanunay nga pag-adjust sa mga prompt.
     • Tool Layer: Ang piho nga pagpatuman sa mga kapabilidad sa negosyo.
   • Ang LangChain, LlamaIndex, ug uban pang mga frameworks nagabuhat niini nga trabaho.

Mga limitasyon sa kasamtangan nga solusyon: Maayo nga pagdumala sa format sa parameter nga mga isyu, apan ang validation sa semantiko sa parameter (pananglitan, ang pagkaparehas sa "Shanghai" ug "沪") dili pa igo. Kini mahimong usa ka hagit sa inhenyeriya nga atubangon sa umaabot.

Pangunang Konklusyon: Ang paghimo sa LLM nga kasaligan sa pagtawag sa mga himan, sa kinaiyahan, usa ka problema sa software engineering, nga nagkinahanglan og sistematikong solusyon sa inhenyeriya gikan sa malumo nga pagdili, gahi nga pagdili, execution safety net, ngadto sa arkitektura nga disenyo, imbes nga magsalig lamang sa pag-optimize sa mga prompt.