AI sērijas intervija 10: Ko īsti dara Embedding? – No tehniskās būtības līdz intervijas atbildei

Ko īsti dara Embedding? – No tehniskās būtības līdz intervijas atbildei

I. Tehniskā būtība: Viena teikuma kodols

Embedding pamatuzdevums ir pārveidot diskrētus nestrukturētus datus (tekstu, attēlus utt.) nepārtrauktā, zemas dimensijas vektoru telpā, lai semantiski līdzīgi objekti šajā telpā atrastos tuvu viens otram.
Vienkārši sakot, tā ir "semantiskās koordinātu sistēmas" izveide datoram, pārtulkojot cilvēku "neskaidrās nozīmes" datoram aprēķināmās "pozīcijas koordinātēs".

II. Intuitīva izpratne: Semantiskā karte

Iedomājieties divdimensiju karti (īstenībā embedingi bieži ir vairāku simtu dimensiju, bet princips tas pats):

Kaķis → [0.92, 0.31, -0.45, …]
Suns → [0.88, 0.29, -0.42, …]
Automašīna → [0.15, -0.87, 0.53, …]

Kaķa un suņa vektori ir ļoti tuvi, automašīna atrodas tālu.
Embedding ļauj datoram vārdus vairs neuzskatīt par izolētiem simboliem, bet gan salīdzināt pēc "nozīmes tuvuma".

III. Tehniskie principi (vienkāršotā versija): Kā tas tiek apgūts?

Pamatojoties uz lingvistisko pieņēmumu: "Vārda nozīmi nosaka tā konteksts."

Trenējoties uz milzīgiem teksta apjomiem (piemēram, Word2Vec, BERT iegulšanas slānis), modelis nepārtraukti pielāgo katra vārda vektoru.
Galu galā vārdi, kas bieži parādās līdzīgos kontekstos (kaķis un suns "mājdzīvnieka", "glāstīšanas", "barošanas" kontekstā), tiek novietoti tuvu viens otram.
Šis process pilnībā notiek bez cilvēka marķēšanas – tā ir ģeometriska struktūra, kas automātiski izriet no valodas lietojuma.

Svarīga īpašība: Vektoru telpa pat spēj uztvert analoģijas, piemēram, karalis - vīrietis + sieviete ≈ karaliene.

IV. RAG sistēmā: Ko Embedding dara soli pa solim?

Indeksēšanas laikā: Katrs dokumenta bloks (chunk) tiek pārveidots vektorā → ievietots vektoru datubāzē → izveidota "semantiskā adrese".
Pieprasījuma laikā: Lietotāja jautājums tiek pārveidots vektorā tajā pašā telpā → datubāzē tiek atrasti tuvākie dokumenta vektori → iegūti semantiski saistīti zināšanu fragmenti.

Piemērs:
Lietotājs jautā "Kā uzturēt manu suni laimīgu?", pat ja zināšanu bāzē ir tikai "Suņiem nepieciešama ikdienas pastaiga, kas labvēlīgi ietekmē viņu garīgo veselību", embedding joprojām spēj veiksmīgi iegūt informāciju, jo "laimīgs/veselīgs/suns" ir semantiski tuvi. Tiek panākta "nozīmes sakritība", nevis "formas sakritība".

V. Intervijas atbildes stratēģija (2–3 minūšu pilns runas modelis)

Zemāk ir izstrādāts atbilžu ietvars, kas parāda gan teorētisko dziļumu, gan projekta pieredzi.

[Ievads]

"Embedding pamatuzdevums ir pārveidot diskrētus nestrukturētus datus nepārtrauktā, zemas dimensijas vektoru telpā, lai semantiski līdzīgi objekti šajā telpā atrastos tuvu viens otram. Vienkārši sakot, tā ir 'semantiskās koordinātu sistēmas' izveide datoram."

[Principu izklāsts, pieminot klasiskās īpašības]

"Tradicionālajā one-hot kodēšanā vārdiem nav attāluma jēdziena, bet embedding caur neironu tīklu mācās no liela teksta korpusa – 'vārda nozīmi nosaka tā konteksts'. Galu galā katrs vārds/teikums tiek attēlots kā blīvs vektors, un vektoru leņķa kosinuss var tieši mērīt semantisko līdzību. Pat analoģijas tiek uztvertas, piemēram, karalis - vīrietis + sieviete ≈ karaliene."

[Projekta pieredze – svarīgākais]

"Iepriekšējā RAG jautājumu-atbilžu sistēmā es tieši izmantoju embedding. Izvēlējos text-embedding-3-small, sagriezu iekšējos dokumentus 500 rakstzīmju blokos, katru pārveidoju vektorā un ievietoju Qdrant.
Vienreiz lietotājs jautāja 'kā pieteikt ikgadējo atvaļinājumu', atslēgvārdu meklēšana neko neatrada, jo dokumentā bija rakstīts 'atvaļinājuma pieteikšanas procedūra'. Bet embedding spēja 'ikgadējo atvaļinājumu' un 'atvaļinājumu' novietot tuvu viens otram un veiksmīgi iegūt pareizo rindkopu.
Es arī iekritu vienā bedrē: sākumā izmantoju vispārīgu embedding, kas slikti darbojās ar juridiskajiem noteikumiem; vēlāk nomainīju uz nozares fine-tuningu BGE-large, un meklēšanas trāpījumu līmenis pieauga no 72% līdz 89%. Tātad embedding modeļa izvēle ļoti ietekmē lejupējos uzdevumus."

[Papildu padziļināta pārdoma, parādot senior potenciālu]

"Vēl gribu piebilst: embedding būtībā ir zudumaina semantiska saspiešana – tas atmet virspusējo informāciju, piemēram, vārdu secību, sintaksi, un saglabā tikai 'vispārējo nozīmi'. Tāpēc situācijās, kur nepieciešama precīza atbilstība (piemēram, produktu modeļi 'iPhone12' vs 'iPhone13'), tīri vektoru meklēšana var būt zemāka par atslēgvārdu meklēšanu. Praktiskos projektos mēs bieži izmantojam hibrīdmeklēšanu (vektori + BM25), lai papildinātu viens otru."

[Nobeigums]

"Kopumā embedding risina pamatjautājumu: kā likt datoram aprēķināt semantisko līdzību. Tas ir viens no mūsdienu NLP un RAG pamatiem."

VI. Intervētāja iespējamie papildjautājumi un kā uz tiem atbildēt

Papildjautājums	Atbildes punkti
"Kā tiek trenēts embedding?"	Īsi izskaidrot Word2Vec CBOW/Skip-gram (konteksta izmantošana centrālā vārda prognozēšanai vai otrādi) vai mūsdienu kontrastīvo mācīšanos (SimCSE, Sentence-BERT). Uzsvērt, ka treniņa būtība ir līdzparādīšanās statistikas izmantošana.
"Kā novērtēt embedding kvalitāti?"	Konkrētā uzdevumā izmantot trāpījumu līmeni, MRR; publiskie etaloni, piemēram, MTEB. Praksē var veikt A/B testēšanu meklēšanas rezultātiem.
"Kādus embedding modeļus esi izmantojis? Plusi un mīnusi?"	OpenAI ērts, bet dārgs; BGE labs ķīniešu valodai; M3E viegls; E5 daudzvalodu. Var izvēlēties atkarībā no scenārija.
"Kā izvēlēties vektora dimensiju?"	Augsta dimensija – lielāka izteiksmes spēja, bet dārgāka skaitļošana/glabāšana; zema dimensija – iespējama nepietiekama pielāgošanās. Bieži izmanto 384/768/1536, eksperimentējot atrast līdzsvaru.

VII. Brīdinājums par izplatītām kļūdām (attiecas uz interviju)

❌ Ne tikai iegaumēt "embedding pārveido tekstu vektorā" – pārāk virspusēji, intervētājs prasīs "un tad?"
❌ Ne pārāk matemātiski (uzreiz runāt par Hilberta telpu) – var izskatīties kā iegaumēšana, nevis prakse.
✅ Noteikti pastāsti, kā tu ar to esi atrisinājis konkrētu problēmu, pat ja tas ir tikai kursa projekts. Konkrēts skaitlis (piemēram, palielināts trāpījumu līmenis par 17%) ir pārliecinošāks par desmit teorētiskiem apgalvojumiem.