AI serija intervjua 10: Šta zapravo radi Embedding? — Od suštine tehnologije do odgovora na intervjuu

Šta zapravo radi Embedding? — Od suštine tehnologije do odgovora na intervjuu

1. Suština tehnologije: Jedna rečenica ističe srž

Suštinski posao Embedding-a je da preslika diskretne nestrukturirane podatke (tekst, slike itd.) u kontinuirani, nisko-dimenzionalni vektorski prostor, tako da se semantički slični objekti nalaze blizu u tom prostoru.
Jednostavnije rečeno, to je uspostavljanje "semantičkog koordinatnog sistema" za računar, prevodeći ljudsko "nejasno značenje" u "položajne koordinate" koje računar može da izračuna.

2. Intuitivno razumevanje: Semantička mapa

Zamislite dvodimenzionalnu mapu (u stvarnosti embedding često ima stotine dimenzija, ali princip je isti):

Mačka → [0.92, 0.31, -0.45, ...]
Pas → [0.88, 0.29, -0.42, ...]
Auto → [0.15, -0.87, 0.53, ...]

Vektori mačke i psa su vrlo bliski, dok je auto daleko.
Embedding omogućava računaru da reči više ne tretira kao izolovane simbole, već da ih može porediti na osnovu "blizine značenja".

3. Tehnički princip (pojednostavljeno): Kako se uči?

Zasnovano na lingvističkoj hipotezi: "Značenje reči određuje njen kontekst."

Treniranjem na ogromnim količinama teksta (npr. Word2Vec, BERT embedding sloj), model neprestano prilagođava vektor svake reči.
Na kraju, reči koje se često pojavljuju u sličnim kontekstima (mačka i pas u kontekstu "ljubimac", "maziti", "hraniti") bivaju povučene na bliske pozicije.
Ovaj proces ne zahteva ručno obeležavanje; to je geometrijska struktura koja spontano nastaje iz upotrebe jezika.

Važna osobina: Vektorski prostor može čak da uhvati analogije, kao što je kralj - muškarac + žena ≈ kraljica.

4. U RAG sistemu, koje konkretne korake radi Embedding?

Pri izgradnji indeksa: Svaki dokument (chunk) se pretvara u vektor → čuva se u vektorskoj bazi podataka → generiše se "semantička adresa".
Pri upitu: Korisničko pitanje se pretvara u vektor u istom prostoru → u bazi se pronalaze najbliži vektori dokumenata → vraćaju se semantički relevantni fragmenti.

Primer efekta:
Korisnik pita "Kako da održim svog ljubimca psa srećnim?", čak i ako baza znanja sadrži samo "Psu je potrebna svakodnevna šetnja, što pomaže njegovom mentalnom zdravlju", embedding će ipak uspeti da pronađe odgovor zbog semantičke blizine "sreća/zdravlje/pas". Ostvaruje se "značenjska podudarnost", a ne "leksička podudarnost".

5. Strategija odgovora na intervjuu (2-3 minuta kompletan govor)

Sledi osmišljen okvir za odgovor koji istovremeno pokazuje teorijsku dubinu i projektno iskustvo.

[Uvodni ton]

"Suštinski posao Embedding-a je da preslika diskretne nestrukturirane podatke u kontinuirani, nisko-dimenzionalni vektorski prostor, tako da se semantički slični objekti nalaze blizu u tom prostoru. Jednostavnije rečeno, to je uspostavljanje 'semantičkog koordinatnog sistema' za računar."

[Objašnjenje principa, pominjanje klasičnih osobina]

"Tradicionalno one-hot kodiranje nema koncept rastojanja između reči, dok embedding kroz neuronske mreže uči iz ogromnog korpusa — 'značenje reči određuje njen kontekst'. Na kraju, svaka reč/rečenica se predstavlja kao gusti vektor, a kosinus ugla između vektora može direktno da meri semantičku sličnost. Čak može da uhvati analogije, kao što je kralj - muškarac + žena ≈ kraljica."

[Kombinovanje sa projektnim iskustvom — ključno]

"U RAG sistemu za odgovaranje na pitanja koji sam ranije radio, direktno sam koristio embedding. Tada sam izabrao text-embedding-3-small, isekao interne dokumente kompanije na blokove od 500 karaktera, svaki blok pretvorio u vektor i sačuvao u Qdrant-u.
Jednom je korisnik pitao 'Kako da podnesem zahtev za godišnji odmor', ali ključne reči nisu pronašle ništa, jer je u dokumentu pisalo 'Postupak za podnošenje zahteva za odsustvo'. Međutim, embedding je uspeo da preslika 'godišnji odmor' i 'odsustvo' na bliske pozicije i uspešno je pronašao tačan pasus.
Takođe sam naišao na problem: u početku sam koristio opšti embedding, koji je davao loše rezultate na pravnim klauzulama. Kasnije sam zamenio sa domen-specifičnim BGE-large i stopa pogađanja se popela sa 72% na 89%. Dakle, izbor embedding modela ima veliki uticaj na nizvodne zadatke."

[Dodavanje dubljeg razmišljanja, prikazivanje senior potencijala]

"Takođe bih dodao jednu stvar: embedding je suštinski gubitna semantička kompresija — on odbacuje površinske informacije poput redosleda reči, sintakse i zadržava samo 'grubo značenje'. Zato u scenarijima koji zahtevaju precizno podudaranje (npr. model proizvoda 'iPhone12' vs 'iPhone13'), čisto vektorsko pretraživanje može biti lošije od ključnih reči. U praksi često koristimo hibridno pretraživanje (vektori + BM25) za nadopunu."

[Završetak]

"Ukratko, embedding rešava osnovno pitanje: 'Kako navesti računar da izračuna semantičku sličnost?'. To je jedan od temelja moderne NLP i RAG tehnologije."

6. Moguća dodatna pitanja i kako odgovoriti

Pitanje	Ključne tačke odgovora
"Kako se embedding trenira?"	Ukratko objasniti CBOW/Skip-gram Word2Vec-a (korišćenje konteksta za predviđanje centralne reči ili obrnuto), ili moderno kontrastivno učenje (SimCSE, Sentence-BERT). Naglasiti da je suština treninga korišćenje ko-okurencijske statistike.
"Kako oceniti kvalitet embedding-a?"	Na specifičnom zadatku koristiti stopu pogađanja, MRR; javni benchmark-ovi poput MTEB. U praksi A/B testiranje efekta pretraživanja.
"Koje embedding modele ste koristili? Prednosti i mane?"	OpenAI je zgodan ali skup, BGE dobar za kineski, M3E lagan, E5 višejezičan. Bira se prema scenariju.
"Kako odabrati dimenziju vektora?"	Veća dimenzija daje veću izražajnost ali skuplje računanje/skladištenje; manja može dovesti do podprilagođavanja. Uobičajeno 384/768/1536, balansirati eksperimentima.

7. Upozorenja (za intervju)

❌ Ne samo reći "embedding pretvara tekst u vektor" — previše površno, ispitivač će pitati "i šta onda?".
❌ Ne biti previše matematički (odmah pominjati Hilbertov prostor), lako deluje kao učenje napamet, a ne praktično iskustvo.
✅ Obavezno ispričati kako ste lično koristili embedding da rešite neki problem, makar to bio samo projekat sa kursa. Jedan konkretan broj (npr. povećanje stope pogađanja za 17%) vredi više od deset teorijskih rečenica.