AI Séria Rozhovorov 10: Čo vlastne robí Embedding? – Od technickej podstaty k odpovediam na pohovore

Čo vlastne robí Embedding? – Od technickej podstaty k odpovediam na pohovore

1. Technická podstata: Jedna veta vystihujúca jadro

Hlavnou úlohou Embeddingu je mapovať diskrétne neštruktúrované dáta (text, obrázky atď.) do spojitého nízkorozmerného vektorového priestoru tak, aby sémanticky podobné objekty boli v tomto priestore blízko seba.
Zjednodušene povedané: vytvára pre počítač „sémantický súradnicový systém“, ktorý prekladá „hmlistý význam“ ľudí na „súradnice polohy“, ktoré počítač dokáže vypočítať.

2. Intuitívne pochopenie: Sémantická mapa

Predstavte si dvojrozmernú mapu (v skutočnosti má embedding často stovky rozmerov, ale princíp je rovnaký):

mačka → [0.92, 0.31, -0.45, …]
pes → [0.88, 0.29, -0.42, …]
auto → [0.15, -0.87, 0.53, …]

Vektory mačky a psa sú veľmi blízko, auto je naopak ďaleko.
Embedding umožňuje počítaču, aby už slová nebral ako izolované symboly, ale aby ich mohol porovnávať podľa „vzdialenosti významu“.

3. Technický princíp (zjednodušene): Ako sa učí?

Založené na lingvistickom predpoklade: „Význam slova určuje jeho kontext.“

Tréningom na obrovskom množstve textu (napr. Word2Vec, vrstva embeddings v BERT) model neustále upravuje vektor každého slova.
Nakoniec sa slová, ktoré sa často vyskytujú v podobnom kontexte (mačka a pes v kontexte „domáce zviera“, „hladkanie“, „kŕmenie“), dostanú na podobné miesta.
Tento proces nevyžaduje ručné označovanie – ide o geometrickú štruktúru, ktorá sa automaticky vynára z používania jazyka.

Dôležitá vlastnosť: Vektorový priestor dokáže zachytiť aj analogické vzťahy, napr. kráľ - muž + žena ≈ kráľovná.

4. V systéme RAG: Aké konkrétne kroky vykonáva embedding?

Pri vytváraní indexu: Každý blok dokumentu (chunk) sa prevedie na vektor → uloží sa do vektorovej databázy → vygeneruje sa „sémantická adresa“.
Pri dopyte: Používateľova otázka sa prevedie na vektor v rovnakom priestore → v databáze sa nájdu najbližšie vektory dokumentov → získajú sa sémanticky relevantné časti znalostí.

Príklad efektu:
Používateľ sa opýta „Ako udržať môjho psa šťastného?“, aj keď znalostná databáza obsahuje len „Psy potrebujú denné prechádzky, čo prospieva ich duševnému zdraviu“, embedding aj tak úspešne vyhľadá danú časť vďaka sémantickej blízkosti slov „šťastný/zdravie/pes“. Dosahuje sa „významová zhoda“, nie len „formálna zhoda“.

5. Stratégia odpovede na pohovore (2–3 minútový ucelený prejav)

Nižšie je navrhnutý rámec odpovede, ktorý ukazuje teoretickú hĺbku aj projektové skúsenosti.

[Úvodné naladenie]

„Hlavnou úlohou Embeddingu je mapovať diskrétne neštruktúrované dáta do spojitého nízkorozmerného vektorového priestoru tak, aby sémanticky podobné objekty boli v tomto priestore blízko seba. Zjednodušene povedané: vytvára pre počítač „sémantický súradnicový systém“.“

[Rozvinutie princípu, zmienka o klasických vlastnostiach]

„Tradičné one-hot kódovanie nemá medzi slovami koncept vzdialenosti, zatiaľ čo embedding sa učí z obrovského korpusu pomocou neurónových sietí – „význam slova určuje jeho kontext“. Výsledkom je, že každé slovo/veta je reprezentovaná hustým vektorom a kosínusová podobnosť vektorov priamo meria sémantickú podobnosť. Dokonca dokáže zachytiť analogické vzťahy, napríklad kráľ - muž + žena ≈ kráľovná.“

[Prepojenie s projektovou skúsenosťou – dôležité]

„V mojom predchádzajúcom projekte RAG systém pre otázky a odpovede som priamo používal embedding. Vtedy som zvolil text-embedding-3-small, rozdelil interné dokumenty spoločnosti na bloky po 500 znakov, každý blok premenil na vektor a uložil do Qdrant.
Raz sa používateľ spýtal „Ako požiadať o dovolenku“, kľúčové slová nič nenašli, lebo v dokumente bolo napísané „Proces žiadosti o voľno“. Ale embedding dokázal mapovať „dovolenka“ a „voľno“ na blízke miesta a úspešne vyhľadal správny odsek.
Narazil som aj na problém: spočiatku som použil všeobecný embedding, ktorý na právnych textoch fungoval zle. Po výmene za doménovo jemne ladený BGE-large sa presnosť vyhľadávania zvýšila z 72 % na 89 %. Výber modelu embedding má teda obrovský vplyv na downstream úlohu.“

[Doplnenie hlbšieho zamyslenia, ukazujúce senior potenciál]

„Ešte by som dodal: embedding je v podstate stratová sémantická kompresia – zahadzuje povrchové informácie ako poradie slov, syntax a zachováva len „hlavný význam“. Preto v scenároch vyžadujúcich presnú zhodu (napr. model produktu „iPhone12“ vs „iPhone13“) môže čisto vektorové vyhľadávanie zaostávať za kľúčovými slovami. V praxi často používame hybridné vyhľadávanie (vektory + BM25) pre vzájomné doplnenie.“

[Záver]

„Stručne povedané, embedding rieši základný problém: ako nechať počítač vypočítať sémantickú podobnosť. Je to jeden zo základných kameňov moderného NLP a RAG.“

6. Možné doplňujúce otázky skúšajúceho a vaše reakcie

Doplňujúca otázka	Body odpovede
„Ako sa embedding trénuje?“	Stručne vysvetliť CBOW/Skip-gram modelu Word2Vec (pomocou kontextu predpovedať centrálne slovo alebo naopak), alebo moderné kontrastívne učenie (SimCSE, Sentence-BERT). Zdôrazniť, že podstatou tréningu je využitie kookurenčných štatistík.
„Ako hodnotiť kvalitu embeddingu?“	Na konkrétnej úlohe pomocou presnosti vyhľadávania, MRR; verejné benchmarky ako MTEB. V praxi možno A/B testovať efekt vyhľadávania.
„Aké modely embeddingu ste použili? Výhody/nevýhody?“	OpenAI pohodlné ale drahé, BGE dobré pre čínštinu, M3E ľahký, E5 viacjazyčný. Vybrať podľa scenára.
„Ako zvoliť dimenziu vektora?“	Vyššia dimenzia – lepšia vyjadrovacia schopnosť, ale väčšia výpočtová a pamäťová náročnosť; nižšia dimenzia môže viesť k podfitu. Bežne 384/768/1536, volí sa experimentálne s ohľadom na kompromis.

7. Upozornenie na nástrahy (vhodné pri pohovore)

❌ Nehovorte len „embedding mení text na vektor“ – je to príliš povrchné, skúšajúci sa spýta „a čo ďalej?“
❌ Nebuďte príliš matematickí (hneď hovoriť o Hilbertovom priestore) – pôsobí to ako učenie sa naspamäť, nie praktická skúsenosť.
✅ Určite povedzte, aký konkrétny problém ste pomocou neho vyriešili, aj keby to bol len kurzový projekt. Jedno konkrétne číslo (napr. zvýšenie presnosti o 17 %) je silnejšie ako desať teoretických viet.