AI-serie interview 10: Wat doet Embedding eigenlijk? — Van technische essentie tot antwoorden op sollicitatiegesprekken

Wat doet Embedding eigenlijk? — Van technische essentie tot antwoorden op sollicitatiegesprekken

1. Technische essentie: de kern in één zin

De kern van Embedding is het afbeelden van discrete, ongestructureerde gegevens (tekst, afbeeldingen enz.) naar een continue, laag-dimensionale vectorruimte, zodat semantisch gelijkaardige objecten in die ruimte dicht bij elkaar komen.
Simpel gezegd: het bouwt een "semantisch coördinatensysteem" voor de computer, vertaalt de vage betekenissen van mensen naar "positiecoördinaten" die de computer kan berekenen.

2. Intuïtief begrip: semantische kaart

Stel je een tweedimensionale kaart voor (in werkelijkheid zijn embeddings vaak honderden dimensies, maar het principe is hetzelfde):

Kat → [0.92, 0.31, -0.45, …]
Hond → [0.88, 0.29, -0.42, …]
Auto → [0.15, -0.87, 0.53, …]

De vectoren van kat en hond liggen erg dicht bij elkaar, die van auto ver weg.
Embedding zorgt ervoor dat de computer woorden niet langer als losstaande symbolen ziet, maar tekst kan vergelijken op basis van "betekenisafstand".

3. Technisch principe (vereenvoudigd): hoe leert het?

Gebaseerd op de taalkundige aanname: "De betekenis van een woord wordt bepaald door zijn context."

Door training op enorme hoeveelheden tekst (bijv. Word2Vec, BERT-embeddinglaag) past het model continu de vector van elk woord aan.
Uiteindelijk worden woorden die vaak in vergelijkbare contexten voorkomen (kat en hond komen beide voor in contexten als "huisdier", "aaien", "voeren") dicht bij elkaar geplaatst.
Dit proces vereist geen handmatige labeling; het is een geometrische structuur die automatisch ontstaat uit taalgebruik.

Belangrijke eigenschap: De vectorruimte kan zelfs analogierelaties vastleggen, zoals koning - man + vrouw ≈ koningin.

4. Wat doet Embedding specifiek in een RAG-systeem?

Bij het bouwen van de index: Elk documentchunk omzetten naar een vector → opslaan in vectordatabase → een "semantisch adres" genereren.
Bij het opvragen: De gebruikersvraag omzetten naar een vector in dezelfde ruimte → in de database de dichtstbijzijnde documentvectoren vinden → semantisch relevante kennisstukken ophalen.

Voorbeeld effect:
De gebruiker vraagt "Hoe houd ik mijn hond gelukkig?", zelfs als de kennisbank alleen "Honden hebben dagelijkse wandelingen nodig, dit is goed voor hun mentale gezondheid" bevat, kan de embedding nog steeds succesvol het relevante stuk oproepen omdat "gelukkig/gezond/hond" semantisch dichtbij zijn. Het bereikt "betekenisovereenkomst", niet "vormovereenkomst".

5. Strategie voor sollicitatiegesprek (2~3 minuten volledig antwoord)

Hieronder een antwoordkader dat zowel theoretische diepgang laat zien als projectervaring demonstreert.

[Opening]

"De kern van Embedding is het afbeelden van discrete, ongestructureerde gegevens naar een continue, laag-dimensionale vectorruimte, zodat semantisch gelijkaardige objecten in die ruimte dicht bij elkaar komen. Simpel gezegd: het bouwt een 'semantisch coördinatensysteem' voor de computer."

[Uitleg principe, vermeld klassieke eigenschap]

"Traditionele one-hot-codering heeft geen afstandsconcept tussen woorden, maar embedding leert via neurale netwerken uit grote hoeveelheden tekstcorpora – 'de betekenis van een woord wordt bepaald door zijn context'. Uiteindelijk wordt elk woord/zin weergegeven als een dichte vector, en de cosinus van de hoek tussen vectoren meet direct de semantische gelijkenis. Het kan zelfs analogierelaties vastleggen, zoals koning - man + vrouw ≈ koningin."

[Combineer met projectervaring – belangrijk]

"In een eerder RAG-kennissysteem dat ik heb gebouwd, heb ik embedding direct gebruikt. Ik koos toen voor text-embedding-3-small, sneed interne bedrijfsdocumenten in blokken van 500 tekens, zette elk blok om in een vector en sloeg ze op in Qdrant.
Een keer vroeg een gebruiker 'hoe vraag ik vakantiedagen aan?', maar trefwoordzoeken vond niets omdat het document 'verlofaanvraagprocedure' heette. Maar de embedding kon 'vakantiedagen' en 'verlof' op een vergelijkbare positie afbeelden en haalde succesvol de juiste paragraaf op.
Ik liep ook tegen een probleem aan: aanvankelijk gebruikte ik een algemene embedding, die presteerde slecht op juridische clausules. Na overstap naar domein-gefinetunde BGE-large steeg de retrieval hit rate van 72% naar 89%. Dus de keuze van het embeddingmodel heeft een grote invloed op de downstream-taak."

[Aanvullende diepgaande gedachte, toon senior potentie]

"Daarnaast wil ik nog toevoegen: embedding is in wezen verliesgevende semantische compressie – het laat oppervlakkige informatie zoals woordvolgorde en zinsstructuur vallen, en behoudt alleen de 'hoofdbetekenis'. Dus in scenario's die exacte matching vereisen (bijv. productmodel 'iPhone12' vs 'iPhone13') kan pure vectorretrieval minder effectief zijn dan trefwoorden. In de praktijk gebruiken we vaak hybride retrieval (vector + BM25) om elkaar aan te vullen."

[Afsluiting]

"Samenvattend lost embedding het fundamentele probleem op van 'hoe laat je de computer semantische gelijkenis berekenen'. Het is een van de bouwstenen van moderne NLP en RAG."

6. Mogelijke vervolgvragen van de interviewer en jouw aanpak

Vervolgvraag	Antwoordpunten
"Hoe wordt embedding getraind?"	Korte uitleg van Word2Vec's CBOW/Skip-gram (gebruik context om centraal woord te voorspellen of omgekeerd), of moderne contrastief leren (SimCSE, Sentence-BERT). Benadruk dat training in essentie gebruik maakt van co-occurrentie statistieken.
"Hoe beoordeel je de kwaliteit van een embedding?"	Op specifieke taken met hit rate, MRR; openbare benchmarks zoals MTEB. In de praktijk kan A/B-testen van retrieverprestaties.
"Welke embeddingmodellen heb je gebruikt? Voor- en nadelen?"	OpenAI handig maar duur, BGE goed voor Chinees, M3E lichtgewicht, E5 meertalig. Kies op basis van scenario.
"Hoe kies je de vectordimensie?"	Hoge dimensie geeft sterke expressiviteit maar duur in berekening/opslag; lage dimensie kan onderfitting geven. Gebruikelijk 384/768/1536, afweging door experimenten.

7. Valkuilen om te vermijden (voor sollicitatiegesprek)

❌ Zeg niet alleen "embedding zet tekst om in vectoren" – te oppervlakkig, de interviewer vraagt door "en dan?"
❌ Wees niet te wiskundig (begin meteen over Hilbertruimte), dat klinkt meer als uit het hoofd geleerd dan praktijk.
✅ Vertel zeker hoe je het zelf hebt gebruikt om een probleem op te lossen, al is het een cursusproject. Een concreet getal (bijv. 17% hogere hit rate) is krachtiger dan tien zinnen theorie.