Série d'entretiens IA 10 : Qu'est-ce que l'Embedding fait réellement ? — De l'essence technique à la réponse en entretien

Qu'est-ce que l'Embedding fait réellement ? — De l'essence technique à la réponse en entretien

I. Essence technique : un résumé en une phrase

Le travail principal de l'Embedding est de mapper des données non structurées discrètes (texte, images, etc.) dans un espace vectoriel continu de faible dimension, de sorte que les objets sémantiquement similaires soient proches dans cet espace.
En d'autres termes, il établit un "système de coordonnées sémantiques" pour l'ordinateur, traduisant le "sens flou" humain en "coordonnées de position" que l'ordinateur peut calculer.

II. Compréhension intuitive : carte sémantique

Imaginez une carte en deux dimensions (en réalité, l'embedding a souvent plusieurs centaines de dimensions, mais le principe est le même) :

Chat → [0.92, 0.31, -0.45, …]
Chien → [0.88, 0.29, -0.42, …]
Voiture → [0.15, -0.87, 0.53, …]

Les vecteurs du chat et du chien sont très proches, tandis que la voiture est très éloignée.
L'Embedding permet à l'ordinateur de ne plus traiter les mots comme des symboles isolés, mais de comparer les textes en fonction de leur "proximité de sens".

III. Principe technique (version simplifiée) : comment apprend-il ?

Basé sur l'hypothèse linguistique : "Le sens d'un mot est déterminé par son contexte."

En s'entraînant sur de vastes corpus de texte (comme Word2Vec, les couches d'embedding de BERT), le modèle ajuste continuellement le vecteur de chaque mot.
Finalement, les mots qui apparaissent souvent dans des contextes similaires (chat et chien apparaissent dans des contextes comme "animal de compagnie", "caresser", "nourrir") sont rapprochés.
Ce processus ne nécessite aucune annotation manuelle ; c'est une structure géométrique qui émerge automatiquement de l'utilisation du langage.

Propriété importante : L'espace vectoriel peut même capturer des relations analogiques, comme roi - homme + femme ≈ reine.

IV. Dans un système RAG, que fait exactement l'Embedding étape par étape ?

Lors de la construction de l'index : chaque bloc de document (chunk) est converti en vecteur → stocké dans une base de données vectorielle → génère une "adresse sémantique".
Lors de la requête : la question de l'utilisateur est convertie en vecteur dans le même espace → les vecteurs de documents les plus proches sont trouvés dans la base → les fragments de connaissances sémantiquement pertinents sont rappelés.

Exemple de résultat :
L'utilisateur demande "Comment garder mon chien heureux ?", même si la base de connaissances contient seulement "Les chiens ont besoin de promenades quotidiennes, ce qui aide leur santé mentale", l'embedding peut quand même rappeler avec succès grâce à la proximité sémantique entre "heureux/santé/chien". C'est une correspondance par le sens, non par la forme.

V. Stratégie de réponse en entretien (discours complet de 2 à 3 minutes)

Voici un cadre de réponse conçu pour montrer à la fois la profondeur théorique et l'expérience de projet.

[Introduction]

"Le travail principal de l'Embedding est de mapper des données non structurées discrètes dans un espace vectoriel continu de faible dimension, de sorte que les objets sémantiquement similaires soient proches dans cet espace. En d'autres termes, c'est établir un 'système de coordonnées sémantiques' pour l'ordinateur."

[Développement du principe, mention des propriétés classiques]

"Le codage one-hot traditionnel ne permet pas de mesurer la distance entre les mots, tandis que l'embedding apprend à partir de grands corpus via des réseaux de neurones — 'le sens d'un mot est déterminé par son contexte'. Finalement, chaque mot/phrase est représenté par un vecteur dense, et le cosinus de l'angle entre les vecteurs peut mesurer directement la similarité sémantique. Il peut même capturer des relations analogiques, comme roi - homme + femme ≈ reine."

[Expérience de projet — point clé]

"Dans le système de Q&R RAG que j'ai développé, j'ai directement utilisé l'embedding. J'ai choisi text-embedding-3-small, découpé les documents internes de l'entreprise en blocs de 500 caractères, converti chaque bloc en vecteur et stocké dans Qdrant.
Une fois, un utilisateur a demandé 'Comment demander des congés annuels', la recherche par mots-clés n'a rien trouvé car le document disait 'procédure de demande de congé'. Mais l'embedding a pu mapper 'congés annuels' et 'congé' dans des positions proches, et a réussi à rapporter le bon paragraphe.
J'ai aussi rencontré un problème : au début, j'utilisais un embedding générique, qui fonctionnait mal sur les clauses juridiques. Ensuite, j'ai changé pour BGE-large finetuné sur le domaine, et le taux de rappel est passé de 72 % à 89 %. Donc le choix du modèle d'embedding a un grand impact sur les tâches en aval."

[Réflexion approfondie, montrant un potentiel senior]

"De plus, je voudrais ajouter un point : l'embedding est essentiellement une compression sémantique avec perte — il abandonne des informations de surface comme l'ordre des mots, la syntaxe, et ne conserve que le 'sens général'. Ainsi, dans les scénarios nécessitant une correspondance exacte (comme les modèles de produits 'iPhone12' vs 'iPhone13'), la recherche vectorielle pure peut être moins efficace que les mots-clés. En pratique, nous utilisons souvent une recherche hybride (vecteur + BM25) pour les compléter."

[Conclusion]

"En résumé, l'embedding résout le problème fondamental : comment permettre à l'ordinateur de calculer la similarité sémantique. C'est l'un des piliers du NLP moderne et du RAG."

VI. Questions de suivi possibles de l'intervieweur et comment y répondre

Question de suivi	Éléments de réponse
"Comment l'embedding est-il entraîné ?"	Expliquer brièvement CBOW/Skip-gram de Word2Vec (prédire le mot central à partir du contexte ou l'inverse), ou l'apprentissage contrastif moderne (SimCSE, Sentence-BERT). Souligner que l'entraînement utilise les statistiques de cooccurrence.
"Comment évaluer la qualité de l'embedding ?"	Utiliser le taux de rappel, MRR sur des tâches spécifiques ; benchmarks publics comme MTEB. En pratique, faire des tests A/B sur l'efficacité de la recherche.
"Quels modèles d'embedding avez-vous utilisés ? Avantages et inconvénients ?"	OpenAI pratique mais cher, BGE bon pour le chinois, M3E léger, E5 multilingue. Choisir selon le scénario.
"Comment choisir la dimension du vecteur ?"	Haute dimension : forte expressivité mais coût de calcul/stockage élevé ; basse dimension : risque de sous-apprentissage. Dimensions courantes : 384/768/1536, faire un compromis par expérimentation.

VII. Conseils pour éviter les pièges (applicable en entretien)

❌ Ne vous contentez pas de réciter "l'embedding transforme le texte en vecteur" — trop superficiel, l'intervieweur demandera "et ensuite ?"
❌ Ne soyez pas trop mathématique (parler immédiatement d'espaces de Hilbert) — cela donne l'impression de réciter plutôt que de pratiquer.
✅ Assurez-vous de raconter comment vous avez résolu un problème avec l'embedding, même s'il s'agit d'un projet de cours. Un chiffre concret (par exemple, augmentation de 17 % du taux de rappel) est plus convaincant que dix phrases théoriques.