IA Engineering
Sommaire · leçon 2 sur 139

Module 1 · Du texte aux nombres

Les vecteurs : donner un sens aux nombres

Un identifiant de jeton n'est qu'un numéro de rangement. Pour que le modèle saisisse le sens, chaque jeton devient une longue liste de nombres, un vecteur. C'est aussi la clé des moteurs de recherche par le sens que vous construirez plus tard.

15 minLeçon 2 / 139

À la fin de cette leçon, vous saurez

  • Expliquer ce qu'est un vecteur de représentation (embedding)
  • Mesurer la proximité de sens entre deux vecteurs avec la similarité cosinus
  • Obtenir de vrais vecteurs de phrases avec l'API Gemini

Un numéro ne dit rien du sens

Bonjour#45751arbitraire[0.12, -0.83, 0.47, …]un vecteur qui porte le sens

Dans la leçon précédente, « Bonjour » était le jeton numéro 45751. Ce numéro est arbitraire : le jeton 45752 n'a aucune raison d'avoir un sens proche. Le modèle a besoin d'une représentation qui porte le sens.

On associe donc à chaque jeton un vecteur : une liste de nombres, souvent plusieurs milliers. Ces listes s'appellent des plongements ou, plus couramment, des embeddings. Elles sont apprises pendant l'entraînement, de façon que des sens proches donnent des vecteurs proches.

Une image en trois dimensions

domestiqueanimalchatchienvoiturechat0,9 0,8 0,1chien0,8 0,9 0,1voiture0,0 0,1 0,9

Imaginez qu'on décrive chaque mot par trois nombres compris entre 0 et 1 : « est-ce un animal ? », « est-ce domestique ? », « est-ce un véhicule ? ».

MotAnimalDomestiqueVéhicule
chat0,90,80,1
chien0,80,90,1
voiture0,10,20,9
moto0,20,10,8

« Chat » et « chien » ont des nombres voisins ; « voiture » en est loin. Dans un espace à trois dimensions, leurs points seraient proches les uns des autres.

Les vrais embeddings fonctionnent ainsi, avec deux différences de taille : ils comptent des milliers de dimensions, et personne ne choisit ce que chacune signifie. Le modèle les organise lui-même pendant l'entraînement. Une dimension isolée n'a en général aucun sens lisible ; c'est l'ensemble qui porte la signification.

Mesurer la proximité : la similarité cosinus

≈ 1même sens≈ 0sans rapport≈ -1opposés

Pour comparer deux vecteurs, on utilise le plus souvent la similarité cosinus. Elle mesure si deux vecteurs pointent dans la même direction :

  • proche de 1 : même direction, sens très proche ;
  • proche de 0 : directions sans rapport.

Créez vecteurs.py dans ai-engineer.

Python
import numpy as np

mots = {
    "chat":     np.array([0.9, 0.8, 0.1]),
    "chien":    np.array([0.8, 0.9, 0.1]),
    "voiture":  np.array([0.1, 0.2, 0.9]),
    "moto":     np.array([0.2, 0.1, 0.8]),
}


def similarite(a, b):
    """Similarité cosinus : 1 si les vecteurs pointent dans la même direction, 0 s'ils sont sans rapport."""
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))


for premier, second in [("chat", "chien"), ("chat", "voiture"), ("voiture", "moto")]:
    print(f"{premier:8} / {second:8} : {similarite(mots[premier], mots[second]):.2f}")

Ce que fait chaque partie

import numpy as np
Importe numpy sous le nom court np, une convention universelle.
np.array([…])
Un tableau numpy : une liste de nombres sur laquelle on peut calculer directement.
np.dot(a, b)
Le produit scalaire : on multiplie les nombres deux à deux, puis on additionne. Il est grand quand les vecteurs vont dans le même sens.
np.linalg.norm(a)
La longueur du vecteur. Diviser par les longueurs ne garde que la direction : un texte long et un texte court sur le même sujet restent comparables.
{premier:8}
Aligne le mot sur huit caractères.
{…:.2f}
Affiche le nombre avec deux décimales.
Ce que le terminal affiche
chat     / chien    : 0.99
chat     / voiture  : 0.30
voiture  / moto     : 0.99

Pratique : de vrais vecteurs de phrases

Où payer la scolarité ?Frais d'inscriptionMenu de la cantineproches = même sujet

Les API proposent des modèles spécialisés qui transforment une phrase entière en un seul vecteur. C'est ce que vous utiliserez dans le module sur le RAG pour retrouver, parmi des milliers de documents, ceux qui parlent du même sujet qu'une question, même s'ils n'emploient pas les mêmes mots.

Créez sens.py.

Python
import numpy as np
from dotenv import load_dotenv
from google import genai

load_dotenv()

client = genai.Client()

phrases = [
    "Le chat dort sur le canapé.",
    "Un félin fait la sieste dans le salon.",
    "La voiture est garée devant la maison.",
    "Le taux d'intérêt de la banque a augmenté.",
]

vecteurs = []
for phrase in phrases:
    reponse = client.models.embed_content(model="gemini-embedding-2", contents=phrase)
    vecteurs.append(np.array(reponse.embeddings[0].values))

print("Dimensions d'un vecteur :", len(vecteurs[0]))

reference = vecteurs[0]
for phrase, vecteur in zip(phrases[1:], vecteurs[1:]):
    similarite = np.dot(reference, vecteur) / (np.linalg.norm(reference) * np.linalg.norm(vecteur))
    print(f"{similarite:.2f}  {phrase}")

Ce que fait chaque partie

embed_content(…)
Demande le vecteur d'un texte au modèle de plongement de Google, gemini-embedding-2. Rien n'est généré : on obtient seulement des nombres.
contents=phrase
Une phrase par appel. Si l'on passe une liste de phrases d'un coup, la bibliothèque les réunit en un seul contenu, et l'on obtient un seul vecteur pour l'ensemble, ce qui n'est pas ce que l'on veut ici.
embeddings[0].values
La réponse contient une liste de vecteurs ; on prend le premier, et ses valeurs.
zip(phrases[1:], vecteurs[1:])
zip parcourt deux listes en même temps. Les tranches [1:] sautent le premier élément : on compare la phrase de référence à toutes les autres.

Le programme affiche le nombre de dimensions, de l'ordre de plusieurs milliers, puis trois similarités. Celle de « Un félin fait la sieste dans le salon » est nettement la plus élevée, bien que la phrase ne partage presque aucun mot avec « Le chat dort sur le canapé ». Les deux autres sont plus basses, la phrase sur la banque étant la plus éloignée. Les valeurs exactes dépendent du modèle.

C'est toute la puissance des embeddings : ils comparent le sens, pas les mots.

Des vecteurs dans le modèle lui-même

Lechatdortcouches…

Les vecteurs de phrases de l'API sont une application. À l'intérieur d'un modèle de langage, le principe est le même, jeton par jeton :

  1. chaque jeton de votre texte est remplacé par son vecteur ;
  2. ces vecteurs traversent le modèle, qui les transforme couche après couche : un même mot finit par avoir un vecteur différent selon son contexte, « banque » ne voulant pas dire la même chose près de « rivière » et près de « crédit » ;
  3. à la fin, le vecteur du dernier jeton sert à prédire le jeton suivant.

La leçon suivante décrit le mécanisme de ces transformations.

Vérifiez que vous avez compris

?

Question

Deux phrases n'ont aucun mot en commun mais parlent du même sujet. Que donne la similarité cosinus de leurs embeddings ?

Question

Que signifie la 452e dimension d'un vecteur d'embedding ?

Avant de continuer

  • Je sais ce qu'est un embedding et pourquoi des sens proches donnent des vecteurs proches
  • J'ai calculé des similarités cosinus avec numpy
  • J'ai obtenu de vrais vecteurs de phrases, ou je sais comment le faire avec une clé Gemini