Produit scalaire (dot product)

Le produit scalaire est une opération entre deux vecteurs qui associe un nombre à leur relation. C’est une façon de mesurer dans quelle mesure deux vecteurs pointent dans la même direction.

• Si les vecteurs pointent dans la même direction, le produit scalaire est grand et positif.
• S’ils sont orthogonaux (90°), le produit scalaire vaut 0.
• S’ils pointent dans des directions opposées, il est négatif.

👉 Intuition

Le produit scalaire mesure l’alignement entre deux vecteurs, clé en ML pour la similarité cosinus dans les systèmes de recommandation ou la recherche sémantique.

Définition mathématique

Le produit scalaire de deux vecteurs en dimension $n$ $\overrightarrow{r}=(r_1,r_2,\dots ,r_n)$ et $\overrightarrow{s}=(s_1,s_2,\dots ,s_n)$ est :

$$\overrightarrow{r}\cdot \overrightarrow{s}=r_1{s}_1+r_2{s}_2+\cdots +r_n{s}_n$$

📌

Ce résultat est un nombre réel (un scalaire), contrairement à l’addition de vecteurs qui donne un vecteur.

Exemple en 2D

$$\overrightarrow{r}=\left[\begin{array}{c}3\\ -1\end{array}\right],\overrightarrow{s}=\left[\begin{array}{c}2\\ 2\end{array}\right]$$$$\overrightarrow{r}\cdot \overrightarrow{s}=3\times 2+(-1)\times 2=6-2=4$$

Développement de la formule géométrique

Une autre définition relie le produit scalaire à l’angle entre deux vecteurs :

$$\overrightarrow{r}\cdot \overrightarrow{s}=\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel \cos (\theta )$$

• $\parallel \overrightarrow{r}\parallel$ = longueur du vecteur $\overrightarrow{r}$.
• $\parallel \overrightarrow{s}\parallel$ = longueur du vecteur $\overrightarrow{s}$.
• $\theta$ = angle entre $\overrightarrow{r}$ et $\overrightarrow{s}$.

Le produit scalaire est grand si les vecteurs sont proches en direction, nul s’ils sont perpendiculaires, et négatif s’ils pointent en sens opposés.

Dérivation à partir de la règle du cosinus

En géométrie, pour un triangle avec côtés $a$, $b$, $c$ et angle $\theta$ entre $a$ et $b$ :

$$c^2=a^2+b^2-2ab\cos (\theta )$$

C’est la règle du cosinus, que l’on peut traduire en langage vectoriel.

Soit deux vecteurs $\overrightarrow{r}$ et $\overrightarrow{s}$. Le troisième côté du triangle est donné par :

$$\overrightarrow{r}-\overrightarrow{s}$$

La norme au carré de ce vecteur est donc :

$$\parallel \overrightarrow{r}-\overrightarrow{s}{\parallel }^2$$

D’après la règle du cosinus :

$$\parallel \overrightarrow{r}{\parallel }^2+\parallel \overrightarrow{s}{\parallel }^2-2\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel \cos (\theta )$$

On peut aussi développer directement avec le produit scalaire :

$$\parallel \overrightarrow{r}-\overrightarrow{s}{\parallel }^2=(\overrightarrow{r}-\overrightarrow{s})\cdot (\overrightarrow{r}-\overrightarrow{s})$$

Développons :

$$=\overrightarrow{r}\cdot \overrightarrow{r}-2\overrightarrow{r}\cdot \overrightarrow{s}+\overrightarrow{s}\cdot \overrightarrow{s}$$

Or :

• $\overrightarrow{r}\cdot \overrightarrow{r}=\parallel \overrightarrow{r}{\parallel }^2$.
• $\overrightarrow{s}\cdot \overrightarrow{s}=\parallel \overrightarrow{s}{\parallel }^2$.

Donc :

$$\parallel \overrightarrow{r}-\overrightarrow{s}{\parallel }^2=\parallel \overrightarrow{r}{\parallel }^2+\parallel \overrightarrow{s}{\parallel }^2-2(\overrightarrow{r}\cdot \overrightarrow{s})$$

En comparant avec la règle du cosinus :

$$\parallel \overrightarrow{r}-\overrightarrow{s}{\parallel }^2=\parallel \overrightarrow{r}{\parallel }^2+\parallel \overrightarrow{s}{\parallel }^2-2\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel \cos (\theta )$$

On en déduit la relation fondamentale :

$$\overrightarrow{r}\cdot \overrightarrow{s}=\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel \cos (\theta )$$

Interprétation géométrique

Le produit scalaire mesure l’alignement entre deux vecteurs.

• Si $\theta =0^{\circ }$ (même direction) :

  $$\cos (0)=1\Rightarrow \overrightarrow{r}\cdot \overrightarrow{s}=\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel$$

  Produit scalaire positif et maximal.

• Si $\theta ={90}^{\circ }$ (vecteurs orthogonaux) :

  $$\cos (90)=0\Rightarrow \overrightarrow{r}\cdot \overrightarrow{s}=0$$

  Vecteurs indépendants.

• Si $\theta ={180}^{\circ }$ (directions opposées) :

  $$\cos (180)=-1\Rightarrow \overrightarrow{r}\cdot \overrightarrow{s}=-\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel$$

  Produit scalaire négatif.

Résumé visuel

• Produit scalaire > 0 : vecteurs dans la même direction.
• Produit scalaire = 0 : vecteurs orthogonaux (indépendants).
• Produit scalaire < 0 : vecteurs dans des directions opposées.

Propriétés fondamentales

Voici les principales propriétés du produit scalaire :

Propriété	Formulation	Interprétation
Commutativité	$\overrightarrow{r}\cdot \overrightarrow{s}=\overrightarrow{s}\cdot \overrightarrow{r}$	L’ordre ne change rien.
Linéarité (distributivité)	$\overrightarrow{r}\cdot (\overrightarrow{s}+\overrightarrow{t})=\overrightarrow{r}\cdot \overrightarrow{s}+\overrightarrow{r}\cdot \overrightarrow{t}$	On peut “distribuer” le produit scalaire sur une somme.
Homogénéité (associativité scalaire)	$(a\overrightarrow{r})\cdot \overrightarrow{s}=a(\overrightarrow{r}\cdot \overrightarrow{s})$	Un facteur scalaire sort du produit.
Norme	$\overrightarrow{r}\cdot \overrightarrow{r}=|\overrightarrow{r}{|}^2$	Le produit scalaire d’un vecteur par lui-même donne le carré de sa longueur.

INFO

En ML, ces propriétés sont essentielles pour les calculs efficaces dans les réseaux de neurones, où le produit scalaire apparaît dans les couches fully-connected.

Pourquoi c’est important en Machine Learning ?

• La norme d’un vecteur mesure la taille (ou importance) d’un paramètre, d’un poids ou d’une donnée, comme dans la régularisation L2 pour éviter le surapprentissage.
• Le produit scalaire permet de mesurer la similarité entre deux vecteurs, base de la similarité cosinus :

$$\cos (\theta )=\frac{\overrightarrow{r}\cdot \overrightarrow{s}}{\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel }$$

En IA, c’est central pour :

• Les systèmes de recommandation (e.g., Netflix utilise la similarité cosinus sur les embeddings d'utilisateurs et de films).
• La recherche sémantique (e.g., dans les moteurs comme Elasticsearch avec embeddings BERT).
• Le clustering (e.g., k-means utilise des distances basées sur normes).
• Les transformers (attention mechanism utilise des produits scalaires pour peser les relations entre tokens).

Exemple concret en ML

En NLP, deux embeddings de mots (e.g., "roi" et "reine") ont un produit scalaire élevé si similaires, permettant des analogies comme "roi - homme + femme ≈ reine".
En data science, la similarité cosinus compare des documents ou des images pour la détection de similarités.