Projection

Intuition géométrique

Considérons deux vecteurs $\overrightarrow{r}$ et $\overrightarrow{s}$. On peut imaginer qu’une lumière tombe perpendiculairement à $\overrightarrow{r}$. L’ombre projetée de $\overrightarrow{s}$ sur $\overrightarrow{r}$ est ce qu’on appelle la projection de $\overrightarrow{s}$ sur $\overrightarrow{r}$.

Le produit scalaire encode exactement cette idée d’ombre ou de projection.

Développement mathématique

On a vu que :

$$\overrightarrow{r}\cdot \overrightarrow{s}=\parallel \overrightarrow{r}\parallel \parallel \overrightarrow{s}\parallel \cos (\theta )$$

où $\theta$ est l’angle entre les deux vecteurs.

Dans un triangle rectangle formé par $\overrightarrow{s}$, l’angle $\theta$, et la perpendiculaire à $\overrightarrow{r}$ :

• $\cos (\theta )$ est le rapport entre le côté adjacent (l’ombre de $\overrightarrow{s}$ sur $\overrightarrow{r}$) et l’hypoténuse ($\parallel \overrightarrow{s}\parallel$).

Donc :

$$\parallel \overrightarrow{s}\parallel \cos (\theta )$$

est la longueur de la projection de $\overrightarrow{s}$ sur $\overrightarrow{r}$.

Projection scalaire

La projection scalaire de $\overrightarrow{s}$ sur $\overrightarrow{r}$ est donnée par :

$${\text{proj}}_{\overrightarrow{r}}(\overrightarrow{s})=\frac{\overrightarrow{r}\cdot \overrightarrow{s}}{\parallel \overrightarrow{r}\parallel }$$

• C’est un nombre (longueur, positive ou négative selon le sens).
• Elle représente la taille de l’ombre de $\overrightarrow{s}$ sur $\overrightarrow{r}$.

Cas particulier :

• Si $\overrightarrow{s}\perp \overrightarrow{r}$ : $\cos (\theta )=0$, donc projection = 0.
• Si $\overrightarrow{s}$ est aligné avec $\overrightarrow{r}$ : projection = $\parallel \overrightarrow{s}\parallel$.
• Si $\overrightarrow{s}$ est opposé à $\overrightarrow{r}$ : projection = $-\parallel \overrightarrow{s}\parallel$.

Exemple

En ML, la projection scalaire mesure combien une feature contribue à une direction principale (e.g., en PCA, les projections sur les composantes principales).

Projection vectorielle

La projection vectorielle de $\overrightarrow{s}$ sur $\overrightarrow{r}$ est le vecteur dans la direction de $\overrightarrow{r}$ qui correspond à cette projection :

$${\overrightarrow{\text{proj}}}_{\overrightarrow{r}}(\overrightarrow{s})=\frac{\overrightarrow{r}\cdot \overrightarrow{s}}{\parallel \overrightarrow{r}{\parallel }^2}\overrightarrow{r}$$

• C’est un vecteur, aligné avec $\overrightarrow{r}$.
• Sa norme est égale à la projection scalaire.

On peut voir cela comme :

$${\overrightarrow{\text{proj}}}_{\overrightarrow{r}}(\overrightarrow{s})=(\text{projection scalaire})\times {\overrightarrow{u}}_r$$

où ${\overrightarrow{u}}_r=\frac{\overrightarrow{r}}{\parallel \overrightarrow{r}\parallel }$ est le vecteur unitaire de la direction de $\overrightarrow{r}$.

Exemple en ML

En réduction de dimensionnalité comme PCA, les projections vectorielles transforment les données en un espace de plus faible dimension tout en conservant la variance maximale.

Résumé

Aspect	Projection scalaire	Projection vectorielle
Nature du résultat	Un nombre (longueur de l'ombre).	Un vecteur (l'ombre elle-même).
Formule	$\frac{\overrightarrow{r}\cdot \overrightarrow{s}}{|\overrightarrow{r}|}$	$\frac{\overrightarrow{r}\cdot \overrightarrow{s}}{|\overrightarrow{r}{|}^2}\overrightarrow{r}$
Interprétation	Mesure la taille de la projection.	Donne le vecteur dans la direction de $\overrightarrow{r}$.
Utilisation en ML	Mesure la contribution d'une feature (e.g., PCA).	Transforme les données dans un espace réduit.

Lien avec le Machine Learning

• Projection scalaire : Utilisée pour quantifier l'importance d'une feature dans une direction donnée, comme dans la similarité cosinus pour comparer des embeddings (e.g., dans les systèmes de recommandation ou la recherche sémantique).
• Projection vectorielle : Transforme les données dans un espace réduit, comme dans PCA ou dans les mécanismes d'attention des transformers, où les projections vectorielles capturent les relations entre les tokens.

👉 Astuce

La projection scalaire est un intermédiaire pour calculer la projection vectorielle : on calcule d'abord la longueur (scalaire), puis on l'applique à la direction de $\overrightarrow{r}$ pour obtenir le vecteur.