Notions de base

Qu’est-ce qu’un vecteur ?

Un vecteur est un objet mathématique qui possède deux propriétés fondamentales :

• Une direction (l’orientation dans l’espace).
• Une norme (sa longueur, ou taille).

INFO

En machine learning, les vecteurs représentent souvent des données comme des embeddings, où la direction encode des similarités sémantiques (par exemple, dans les modèles de langage comme Word2Vec ou BERT), et la norme peut refléter l'importance ou la fréquence d'une caractéristique.

Représentation dans un système de coordonnées

En 2D, on choisit souvent deux vecteurs unitaires orthogonaux $\overrightarrow{i}$, $\overrightarrow{j}$ :

$$\overrightarrow{r}=a\cdot \overrightarrow{i}+b\cdot \overrightarrow{j}$$

• $a$ : composante sur l’axe $x$.
• $b$ : composante sur l’axe $y$.

En pratique, on écrit souvent le vecteur sous forme de colonne :

$$\overrightarrow{r}=\left[\begin{array}{c}a\\ b\end{array}\right]$$

👉 Extension en dimensions supérieures

En $n$ dimensions, un vecteur est $\overrightarrow{r}=(r_1,r_2,\dots ,r_n)$, courant en ML pour les embeddings de haute dimension (e.g., 768 pour BERT).

INFO

En data science, cette représentation est utilisée pour les features dans les datasets, comme dans les algorithmes de clustering (e.g., k-means) où les points sont des vecteurs dans un espace multidimensionnel.

Norme (longueur) d’un vecteur

La longueur (ou norme) d’un vecteur se calcule avec le théorème de Pythagore :

$$\parallel \overrightarrow{r}\parallel =\sqrt{a^2+b^2}$$

👉 En dimensions supérieures

$$\parallel \overrightarrow{r}\parallel =\sqrt{r_1^2+r_2^2+\cdots +r_n^2}$$

En ML, la norme L2 (euclidienne) mesure la "taille" d'un vecteur, utile pour la régularisation (e.g., Ridge regression) ou la normalisation des embeddings.

Exemple en 2D

$$\overrightarrow{r}=\left[\begin{array}{c}3\\ 4\end{array}\right]$$$$\parallel \overrightarrow{r}\parallel =\sqrt{3^2+4^2}=5$$