Base Vectorielle

Qu’est-ce qu’une base ?

Une base est un ensemble de vecteurs qui permet de décrire tous les vecteurs d’un espace vectoriel en utilisant des combinaisons linéaires de ces vecteurs. En d'autres termes, une base est comme un "système de coordonnées" pour un espace, permettant de représenter n'importe quel point ou vecteur. Une base fournit un ensemble minimal de directions indépendantes pour naviguer dans l'espace.

👉 Intuition

Une base est comme un ensemble minimal de "directions" qui permet de naviguer dans tout l’espace. En ML, changer de base peut simplifier les calculs, comme dans la réduction de dimensionnalité où l'on projette les données sur une base qui capture l'essentiel de l'information.

INFO

En machine learning, les bases sont essentielles pour comprendre les transformations de données, comme dans l'analyse en composantes principales (PCA) où une nouvelle base est choisie pour maximiser la variance des données, ou dans les réseaux de neurones où les couches apprennent des bases qui extraient des caractéristiques pertinentes (features) des données d'entrée.

Définition mathématique

Un ensemble de vecteurs $\{\overrightarrow{b_1},\overrightarrow{b_2},\dots ,\overrightarrow{b_n}\}$ forme une base d’un espace vectoriel si :

1. Les vecteurs sont linéairement indépendants :$$a_1\overrightarrow{b_1}+a_2\overrightarrow{b_2}+\cdots +a_n\overrightarrow{b_n}=\overrightarrow{0}\Rightarrow a_1=a_2=\cdots =a_n=0$$
2. Les vecteurs engendrent l’espace (ou le spannent), c’est-à-dire que tout vecteur $\overrightarrow{v}$ de l’espace peut s’écrire comme :$$\overrightarrow{v}=c_1\overrightarrow{b_1}+c_2\overrightarrow{b_2}+\cdots +c_n\overrightarrow{b_n}$$

Le nombre $n$ de vecteurs dans la base correspond à la dimension de l’espace.

Développement : Dimension et bases multiples

Tous les espaces vectoriels de dimension finie ont plusieurs bases possibles, mais toutes les bases ont le même nombre d'éléments (théorème de la dimension). Par exemple, en ${\mathbb{R}}^2$, la base standard $\{\overrightarrow{i},\overrightarrow{j}\}$ et une base rotée sont toutes deux valides, mais la dimension reste 2. En ML, cela permet de choisir une base qui aligne les données pour mieux révéler des patterns, comme dans PCA où les vecteurs propres forment une base qui décorrèle les variables.

Exemples en dimensions basses

• En 1D (une ligne) : Un seul vecteur non nul $\overrightarrow{b_1}$ suffit. Tout vecteur sur la ligne est un multiple de $\overrightarrow{b_1}$.
• En 2D (un plan) : Deux vecteurs indépendants $\overrightarrow{b_1},\overrightarrow{b_2}$. Tout vecteur dans le plan s'écrit $a_1\overrightarrow{b_1}+a_2\overrightarrow{b_2}$.
• En 3D : Trois vecteurs indépendants $\overrightarrow{b_1},\overrightarrow{b_2},\overrightarrow{b_3}$. Si on ajoute un $\overrightarrow{b_4}$ non dans le plan des trois premiers, on passe à 4D. En ML, les données en haute dimension (e.g., images avec des milliers de pixels) sont souvent projetées sur une base de plus faible dimension pour réduire le bruit et la complexité.

Indépendance linéaire

Un ensemble de vecteurs est linéairement indépendant si aucun des vecteurs ne peut être exprimé comme une combinaison linéaire des autres. Autrement dit, aucun vecteur n’est "redondant". Si un vecteur est une combinaison des autres, il n'apporte pas de nouvelle direction.

Exemple

• Si $\overrightarrow{b_2}=2\overrightarrow{b_1}$, alors $\overrightarrow{b_2}$ est dans la même direction que $\overrightarrow{b_1}$ et n’apporte rien de nouveau → dépendance linéaire.
• Si $\overrightarrow{b_2}$ n’est pas un multiple de $\overrightarrow{b_1}$ (par exemple, ils forment un angle non nul), alors ils sont indépendants et peuvent engendrer un plan (espace 2D). En ML, l'indépendance linéaire aide à détecter les features redondantes dans un dataset (e.g., via corrélation ou PCA).

Vérification de l’indépendance linéaire

Pour vérifier si des vecteurs sont linéairement indépendants, on peut :

1. Former une matrice avec ces vecteurs comme colonnes.
2. Calculer son déterminant (non nul = indépendance) ou vérifier son rang (égal au nombre de vecteurs = indépendance).
   • En 2D, pour $\overrightarrow{b_1}=\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]$, $\overrightarrow{b_2}=\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]$, le déterminant de la matrice $\left[\begin{array}{cc}{x}_1& x_2\\ y_1& y_2\end{array}\right]$ est $x_1{y}_2-x_2{y}_1$. S’il est non nul, les vecteurs sont indépendants. En data science, un rang inférieur indique des dépendances, utile pour la sélection de features.

Pourquoi le déterminant vérifie-t-il l’indépendance linéaire ?

Le déterminant d’une matrice carrée formée par des vecteurs est un outil puissant pour vérifier leur indépendance linéaire. Voici pourquoi, étape par étape :

Définition et lien avec l’indépendance linéaire

Un ensemble de $n$ vecteurs $\{\overrightarrow{v_1},\overrightarrow{v_2},\dots ,\overrightarrow{v_n}\}$ dans ${\mathbb{R}}^n$ est linéairement indépendant si l’équation suivante n’a que la solution triviale (tous les coefficients nuls) :

$$c_1\overrightarrow{v_1}+c_2\overrightarrow{v_2}+\cdots +c_n\overrightarrow{v_n}=\overrightarrow{0}\Rightarrow c_1=c_2=\cdots =c_n=0.$$

Formons la matrice $A=[\overrightarrow{v_1}\overrightarrow{v_2}\dots \overrightarrow{v_n}]$, où chaque $\overrightarrow{v_i}$ est une colonne. L’équation ci-dessus s’écrit sous forme matricielle :

$$A\overrightarrow{c}=\overrightarrow{0},$$

où $\overrightarrow{c}=\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]$. Les vecteurs sont indépendants si la seule solution est $\overrightarrow{c}=\overrightarrow{0}$.

Rôle du déterminant

Si $A$ est une matrice carrée ($n\times n$), son déterminant $det(A)$ indique si $A$ est inversible :

• Si $det(A)\ne 0$ : $A$ est inversible, et le système $A\overrightarrow{c}=\overrightarrow{0}$ n’a que la solution triviale $\overrightarrow{c}=\overrightarrow{0}$. Les vecteurs sont donc indépendants.
• Si $det(A)=0$ : $A$ n’est pas inversible, et le système a des solutions non triviales (des $\overrightarrow{c}\ne \overrightarrow{0}$). Cela signifie qu’au moins un vecteur est une combinaison linéaire des autres, donc les vecteurs sont dépendants.

Interprétation géométrique

Le déterminant a une signification géométrique :

• En 2D, pour deux vecteurs, $det(A)$ représente l’aire du parallélogramme formé par ces vecteurs. Si $det(A)=0$, l’aire est nulle, ce qui signifie que les vecteurs sont alignés (colinéaires), donc dépendants.
• En 3D, pour trois vecteurs, $det(A)$ représente le volume du parallélépipède. Si $det(A)=0$, le volume est nul, ce qui indique que les vecteurs sont coplanaires (ou alignés), donc dépendants. En général, un déterminant nul signifie que les vecteurs ne couvrent pas tout l’espace ${\mathbb{R}}^n$, mais un sous-espace de dimension inférieure.

Application à l’exemple du cours

Reprenons les vecteurs $\overrightarrow{a}=\left[\begin{array}{c}1\\ 2\\ -1\end{array}\right]$, $\overrightarrow{b}=\left[\begin{array}{c}3\\ -4\\ 5\end{array}\right]$, $\overrightarrow{c}=\left[\begin{array}{c}1\\ -8\\ 7\end{array}\right]$. Formons la matrice :

$$A=\left[\begin{array}{ccc}1& 3& 1\\ 2& -4& -8\\ -1& 5& 7\end{array}\right]$$

Calculons le déterminant :

$$det(A)=1\cdot det\left[\begin{array}{cc}-4& -8\\ 5& 7\end{array}\right]-3\cdot det\left[\begin{array}{cc}2& -8\\ -1& 7\end{array}\right]+1\cdot det\left[\begin{array}{cc}2& -4\\ -1& 5\end{array}\right]$$

• Premier mineur : $(-4)(7)-(-8)(5)=-28+40=12$
• Deuxième mineur : $(2)(7)-(-8)(-1)=14-8=6$
• Troisième mineur : $(2)(5)-(-4)(-1)=10-4=6$

Ainsi :

$$det(A)=1\cdot 12-3\cdot 6+1\cdot 6=12-18+6=0$$

Puisque $det(A)=0$, les vecteurs sont dépendants. Géométriquement, ils sont coplanaires dans ${\mathbb{R}}^3$, ne formant pas une base.

Cas non carré

Si le nombre de vecteurs $n$ diffère de la dimension $m$ (par exemple, 4 vecteurs dans ${\mathbb{R}}^3$), la matrice n’est pas carrée, et le déterminant n’est pas défini. Dans ce cas, on utilise le rang de la matrice (via l’élimination de Gauss) pour vérifier l’indépendance.

En machine learning

Le déterminant est utilisé pour détecter les redondances dans les features (si $det=0$, il y a corrélation). Dans PCA, un déterminant non nul des vecteurs propres garantit une base valide pour la projection des données.

Résumé

Le déterminant teste l’indépendance linéaire car il mesure si les vecteurs couvrent pleinement l’espace. S’il est nul, les vecteurs sont confinés à un sous-espace, donc dépendants. S’il est non nul, ils forment une base.

Exemple en 2D

Considérons :

• $\overrightarrow{b_1}=\left[\begin{array}{c}1\\ 0\end{array}\right]$, $\overrightarrow{b_2}=\left[\begin{array}{c}0\\ 1\end{array}\right]$ (base canonique 2D).
• Ces vecteurs sont linéairement indépendants, car $a_1\left[\begin{array}{c}1\\ 0\end{array}\right]+a_2\left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}{a}_1\\ a_2\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$ implique $a_1=a_2=0$.
• Tout vecteur $\overrightarrow{v}=\left[\begin{array}{c}x\\ y\end{array}\right]$ peut s’écrire : $\overrightarrow{v}=x\overrightarrow{b_1}+y\overrightarrow{b_2}$.

Exemple supplémentaire : Vérification d'indépendance linéaire en 3D

Les vecteurs suivants sont-ils linéairement indépendants ?

$\overrightarrow{a}=\left[\begin{array}{c}1\\ 2\\ -1\end{array}\right]$, $\overrightarrow{b}=\left[\begin{array}{c}3\\ -4\\ 5\end{array}\right]$ et $\overrightarrow{c}=\left[\begin{array}{c}1\\ -8\\ 7\end{array}\right]$.

Pour vérifier, on forme la matrice $M$ avec ces vecteurs comme colonnes :

$$M=\left[\begin{array}{ccc}1& 3& 1\\ 2& -4& -8\\ -1& 5& 7\end{array}\right]$$

On calcule le déterminant de $M$. Si $det(M)\ne 0$, les vecteurs sont indépendants ; sinon, ils sont dépendants.

Calcul du déterminant étape par étape (utilisant la formule pour une matrice 3x3) :

$$det(M)=1\cdot det\left[\begin{array}{cc}-4& -8\\ 5& 7\end{array}\right]-3\cdot det\left[\begin{array}{cc}2& -8\\ -1& 7\end{array}\right]+1\cdot det\left[\begin{array}{cc}2& -4\\ -1& 5\end{array}\right]$$

• Premier mineur : $det\left[\begin{array}{cc}-4& -8\\ 5& 7\end{array}\right]=(-4)(7)-(-8)(5)=-28+40=12$
• Deuxième mineur : $det\left[\begin{array}{cc}2& -8\\ -1& 7\end{array}\right]=(2)(7)-(-8)(-1)=14-8=6$
• Troisième mineur : $det\left[\begin{array}{cc}2& -4\\ -1& 5\end{array}\right]=(2)(5)-(-4)(-1)=10-4=6$

Maintenant, assembler :

$$det(M)=1\cdot 12-3\cdot 6+1\cdot 6=12-18+6=0$$

Puisque $det(M)=0$, les vecteurs sont linéairement dépendants. Cela signifie qu'au moins un vecteur peut s'exprimer comme une combinaison linéaire des autres (par exemple, on peut résoudre pour trouver des coefficients non triviaux tels que $\overrightarrow{c}=-2\overrightarrow{a}+\overrightarrow{b}$, mais la vérification du déterminant suffit pour conclure).

Engendrement de l'espace (Span)

Un ensemble de vecteurs engendre l'espace s'il permet d'atteindre tout vecteur via des combinaisons linéaires. La base est l'ensemble minimal (indépendant) qui engendre l'espace.

Interprétation

Si les vecteurs n'engendrent pas l'espace, ils ne couvrent qu'un sous-espace (e.g., deux vecteurs alignés engendrent une ligne, pas un plan). En ML, le span des données peut révéler des sous-espaces de haute variance, comme dans PCA où l'on identifie les directions principales.

Exemple en ML : Réduction de dimensionnalité

Supposez des points de données alignés approximativement sur une ligne dans ${\mathbb{R}}^2$. La base optimale serait un vecteur le long de cette ligne (direction de variance maximale) et un perpendiculaire (bruit). Projeter sur la première direction réduit à 1D tout en conservant l'information principale, comme dans PCA.

Bases spéciales

Base orthonormée

Une base est orthonormée si :

• Les vecteurs sont orthogonaux deux à deux : $\overrightarrow{b_i}\cdot \overrightarrow{b_j}=0$ si $i\ne j$.
• Les vecteurs sont unitaires : $\parallel \overrightarrow{b_i}\parallel =1$.

👉 Avantage

Les bases orthonormées simplifient les calculs en ML, notamment dans les projections (comme dans PCA) ou les transformations (e.g., matrices de rotation dans les réseaux de neurones). Elles ne doivent pas nécessairement être unitaires ou orthogonales, mais c'est plus facile si elles le sont.

Exemple de base orthonormée

La base canonique en 2D :

• $\overrightarrow{b_1}=\left[\begin{array}{c}1\\ 0\end{array}\right]$, $\overrightarrow{b_2}=\left[\begin{array}{c}0\\ 1\end{array}\right]$.
• Vérification :
  • Orthogonalité : $\overrightarrow{b_1}\cdot \overrightarrow{b_2}=1\cdot 0+0\cdot 1=0$.
  • Unitaire : $\parallel \overrightarrow{b_1}\parallel =\sqrt{1^2+0^2}=1$, $\parallel \overrightarrow{b_2}\parallel =\sqrt{0^2+1^2}=1$.

Base quelconque

Une base quelconque n’est pas nécessairement orthonormée. Les vecteurs peuvent avoir des longueurs différentes et ne pas être orthogonaux.

👉 Note

Les bases non orthonormées compliquent les calculs, car les projections nécessitent des matrices de changement de base. En ML, on préfère souvent orthonormer les bases (e.g., via la décomposition QR ou SVD) pour simplifier les opérations.

Changement de base

Le changement de base consiste à réécrire un vecteur exprimé dans une base $\{\overrightarrow{b_1},\overrightarrow{b_2},\dots ,\overrightarrow{b_n}\}$ dans une autre base $\{\overrightarrow{c_1},\overrightarrow{c_2},\dots ,\overrightarrow{c_n}\}$. Cela revient à transformer les coordonnées du vecteur, en préservant les propriétés linéaires : l'espace reste une grille uniformément espacée, sans courbure.

Principe

Soit un vecteur $\overrightarrow{v}$ exprimé dans une base $B=\{\overrightarrow{b_1},\overrightarrow{b_2}\}$ :

$$\overrightarrow{v}=x_1\overrightarrow{b_1}+x_2\overrightarrow{b_2}$$

On veut ses coordonnées dans une nouvelle base $C=\{\overrightarrow{c_1},\overrightarrow{c_2}\}$ :

$$\overrightarrow{v}=y_1\overrightarrow{c_1}+y_2\overrightarrow{c_2}$$

La transformation est effectuée à l’aide d’une matrice de changement de base $P$, où les colonnes de $P$ sont les vecteurs de la base $C$ exprimés dans la base $B$. Les nouvelles coordonnées sont :

$$\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]=P^{-1}\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$

Si les bases ne sont pas orthogonales, on ne peut pas utiliser seulement le produit scalaire ; il faut des matrices.

Développement mathématique

Si $\overrightarrow{c_1}=p_{11}\overrightarrow{b_1}+p_{21}\overrightarrow{b_2}$ et $\overrightarrow{c_2}=p_{12}\overrightarrow{b_1}+p_{22}\overrightarrow{b_2}$, la matrice $P$ est :

$$P=\left[\begin{array}{cc}{p}_{11}& p_{12}\\ p_{21}& p_{22}\end{array}\right]$$

Alors, pour passer de la base $B$ à $C$, on utilise $P^{-1}$. En ML, les changements de base sont utilisés dans les transformations linéaires (e.g., rotation des données dans PCA ou embeddings dans les transformers).

Exemple en 2D

Soit une base $B=\{\left[\begin{array}{c}1\\ 0\end{array}\right],\left[\begin{array}{c}0\\ 1\end{array}\right]\}$ et une base $C=\{\left[\begin{array}{c}1\\ 1\end{array}\right],\left[\begin{array}{c}-1\\ 1\end{array}\right]\}$. Un vecteur $\overrightarrow{v}=\left[\begin{array}{c}3\\ 2\end{array}\right]$ dans $B$ a pour coordonnées :

• Dans $B$ : $\overrightarrow{v}=3\overrightarrow{b_1}+2\overrightarrow{b_2}$.
• Pour trouver les coordonnées dans $C$, on résout $\overrightarrow{v}=y_1\overrightarrow{c_1}+y_2\overrightarrow{c_2}$ :$$3\left[\begin{array}{c}1\\ 0\end{array}\right]+2\left[\begin{array}{c}0\\ 1\end{array}\right]=y_1\left[\begin{array}{c}1\\ 1\end{array}\right]+y_2\left[\begin{array}{c}-1\\ 1\end{array}\right]$$Cela donne le système :
  • $y_1-y_2=3$
  • $y_1+y_2=2$ Solution : $y_1=2.5$, $y_2=-0.5$. Donc, $\overrightarrow{v}=2.5\overrightarrow{c_1}-0.5\overrightarrow{c_2}$.

Exemple supplémentaire : Changement de base en 3D avec base orthogonale

Étant donné les vecteurs $\overrightarrow{v}=\left[\begin{array}{c}-4\\ -3\\ 8\end{array}\right]$, $\overrightarrow{b_1}=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$, $\overrightarrow{b_2}=\left[\begin{array}{c}-2\\ 1\\ 0\end{array}\right]$ et $\overrightarrow{b_3}=\left[\begin{array}{c}-3\\ -6\\ 5\end{array}\right]$, tous écrits dans la base standard, que représente $\overrightarrow{v}$ dans la base définie par $\overrightarrow{b_1}$, $\overrightarrow{b_2}$ et $\overrightarrow{b_3}$ ? On sait que $\overrightarrow{b_1}$, $\overrightarrow{b_2}$ et $\overrightarrow{b_3}$ sont orthogonaux les uns par rapport aux autres.

Puisque la base $\{\overrightarrow{b_1},\overrightarrow{b_2},\overrightarrow{b_3}\}$ est orthogonale (mais pas nécessairement orthonormée, car les normes ne sont pas forcément 1), on peut trouver les coordonnées $c_1,c_2,c_3$ telles que $\overrightarrow{v}=c_1\overrightarrow{b_1}+c_2\overrightarrow{b_2}+c_3\overrightarrow{b_3}$ en utilisant la formule de projection pour bases orthogonales : $c_i=\frac{\overrightarrow{v}\cdot \overrightarrow{b_i}}{\overrightarrow{b_i}\cdot \overrightarrow{b_i}}$.

Détaillons les étapes :

1. Vérifions d'abord l'orthogonalité (bien que donné, pour complétude) :

   • $\overrightarrow{b_1}\cdot \overrightarrow{b_2}=1\cdot (-2)+2\cdot 1+3\cdot 0=-2+2+0=0$
   • $\overrightarrow{b_1}\cdot \overrightarrow{b_3}=1\cdot (-3)+2\cdot (-6)+3\cdot 5=-3-12+15=0$
   • $\overrightarrow{b_2}\cdot \overrightarrow{b_3}=(-2)\cdot (-3)+1\cdot (-6)+0\cdot 5=6-6+0=0$ Oui, orthogonaux.

2. Pour trouver $c_1$ : On multiplie l'équation $\overrightarrow{v}=c_1\overrightarrow{b_1}+c_2\overrightarrow{b_2}+c_3\overrightarrow{b_3}$ par $\overrightarrow{b_1}$ (produit scalaire des deux côtés) :

   $$\overrightarrow{v}\cdot \overrightarrow{b_1}=c_1(\overrightarrow{b_1}\cdot \overrightarrow{b_1})+c_2(\overrightarrow{b_2}\cdot \overrightarrow{b_1})+c_3(\overrightarrow{b_3}\cdot \overrightarrow{b_1})$$

   Puisque orthogonaux, $\overrightarrow{b_2}\cdot \overrightarrow{b_1}=0$ et $\overrightarrow{b_3}\cdot \overrightarrow{b_1}=0$, donc :

   $$\overrightarrow{v}\cdot \overrightarrow{b_1}=c_1(\overrightarrow{b_1}\cdot \overrightarrow{b_1})$$$$c_1=\frac{\overrightarrow{v}\cdot \overrightarrow{b_1}}{\overrightarrow{b_1}\cdot \overrightarrow{b_1}}$$

   Calcul : $\overrightarrow{v}\cdot \overrightarrow{b_1}=(-4)(1)+(-3)(2)+8(3)=-4-6+24=14$$\overrightarrow{b_1}\cdot \overrightarrow{b_1}=1^2+2^2+3^2=1+4+9=14$$c_1=14/14=1$

3. De même pour $c_2$ : Multipliez par $\overrightarrow{b_2}$ :

   $$\overrightarrow{v}\cdot \overrightarrow{b_2}=c_2(\overrightarrow{b_2}\cdot \overrightarrow{b_2})\$\$(termescroisésnuls)\$c_2=\frac{\overrightarrow{v}\cdot \overrightarrow{b_2}}{\overrightarrow{b_2}\cdot \overrightarrow{b_2}}\$\$\overrightarrow{v}\cdot \overrightarrow{b_2}=(-4)(-2)+(-3)(1)+8(0)=8-3+0=5\$\$\overrightarrow{b_2}\cdot \overrightarrow{b_2}=(-2{)}^2+1^2+0^2=4+1+0=5\$\$c_2=5/5=1\$$$$$\overrightarrow{v}\cdot \overrightarrow{b_3}=c_3(\overrightarrow{b_3}\cdot \overrightarrow{b_3})$$

   $c_3=\frac{\overrightarrow{v}\cdot \overrightarrow{b_3}}{\overrightarrow{b_3}\cdot \overrightarrow{b_3}}$$\overrightarrow{v}\cdot \overrightarrow{b_3}=(-4)(-3)+(-3)(-6)+8(5)=12+18+40=70$$\overrightarrow{b_3}\cdot \overrightarrow{b_3}=(-3{)}^2+(-6{)}^2+5^2=9+36+25=70$$c_3=70/70=1$

Donc, dans la base $\{\overrightarrow{b_1},\overrightarrow{b_2},\overrightarrow{b_3}\}$, $\overrightarrow{v}$ s'écrit comme $\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$, c'est-à-dire $\overrightarrow{v}=1\cdot \overrightarrow{b_1}+1\cdot \overrightarrow{b_2}+1\cdot \overrightarrow{b_3}$.

Pourquoi c’est important en Machine Learning ?

• Représentation des données : Les bases permettent de représenter les données dans des espaces de caractéristiques. En PCA, les composantes principales forment une base orthonormée qui maximise la variance des données et minimise le bruit (distance perpendiculaire comme mesure du bruit).
• Transformations linéaires : Les changements de base sont utilisés pour simplifier les calculs, comme dans les réseaux de neurones où les poids sont des matrices appliquant des transformations linéaires pour extraire des features (e.g., forme du nez, teinte de peau dans la reconnaissance faciale).
• Réduction de dimensionnalité : En ML, on utilise des bases orthonormées (via SVD ou QR) pour réduire la dimensionnalité tout en préservant les informations importantes (e.g., embeddings dans NLP). Si les données sont alignées sur une ligne, projeter sur cette direction réduit le bruit.
• Mécanisme d’attention : Dans les transformers, les matrices de changement de base (ou projections linéaires) sont utilisées pour calculer les relations entre les tokens via des produits scalaires.

Exemple concret en ML

Dans PCA, les données sont projetées sur une base orthonormée formée par les vecteurs propres de la matrice de covariance. Cela réduit la dimensionnalité tout en conservant la variance maximale, facilitant la visualisation ou la classification. Par exemple, des points alignés sur une ligne ont une variance élevée le long de la ligne et faible perpendiculairement (bruit).

👉 Application pratique

En NLP, les embeddings de mots (comme dans Word2Vec) sont souvent exprimés dans une base non orthonormée. Les algorithmes comme t-SNE ou UMAP changent de base pour visualiser ces données en 2D ou 3D. Dans les réseaux de neurones, l'apprentissage dérive une base qui extrait les caractéristiques les plus riches des données.