La matrice de covariance
La matrice X'X que l'on est amené à inverser s'écrit, si les variables xik sont centrées:

Cette matrice symétrique, qui comporte les variances des Xvariables sur la diagonale et les covariances ailleurs, est appelée matrice des covariances.
Rappel: la covariance "mesure" le degré d'indépendance de 2 variables: de 1 (en valeur absolue) pour 2 variables proportionnelles à 0 pour 2 variables indépendantes.

Si 2 colonnes de X sont colinéaires, c'est à dire si pour tous les échantillons 2 variables xk ont des valeurs proportionnelles, la matrice de covariance ne sera pas inversible.