Ajustement affine par la méthode des moindres carrés

La méthode des moindres carrés donne, parmi toutes les droites possibles, celle qui passe « au plus près » d'un nuage de points : la droite d'équation y = ax + b qui rend minimale la somme des carrés des écarts verticaux entre les points et la droite. On l'appelle la droite de régression de y en x. Ce chapitre explique ce critère, donne les formules de a et de b, déroule un calcul complet à la main, puis montre comment s'en servir pour prévoir, et quand préférer la droite de x en y.

Quelle droite choisir ?

Pour une droite y = ax + b et un point Mᵢ (xᵢ ; yᵢ) du nuage, la droite « prévoit » la valeur ŷᵢ = axᵢ + b (lis « y chapeau »). L'écart (ou résidu) est eᵢ = yᵢ − ŷᵢ : positif si le point est au-dessus de la droite, négatif s'il est au-dessous.

On ne peut pas simplement additionner les écarts : les positifs compenseraient les négatifs, et une droite très mal placée pourrait avoir une somme nulle. On additionne donc leurs carrés :

S(a, b) = e₁² + e₂² + … + e_N² = Σ (yᵢ − axᵢ − b)²

La droite des moindres carrés est celle dont les coefficients a et b rendent S minimale. Élever au carré a une autre conséquence : un grand écart pèse beaucoup plus que plusieurs petits, la droite évite donc de laisser un point très loin.

Voici dix postes de travail, leur ancienneté (en années) et le nombre de tickets qui les ont concernés dans l'année, avec la droite des moindres carrés et les écarts :

Les formules

La seconde formule traduit justement le passage par G : ȳ = a x̄ + b. Le signe de a est celui de la covariance : une droite montante quand x et y varient dans le même sens.

Pour les postes : cov(x, y) = 3,91 et V(x) = 4,81, donc a = 3,91 ÷ 4,81 ≈ 0,81 et b = 3,3 − 0,8129 × 4,3 ≈ −0,20. La droite y = 0,81x − 0,20 signifie : en moyenne, un an d'ancienneté de plus, c'est environ 0,8 ticket de plus par an.

Un calcul complet à la main

Le responsable veut prévoir la durée des sauvegardes complètes sur le NAS TrueNAS selon le volume à copier. Cinq sauvegardes ont été chronométrées :

Étape 1 : les sommes. On complète le tableau avec xᵢ² et xᵢyᵢ.

Étape 2 : le point moyen. x̄ = 300 ÷ 5 = 60 et ȳ = 160 ÷ 5 = 32 : G (60 ; 32).

Étape 3 : variance de x et covariance.

V(x)      = 22 000 / 5 − 60²     = 4 400 − 3 600 = 800
cov(x, y) = 11 420 / 5 − 60 × 32 = 2 284 − 1 920 = 364

Étape 4 : les coefficients.

a = 364 / 800 = 0,455
b = 32 − 0,455 × 60 = 32 − 27,3 = 4,7

La droite des moindres carrés a pour équation y = 0,455x + 4,7.

Étape 5 : interpréter. a = 0,455 min par Go : chaque gigaoctet de plus ajoute environ 27 secondes de sauvegarde. b = 4,7 min : une durée fixe, indépendante du volume (connexion, instantané, vérifications). Interpréter b n'a de sens que si x = 0 est une situation réaliste ; ici, c'est le coût d'une sauvegarde presque vide.

Vérifier que la somme des carrés est minimale

Le programme précise : « on observe, à l'aide d'un logiciel, le caractère minimal de la somme des carrés des écarts ». Dans un tableur, mets a et b dans deux cellules, calcule dans une colonne le carré de chaque écart, par exemple =(B2-($F$1*A2+$F$2))^2, et additionne. Puis change a et b à la main : la somme ne descend jamais sous celle de la droite des moindres carrés.

Pour les sauvegardes, on obtient :

Le chapitre 11 fait la même vérification en quelques lignes de Python.

Interpoler et extrapoler

La droite sert à estimer y pour une valeur de x qui n'a pas été mesurée.

• Interpolation : x est dans l'intervalle des mesures (de 20 à 100 Go). Pour 50 Go : y ≈ 0,455 × 50 + 4,7 ≈ 27,5 min. L'estimation est fiable si le nuage est bien aligné.
• Extrapolation : x est en dehors de l'intervalle. Pour 150 Go : y ≈ 0,455 × 150 + 4,7 ≈ 73 min. On suppose que la tendance continue au-delà de ce qu'on a observé.

On peut aussi chercher x pour un y donné. La fenêtre de sauvegarde dure 2 heures : 0,455x + 4,7 ≤ 120 donne x ≤ 115,3 ÷ 0,455 ≈ 253 Go.

Droite de y en x ou droite de x en y ?

La méthode crée une dissymétrie entre les variables : elle minimise les écarts verticaux, mesurés sur y. Si on minimise les écarts horizontaux, mesurés sur x, on obtient une autre droite, la droite de régression de x en y :

x = a'y + b'   avec   a' = cov(x, y) / V(y)   et   b' = x̄ − a'ȳ

Les deux droites passent par G, mais elles ne sont pas confondues, sauf si les points sont parfaitement alignés. Le programme demande de choisir selon l'usage :

• pour prévoir y à partir de x, on utilise la droite de y en x ;
• pour estimer x à partir de y, on utilise la droite de x en y.

Pour les postes de travail (V(y) = 4,41) : a' = 3,91 ÷ 4,41 ≈ 0,89 et b' = 4,3 − 0,8866 × 3,3 ≈ 1,37, d'où x = 0,89y + 1,37. Un poste a eu 6 tickets : la droite de x en y estime son ancienneté à 0,89 × 6 + 1,37 ≈ 6,7 ans, alors qu'inverser la droite de y en x donnerait (6 + 0,195) ÷ 0,813 ≈ 7,6 ans. Quand le nuage est très bien aligné, comme pour les sauvegardes, les deux droites sont presque confondues et la question ne se pose plus.

Dans les sujets, c'est presque toujours la droite de y en x qui est demandée, avec y la grandeur à prévoir.

Arrondis et rédaction

• Garde les valeurs exactes (ou la mémoire de la calculatrice) pendant les calculs, et n'arrondis qu'à la fin.
• Arrondis a et b à la précision demandée (« à 10⁻² près », « à 10⁻³ près ») ; sans consigne, deux ou trois chiffres significatifs suffisent.
• Fais les prévisions avec les coefficients arrondis donnés dans l'énoncé ou dans ta réponse : c'est ce que fera le correcteur.
• Écris l'équation en entier, avec ses variables : « y = 0,455x + 4,7 », puis la phrase de prévision avec l'unité : « une sauvegarde de 150 Go durerait environ 73 minutes ».

Exercices