Caso lineare: retta dei minimi quadrati

Con $m=1$, l'insieme di punti viene approssimato da una retta. Il sistema $V^\top V a = V^\top y$ è quindi formato dalle seguenti componenti:

$$V = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots \\ 1 & x_... ... \begin{bmatrix} 1 & 1 & \dots & 1 \\ x_1 & x_2 & \dots & x_n \end{bmatrix}$$

$$V^\top V = \begin{bmatrix} N & \sum_{i = 0}^{n} x_i \\ \sum_{i = 0}^{n} x_i & \sum_{i = 0}^{n} x_i^2 \end{bmatrix}$$

Il sistema risulta quindi:

$$\begin{bmatrix} N & \sum_{i = 0}^{n} x_i \\ \sum_{i = 0}^{n} x... ...nd{bmatrix} \begin{bmatrix} y_0 \\ y_1 \\ \vdots \\ y_n \end{bmatrix}$$

Nel problema del minimo quadrato, si vuole trovare il vettore dei coefficenti $a \in \mathbb{R}^{m+1}$ per cui $\phi(a) = \sum_{i = 0}^{n} \left( V a - y_i \right)^2$ è minimo.

Per definizione di prodotto scalare:

$$\phi(a) = \langle V a - y,\,V a - y \rangle$$

Se $a$ è minimo, allora

$$\phi(a+b) \geq \phi(a) \quad \forall \, b \in \mathbb{R}^{m+1}$$ (6)

$$\phi(a+b) = \langle V(a+b) - y,\,V(a+b) -y \rangle$$

$$= \langle Va + Vb -y,\,Va +Vb -y \rangle$$

$$= \langle Va -y,\,Va -y \rangle + \langle Va -y,\,Vb \rangle + \langle Vb,\,Va -y \rangle + \langle Vb,\,Vb \rangle$$

$$= \phi(a) + 2 \langle Va -y,\,Vb \rangle + \langle Vb,\,Vb\rangle$$

Quindi, la (6) diventa:

$$2 \langle Va -y,\,Vb \rangle + \langle Vb,\,Vb\rangle \geq 0 \quad \forall \, b \in \mathbb{R}^{m+1}$$

Fissato $v \in \mathbb{R}^N$ e posto $b = \varepsilon \, v$, si ha:

$$2 \, \langle Va -y,\,V(\varepsilon \, v) \rangle + \langle V(\varepsilon \, v),\,V(\varepsilon \, v)\, \rangle \geq 0, \qquad \forall \varepsilon > 0$$

$$2 \varepsilon \, \langle Va -y,\,Vv \rangle + \varepsilon^2 \langle Vv,\,Vv \rangle \geq 0$$

$$2 \, \langle Va -y,\,Vv \rangle + \varepsilon \, \langle Vv,\,Vv \rangle \geq 0, \qquad \forall \, v \in \mathbb{R}^N,\quad \forall \, \varepsilon > 0$$

Passando al limite per $\varepsilon \to 0$, si ha:

$$\langle Va -y,\,Vv \rangle \geq 0, \qquad \forall \, v \in \mathbb{R}^N \nonumber$$

Si noti che, con $-v$ al posto di $v$, si ha $\langle Va -y,\,Vv \rangle \leq 0$, pertanto:

$$\left\{ \begin{aligned} \langle Va -y,\,Vv \rangle \geq 0 \\ ... ... 0 \end{aligned} \right. \quad \implies \quad \langle Va -y,\,Vv \rangle = 0$$