Approssimazione Polinomiale dei Minimi Quadrati

L'interpolazione polinomiale di LaGrange non migliora l'interpolazione al crescere del grado. Tale inconveniente può essere superato con l'interpolazione a tratti e spline, che però poco si prestano ad estrapolare previsioni sui dati, ovvero valori di cui non si ha un campionamento.

Supponiamo di disporre di un insieme di $N$ dati campione $\{ (x_i,\,y_i),\,i = 0,\,\dots,\,n \}$. Dato un grado $m \geq 1$ (tipicamente $\ll N$), si vuole trovare un polinomio $p(x) \in P_m$ tale che:

$$\sum_{i=0}^{n} \left[ p(x) - y_i \right]^2 \leq \sum_{i=0}^{n} \left[ q(x) - y_i \right]^2, \qquad \forall q \in P_m$$

Trovare $p(x)$ equivale a trovare un vettore di coefficenti $a \in \mathbb{R}^{m+1}$ tale che

$$a = \min_{v \in \mathbb{R}^{m+1}} \sum_{i=0}^{n} \left[ (v_0 + v_1 x_i + v_2 x_i^2 + \dots + v_m x_i^m) - y_i \right]^2$$

Quando $m=1$, si parla di retta dei minimi quadrati o retta di regressione.

Sia $V \in \mathbb{R}^{n \times (m+1)}$ matrice rettangolare tale che $v_{i,\,j} = x_i^j$, e sia $a \in \mathbb{R}^{m+1}$ il vettore colonna dei coefficenti:

$$V = \begin{bmatrix} 1 & x_0 & x_0^2 & \dots & x_0^m \\ 1 & x_1... ...matrix} y_0 \\ y_1 \\ \vdots \\ y_n \end{bmatrix}_{\in \mathbb{R}^{N}}$$

Come si può dimostrare, tale problema ha un'unica soluzione, calcolabile risolvendo il sistema lineare $V^\top V a = V^\top y$.