Cenni di Algebra Lineare

Definizione 6.1 (Sistema lineare)   Un sistema lineare è un sistema nella forma

$$Ax = b$$

Dove

$$A \in \mathbb{R}^{m\times n}, \quad x \in \mathbb{R}^n, \quad b \in \mathbb{R}^m$$

Definizione 6.2 (Sistema quadrato)   Un sistema quadrato è un sistema lineare con

$$m = n$$

Definizione 6.3 (Sistema sovradeterminato)   Un sistema sovradeterminato è un sistema con

$$m > n$$

Un sistema sovradeterminato possiede più equazioni che incognite - ovvero, ci sono ``troppi vincoli''. Per questo in generale non esiste una soluzione che soddisfi il sistema. Si può però cercare una soluzione approssimata, che minimizzi la distanza rispetto ai vincoli:

Definizione 6.4 (Soluzione nel senso dei minimi quadrati)   Una soluzione nel senso dei minimi quadrati di un sistema $Ax = b$ è una $\tilde{x}$ tale che

$$\tilde{x} = \min_{x\in \mathbb{R}^n} \sum_{i=1}^m (b_i - \sum_{j=1}^n a_{ij}x_j)^2$$

Definizione 6.5 (Sistema sottodeterminato)   Se $m < n$, il sistema è sottodeterminato. Ha in genere infinite soluzioni.

Esistono una serie di approcci alla soluzione dei sistemi lineari, in generale riconducibili a due famiglie:

• Metodi diretti, ovvero metodi in cui la soluzione viene calcolata dopo un numero finito di passi (ad es. il Metodo di Eliminazione di Gauss)
• Metodi iterativi, in cui la soluzione si ottiene in un numero teoricamente infinito di passi. In essi si cerca una successione $\lbrace x_k \rbrace, x_k \in \mathbb{R}^n$ tale che $\lim_{k\to \infty}x_k = x$, con $x$ soluzione del sistema, e dunque. Si tratta di metodi perlopiù costruiti ad hoc rispetto a un determinato problema che costituiscono attivo campo di ricerca.