Eigenvalues and Eigenvectors
Autovalori e Autovettori

We review here the basics of computing eigenvalues and eigenvectors. Eigenvalues and eigenvectors play a prominent role in the study of ordinary differential equations and in many applications in the physical sciences. Expect to see them come up in a variety of contexts!
Vedi la nota 1 successiva per un esempio d'uso.

Definitions

Let A be an n ×n matrix. The number λ is an eigenvalue of A if there exists a non-zero vector v such that

Av = λv.
In this case, vector v is called an eigenvector of A corresponding to λ. For each eigenvalue λ, the set of all vectors v satisfying Av = λv is called the eigenspace of A corresponding to λ.

Computing Eigenvalues and Eigenvectors

We can rewrite the condition Av = λv as
(A- λI)v = 0.
where I is the n ×n identity matrix. Now, in order for a non-zero vector v to satisfy this equation, A -λI must not be invertible.

That is, the determinant of A - λI must equal 0. We call p(λ) = det(A - λI) the characteristic polynomial of A. The eigenvalues of A are simply the roots of the characteristic polynomial of A.

Otherwise, if A - λI has an inverse,
(A - λI)-1(A - λI)v
=
(A - λ I)-10
v
=
0.
But we are looking for a non-zero vector v.

Example 1

La matrice A = / 2  0  \
|       |
\ 0 1/3 /		   rappresenta la seguente trasformazione geometrica:

I vettori che mantengono la stessa inclinazione sono quelli orizzontali, che vengono moltplicati per lo scalare 2, e quelli verticali, che vengono moltplicati per lo scalare 1/3. Gli autovalori di A sono dunque λ1 = 2 (un autovettore è [1,0]) e λ1 = 1/3 (un autovettore è [0,1]).
det(A) = 2/3 è il fattore per cui vengono moltplicate le aree.

Nel caso dell'inclinamento di θ rispetto alla verticale gli unici vettori che non cambiano inclinazione sono quelli diretti come l'asse y, che non vengono neanche modificati in intensità, ossia che vengono moltiplicati per 1: 1 è l'unico auotovalore (e [1,0] è un autovettore) della matrice A associata. det(A) = 1 (l'area rimane invariata).
Il polinomio caratteristico è (1-λ)(1-λ); dato che il fattore (1-λ) compare due volte, si dice che l'autovalore (λ=1) ha molteplicità 2.

Example 2

Let A = /
| 
\
2
-4
-1
-1
\
 |
/		 . Then
p(λ)
=
det /
| 
\
2-λ
-4
-1
-1-λ
 \
 |
/
=
(2-λ)(-1-λ)-(-4)(-1)
=
λ2 -λ-6
=
(λ-3)(λ+2).

Thus, λ1 = 3 and λ2 = -2 are the eigenvalues of A.

To find eigenvectors v = /
| 
| 
| 
| 
| 
\
v1
v2
:
vn
 \
 |
 |
 |
 |
 |
/
corresponding to an eigenvalue λ, we simply solve the system of linear equations given by

(A-λI) v = 0.

Example 3

The matrix A = /
| 
\
2
-4
-1
-1
\
 |
/
of the previous example 2 has eigenvalues λ1 = 3 and λ2 = -2. La figura seguente illustra come la applicazione lineare associata alla matrice A trasforma il cerchio unitario e due particolari vettori, (1,1) e (-4,1), che sono due autovettori: uno ha autovalore -2, (-2,-2)=-2(1,1), l'altro ha autovalore 3, (-12,3)=3(-4,1). Oltre a questi, sono autovettori tutti quelli ad essi proporzionali: (k,k) (autovettori di autovalore -2), (-4k,k) (autovettori di autovalore 3).  Vediamo ora come dagli autovalori si sarebbe potuti risalire agli autovettori.

Let's find the eigenvectors corresponding to λ1 = 3. Let v = [ v1 v2 ]T. Then (A-3I)v = 0 gives us

/
| 
\
2-3
-4
-1
-1-3
 \
 |
/		 /
| 
\
v1
v2
 \
 |
/		 = /
| 
\
0
0
 \
 |
/		 ,
from which we obtain the duplicate equations
-v1-4v2
=
0
-v1-4v2
=
0.
That is, {[ -4 1]T} is a basis of the
eigenspace corresponding to λ1 = 3.
If we let v2 = t, then v1 = -4t. All eigenvectors corresponding to λ1 = 3 are multiples of [ -4 1 ]T and thus the eigenspace corresponding to λ1 = 3 is given by the span of [ -4 1 ]T.

Repeating this process with λ2 = -2, we find that

4v1 -4V2
=
0
-v1 + v2
=
0
{[ 1 1]T} is a basis for the
eigenspace corresponding to λ2 = -2.
If we let v2 = t then v1 = t as well. Thus, an eigenvector corresponding to λ2 = -2 is [ 1 1 ]T and the eigenspace corresponding to λ2 = -2 is given by the span of [ 1 1 ]T. {[ 1 1]T} is a basis for the eigenspace corresponding to λ2 = -2.

NOTA 1.  Sia F la trasformazione lineare da R2 in R2 associata alla matrice A di cui sopra: F(x,y) = (2x-4y, -x-y). Operiamo un cambio di base prendendo due autovettori linearmente indipendenti, ad esempio (1,1) e (-4,1) (avrei potuto prendere (1/2,1/2) e (-12,3) oppure …) come nuova base. La trasformazione lineare in questa nuova base assume una forma G, e una matrice associata B, più semplici.
Infatti B ha come colonne i trasformati mediante G dei versori (1,0) e (0,1) del nuovo sistema.
(1,0) corrisponde nel sistema iniziale all'autovettore (1,1) di A che, indicando con λ1 il suo autovalore (-2), viene trasformato da F in λ1(1,1) = (-2)(1,1) che nel nuovo sistema diventa (-2)(1,0), ossia (-2,0), cioè (λ1,0).
Analogamente (0,1) nel vecchio sistema è (-4,1) che viene trasformato da F in λ2(-4,1) = 3(-4,1) che nel nuovo sistema diventa 3(0,1) = (0,3), cioè (0,λ2).
In definitiva B assume la forma diagonale:

   /λ1  0\ = /-2 0\
   \0  λ2/   \0  3/
Ad es. il punto (-1,1) nel piano x,y da F viene trasformato in (2x-4y, -x-y) = (-6,0). Nel piano X,Y il punto è (3/5,2/5) e verrebbe trasformato in (-2X, 3Y) = (6/5,6/5). Nel caso di un punto con coordinate più "strane" è evidente che operare in X,Y è più comodo.

 matrice di transizione:  /1 -4\
                          \1  1/

 matrice inversa:    1/5 /1 -1\
                         \4  1/

 /X\ = 1/5 /1 -1\×/x\ = /x/5+4y/5\
 \Y/      \4  1/ \y/  \-x/5+y/5/

    Il ragionamento può essere generalizzato: la matrice di una applicazione lineare F (da Rn in Rn) rispetto a una base formata da autovettori di F assume forma diagonale, con diagonale formata dai rispettivi autovalori.

•  Si noti,inoltre, che, in generale, se P è una matrice di transizione a una nuova base, una trasformazione lineare di matrice A assume rispetto alla nuova base la matrice B = P-1×A×P.
Dimostriamolo nel caso n = 1, in cui le matrici A e B diventano i coefficienti h di funzioni del tipo x h x.
A lato è illustrato il caso F(x)=3x (3 è A) e il cambio di base in cui si prende come nuovo versore unitario il vettore e' che nel vecchio sistema vale 2 (2 è P). Nella vecchia base F ha per grafico y=3x. Sia (u,v) il piano in cui rappresentare la funzione G che corrisponde alla nuova forma che assume F. Se rappresentassi nella nuova base solo l'input, il grafico sarebbe y = 3·2 u in quanto l'input deve essere moltiplicato per 2. Se rappresentassi nella nuova base solo l'output, il grafico sarebbe v = (1/2)·3 x in quanto l'output viene indebitamente moltiplicato per 2. Se rappresento nella nuova base sia input che output ho v = (1/2)·3·2 u, ossia G(u) = (1/2)·3·2 u, che, commutando, diventa G(u) = 3 u.
Per n >1 in genere G non mantiene la stessa forma di F, in quanto la moltiplicazione tra matrici (che non siano 1×1) non è commutativa. 		 

In the following example, we see a two-dimensional eigenspace.

Example 4

Let A = /
| 
| 
| 
\
5
8
16
4
1
8
-4
-4
-11
 \
 |
 |
 |
/		 . Then p(λ) = det /
| 
| 
| 
\
5-λ
8
16
4
1-λ
8
-4
-4
-11-λ
 \
 |
 |
 |
/		 =
(λ-1)(λ+3)2 after some algebra! Thus, λ1 = 1 and λ2 = -3 are the eigenvalues of A.
Eigenvectors v = /
| 
| 
| 
\
v1
v2
v3
 \
 |
 |
 |
/		 corresponding to λ1 = 1 must satisfy

4v1
+
8v2
+
16v3
=
0
4v1
+
8v3
=
0
-4v1
-
4v2
-
12v3
=
0.

[ -2 -1 1 ]T is a basis
for the eigenspace
corresponding to λ1 = 1.
Letting v3 = t, we find from the second equation that v1 = -2t, and then v2 = -t. All eigenvectors corresponding to λ1 = 1 are multiples of

/
| 
| 
| 
\
-2
-1
1
 \
 |
 |
 |
/
and so the eigenspace corresponding to λ1 = 1 is given by the span of  /
| 
| 
| 
\
-2
-1
1
 \
 |
 |
 |
/		 .

Eigenvectors corresponding to λ2 = -3 must satisfy

8v1
+
8v2
+
16v3
=
0
4v1
+
4v2
+
8v3
=
0
-4v1
-
4v2
-
8v3
=
0.

The equations here are just multiples of each other! If we let v3 = t and v2 = s, then v1 = -s -2t. Eigenvectors corresponding to λ2 = -3 have the form

/
| 
| 
| 
\
-1
1
0
 \
 |
 |
 |
/		 s + /
| 
| 
| 
\
-2
0
1
 \
 |
 |
 |
/		 t.

{[ -1 1 0]T, [ -2 0 1]T} is a basis for the
eigenspace corresponding to λ2 = -3.
Thus, the eigenspace corresponding to λ2 = -3 is two-dimensional and is spanned by
/
| 
| 
| 
\
-1
1
0
 \
 |
 |
 |
/		 and /
| 
| 
| 
\
-2
0
1
 \
 |
 |
 |
/		 .

ALTRE NOTE

  • 2  Eigenvalues and eigenvectors can be complex-valued as well as real-valued.
    Nel caso della rotazione di θ attorno a (0,0) la matrice associata A non ha autovalori reali: nessun vettore mantiene la stessa direzione. Cerchiamo gli autovalori complessi.
    (cos(θ)-λ)2+sin(θ)2= λ2-2λcos(θ)+1 = 0 sse λ = cos(θ)±√(cos(θ)2-1) = cos(θ) ± i sin(θ)
  • 3  The dimension of the eigenspace corresponding to an eigenvalue is less than or equal to the multiplicity of that eigenvalue:
    l'insieme degli autovettori corrispondente a un dato autovalore forma un sottospazio lineare dello spazio di tutti i vettori; se un autovalore k ha molteplicità 1 (ossia se il polinomio caratteristico non è divisibile per (λ-k)2) il corrispondente sottospazio degli autovettori ha dimensione 1; se un autovalore k ha molteplicità N>1 (il polinomio caratteristico è divisibile per (λ-k)N) il sottospazio degli autovettori può avere dimensione maggiore di 1 ma non superiore ad N.
  • 4  The techniques used here are practical for 2 ×2 and 3×3 matrices. Eigenvalues and eigenvectors of larger matrices are often found using other techniques, such as iterative methods.
  • 5  Una matrice di ordine 3 ha almeno un autovettore reale in quanto ogni funzione polinomiale di grado dispari ha grafico che interseca l'asse x almeno in un punto.
  • 6  Le matrici simmetriche (AT = A) hanno solo autovalori reali, e in corrispondenza di autovalori diversi hanno autovettori tra loro ortogonali (entrambe le proprietà sono facili da verificare per le matrici di ordine 2: fallo). Nel caso di un autovalore con spazio dei suoi autovettori di dimensione K si possono trovare K autovettori tra loro ortogonali.

Key Concepts [index]

Let A be an n ×n matrix. The eigenvalues of A are the roots of the characteristic polynomial

p(λ) = det
(A - λI).
For each eigenvalue λ, we find eigenvectors v = /
| 
| 
| 
| 
| 
\
v1
v2
:
vn
 \
 |
 |
 |
 |
 |
/
by solving the linear system
(A - λI)v = 0.
The set of all vectors v satisfying Av = λv is called the eigenspace of A corresponding to λ.