2. lgebra Lineal Numrica 2.

2 Elementos del lgebra Lineal

2.1 Sistemas lineales
 =  2.2.1 lgebra lineal en espacios continuos

Linealidad: Si 
: y  : , 
,  y Espacio euclidiano Espacio de funciones



 +    = 

 +   

entonces k es una operacin lineal.

d
En general, si
 =   , = 1, , , y asumiendo linealidad
 

     =  
 

A B x



1 B
& = AAAAA # 
.  . &.
!" 
'
>@ C

 = # $, %%&%
Distancia (Norma) L2

( & = .
.  + %
%  & = D
 , 
 E = 
 
AAAAAAAAAAAAAAAAAAAAAAAAA
' AAAAAAAAAAAAAAAAAAAA
' 1 B
& = GAAAAA # 
.  . &.
' ' 
& = H.
.  + %
% 
0 0
De hecho

- $., %  / / % d% =  / # $ ., %/ %&% >@ C

' AAAAAAAAAAAAAA
( /
/

( = HD
 , 
 E = 
 IJ


=  /
/ .
/

1
Producto interno (punto)
B
.5
.5 = D.5
, .5 E = .
. + %
% D
,  E = AAAAA# 
. . &.
>@ C
cumple con la condicin de linealidad.

La versin discreta es
3 = 4( $3,  , o bien
5 = $5, con $ una

'

Si .5
.5 = 0 .5
.5 Si D
,  E = 0 

matriz

sen(x)
Y la versin matricial
correspondiente

K
,
$
, K
,; 

cos(x)

 Ortogonalidad: si @ y > =

6 8= 6 8 6 8 & = QTS|
 | &.
S


 K 0,
K 0,; 
2.2.2 Valores y Vectores Propios 2.3 Mtodo de eliminacin de Gauss

Se tiene una transformacin lineal V:   Ejemplo: supongamos que queremos resolver el siguiente problema:

V.5 = W .5 , donde W valor propio y .5 es vector propio, con = .

+ . + 3.w = 4
2.
+ . .u + .w = 1
3.
. .u + 2.w = 3
1..N

Por otro lado, H es una matriz de N x N .

+ 2. + 3.u .w = 4

V  = W 
V Y AAA+ Y
AA+ Y[ , operador de 2o orden, coeficientes
ZJ Z
Si H es un operador diferencial
Se resuelve pivoteando el sistema
Z" J Z"
.
+ . + 3.w = 4
. .u 5.w = 7
constantes

Al usar la funcin  = \ ]" en la ecuacin, notamos que es una 4. .u 7.w = 15
3. + 3.u + 2.w = 8
V\ ]" = Y   \ ]" + Y
\ ]" + Y^ \ ]" = Y   + Y
 + Y^ \ ]"
funcin propia, pues

con W = Y   + Y
 + Y^ un valor propio 3.u + 13.w = 13
13.w = 13 .w = 1
Usando las restriccin de funcin causal, a < 0
AAA
Ejemplo de funcin propia: \ /3_`" , con a = 1
'

la h = 0
c\ /3_` " , \ /d_` " e = fgh ij , con fh = k , h
0 la h 0
La matriz resultante es una triangular superior.

Delta de Kronecker Se van resolviendo los xi de los valores mayores a los menores en forma

Se puede generar el espacio  \ /d_` "  con o^ = AA

p . = 2, . = 1
recursiva.
q

Cuando : espacio de funcin peridica en el dominio t

tenemos una serie de Fourier   = 43 s3 \ /3_` "
'

2.2.3 Algunos ejemplos

Para resolver problemas de ecuaciones diferenciales de contornos
lineales (mediante discretizacin de diferencias finitas) o para
resolver problemas de interpolacin por B-splines.
En general, si se tiene una matriz A de nxn, un vector b de largo n, y se 2.4 Inversin de Matrices
a

Y
 a

quiere encontrar un vector x de largo n:

Y
Y a
Para invertir matrices, es necesario recordar varios conceptos del lgebra

= Y/ = 6 8 ~5 =
}
2.4.1 Trasposicin: @q = Y/ , si @ = Y/ Y/ = Y/
lineal:
}3
@q q = @
,
a
a

@ + >q = @q + >q
Nos fabricamos la matriz aumentada

@>q = >q @q
Propiedades:
g@ | }j =
Si existe A-1, entonces @T
q = @q T

Se pivotea esta matriz, eliminando la parte triangular inferior de A Si AT = A, entonces A es una matriz simtrica

2.4.2 Determinante de una matriz:

Y

Si A es de 2x2: &\@ = &\ Y Y = Y

Y Y
 Y

Para tamaos mayores, se utiliza la siguiente recursin:

Si A es una matriz de nxn, el "menor Mij" es el determinante de la sub-matriz
de A de dimensiones (n-1) x(n-1) que se obtiene eliminando la fila i-sima y

3
la columna j-sima de la matriz A.

det @ = 1/ Y/ / , para a = 1,2, , h


@|.5 = }~5
Tenemos finalmente


@| = Y

Y
 Y
u
Y
@ = 
Y Yu
Yu
Yu auu
Ejemplo: caso 3x3

El problema de este tipo de mtodos aparece cuando el determinante det@ = Y

Y

 + Y
u
u
de A es cero. Entonces, la matriz no es invertible.

Ej: .w = 1, 3.u + 13 = 13, .u = 0

 2.4.3 Propiedades de los determinantes: Lo anterior puede ser de utilidad, como por ejemplo al tratar de resolver
el sistema:
Si A es una matriz de nn
a) Si los elementos de una delas filas o columnas de A son todos ceros, Pues al pivotear una vez, la

b) Si @| se obtiene de A mediante la operacin /   

entonces det(A) = 0 motriz amentada

(intercambio entre (filas o columnas) con i k

= &\
Entonces &\ det(A) = 0

c) Si A tiene 2 filas o columnas iguales, entonces det(A) = 0

=  &\
o columnas por un valor , entonces &\
d) Si se multiplica una de las filas

@|
Como no podemos pivotear en torno a la fila 2, la cambiamos con la 3 y
pivoteamos

det(@| ) = -4
Se tiene que det(A B) = det(A) det(B)
T
= T
=
El det(AT) = det(A)

Si A-1 existe, entonces &\@T

 = 1/&\@T
 detT
 = &\
detT
 &\ = 1

3
Si A es una matriz triangular superior, triangular inferior o diagonal,

&\@ = Y//
entonces
2.4.4 Equivalencias a la invertibilidad de una Matriz Cuadrada
/

i) La ecuacin A .5 = 0 tiene solucin nica .5 = 0

ii) El sistema A .5 = }~5 tiene solucin nica para cualquier vector
Recordando la matriz que resuelve el sistema de 4x4 visto en 1.3:

det(A) =39 columna n-dimensional }~5

iii) La matriz A es invertible, o sea, A-1 existe
Podemos utilizar algunas de estas propiedades para realizar pivoteos o iv) det (A) 0

llevarse a cabo hasta el final en el sistema A .5 = }~5 para cualquier vector

eliminaciones de Gauss. Por ejemplo, el intercambiar filas no anula un v) El mtodo de eliminacin de Gauss con intercambio de filas puede

columna n-dimensional }~5

determinante, solamente hace que el valor del determinante cambie de
signo.

Qu pasa si el determinante de A es pequeo, se llama una matriz mal

condicionada?
2.5 Factorizacin Matricial 2.6 Matrices especiales

directamente sistemas de ecuaciones lineales, o sea, A .~5 = ~}5.

Mediante el mtodo de eliminacin de Gauss, se puede resolver
2.6.1 Matrices de diagonal estrictamente dominantes

Al recordar el Toda matriz A de diagonal estrictamente dominante es invertible. Cuando

ejemplo con se aplica el mtodo de eliminacin de Gauss a este tipo de matrices para
la matriz obtener una solucin nica, no es necesario realizar permutaciones
(intercambios de filas). Los clculos son estables con respecto a errores de
Necesitamos incluir el concepto de matriz de permutacin, como por redondeo.
1 0 0 0
ejemplo

0 0 1 0
=6 8
para un caso permuta las filas 2 y 3, al multiplicar por Una matriz diagonal estrictamente dominante se define con la siguiente
0 1 0 0
determinante &\ = 1 3 3
de 4x4: la izquierda. El
|Y// | >  Y/ y |Y// | >  Y/
condicin:
0 0 0 1

,/ 
,/

Si P es una matriz de permutacin, entonces T

existe y T
= q
1 1 2 1 la permutacin 1 0 0 0
Qu pasa cuando A no es diagonal dominante?

0 0 1 1 fue (filas 2 y 3) = 60 0 1 0
del ejemplo A = 60 8 8
2 1 1 0 1 0 0
Para el caso 2.6.2 Mejoramiento del condicionamiento de una matriz:
de la matriz 0 0 2 4 0 0 0 1
Si tenemos una matriz que no estrictamente dominante, hay que agregar

=+

un trmino en la diagonal:
De esta forma, podemos
PA=LU

=  , con I la matriz identidad

tener la factorizacin
con D una matiz diagonal. el caso ms simple es cuando

@.5 = }~5
.5 = }~5
Esto es til para
De esta forma, resolveremos el problema
resolver el problema


Podemos resolver primero el problema %5 = }~5 .5 }~5 +  .5 = 0
y luego .5 = %5
iah5 .5 = |.5|IJ
s.a. @.5 = }~5
Mediante un problema Regularizacin de
de minimizacin Tikhonov

q .5 = q }~5 .5 = @q @T

@q }~5
Es equivalente a utilizar la pseudo-inversa:

iah5 .5 = |.5|'I , s.a. .5 = }~5

Operacin negativa Recientemente se est estudiando el problema:

donde |.5|I = 3/

|./ |

Si L tiene unos en la (Compressed Sensing)
diagonal y se conoce U:
2.6.3 Matrices tri-diagonales 2.6.4 Ejemplo para matrices tri-diagonales


0 0
= 4

4 1 0 0 6
   0
1 4 1 0 0
A = 0 u u 0 6 8 .5 = 6 8
0 1 4 1 0
0 3T

Son de la forma:
0 0 1 4 6
0 0 0
6 >w
0 0 0 1 u
0 0


Se pueden factorizar de la forma

  0 0
0 1 u 0

= 0 u u 0 U=0 0 1 0
0 0 0 0 uT

0 0 0 3 3 0 0 0 0 1 Comprobando en python:

El clculo se realiza de la siguiente forma:

= AA
import numpy as np

= 

L = np.matrix([[ 4.0, 0.0, 0.0, 0.0], [1.0, 3.75, 0.0, 0.0], \

[0.0, 1.0, 3.75, 0.0], [0.0, 0.0, 1.0, 3.7321]])

/
U = np.matrix([[ 1.0, 0.25, 0.0 , 0.0], [0.0, 1.0, 0.2667, 0.0], \

/ = / / /T
/ = AA i = 2,3, , h 1
[0.0, 0.0, 1.0, 0.26786], [0.0, 0.0, 0.0, 1.0]])

/ L * U

3 = 3 3 3T

Out:
matrix([[ 4. , 1. , 0. , 0. ],

Para este caso, el sistema .5 = }~5, se resuelve en 2 etapas: %5 = }~5

[ 1. , 4. , 1.000125, 0. ],
[ 0. , 1. , 4.0167 , 1.004475],

%
= AA y luego %/ = A }/ / %/T
, a = 2,3, , h
[ 0. , 0. , 1. , 3.99996 ]])

  Para una factorizacin LU:

Y para resolver el problema .5 = %5, se resuelve

.3 = %3 y luego ./ = %/ / ./
, a = h 1, h 2, , 1 a^ 0 0 0 a^ a
0 0 a^ 0 0 0 1 a
/a^ 0 0
a a^ 0 0 0 a^ a
0 a a^ 0 0 0 1 a
/a^ 0
6
86 8 = 6
8a 6 8
La matriz es invertible cuando / 0 y / 0 para a = 2,3, , h 1 0 a
a^ 0 0 0 a^ a
0 a
a^ 0 ^ 0 0 1 a
/a^
y si |
| > |
|, |3 | > |3 |, y |/ | |/ | + |/ | para a = 2,3, , h 1 0 0 a
a^ 0 0 0 a^ 0 0 a
a^ 0 0 0 1

a 0 0 0 1 a
/a^ 0 0
^
entonces A es invertible y los valores li son distintos de cero para cada
a a a^ 0 0 0 1 a
/a^ 0
=
^ 6 8
0
i = 1, 2, , n.
0 0 1 a
/a^

` = 3.73205080757 0 a
a^ a^
0 0 a
a^ a^ 0 0 0 1
Y^
Y
Y^ = 0.16666666667
= 0.04465819874
 2.6.5 Matrices Definidas Positivas 2.7 Factorizacin de Cholesky

Una matriz es definida positiva si es simtrica y se tiene que .5 q .5 > 0 generar mediante = q
En general, para factorizar una matriz definida positiva, se puede

con U teniendo una diagonal estrictamente positiva

,
= H AAA
' Y
Una matriz definida positiva tiene todos sus valores propios reales y Otra forma es L LT

,

mayores a cero Y el esquema

for j: 1, 2, , n-1

1
Propiedades de las matrices definidas positivas
T

for k: j+1, , n

, = AAAY,  /, /,
,
i) A tiene inversa
/

ii) Y// > 0, para i=1, , n AAAAAAAAAAAAAAAAAAA

'

,
= GY
,
 /,

max |Y, | max |Y/,/ | /

,3
/3
iii)

 ' AAA

,
= H Y
,

iv) Y/ < Y// Y para a Cuando las matrices

Y
,
= ,
,
son tri-diagonales for j: 1, 2, , n-1

AAAAAAAAAAAAAA

,
= Y/
,
,

Equivalencias de una matriz definida positiva ' 

AAAAAAAAAAA
3,3 = Y3,3 3,3T

i) A es definida positiva ' 

filas para resolver .5 = }~5 y todos los pivotes son positivos

ii) El mtodo de eliminacin de Gauss puede llevarse a cabo sin intercambio de

,
= 2
, =
Volviendo al problema
iii) A puede factorizarse como LLT , con L una matriz triangular inferior cuyas
4 1 0 0
iv) A puede factorizarse como Dq , donde L es una matriz triangular inferior u,u =
de ejemplo

1 4 1 0
diagonales son positivas.

@=6 8
0 1 4 1
w,w =
0 0 1 4
cuyas entradas diagonales son unos y D es una matriz diagonal cuyas
entradas diagonales son positivas.
v) Para cada i = 1, 2, , n se tiene que el determinante de las sub-matrices

a
 a

Comprobando en python:

a
Y a
&\ 6 8>0
import numpy as np

U = np.matrix([[ 2., 0.5, 0., 0.], [ 0., 1.93649167, 0.51639778, 0.], \

a
a a
[ 0., 0.,1.93218357,0.51754917], [ 0.,0.,0.,1.93187548]])

U.T * U
Out:
matrix([[ 4. , 1. , 0. , 0. ],
[ 1. , 3.99999999, 1. , 0. ],
[ 0. , 1. , 4.00000002, 1. ],
[ 0. , 0. , 1. , 4.00000001]])
 4 1 0 0
2.8 Mtodos Iterativos: Para el caso

1 4 1 0
@=6 8
sucesin de vectores {.5 (k)} que convergen a la solucin del sistema. 0 1 4 1
Son mtodos clsicos que datan de fines del siglo XVIII, donde se genera una

Se transforma el problema A .5 = }~5 , en un problema de punto fijo 0 0 1 4

equivalente: .5 = .5 + 5 , con T una matriz de nn (igual que A)
S =
=
La sucesin viene dada por .5 
 = .5  + 5 Si  4

Definiendo una funcin vectorial: 5 : 3 3 t.q. 5 .5 = .5 + 5 4 minS = A


Si F es contractante, entonces las iteraciones convergen al punto fijo de F, el Si  < 0
cual es la solucin del sistema lineal.

t. q. 0 < < 1 y ., % 3 5 .5 5 %5 .5 %5

En este caso, la condicin se expresa como

Si 0 <  4
No es posible

Como 5 .5 5 %5 = .5 %5 .5 %5

Entonces 1 para asegurar convergencia

La norma matricial subordinada se define como @ = iY. @.5 Converge para 3 <  4 y 4 
5

mismo caso minS = A

Por esta razn @ = iY. @.5I 

5 

3 3
Ejemplos especficos: @
= iY.  Y/, , @S = iY.  Y/, 1

3 /

/3 
0 4 0 0
1 0 1 0
4 4

@ = max |W| 
=
C C de @q @ (sim&semi.def.pos) 0 1 0 1
4 4
con conjunto de valores propios

1
0 0 4 0
.5 @.5
max@.5 = Wd
Si descomponemos la matriz A en 3 matrices: diagonal, triangular inferior y
triangular superior, tenemos A = D + E + F
con

.5 .5 = 5
La descomposicin ms directa es Pero no siempre esta
descomposicin directa
1 1 1
AA@ = AA}~5
es la ms eficiente

  = AA@

2.8.1 Mtodo de Jacobi 2.8.2 Mtodo de Gauss-Seidel

.5 
 = T
.5 
 T
.5  + T
}~5
Para Gauss-Seidel, tenemos la factorizacin

entonces para resolver A .5 = }~5, tenemos un problema de punto fijo

Si la matriz A no tiene elementos diagonales nulos (D es invertible),

equivalente: .5 = T
 .5 + T
}~5 Agrupando por iteracin de .5:  + T
.5 
 = T
.5  + T
}~5

Para verificar esto .5 =  .5 + }~5 Tenemos una matriz de iteracin =  + T

T
T

Este es una iteracin del mtodo de Jacobi: = T

 +  4 1 0 0
1 4 1 0
=6 8
Volviendo al ejemplo de la matriz
0 1 4 1
0 0 1 4
1 0 0 0 1 0 0 0
Ej.: para el caso

= 4
0 T
0
4 1 0 0 0 1 0 0 + T =
w 1 0
,  + T =
w
T 1 0

1 4 1 0

T

1 0 1 0 0 1 0
1 0
=6 8 +=
w w
0 1 4 1

T

0 1 0 1 0 0 w 1 T
w

w 1
0 0 1 4 0 0 1 0
1
0 4 0 0
1 0 1 1 0
0 4 0 0
= 16 4 =
1 1 0 1 0 0 164 116 14
T
= AA = 4 4
4 0 1 1 1 1 1
4 0 4 0 256 64 16
1
1 0 0 0
0 0 4 0 4
1 1 0 0
.5 = .5 + 1 16 1 4 }5
Vimos que para este caso S = A

1
64 16 4 0

1 1 1 1
256 64 16 4
El problema para este caso quedara .5 = .5 + A}~5

w
El mtodo de Gauss-Seidel converge ms rpido que el de Jacobi, pero
hay casos donde el mtodo de Gauss-Seidel no converge, y el de Jacobi s.
2.8.3 Mtodos de Relajacin 2.9 Valores propios y Vectores propios

.5 
 = o.5 
 + 1 o.5 
Consiste en ajustar la solucin obtenida, mediante Como habamos visto, los valores y vectores propios de una matriz A:
.5/ = W/ .5/
Si y (A) es el conjunto W/ 
0 < < 1 Tenemos una sub-relajacin, y sirve para cuando el mtodo de
Gauss-Seidel no converge
Potencia iterada:
=1 El mtodo de Gauss-Seidel Sirve para calcular el mximo valor propio, los auto-valores se pueden
1< El mtodo de sobre-relajacin sucesiva o SOR (Successive ordenar

|W
| > |W | |Wu | |W3 | 0
Over-Relaxation), para acelerar la convergencia, y se emplea en forma descendente, de manera que
para resolver problemas lineales de cierto sistema de

Siendo .5 un vector cualquiera, se puede expresar en trminos de los

ecuaciones en derivadas parciales.

propios {5 i} asociados a cada autovalor li

 o.5 
 = 1 o + o.5  + o}~5
valores
La forma matricial es
3

.5 =  5
.5 
 = _ .5  + 5_ 

con _ =  oT
1 o + o
5_ = o oT
}~5 3
Al aplicar sucesivamente la matriz A a cada lado

.5 =  W 5


3 3

.5 =  W  5 = W
 AAA

5
Convergencia del mtodo SOR

converge para cualquier vector inicial .5 ^ .




Si A es una matriz definida positiva y 0 < < 2, entonces el mtodo SOR

Debido a que 1 es el valor propio mayor
limS AAA
= 0, 1 y lim
S .5 = limS

5

@ = max |W|

Definiendo

C
como el radio espectral de A (mdulo mayor de los valores propios W

Si, adems, A es tri-diagonal, entonces   =  < 1, y la Siempre que
0
Esta sucesin converge a cero si |1| < 1 y diverge si |1| > 1

2
eleccin ptima de para el mtodo SOR es
o = AAAAAAAAAAAAAA
AAAAAAAAA
1 + 1  
'

Para este valor de , se tiene o = o 1

Tomando un vector .5 ^ tal que
.5 ^ S = 1 = .^
menor dentro del vector .5 ^
`
La componente p0 es el con

%5
= @.5 ^


 = %` =


siendo

.5
=

Si p1 es el menor ndice de %5
,

Se puede calcular en forma recursiva .5 dT

, %5 d

Se repite para cada iteracin de manera que (m) converge a 1 y

.5 d converge al vector propio 5