ANLISIS MULTIVARIANTE

INTRODUCCIN
1.lgebralinealyvectoresaleatorios
2.Distribucinnormalmultivariante

ANLISIS DE LA MATRIZ DE COVARIANZAS

3.Componentesprincipales
4.Anlisisfactorial
5.Correlacionescannicas

CLASIFICACIN
6.Anlisisdiscriminante
7.Anlisisdeconglomerados
1

1. LGEBRA LINEAL
Y VECTORES ALEATORIOS
Vectores
OrtogonalizacindeGram-Schmidt
Matricesortogonales
Autovaloresyautovectores
Formascuadrticas
Vectoresymatricesaleatorias
Matrizdedatos

EJEMPLOS

Vectores
Matrizdedatos:pvariablesobservadasennobjetos

Objeto_1

Objeto_n

x11

x21
x
31

x
n1

x12
x22
x32

x13
x23
x33

xn 2

xn 3

Variable_1

x1 p

x2 p
x3 p X nxp

xnp

en

Variable_p
ALGEBRA LINEAL

Vectores

Dados
x1

y1

x
x
p

y
y
p

sedefine:
1.Suma

x1 y1

x y

x y
p
p
ALGEBRA LINEAL

Vectores
2.Productodeunescalarporunvector
c x1

cx
cx
p

3.Productoescalardedosvectores
p

x y x, y x' y xi yi x1 y1 x p y p
i 1

ALGEBRA LINEAL

Vectores
Propiedades

x, ay bz a x, y b x, z

x, y y , x
x, x 0

x, x 0 x 0

4.Normadeunvector
x x ' x ( x ' x )1 / 2

2
x
i
i 1

ALGEBRA LINEAL

Vectores

xy

5.Distanciaentredosvectores
y

d ( x, y ) x y
x

6.nguloentredosvectores
cos

x, y
x y

x, y 0 cos 0 x y

ALGEBRA LINEAL

Vectores
DesigualdaddeCauchy-Schwarz
x, y x y
Consecuencia:

x y x, y x y
1

x, y
x y

1 cos 1
ALGEBRA LINEAL

Vectores
7.Ortogonalidad

u1 , u 2 , , u n

esortogonalsi u i u j

i, j

8.Ortonormalidad

e 1 , e 2 ,, e n esortonormalsiesortogonal
ytodoslosvectorestienennorma1,esdecir, ei 1 i

ALGEBRA LINEAL

10

Vectores
Ejemplo

u 0
2

0
3

(i ) u , v
(ii ) u
(iii ) u v ?
(iv ) d (u , v )
(v ) cos
ALGEBRA LINEAL

11

Vectores
Unconjuntodevectores u1 , u 2 , , u n
eslinealmenteindependientesi
n

c u
i 1

0 c1 c 2 c n =0

(la nica manera de construir una combinacin lineal

igual a 0 es que todos los coeficientes sean 0)

ALGEBRA LINEAL

12

Vectores
Proposicin. Todoconjuntoortogonaldevectores
nonuloseslinealmenteindependiente.

u1 , u 2 ,, u n ortogonal u1 , u 2 ,, u n

l.i.

Demostracin
c1u1 cnu n 0
u j , c1u1 cnu n c j u j , u j 0
u j ,u j 0 cj 0

ALGEBRA LINEAL

13

Vectores
Proyeccindexsobrey

pry( x )

x, y
y, y

x, y
y

ALGEBRA LINEAL

14

Vectores
Ejemplo

x 0
3

y 1
1

pry ( x) ?
prx ( y ) ?

ALGEBRA LINEAL

15

Ortogonalizacin de Gram-Schmidt

Vsubespaciovectorialde

siVesespaciovectorial,

esdecir,siu , v V y a, b ; au bv V
DadoA=

u1 , u 2 ,, u n

span A

c u
i 1

: ci

Propiedades

(i ) A span A
(ii ) span ( A) es un subespacio
ALGEBRA LINEAL

16

Ortogonalizacin de Gram-Schmidt
Proposicin

v ui

i 1, , n

v span u1, , un

Demostracin
u span u1 , , un
n

i 1

i 1

u , v v, ci ui ci v, ui 0

ALGEBRA LINEAL

17

Ortogonalizacin de Gram-Schmidt
Dadounconjuntodevectoresl.i.,sepuede
construirotroconjuntoortogonalquegenereel
mismoespacio.
Sean x1 , x2 , , xn linealmenteindependientes
u1 x1
u 2 x2
u3 x3

u n xn

x2 , u1
u1 , u1
x3 , u1
u1 , u1
xn , u1
u1 , u1

u1
u1

x3 , u 2
u2 , u2

u1

u2
xn , u n 1

u n 1 , u n 1

u n 1

ALGEBRA LINEAL

18

Ortogonalizacin de Gram-Schmidt

Entonces:

(i )

span x1 , , xn span u1 , , u n

(ii ) u1 , , un es ortogonal

ALGEBRA LINEAL

19

Matrices ortogonales

Amxn

a11

a
m1

a12

am 2

a1n

amn

Matricesortogonales
Anxn;inversaA-1:AA-1=A-1A=I.
AtranspuestadeA.
QnxnesortogonalsiQQ=QQ=I.
(las columnas de una matriz ortogonal son vectores ortonormales)

ALGEBRA LINEAL

20

Matrices ortogonales
Propiedades
x, y p; Q matriz
ortogonal
(i )

Qx, Qy x, y

(ii )

x y Qx Qy

(iii ) Qx x
y
Qy

Qx
x

ALGEBRA LINEAL

21

Autovalores y autovectores
Anxn; autovalordeA
x 0 tal que Ax x
xesautovectorasociadoa
x

x 0, Ax x 0
x 0, Ax Ix 0
x 0, ( A I ) x 0
A I 0
Polinomio
caracterstico
Ecuacin
caracterstica

ALGEBRA LINEAL

22

Autovalores y autovectores
Ejemplo
Autovaloresyautovectoresde

1 5

A
5 1

ALGEBRA LINEAL

23

Autovalores y autovectores
Propiedades
(i ) 1 2 n trA
(ii )

1 2 , x1 con autovalor 1

x1 y x2 son l.i.

x2 con autovalor 2

Diagonalizacindematrices
Anxn simtrica A A' aij a ji

Anxn

a11

a12

a
1n

a12

a1n

ann
ALGEBRA LINEAL

24

Autovalores y autovectores:
diagonalizacin
SiAsimtricaentonces
existenautovaloresreales
1, , n conautovectoresasociados e1 , , en
ortonormalestalesque

e1

Anxn

e2

1

en


0

0




n

P
D
A=PDP,siendoDdiagonalyPortogonal

e1 '

e2 '

en '

(Todamatrizsimtricaesdiagonalizable)
ALGEBRA LINEAL

25

Autovalores y autovectores:
diagonalizacin
Ejemplo
Diagonalizar

3
2

ALGEBRA LINEAL

26

Autovalores y autovectores:
representacin espectral

Sea Anxn

a11

a12

a
1n

a12

a1n

ann

SiAessimtrica entoncesexistenautovaloresreales
1, , n
conautovectoresortonormales
e1 , , en
talesque A e e ' e e ' e e ' .
1 1 1
2 2 2
n n n

ALGEBRA LINEAL

27

Autovalores y autovectores:
representacin espectral
Ejemplo
Descomposicinespectralde

9 2

A
2 6

ALGEBRA LINEAL

28

Formas cuadrticas

x1

n ,
Anxnsimtrica;
x
x
f(x)=xAxesunaformacuadrtica x
n

a12 a1n x1

x2
f ( x) x1 x2

ann xn
a11 x12 ann xn2 a12 x1 x2 aij xi x j an 1n xn 1 xn
n

a11

a21
xn

a
n1
n

aij xi x j a x 2 aij xi x j
i 1 j 1

i 1

2
ij i

i 1 j 1
i j

ALGEBRA LINEAL

29

Formas cuadrticas
Ejemplo
Expresarmatricialmentelaformacuadrtica

f ( x1 , x2 , x3 ) 5 x12 2 x22 3x32 6 x1 x2 4 x1 x3 5 x2 x3

Escribirenformacuadrtica

f ( x1 , x2 ) x1

1 2

x2
2 2

x1

x2
ALGEBRA LINEAL

30

Formas cuadrticas
ComoAnxnessimtrica,esdiagonalizable,
sepuedeescribirA=PDPy,portanto,
queda:f(x)=xPDPx.
Haciendoy=Px:

0 y1 n

2
f ( y ) y ' Dy y1 yn

y
i i,
i 1
0

n yn

setiene
n

f ( y ) i yi2 1 y12 n yn2 .

i 1

ALGEBRA LINEAL

31

Formas cuadrticas
xAx=c2representageomtricamenteunaelipse
en 2 ;losautovaloresson ylosautovectores
1
2
normalizadossone1ye2.

x' Ax c 2
x' PDP ' x c 2 1 y12 2 y22 c 2
x1

y1
c
1

e1

y2
e2
x2

c
2

ALGEBRA LINEAL

32

Formas cuadrticas
Ejemplo
Representar,hallarlosejesyobtenerlaexpresin
reducidade

x1

13 5 x1
9
x2
5 13 x2

ALGEBRA LINEAL

33

Formas cuadrticas
Clasificacindeformascuadrticas
Seaf(x)=xAx
fesdefinidapositivasi x 0, f ( x) 0
fessemidefinidapositivasi x n, f ( x) 0
fessemidefinidanegativasi x n, f ( x) 0
fesdefinidanegativasi x 0,
fesindefinidasi

x1

y x2

f ( x) 0

tal que f ( x1 ) 0 y f ( x2 ) 0
ALGEBRA LINEAL

34

Formas cuadrticas

SeanlosautovaloresdeA
1, , n
fesdefinidapositiva 0, , 0
1
n
fessemidefinidapositiva 0, , 0
1
n
fessemidefinidanegativa 0, , 0
1
n
fesdefinidanegativa 1 0, , n 0
fesindefinida 0, 0
i

ALGEBRA LINEAL

35

Raz cuadrada de una matriz

Razcuadradadeunamatriz:
Asemidefinidapositiva;
BesrazdeAsiA=BB;

B=A1/2 ;A=A1/2 A1/2

SiAessimtricayA=PDPcon n
descomposicinespectral
entonces:

A i ei e'
i 1

ALGEBRA LINEAL

36

Formas cuadrticas
Razcuadradadeunamatriz:

Sea A P

P'

A1/ 2 P
1/ 1
1

A P

1
ei ei '
i 1 i

P'

1 / n

P'

Nota:

i ei ei '
i 1

ALGEBRA LINEAL

37

Descomposicin singular de una matriz

DadalamatrizAmxn,AAescuadraday
simtrica;portanto,diagonalizable.
2 esautovalordeAA.
esunvalor
singulardeA,si
i
i

Descomposicinsingular
SeaAunamatrizmxn; 1, , k valoressingularesdeA.
EntoncesexistenmatricesortogonalesUyVtalesque:
1

A U

0
ALGEBRA LINEAL

38

Vectores y matrices aleatorias

X i variable aleatoria

i E( X i )
ii i2 V ( X i ) E[ X i E ( X i )]2

X1

X
X
p
Vector
aleatorio

X 11 X 12 X 1n

X
m2
mn
m1
Matriz
aleatoria
31

Vectores y matrices aleatorias

Sellamavector de mediasa:

EX

E( X1)

E( X )
p
p

ycovarianzaentredosvariablesa

ij Cov ( X i , X j ) E[( X i EX i )( X j EX j )].

Sedefinelamatriz de covarianzasdeXcomo:

11
VX X

p1

1p

pp
40

Vectores y matrices aleatorias

X1
c1

X , c constantes; EX , VX . Entonces :
X
c
p
p

(i ) E (c' X ) c'
(ii ) V (c' X ) c' c
Cmxp matriz de constantes. Entonces :
(i ) E (CX ) CEX .
(ii ) V (CX ) CC '.

Vectores y matrices aleatorias

Ejemplo

X1

X
X2
1

Y1 2 X 2 X 1

Y2 X 1 X 2
Y X 2X
2
1
3
6 2

2 4

ALGEBRA LINEAL

42

Vectores y matrices aleatorias

Propiedades
SeaXmxnyseanAkxmyBnxrmatricesdeconstantes.
Entonces:

E ( X 11 )

(i ) E ( AX ) AE ( X ) A

E( X )
m1

(ii ) E ( AXB) AE ( X ) B
(iii ) Ymxn E ( X Y ) E ( X ) E (Y )

E ( X 1n )

E ( X mn )

43

Vectores y matrices aleatorias

Matrizdecorrelaciones
1

r21

r
p1

r12
1

rp 2

r1 p

r2 p
,

donde

rij

ij
ii jj

enformamatricial: V 1/ 2 V 1/ 2 ,
dondeVeslamatriz de varianzas:
11

12

pp

p2

44

Vectores y matrices aleatorias

Particindeunvectoraleatorio
X1

Sea X
X
p

(1)

X1

Xr
X (1)

( 2)

X r 1
X

X p

( 2 )

11 12 ,donde
Matrizdecovarianzas:

21 22
(1)

11 V ( X )
22 V ( X ( 2 ) )
(1)
( 2)
12 '21 Cov ( X (1) , X ( 2 ) ) Cov ( X i , X j )
Vectordemedias:

45

Matriz de datos

Objeto_1

Objeto_n

x11

x21
x
31

x
n1

x12
x22
x32

xn 2

x13
x23
x33

xn 3

Variable_1
xi1
x1

i 1

x1 p

x2 p
x3 p X nxp

xnp

en

Variable_p
xip
xp

i 1

46

Matriz de datos
x1

Vectordemedias: x
x
p

s11
Matrizdevarianzasycovarianzas: S

n
n
s
donde sij ( xki xi )( xkj x j ) / n
p1
k 1

s1 p

s pp

Matrizdecorrelaciones: R V 1/ 2 S V 1/ 2 ,donde
n
n
n
s11
Vn

s pp

47

EJEMPLOS

48

EJEMPLOS

49

EJEMPLOS

50

EJEMPLOS

51

EJEMPLOS

52

EJEMPLOS

53

EJEMPLOS

54

Matriz de datos
Proposicin
X1

Dado X
X
p

; X 1 , X 2 , , X n

(i )

E( X )

(ii ) V ( X ) / n
n 1
(iii ) E ( S n )

i.i.d . ;

X
i 1

55

Matriz de datos
Lamatrizdedatossepuederepresentarcomo:
Diagramadedispersin,npuntosenelespacio
p=2

p=3

x2

x1

x3

x2
x1

Comoparap>3noesposiblerepresentarlo,seutilizan
diagramasdedispersinmltipleconparesde
variables.
56

Matriz de datos
Considerandolascolumnasenvezdelafilasdela
matrizdedatos,esdecir,ppuntosen
Objeto_1
x11 x12 x13 x1 p

Objeto_n

x21
x
31

x
n1

x22

x23

x32

xn 2

x33

xn 3

x2 p

x3 p X nxp

xnp

Y1 Y2 Y3
Yp
Paracuatrovariables:
Variable_1
Variable_p
x11

X x21
x
31

Y1

x12

x13

x14

x22
x32

x23
x33

Y2

Y3

x24
x34

Y4

Y1

en

Y4
Y3
Y2

57

Matriz de datos

Vectordeunos:
Propiedades

1
nunos
nx1
1

yformaelmismongulocontodos
1 n
losejes.
eselvectorunitarioqueformaelmismo
1/ n
nguloentodaslasdirecciones.

58

Matriz de datos
Proyeccindeunvectorsobreelvector
n

pr1 ( yi )

yi ,1
1,1

x
j 1

ij

1:

xi

1 xi 1
x
i

yi

xi 1
59

Matriz de datos
Vectordedesviacionesalamedia:

x1i xi x1i
1

di
xi
x x x
1
ni i ni

60

Matriz de datos
Entonces:

d i ( x1i xi ) ... ( xni xi ) d i

2

nsii

d i , d j ( xki xi )( xkj x j ) nsij

k 1

cos(d i , d j )

di , d j
di d j

nsij
nsii ns jj

sij
sii s jj

rij

61

Matriz de datos
Varianzageneralizadayvarianzatotal:

X1

11 1 p

X ; E( X ) ;
X


pp
p
p
p1

62

Matriz de datos
VarianzageneralizadadeX: det()

VarianzatotaldeX: traza ( )
11

Varianzageneralizadamuestral:

S n det( S n )

Varianzatotalmuestral: traza ( S

pp

) s11 s pp
63

Matriz de datos
Interpretacingeomtrica

rea=
d1 d 2 sen ns11 ns22 1 cos 2 n s11s22 (1 r122 ) n | S n |
Varianzageneralizadaen

Volumen 2
Sn
np
64

EJEMPLOS

65

EJEMPLOS

66

EJEMPLOS

67

Matriz de datos
Combinacioneslinealesdelascomponentesde
unavariable
X1
x1
s11 s1 p
c1
b1

X ; x ; Sn ; c ; b
X
x
s s
c
b
pp
p
p
p1
p
p

ylascombinacioneslineales: c' X c1 X 1 c p X p

b' X b1 X 1 b p X p

MediamuestraldecX: c' x
VarianzamuestraldecX: c' S n c
CovarianzamuestraldecXybX: c ' S

b
68

Matriz de datos
Ejemplo

2 0 1

3 1 0
X
2 1 0

4 1 0

X1

X X2
X
3

c' X 2 X 1 3 X 2
b' X X 1 2 X 3

ALGEBRA LINEAL

69

EJEMPLOS

70

EJEMPLOS

71

EJEMPLOS

72

EJEMPLOS

73

EJEMPLOS

74

EJEMPLOS

75

EJEMPLOS

76