Facultad de Ingenieras
Universidad Tecnologica de Pereira
1 / 25
Contenido
Repaso de Probabilidad
Repaso de Matrices
2 / 25
Nociones Basicas I
q Se tienen N realizaciones de X y Y .
3 / 25
Nociones Basicas II
q Sea ci el numero
de realizaciones en las que X toma el valor xi (ind.
del valor de Y).
yj
}
nij }r
j
xi
4 / 25
Nociones Basicas III
q Se define la probabilidad condicional de Y = yj dado X = xi como
nij
p(Y = yj |X = xi ) = .
ci
Ademas,
nij nij ci
p(X = xi , Y = yj ) = =
N ci N
= p(Y = yj |X = xi )p(X = xi ).
P
q Regla de la suma: p(X ) = Y p(X , Y ).
5 / 25
Nociones Basicas IV
q Teorema de Bayes:
p(X |Y )p(Y )
p(Y |X ) = .
p(X )
q Independencia:
6 / 25
Ejemplo
Suponga que X toma 9 valores y Y toma dos valores. Se tienen N = 60
realizaciones.
p(X, Y ) p(Y )
Y =2
Y =1
p(X) p(X|Y = 1)
X X
7 / 25
Densidad de probabilidad I
q de densidad de probabilidad p(x) debe cumplir que
La funcion
p(x) 0
Z
p(x)dx = 1.
q Para un intervalo
Z b
p(x (a, b)) = p(x)dx.
a
q de distribucion
La funcion de probabilidad (o distribucion
acumulativa) se define como
Z x
P(x) = p(z)dz.
Igualmente,
dP(x)
p(x) = .
dx
8 / 25
Densidad de probabilidad II
P (x)
p(x)
x x
9 / 25
Vectores aleatorios
q
Supongase un conjunto de D variables aleatorias X1 , X2 , . . . , XD .
q Estas variables aleatorias pueden representarse como un vector
columna de dimensiones D 1,
X1
X2
X= .
..
XD
10 / 25
Densidad de probabilidad conjunta
q La densidad de probabilidad conjunta para X, p(x) = p(x1 , . . . , xD ),
debe satisfacer
p(x) 0
Z
p(x)dx = 1.
q Regla de la suma:
Z
p(x) = p(x, y)dy.
q Teorema de Bayes:
p(x|y)p(y)
p(y|x) = .
p(x)
11 / 25
Valor esperado y Covarianza I
q f (x) esta definida
El valor esperado o la esperanza de una funcion
como
X Z
E[f ] = p(x)f (x), E[f ] = p(x)f (x)dx.
x
12 / 25
Valor esperado y Covarianza II
q La covarianza de dos variables aleatorias X y Y se define como
13 / 25
Valor esperado y Covarianza III
14 / 25
Gaussiana I
Distribucion
q Gaussiana en el caso univariado se define como
La distribucion
1 1
N (x|, 2 ) = exp (x ) 2
.
(2 2 )1/2 2 2
q Esperanza
Z
E[x] = xN (x|, 2 )dx = .
q Varianza
15 / 25
Gaussiana II
Distribucion
N (x|, 2 )
16 / 25
Referencias
17 / 25
Identidades basicas de matrices I
q Una matriz A tiene elementos Aij , donde i indexa las filas y j indexa las
columnas.
q N N. Si no hay
IN denota la matriz identidad de dimension
ambiguedad, se usa I.
q La matriz traspuesta A> tiene elementos (A> )ij = Aji .
q De lo anterior se puede demostrar que
(AB)1 = B1 A1 .
q se tiene
Tambien
18 / 25
Identidades basicas de matrices II
19 / 25
Trazas y determinantes
q Las trazas y los determinantes aplican a matrices cuadradas.
q La traza tr(A) de una matriz A se define como la suma de los
elementos de la diagonal principal.
q Se puede demostrar que
tr(AB) = tr(BA).
q Igualmente,
tr(ABC) = tr(CAB) = tr(BCA).
q El determinante del producto dos matrices esta dado como
|AB| = |A||B|.
q El determinante de la inversa de una matriz esta dado como
1
|A1 | = .
|A|
q N M, luego
Si A y B son matrices de tamano
|IN + AB> | = |IM + A> B|.
20 / 25
Derivadas de matrices I
21 / 25
Derivadas de matrices II
q Igualmente, la derivada de una vector a con respecto a otro vector b es
da ai
= .
db ij bj
> >
(x a) = (a x) = a.
x x
q Similarmente,
A B
(AB) = B+A .
x x x
q La derivada de la inversa de una matriz se puede obtener como
(A1 ) A 1
= A1 A .
x x
22 / 25
Derivadas de matrices III
q Si x es un elemento de A, se tiene
tr(AB) = Bji .
Aij
q compacta como
El resultado anterior se puede escribir de forma mas
tr(AB) = B> .
A
23 / 25
Derivadas de matrices IV
tr(A> B) = B
A
tr(A) = I
A
tr(ABA> ) = A(B + B> ).
A
q Igualmente se puede demostrar que
ln |A| = (A1 )> .
A
24 / 25
Referencias
Minka, Thomas P. (2000): Old and New Matrix Algebra Useful for
Statistics.
25 / 25