NDICE GENERAL
NDICE DE CUADROS .............................................................................................................i
NDICE DE GRFICAS Y FIGURAS .....................................................................................ii
RESUMEN................................................................................................................................. iv
SUMMARY ................................................................................................................................. v
1. INTRODUCCIN GENERAL .............................................................................................. 1
2. OBJETIVOS ........................................................................................................................... 2
2.1. Objetivo General ......................................................................................................................... 2
2.2. Objetivos Particulares ................................................................................................................ 2
3. METODOLOGA ................................................................................................................... 2
4. ANLISIS DE SERIES DE TIEMPO .................................................................................. 3
5. CONCLUSIONES .............................................................................................................. 196
6. BIBLIOGRAFA ................................................................................................................ 197
7. ANEXO ............................................................................................................................... 198
NDICE DE CUADROS
Cuadro1. Resumen de las caractersticas del proceso AR(1).................................................. 35
Cuadro2. Resumen de las propiedades del proceso MA(1) ..................................................... 39
Cuadro3. Resumen del ejemplo regresin con errores ARMA. ............................................ 121
Cuadro4. Valores crticos de Dicky-Fuller. ........................................................................... 124
Cuadro5. Parmetros estimados de la regresin de
X t sobre Xt-1 y
X t 1 . ..................... 125
iii
iv
Key words: series of time, time series analysis, ITSM2000, S-PLUS, R, Eviews5, forecasting.
(h ) __________ 133
______________________________________________ 137
(h ) _____________________________________ 137
y varianza
. Sea S n
X i , con S 0
0 , por definicin.
i 1
Entonces, la coleccin de variables aleatorias S0, S1, S2,... se le denomina caminata aleatoria.
Debe notarse que la definicin no supone la forma de la distribucin, sino que solo supone la
existencia de la media y la varianza de la variable aleatoria.
Ejemplo II.1.3. (Ruido Blanco). Sea {Z t } una coleccin de variables aleatorias nocorrelacionadas con media cero y varianza 2. A la coleccin Z0, Z1, Z2,..., se le conoce como
proceso de ruido blanco.
Es importante comentar que el proceso de ruido blanco no requiere que las variables
aleatorias sean independientes, ya que como es sabido, correlacin cero no implica
independencia de variables aleatorias, excepto cuando las variables aleatorias tienen
distribucin normal. Con este razonamiento, entonces, cualquier coleccin de v.a iid ~ (0, 2 )
es un proceso de ruido blanco, pero lo contrario no es necesariamente cierto.
Ejemplo II.1.4. (Serie de tiempo). Las colecciones de datos
{0,1,1,1,0,0,1,0,1,0,0,0,1,1,1}
{1,0,0,1,0,0,1,1,0,0,0,1,1,0,1},
son realizaciones (series de tiempo) del proceso binario del ejemplo II.1.1.
Grfica1. Tasa de desempleo nacional enero-1998 a febrero-2004.
4.5
1.5
2004/09
2004/04
2003/11
2003/06
2003/01
2002/08
2002/03
2001/10
2001/05
2000/12
2000/07
2000/02
1999/09
1999/04
1998/11
1998/06
1998/01
En S-PLUS se puede graficar creando un nuevo dataset y elegir alguna de las opciones
de la opcin Graph de la barra de herramientas. Para el caso de la serie del tipo de cambio, la
grfica se genera como sigue: Guardamos nuestra serie en un Dataset llamado Tcambio y la
variable como pesoxdolar. Seleccionamos la opcin Graph> 2D Plot y el tipo de grfica Y
series line. Obteniendo:
pesoxdolar
11
10
8
10
30
50
70
90
Cov( X t1 , X t 2 )
Cov( X t1 , X t 2 )
Var ( X t1 )Var ( X t 2 )
1/ 2
E ( X t ),
para t=0,1,2,...
El subndice t en la definicin anterior implica que t es una funcin de t (en este
caso, del tiempo). De aqu que a la funcin se le denomine funcin promedio.
y varianza
. Sea S n
X i , con S 0
0 , por definicin. La
i 1
E(
X j)
t .
j 1
y
(t1 , t 2 )
Cov( S t1 , S t 2 )
t1
(t1 , t1 h) Cov(
t1 h
X j,
j 1
X j)
j 1
(t1 , t1
h)
Cov( X 1
X2
... X t1 , X 1
(t1 , t1
h)
2
2
2
2
...
t1
X2
2
... X t1
2
min( t1 , t1
... X t1 h )
h) .
t1Veces
Ejemplo II.1.6. (Ruido Blanco). Sea {Z t } un proceso de Ruido Blanco. Las funciones
promedio y de auto-covarianzas del proceso {Z t } estn dadas por:
t
E (Z t )
y
(t1 , t 2 )
Cov( Z t1 , Z t 2 )
(t1 , t1
h)
Cov( Z t1 , Z t1 h )
2
(t1 , t1
h)
Cov( Z t1 , Z t1 h )
si h
0 si h
0
0
FX 1
h , X 2 h ,..., X k h
La definicin anterior nos dice que, si seleccionamos k variables aleatorias y estas las
desplazamos h unidades de tiempo, la distribucin conjunta de las variables aleatorias no
cambia. La definicin la podemos representar en la siguiente figura:
10
(t1 , t 2 )
(t1 , t1 h)
(h) la funcin de auto-covarianza no depende de t sino de
la diferencia (distancia) entre t1 y t2=t1+h.
La definicin de estacionaridad dbil asume que, para que una serie de tiempo sea
estacionaria en sentido dbil, debe de satisfacer forzosamente las dos condiciones expuestas;
de otra manera, la serie de tiempo no ser estacionaria en sentido dbil. Existen procesos que
pueden cumplir solo una de las condiciones por lo que en estos casos los procesos no sern
estacionarios (ver ejemplo II.1.7).
La relacin que existe entre estacionaridad dbil y estacionaridad estricta es sencilla,
ya que cualquier proceso que sea estrictamente estacionario tambin lo es en sentido dbil
(con momento de segundo orden finito). Esto sucede porque, al mantener la misma
distribucin en el tiempo, tambin se mantienen los mismos momentos (lo que implica que los
momentos no dependen del tiempo). Lo contrario no es necesariamente cierto; es decir, un
proceso estocstico que sea estacionario en sentido dbil, no es necesariamente estrictamente
estacionario (el nico caso donde esto se cumple es cuando el proceso es Gaussiano).
Es importante la interpretacin de la definicin ya que esta permite darnos una idea de
cmo debe lucir una serie de tiempo estacionaria. La primera condicin implica que el
promedio no debe cambiar con el tiempo, lo que quiere decir que la grfica de la serie debe
fluctuar alrededor de una constante (que se supone es el valor esperado de la serie). Por otro
lado, la segunda condicin quiere decir que a medida que avanza el tiempo, la funcin de autocovarianzas tampoco debe cambiar. Es decir, para una serie suficientemente grande tomando
como indicador, por ejemplo la (0) , debe mantenerse en un rango ms o menos constante. El
sentido comn es, muchas veces, un ingrediente importante para decidir si una serie es o no
estacionaria. Los ejemplos que se muestran en la discusin del modelo clsico ayudarn a
tener una idea ms clara de lo que significa que una serie sea estacionaria.
11
(h)
E (aX t
bYt )
aE ( X t ) bE (Yt )
, E (Yt )
12
(t , t
h)
Cov(Wt ,Wt h )
Cov(aX t
bYt , aX t
bYt h )
( h) b 2
( h)
La identidad resulta del supuesto de que las series estn no correlacionadas. Tambin,
podemos ver que la funcin de autocovarianzas de la combinacin lineal {Wt} no depende del
tiempo, sino de la distancia h. De esta forma queda demostrado que la combinacin lineal de
series estacionarias es estacionaria.
///
El ltimo concepto que se presenta en este captulo es el Error Cuadrado Medio (ECM)
de un estimador. La idea de este concepto es evaluar la precisin con la que se lleva a cabo
una estimacin, ya sea prediccin o estimacin de parmetros de un modelo.
Definicin II.1.7. (Error Cuadrado Medio).- El error cuadrado medio de un
estimador del parmetro de dimensin k. se define como
ECM ( )
E[(
)(
)]
Cabe destacar que la definicin del ECM no supone que el estimador sea insesgado
para ; Sin embargo, cuando el estimador es insesgado, el ECM se transforma en la varianza
del estimador. No es difcil demostrar que el ECM, en general, es igual a la varianza del
estimador ms el sesgo del estimador al cuadrado. Es decir,
ECM ( ) Var ( ) [ Sesg ( )] 2
E ( X t ) , un proceso
y varianza
. Sea S n
X i , con S 0
i 1
t
t
E(
X j)
t .
j 1
y
(t , t
h)
min( t , t
h) .
13
donde X
1
2
n/2
(1 / 2 )
exp ( X
(X
),
p.d.
Cada componente del vector aleatorio es una variable aleatoria; por lo tanto
es el
vector de los valores esperados de cada uno de los componentes del vector aleatorio;
Es decir,
E[ X ] {E[ X 1 ], E[ X 2 ],..., E[ X n ]}' [ 1 ,
,...,
]'
Es decir:
14
es el i-simo componente de
es el i-
[X
(1)
,X
( 2)
(1)
( 2)
dimensin m con distribucin NMV ( , ) ; y sean X y X una particin de X , tal que
(1)
es de dimensin k1 y X
11
12
21
es NMV (
( 2)
de k 2 con k1
(1)
( 2)
]' y
. Entonces, la distribucin de X
(i )
22
(i )
ii
(i )
(i )
(i )
E[( X
ii
(i )
(i )
(1)
condicional de ( X
( 2)
(1)
[X
( 2)
x 2 ) es NMV (
(1|2)
(1|2 )
(1|2 )
(1)
1
12
22
( 2)
y
(1|2 )
1
11
12
15
22
(1)
(1)
21
( 2)
11
12
21
22
( 2)
(i )
y X
,X
) donde
(x
(i )
)( X
(i )
media
m . Sean
k2
( 2)
)' ] es la matriz de
. Entonces la distribucin
Xn
varianzas
( 0)
(1)
(1)
( 0)
. Sea, PX n
X n
Xn
1
con media
y matriz de co-
a0
en funcin de X n . Encuentre:
1. Los coeficientes a0 y a1, tal que el ECM ( X n 1 ) sea mnimo.
2. La distribucin condicional de [ X n 1 | X n xn ] suponiendo que el vector tiene
distribucin normal.
Solucin1.
Aplicando la definicin del ECM, tenemos:
ECM ( X n 1 )
E[ X n
X n 1 ]2
E[ X n
(a0
a1 X n )] 2
a0
ECM ( X n 1 )
a0
E Xn
2E X n
a0
a0
(a 0
(a0
a1 X n ) =0
a1 X n ) ( 1) =0
a1 =0
(1 a1 ) a 0 =0
a1
ECM ( X n 1 )
a1
E Xn
(a 0
a1 X n ) =0
16
a1 X n ) ( X n ) =0
(a0
E [ X n 1 X n ] (a0 X n ) a1 X n X n ) =0
a1
(1)
a0
a1 (0) a1
=0
Con las dos igualdades anteriores (derivadas igual a cero) se obtiene un sistema de
ecuaciones. De la primera ecuacin se obtiene (1 a1 ) a0 . Sustituyendo esta igualdad en la
segunda ecuacin obtenemos:
2
(1)
Sustituyendo la solucin a1
(1 a1 ) a1 (0) a1
(1) a1 (0)
(1)
a1
(1) .
(0)
a0 .
(1)]
X n
[1
(1)]
(1) X n
).
(1)( X n
E Xn
(a0
a1 X n )
E Xn
E{ X 2 n
2 X n 1[
(1)( X n
)] [
E{ X 2 n
2 X n 1[
(1)( X n
)] [
(0)
(0)
2 EX n
2
2 (1) E ( X n
2 (1) (1)
(1) 2 (0)
(1)( X n
)] 2 },
(1)( X n
2
)X n
2
)] ,
(1)( X n
2
(1) E ( X n
(0)[1
(1) 2 ( X n
(1) E ( X n
(1) 2 E ( X n
) 2 ]},
(1) 2 E ( X n
)
)2 ,
(1) 2 ]
Es decir,
ECM ( X n 1 ) [1
(1) 2 ] (0).
2
En la ltima ecuacin es importante mencionar que (0)
es la varianza de la serie
2
de tiempo. El comentario se debe a que, en general,
es la varianza del proceso de ruido
blanco en el proceso de anlisis de series de tiempo.
17
)2 ,
(1|2 )
(1)( x n
X n 1 ,
y varianza
(1|2 )
(1|2)
(0)[1
(0)
(1) 2
.
(0)
(1) 2 ]
ECM ( X n 1 ).
Note que comparando las estrategias resulta que ambas llegan al mismo resultado.
As, la estrategia de prediccin sera usar resultados de la distribucin normal si se tiene (o se
supone) normalidad de los datos, de otra manera se puede aplicar el principio de mnimos
cuadrados. Otra posible interpretacin del ejercicio es que la funcin de regresin, en efecto,
produce el estimador de mnimos cuadrados.
II.3. EL MODELO CLSICO
La teora clsica de series de tiempo tiene como base el representar a una serie de
tiempo con una serie de componentes que describen su comportamiento. Lo ms comn es la
inclusin de componentes de tendencia, estacional y aleatorio. Es decir, una serie de tiempo
{ X t } se puede representar como:
Xt
mt
st
Yt
a bt
ct 2
o, en general
n
a jt j
mt
j 1
18
st
st
mt
st
Xt
st
Yt
Xt
mt
Yt
Xt
Yt
Yt
Xt
Xt
Xt
Xt
Potencias de B y
Bk X t
k
Xt
(1 B) X t
Xt
(1 B) k X t
Xt
(1 B k ) X t
Xt
Xt
Es importante destacar que diferenciar k veces una serie no es igual a tomar una
diferencia a distancia k . La razn es muy simple debido a que estaramos comparando a
(1 B) k X t contra (1 B k ) X t , las cuales son totalmente diferentes.
Ntese que las propiedades descritas sobre el operador B implican que B es un
operador lineal, es decir,
(1 a B a2 B 2
... an B n ) X t
Xt
19
a1 X t
a2 X t
... an X t n .
Xt
mt
mt
Yt
mt
Yt , donde mt
a bt .
Yt 1 ,
Xt
(a bt ) [a b(t 1)]
Yt ,
Xt
a bt
Yt
Y,
Xt
la cual sera una serie sin tendencia, ya que
grado cero como trmino de tendencia (constante).
a bt b
Xt
(a bt
Xt
a bt
ct 2
Xt
a bt
Xt
(b c) 2ct
ct
a bt
a bt
b c(t 2
b ct
Yt ,
2t 1)
2ct
Yt ,
Yt ,
Yt .
Por lo tanto,
Xt
(b c) 2ct (b c) 2c(t 1)
Xt
2c
Yt ,
Yt .
Con estos ejercicios, puede deducirse que si se tiene una serie de tiempo con un
n
componente de tendencia mt
j 0
Xt
20
Yt .
pesoxdolar
1.0
0.5
0.0
-0.5
10
30
50
70
90
min
a0 , a1 ,..., ak
a k t k ) 2
(X t
t 1
i 0
Es conocido que la solucin de mnimos cuadrados para el vector a est dada por:
(W W ) 1W X ,
donde:
1 1
W
...
X1
X2
a 0
a1
1 2
... 2
...
... , X
...
...
1 t
Xt
a k
... t
21
y a
m t
Xt
Xt
a j t j
Yt ,
j 0
y dado que se asumi a {Yt } como proceso estacionario, restando de la serie original el
componente de tendencia estimado, se obtiene una nueva serie estacionaria.
La grfica4 muestra el efecto de la eliminacin de tendencia aplicando regresin lineal
con un modelo cuadrtico. Los datos son de la serie de desempleo presentados en la grfica1.
Con esta estrategia, los parmetros del modelo ajustados toman los valores:
a0
3.5621 , a1
0.0737 y a2
0.00105
1.5
2004/09
2004/04
2003/11
2003/06
2003/01
2002/08
2002/03
2001/10
2001/05
2000/12
2000/07
2000/02
1999/09
1999/04
1998/11
1998/06
1998/01
22
13
17
21
25
29
33
37
41
45
49
53
57
61
65
69
73
77
81
-0.2
-0.4
-0.6
23
Existen casos donde por la naturaleza de la serie, los ciclos no tienen la misma
magnitud (regularmente cada vez es mayor). Cuando esto ocurre, el primer paso para volver la
serie estacionaria es transformarla con las transformaciones de Box y Cox. Esto se realiza con
la finalidad de estandarizar la variabilidad del proceso. La expresin general de estas
transformaciones est dada por:
X
para
X
ln( X ) para
mt
st
a j t j y st
Yt con mt
st d . El
j 1
Xt
d
( st
st d ) (mt
Xt
(mt
mt d )
mt d ) Yt
Yt d ,
Yt ,
24
X *t
st
st
Yt
Yt d ,
Yt ,
donde
X *t
Xt
m t
25
26
Las grficas anteriores estn hechas con Microsoft Excel. Las grficas 9 y 10 se
consiguen tomando logaritmo natural en las observaciones originales y se grafican contra el
tiempo. En ITSM-2000 el procedimiento consiste en seleccionar las opciones Transform >
Box Cox y especificar el valor cero en el cuadro de dilogo (Enter Parameter), esto
equivale a obtener los logaritmos de las observaciones. La grfica de los logaritmos de las
observaciones aparece automticamente. La grfica 10 (en ITSM-2000) se hace como en la
grfica3.
Las estrategias presentadas en el presente captulo para volver una serie estacionaria
son de gran utilidad, ya que esta etapa es el primer paso en el proceso de ajuste de un modelo
de series de tiempo a datos reales.
27
(h) debe
ai (i
4.
j )a j
i, j 1
Demostracin.
La propiedad (1) es muy sencilla de probar ya que (0) es una varianza, por lo tanto debe ser
mayor o igual a cero.
Para demostrar la propiedad dada en (2) partimos del hecho de que | ( h) | 1 , dado que es una
correlacin. Entonces:
| (h) | 1
28
Como (0) es no-negativa (por la propiedad 1), su valor absoluto es igual al valor real.
(h)
1
(0)
(h)
(0)
La propiedad (3) establece que la funcin de auto-covarianzas debe ser una funcin par, lo
cual se observa porque
(h)
Cov( X t , X t h )
Cov( X t h , X t )
Cov( X t , X t h )
( h)
a' a
ai (i
j )a j
0.
i, j 1
es la matriz de
Esta es la expresin de una funcin no-negativa definida, porque la matriz
covarianzas del vector X ( X 1 ,..., X n )' , la cual por definicin debe ser no-negativa definida.
///
Tambin existe el resultado que garantiza que cualquier funcin de valor real que sea
una funcin par y no-negativa definida es la funcin de autocovarianzas de una serie de
tiempo estacionaria. A continuacin se da el resultado sin demostracin. Para su demostracin
ver [Brockwell y Davis (1991)].
RESULTADO III.2.- Una funcin de variable real (h) definida en los enteros ( h Z ) es la
funcin de auto-covarianzas de un proceso estacionario si y solo si es una funcin par y nonegativa definida.
En consecuencia de la definicin de la funcin de auto-correlacin, (h ) , esta tiene las
mismas propiedades de (h) , adems del conocido resultado de que est acotada entre -1 y 1.
29
Xt
Zt
WN (0,
) y{
Xt
( B)
donde
Bj .
| asegura la
convergencia. Para mayor informacin sobre el tema ver [Brockwell y Davis (1991)].
El siguiente resultado da una estrategia para calcular la funcin de auto-covarianza de
un proceso { X t } definido en funcin de otro proceso estacionario {Yt } . El resultado es uno de
los ms importantes que se debe tener presente en la teora de las series de tiempo ya que
cuando el proceso {Yt } es un proceso de ruido blanco, define la estrategia de clculo de la
funcin de auto-covarianza de un proceso lineal. En las siguientes secciones, se discuten los
modelos clsicos de series de tiempo, los cuales pueden representarse como procesos lineales.
RESULTADO III.3.- Sea {Yt } un proceso estacionario con media cero y funcin de autocovarianzas
j t j
, donde
( h)
(| k
j |)
j ,k
30
( h)
k h
Demostracin.
La manera obvia de demostrar el resultado es mediante la aplicacin de la definicin de
covarianzas. Sabemos que por las propiedades del operador covarianza:
( h)
Cov( X t , X t h )
Cov(
Yt k ,
( h)
k
( h)
Cov(Yt k , Yt
y
(| k
j t h j
h j
j |)
por lo tanto
x
( h)
k
k
(| k
j |) .
Z t j . Sustituyendo en la
( h)
k, j
h , la expresin se transforma a:
( h)
k h
La primera parte del resultado dice que la convergencia absoluta de las series en filtros de la
forma
( B)
Bj
( B)
Bj
Wt
j t j
j
31
( B) Z t ,
j k
j k
NOTA1: La condicin
serie original con filtros que cumplan con esta condicin, generar una nueva serie
estacionaria.
Xt
Zt
( B) Z t
j 0
donde
( B)
Bj .
j 0
Xt
Zt
. (1)
1 . [Notacin:
) ].
Z t , donde ( B ) 1
32
B.
Xt
Zt
[ Xt
2
Xt
2
3
3
Xt
Zt
[ Xt
3
[ Xt
Xt
Zt
Zt
Zt 3 ]
Xt
Zt
Zt 2 ]
3
2
Xt
Zt 1] Zt
Zt
k 1
k
Zt
Zt
Zt
Zt
Zt
Zt
Zt
k 2
Zt
Zt
k 1
Zt
Zt
...
k 2
Zt
Xt
Zt
( B) Z t ,
Zt
Zt
), la expresin
(2)
j 0
j
donde ( B)
Bj .
j 0
Debemos notar que con las sustituciones recursivas se expres al modelo AR(1) como
j
proceso lineal donde
; y dado que debemos asegurar que la serie
j
|
j 0
j 0
estacionario si y solo si | | 1 .
)
(Xt 1
) Z t , el
NOTA2: Una expresin ms general del modelo AR(1) es ( X t
cual es un proceso AR(1) con media . En el presente texto se asumirn los procesos con
media cero al menos que se especifique lo contrario. Como veremos posteriormente, al
imponer media igual a cero en el proceso, no se pierde generalidad en el estudio de cualquier
modelo.
( h)
2
j
j h
j 0
j 0
33
j h
( h)
2j
j 0
por lo tanto,
2
( h)
Usando la expresin de
(h) est dada por:
(h) , la
h
2
(h)
1.0
ACF
0.8
0.6
0.4
0.2
0.0
0
10
h
11
34
12
13
14
15
16
17
18
19
20
1.0
ACF
0.5
0.0
-0.5
-1.0
0
10
h
11
12
13
14
15
16
17
18
19
20
Ambas grficas (12 y 13) estn hechas con S-PLUS. La primera, como ya se
mencion, corresponde a la funcin (h) 0.8 h y la segunda a (h) ( 0.8) h . Las
instrucciones para hacerlas son: Crear un dataset con dos columnas: en una el valor de h y en
la otra el valor de la ACF. Seleccionar Graph > 2D Plot y la opcin Bar Y min Base. Ms
adelante aparecen grficas de la ACF para otros modelos. La forma de hacerlas es la misma
que en este caso.
La aplicacin del resultado III.3 no es el nico mtodo para calcular la funcin de
auto-covarianzas (auto-correlacin). Existen mtodos adicionales que, dependiendo del caso a
analizar, pueden ser ms sencillos de aplicar. Un ejemplo sera para modelos auto-regresivos
AR(p), donde es ms sencillo aplicar el mtodo de Yule-Walker. Este mtodo se describe en la
generalizacin de los modelos auto-regresivos.
A continuacin se da un cuadro resumen de las propiedades fundamentales del proceso
AR(1):
Cuadro1. Resumen de las caractersticas del proceso AR(1)
AR(1)
Xt
X t 1 Zt
2 h
Funcin de Auto-covarianzas
(h)
( h)
1 2
h
Funcin de Auto-correlacin
(h)
(h)
Modelo
Condicin de Estacionaridad
| 1
35
4.0
Xt
3.5
3.0
2.5
2.0
1.7
2.2
2.7
3.2
3.7
4.2
Xt1
Claramente se observa la relacin entre datos consecutivos de la serie. Esto sugiere que
el modelo debe incluir a X t 1 como una variable independiente.
III.4. MODELOS DE PROMEDIO MVIL: MA(1)
La segunda clase de modelos de series de tiempo son los modelos de promedios
mviles (Moving Average). A diferencia de los modelos auto-regresivos, los modelos de
promedios mviles dependen de las realizaciones pasadas de los errores (proceso de ruido
blanco) tambin llamadas innovaciones. El modelo de promedio mvil ms sencillo es el
modelo MA(1). A continuacin se da su definicin.
Definicin III.4.1. (MA(1)).- Un proceso estocstico { X t } sigue un
promedio mvil de primer orden, MA(1), si tiene como expresin a:
Xt
Zt
proceso de
Zt
1.
( B) Z t , donde ( B ) 1
B.
Xt
j
j 0
36
Zt j ,
1,
( h)
2
j
j h
j 0
( h)
( h)
...)
h 1
h 1
(1
si h
( h)
si | h | 1
si | h | 1
Para que
(1)
si h
si | h | 1
1
0
si | h | 1
. Entonces, si
2
2
Resolviendo para
, encontramos que:
por lo que
es real si y solo si 1 4
1 4
2
0 . Entonces,
37
| 1 . Esta
1 4
1
4
1
|
2
Por lo tanto, la restriccin para que el modelo sea un modelo vlido debe de
satisfacer que (1) 0.5 , ya que esto garantiza que
sea un nmero real. Para saber qu
valores puede tomar , bajo esta condicin, podemos sustituir los valores en frontera de (1) .
As, se tiene que con
y con
(1)
1
2
(1) 1 / 2 ,
1/ 2
1
2
Por lo que se concluye que para que se tenga un proceso MA(1) vlido se debe cumplir
|
|
1 . Es decir, congruente con una auto-correlacin entre -1 y 1.
que
*
1/
Zt
Z t con
ACF
0.8
0.6
0.4
0.2
0.0
0
10
h
11
38
12
13
14
15
16
17
18
19
20
ACF
0.7
0.3
-0.1
-0.5
0
10
h
11
12
13
14
15
16
17
18
19
20
Con este anlisis, podemos concluir que dado que la funcin de auto-correlacin del
modelo MA(1) se trunca en h=1, una manera de identificar un modelo MA(1) es usando (h) .
Si una coleccin de datos muestra a (1) como la nica auto-correlacin diferente de cero,
entonces un modelo apropiado para los datos sera un MA(1). En la siguiente seccin
demostraremos que la caracterstica que identifica a un modelo MA(q) es que tiene q autocorrelaciones diferentes de cero. A continuacin se da un cuadro resumen de las propiedades
estudiadas del proceso MA(1):
Modelo
Funcin de Auto-covarianzas
(h)
( h)
Funcin de Auto-correlacin
(h)
(1
0
d .o. f
|h| 1
si
si
h 1
d .o. f
|h| 1
Condicin
modelo
de
Validez
del
1
2
(1)
h 1
si
1
( h)
) si
Xt
Xt
39
...
Xt
Zt ,
donde {Z t } ~ WN (0,
).
donde ( B) 1
B 2 ...
Zt ,
III.5.1. Causalidad
Supongamos el modelo definido por
Xt
con {Z t } ~ WN (0,
Xt
Xt
...
Xt
Zt ,
).
Definicin III.5.2.- [Causalidad del proceso AR(p)].- Se dice que el modelo AR(p) es
causal si las soluciones z1 , z 2 ,..., z p del polinomio (z ) 0, tienen por mdulo | z j | 1 , para
j 1,2,..., p . O tambin, si
(z j ) 1
zj
zj
...
zj
0,
} tal que
y Xt
j 0
Zt
. Es decir, se puede
j 0
Xt
Zt
j 0
40
Zt
j 0
Xt
Zt .
Una posible pregunta que surge es: con | | 1 existe solucin estacionaria del
modelo? Lo primero que podemos decir es que el modelo no es causal; sin embargo, la
respuesta a la pregunta anterior es s; slo que se debe aplicar una transformacin. Sea el
modelo:
Xt
X t 1 Zt
con | | 1 y {Z t } ~ WN (0,
).
, encontramos que
1
1
Xt Xt 1
Zt ,
Xt
*
1
Z *t .
Xt
Xt
Zt
j 1
j 0
Xt
Zt
j 0
donde {Z t } ~ WN (0,
).
41
donde {Z t } ~ WN (0,
Xt
Xt
...
Xt
Zt ,
).
Xt 1Xt
Xt 2Xt
...
Xt p Xt
Zt X t
(k )
E( X t 1 X t k )
(k 1)
(k
( X t 2 X t k ) ...
2) ...
(k
E( X t p X t k )
p) E ( Z t
j
j 0
(0)
(1)
(2) ...
k 1
(1)
(0)
(1) ...
( 2)
(1)
(0) ...
( p)
( p 1)
p
p
( p)
( p 1)
( p 2)
( p 2) ...
42
( 0)
Zt
k j
E (Z t X t k )
k 1
(1)
(2)
(1)
( p)
(1)
(2) ...
( p)
(1) ...
( p 1)
...
( p 2)
( p 1)
(0)
( p 2) ...
( p) .
5.- Sustituyendo (1) ,..., ( p) en la primera ecuacin nos queda una expresin que
solo depende de (0) . De aqu la solucin de (0) est dada por
2
( 0)
( h)
(1)
(2) ...
( p)
6.- Una vez conocidas (1) ,..., ( p) , las auto-covarianzas estn dadas por
(h) (0) para h=1,2, . . . , p.
p 1
( p 1)
( p)
( p 1) ...
(1) .
p 1
( p 1)
p 2
(p
2)
( p 1)
( p ) ...
p 3
( p 3)
(p
2)
( p 1) ...
(h 1)
( p)
( p 1) ...
p
p
(1)
(2)
p
(3)
( h)
(h 2) ...
(h
p) .
NOTA3: El proceso descrito del mtodo de Yule-Walker para calcular la funcin de autocovarianzas tambin puede ser aplicado al clculo de la funcin de auto-correlacin. En este
caso, las ecuaciones para k p 1, p 2... etctera, pueden establecerse como autocorrelaciones en vez de auto-covarianzas, sin que se afecte el resultado del proceso. Por
ejemplo, para k p 1, p 2 , las ecuaciones en funcin de auto-correlaciones seran;
43
p 1
( p 1)
p 2
(p
2)
1
1
( p)
( p 1) ...
( p 1)
( p) ...
(1)
(2)
las cuales muestran el proceso recursivo, ya que la primera ecuacin dependen de las autocorrelaciones obtenidas en el paso 4 y la segunda de la auto-correlacin anterior y anteriores.
III.5.3. El Modelo AR(2)
EL modelo AR(2) tiene por expresin
Xt
donde {Z t } ~ WN (0,
Xt
Xt
Zt ,
).
( B) X t
con ( B) 1
B .
1,
1
| 1
Demostracin.
La demostracin consiste en resolver la ecuacin del polinomio auto-regresivo garantizando
que la solucin sea de un proceso causal; es decir | z | 1 . As, la ecuacin a resolver es:
1 1z 2 z 2 0 ,
cuya solucin est dada por:
2
44
1
2
z1
z2
1.
(z1 )
2
1
1
2
2
2
2
2
4
2
( z1 )
4 2)
(z2 )
1
2
2
2
2
2
1
2
1
2
2
1,
2
45
0 y se desea que | ( z i ) 1 | 1 .
ya que
1
2
2
2
4(
1
1
2) 2
1
2
1
) 4
1
2
2
4(
(2
(4 4
4
1)
1
2
)2
2
1
0 y
Entonces, sustituyendo
2
2
2
(
|
por lo tanto
4(1
1
2
1,
1
1
en la primera desigualdad,
1
0,
ya que
2)
0
2| 0
46
0,
y
2
Entonces sustituyendo
1
2.
en la primera desigualdad,
(1
)2
(1
)2
0.
(1
(1
1,
)
1.
0,
ya que
2
1 2
1| 0
(1
)2 ,
cuando
Con este anlisis podemos concluir que cuando las soluciones son reales, la regin definida
por 2 1 2 , 1 1 1 y 21 4 2 0 es la que garantiza un modelo AR(2) causal.
En la figura1 se muestran las grficas de esta regin la cual corresponde a la que est por
arriba de la parbola. La regin por debajo de la parbola corresponde al caso complejo el cual
se da a continuacin.
Caso Complejo
Para este caso, sabemos que por ser races complejas tenemos que:
2
0 y
z1
z2 ,
y por lo tanto
z1 1
z2 1
Este razonamiento, sugiere que solo tomando una raz se cumple la condicin de mdulo
menor a 1 para ambas races simultneamente. Tomando z1 1 , encontramos que:
z1 1
2
1
2
1
4 2)
4
2
1.
47
///
Figura2. Regin de estacionaridad del modelo AR(2).
Caso Real
Caso Complejo
Para continuar con el estudio del modelo AR(2), procederemos a calcular su funcin de
auto-covarianzas (auto-correlaciones) usando el mtodo de Yule-Walker. La razn de usar este
mtodo es debido a que es ms sencillo que aplicar el Resultado III.3, ya que la expresin del
modelo como proceso lineal no es muy sencilla de encontrar. Sea el modelo definido por:
Xt
donde {Z t } ~ WN (0,
Xt
Xt
Zt ,
).
(1)
(2)
k 1
k 2
(1)
1
1
(2)
(1)
(1)
(0)
(1)
y
2
(2)
1
2
(0)
(1)
(2)
48
1,2.
k
k
(3)
(4)
3
4
(2)
(3)
(h 1)
(1)
(2)
2
2
(h)
(h 2) .
0.8 ,
0.5
0.8 ,
1.0
0.5
1.0
0.8
ACF
ACF
0.5
0.6
0.0
0.4
-0.5
0.2
0
0.8 ,
5
h
10
0.5
5
h
0.8 ,
1.0
10
0.5
1.0
0.5
ACF
ACF
0.5
0.0
0.0
-0.5
-0.5
5
h
10
5
h
10
49
donde {Z t } ~ WN (0,
Zt
Zt
...
Zt
Zt
Xt
donde
( B) 1
B 2 ...
Bp . A
mvil.
Debe notarse que por definicin, el modelo MA(q) es un proceso lineal, por lo que la
estimacin de su funcin de auto-covarianzas (o auto-correlaciones), puede hacerse aplicando
el resultado III.1 directamente. Supondremos que el proceso es estacionario y en su momento
estudiaremos las condiciones de estacionaridad del modelo.
Xt
Zt
j 0
( h)
j h
j 0
(0)
(1
j 0
50
...
(1)
2
j
j 1
1 2
...
2 3
q 1 q
q 2
j 0
2
(2)
2
j
j 2
1 3
q 1
1 q
...
j 0
(q 1)
2
j
j q 1
j 0
(q)
2
j
j q
0 para h
q.
j 0
(h)
Y, finalmente
1 2
2
(1
(
(2)
...
2 3
2
1 3
(1
(1
...
...
...
2
2
q 1 q
2
q 2
2
(q 1)
(h)
q 1
1 q
2
)
2
...
(q)
(1
0
para
...
q.
III.6.1. Invertibilidad
De la misma forma que la causalidad de un modelo ARMA(p,q), en la que expresamos
a { X t } en trminos de {Z t } , podemos expresar a {Z t } en trminos de { X t } . Esta expresin se
conoce como invertibilidad.
Definicin III.6.2. [Invertibilidad de un modelo ARMA(p,q)].- Un proceso { X t }
ARMA(p,q) es invertible si existen constantes { j } tales que
Zt
Xt
j 0
para todo t.
j 0
( z) 1
zq
0 para todo z
51
y:
j k
definiendo
para j=0,1,
k 1
1;
0 para j > p y
0 para j<0.
con {Z t } ~ WN (0,
Zt
Zt
Zt
).
Zt
Xt
j 0
donde
|
j 0
1
1
1
| 2 | 1.
2
52
1 2
2
( h)
(1
si
h 1
si
si
Dependiendo de los valores de los parmetros 1 y 2 , la grfica de la funcin de autocorrelacin puede adquirir diferentes formas. Las siguientes figuras muestran la variabilidad
de la funcin de auto-correlacin para un modelo MA(2), para diferentes valores de los
parmetros.
Grfica18. Algunas formas de la ACF de un modelo MA(2).
0.8 ,
0.5
0.8 ,
0.5
1.1
1.0
0.8
0.6
ACF
ACF
0.7
0.3
0.4
-0.1
0.2
0.0
-0.5
0
0.8 ,
5
h
10
0.5
1.1
1.1
0.7
0.7
0.3
5
h
0.8 ,
ACF
ACF
10
0.5
0.3
-0.1
-0.1
-0.5
-0.5
0
5
h
10
5
h
10
Las grficas muestran las formas tpicas de la funcin de auto-correlacin para los
casos donde los parmetros toman valores positivos y negativos. Tambin podemos ver que la
grfica se trunca en el valor de q, en este caso, igual a 2.
53
donde {Z t } ~ WN (0,
Xt
...
Xt
Zt
Zt
...
Zt
).
tales que
j
j 0
Xt
Zt
para todo t.
j 0
54
donde {Z t } ~ WN (0,
),
1y
Xt
Zt
Zt
1.
B) X t
(1
B) Z t
Para encontrar la funcin de autocovarianzas del proceso ARMA(1,1) haremos uso del
resultado sobre procesos lineales (resultado III.3) del captulo anterior. Para ello debemos
encontrar los trminos
de la ecuacin: X t
Zt
j 0
Xt
Xt
[ Xt
2
Xt
Zt
Zt
Zt 2 ] Zt
Zt
Zt
Zt
Zt
Zt
Zt
Zt
Xt
Zt
j 1
con
j 1
( h)
2
k
k
Para h=0,
2
(0)
(12
)2
) [1
)2[
1
)2
(
2
1
2
)2
...]
55
...)
k h
, tenemos:
{(
) [
)2
)
2
)2
) 2 [1
(
(
1
)2
...)
...]
]}
En general,
h 1
(h)
(1)
h 1
(1)
(0)
( h)
h 1
(1)
Var ( X n )
E( X n
)2
1
n
1
j
| j|
n
56
( j)
0,
si
(n)
y funcin de
0,
si
( h)
| ( h) |
donde
Xn
1
n
Xt
t 1
Demostracin.
La demostracin del resultado es, primeramente, una aplicacin de la varianza de una suma de
variables aleatorias. Como es sabido, la varianza de una suma de variables aleatorias es la
suma de las covarianzas:
n
1
Var ( X n )
Cov
(
Xi)
n2
i 1
1 n n
Var ( X n )
[
Cov(X i , X j )]
n2 i 1 j 1
1 n n 1
Var ( X n )
[
Cov(X i , X j )]
n i1 j1n
El detalle importante a tomar en cuenta en este caso, es que se refiere a un proceso
estacionario, lo que implica que las variables son, en general, correlacionadas. Para facilitar el
proceso podemos definir una matriz de covarianzas. Es decir,
X1
X2
.
Xn
X1
( 0)
( 1)
.
( (n 1))
X2
(1)
( 0)
.
( (n 2))
Xn
(n 1)
( n 2)
( 0)
Sumando todos los componentes de la matriz podemos notar que la suma va desde
h
(n 1)
n 1 hasta h (n 1) . Conforme se va avanzando en los valores de h , el
nmero de auto-covarianzas aumenta en uno hasta llegar a h 0 y despus disminuye en 1
hasta que llega a (n 1) . Bajo este comentario y considerando la divisin entre n de la suma
de covarianzas, la suma queda como:
Var ( X n )
1
[
n h
0
n
( n h)
( h)
n
1
n 1
h
h
( h )] .
1 n
Var ( X n )
1 ( n 1)
|h|
[
1
n h n1
n
57
(h)].
( h)
1n h
(X t
nt1
X n )( X t
Xn)
( h)
Xt
Zt
con
{Z t } ~ IID (0,
donde
E (Z t )
Entonces
para
h {1,2,...}
el
vector
W
) , donde el (i, j ) - simo
n
{ (k
i)
(k
i ) 2 (i ) (k )}{ (k
j)
(k
j ) 2 ( j ) (k )}
k 1
Demostracin.
La demostracin se puede consultar en el captulo VII de [Brockwell y Davis (1991)].
///
58
Xt
Z t con {Z t } ~ WN (0,
) y
1.
Sabemos, del captulo anterior, que
tenemos que:
(h)
i
2i
wii
)2
k 1
2k
i 2
k i 1
2i
(1 -
)(1
)(1
2i
2i
Ahora, si queremos establecer bandas de confianza para (h), basta aplicar la siguiente
ecuacin:
w
(h) 1.96 ii
n
donde wii est dado por la expresin anterior.
IV.4. PREDICCIN EN PROCESOS ESTACIONARIOS (El mejor Predictor Lineal)
El problema es predecir los valores de X n h , h>0, de una serie estacionaria con media
conocida y funcin de autocovarianzas (h) , en trminos de los valores {Xn,, X1}.
La idea central de la prediccin radica en dos puntos fundamentales:
La forma del predictor es lineal
El criterio bsico para definir el mejor predictor es el error cuadrado medio, ECM.
El mejor predictor lineal lo denotaremos como Pn X n h , y tendr la forma:
Pn X n
a0
a1 X n
a2 X n
... an X 1
E[ X n
a0
a1 X n
a2 X n
... a n X 1 ] 2
Nuestro objetivo ser encontrar los valores de {a0, a1, a2,,an} tales que ECM(PnXn+h)
sea mnimo. Por otro lado, tenemos que el ECM es una funcin cuadrtica de a0, a1, a2,,an,
por tanto tendr al menos un valor de {a0, a1, a2,,an} que la minimiza y que satisface la
ecuacin:
ECM ( Pn X n h )
aj
59
0, j
0,1,..., n.
2 E[ X n
- a0
a0
a1
a1 X n
a2 X n
an
a2
an X 1 ]
a0
ai
i 1
ECM ( Pn X n h )
a1
2 E[( X n
ECM ( Pn X n h )
a2
a2 X n
an X 1 ) X n ]
a1 (0) a 2 ( 1) a n ( n 1)
a0
2 E[( X n
a0
a1 X n
a2 X n
an X 1 ) X n 1 ]
a1 (1) a 2 (0) a n ( n 2)
(h 1) - a0
(h 1)
a1 X n
a1 (0) a 2 ( 1) a n ( n 1)
( h) - a 0
( h)
a0
a1 (1) a 2 (0) a n ( n 2)
a0
ECM ( Pn X n h )
an
2 E[( X n
a0
(h n 1) - a0
(h n 1)
a0
a1 X n
a2 X n
an X 1 ) X 1 ]
a1 (n 1) a 2 (n 2) a n (0)
a1 (n 1) a 2 (n 2) a n (0)
Tales derivadas igualadas con cero dan origen al sistema de ecuaciones siguiente:
n
a0
ai
i 1
an
donde :
n
[ (i
an
j )]in, j
1
n
60
'
a0
an X n
n
1-
ai
1
n
)' X n
i 1
n
ai
ai X n
i 1
1 i
i 1
ai ( X n
1 i
i 1
Es decir,
Pn X n
ai ( X n
1 i
E[ X n
Pn X n h ] 2
E[ X n
ai ( X n
))] 2
1 i
i 1
n
E[ X n h ]
2E
Xn
ai [( X n
)X n h ]
1 i
ai ( X n
i 1
(0)
-2
-2
ai (h i 1) E
i 1
(0)
-2
ai (h i 1)
i 1
ai ( X n
1 i
ai (i
Pn X n
ai E ( X n
1 i
) E
ai ( X n
1 i
i 1
j )a j
2
h
'
(0) a n
1:
1. E[ X n 1 Pn X n 1 ] 0
2. E[( X n 1 Pn X n 1 ) X j ]
3. Pn X n
4. P0 X n
Xn
0
61
i, j 1
E Xn
n
1 i
ai (h i 1)
i 1
donde
i 1
i 1
(0) - 2
ai ( X n
-2
i 1
n
2
1 i
i 1
n
2
{Z t } ~ WN (0,
Xt
Z t con
Solucin.
Dado que el proceso es un AR(1), del captulo anterior tenemos que :
2
( h)
Por otro lado, de acuerdo al resultado anterior, tenemos por resolver el sistema
n a n . Explcitamente:
1
2
1
2
n 1
a1
n 2
a2
n 1
n 2
an
2
2
(X n
Xn
Para obtener el ECM, aplicamos el resultado del mejor predictor lineal. Obteniendo:
2
ECM ( Pn X n 1 )
(0) a n'
(0)
2
2
(1)
h
h
Xn
2
ECM ( Pn X n h )
62
(1
1
2h
2
, momentos de
,...,
)'
Cov(Wn
1 i
, Wn
1 j
) i, j
Entonces, el mejor predictor lineal de Y en trminos de {1,Wn ,..., W1 } est dado por:
P(Y | W )
a' (W
a.
P(Y | W )) 2
Var (Y ) a '
3.E [U
4.P
1
n
5.P
Cov(U ,W )
P(U | W )
P(V | W )
n
iWi
|W
i 1
Wi
i 1
X2 .
63
Xt
Z t con
( X 3 , X 1 )' , y a partir de
por:
j )] i , j
1, 3
(0)
(2)
( 2)
(0)
2
2
a'
X1
X3
(X1
X3)
E[( X 2
P ( X 2 | W )) 2 ]
( 0) a '
2
2
2
1
2
2
1 2
Como podemos ver, el procedimiento es el mismo que se sigue cuando se predicen
valores futuros en funcin de observaciones pasadas. Sin embargo, se debe tener cuidado al
momento de especificar el vector y matriz de autocovarianzas involucrados en el sistema de
ecuaciones.
64
n1
Xn
n2
Xn
...
nn
X1
Xn
'
n
E[ X n
Pn X n 1 ]2
(0)
donde:
( (1), (2),..., (n))'
n
n
n1
,...,
nn
)'
es decir,
1
n
( n)
n 1, j
(n
j)
1
n 1
.............(iv.1)
j 1
n1
n -1,1
n,n -1
n -1,n -1
nn
n -1,n -1
.............(iv.2)
n -1,1
con
n
n 1
[1
2
nn
donde
11
(1)
y
(0)
(0)
Demostracin.
La igualdad 11
, donde Rn es la
(1)/ (0) garantiza que, para n=1, se cumple: Rn n
n
matriz de autocorrelaciones, n ( n1 , n 2 ,..., nn )' , n ( (1), (2),..., (n))' .
La prueba consiste en probar que n , definido como en el algoritmo de D-L (recursivamente),
satisface la ecuacin Rn n
para toda n. La prueba se lleva a cabo por el mtodo de
n
65
: [ (k ), (k 1),..., (1)]'
(r )
k
: [
kk
k ,k 1
,...,
k1
]'
k 1,1
Rk
(r )
k
Rk
1 k 1
(r )
k
'
(r )
k
(r )
k
Rk
k 1, 2
'
k 1, k 1 kk
k2
k 1, k 1 k , k 1
kk
k 1, k 1 k 1
k 1, k 1
(r )
k
Rk
(r )
k
'
k 1, k 1
k 1, k 1
(r )
k
k 1, k 1
Rk
Rk
(r )
k
Rk
1 k 1
(r )
k
'
(r )
k
'
, obtenemos:
(r )
k 1, k 1 k
(r )
k
k 1, k 1
'
k 1, k 1
(r )
k
k 1, k 1
k
1 k 1
(r )
k
k 1, k 1
'
(r )
k 1, k 1 k
(r )
k 1, k 1
k
k
(r )
k
'
(r )
k
k 1
(k 1)
k 1, k 1
(0)
'
(0)
n 1
'
n 1
nn
(r )
n 1
'
nn
n 1
(0)
'
. Ahora,
(n)
Aplicando, nuevamente, la ecuacin del ECM del mejor predictor lineal y agrupando trminos,
obtenemos:
n
[ (0)
n 1
'
n 1
nn
(r )
n 1
'
n 1
nn
(n)
n 1
nn
[ (n)
n 1
2
nn
[ (0)
(r )
n 1
'
n 1
n 1
2
nn
n 1
66
n 1
[1
2
nn
(r )
n 1
'
n 1
donde
h
[ (i
hh
hh
j )]ih, j
1
h
2
1
2 ( k 1)
1
(1
Note que, el signo de la PACF depende del exponente, k, y del valor del coeficiente, 1.
Veamos algunas consecuencias:
Si
Si
Ejemplo IV.4.3. Consideremos el proceso AR(2) y apliquemos el algoritmo de DurbinLevinson para encontrar el mejor predictor.
67
t1
Xt
...
tt
X1
1,
X 2
11
[ (1)]
0 [1
11
1
X1
1
0
2
11
(1) / (0)
(1)
2
(0)[1
(1) ]
2,
X 3
21
X2
22
[ (2)
22
21
11
(1) 2 ]]
22 11
( 2)
(1) (1)
(0)[1
(1) 2 ]
2
22
[1
1
1
(1) 1
2
(1)]
11
[ ( 2)
X1
3,
X 4
31
33
[ (3)
[
X3
21
32
21
(2)
X2
33
( 2)
22
22
(1)
X1
(1)]
21
1
2
( 2)
22
(1)]
1
2
El resultado resulta de que para el proceso AR(2) y con t=3, se tiene la igualdad
(3) 1 (2) 2 (1) .
32
22
33 21
22
31
21
33 22
21
n2
[1
2
22
En
el
n1
]
mtodo
1
de
D-L,
se
cumple
68
nj
3.
cuando n
Es
decir,
t1
Xt
t2
X t 1.
X3
31 X 3
31
32
X2
33
X1
32
X2
dado que
33
Note que antes de predecir X4, se debe predecir X3, pues X4 depende de ella.
Box y Jenkins desarrollan un mtodo recursivo para el clculo de la PACF usando las
ecuaciones de Yule-Walker. Este mtodo fue propuesto por [Durbin (1960)]. Para mostrar
este mtodo, consideremos las ecuaciones de Yule-Walker para un proceso AR(2) y un AR(3).
AR(2)
(2)
(1)
21
22
(1)
21
22
AR(3)
(3)
31
( 2)
32
31
(1)
32
( 2)
(1)
31
32
(1)
(1)
(1)
21
21
(1)
(1)
(1)
22
22
(1)
(1)
(1)
1
31
32
(1)
31
31
32
33
(1)
1
31
(2)
31
(2)
31
(1)
(1)
33
(1)
(1)
32
(1)
21
32
32
(2)
(1)
(1)
(1)
33
(2)
(2)
(1)
(1)
33
(1)
(1)
22
33
22
21
31
21
33 22
32
22
33 21
(1)
( 2)
33
32
(2)
(1)
33
33
(1)
(2)
69
(1)
(2)
33
33
(1)
( 2)
33
31
(3) [
33
(3)
33
(2)
[1
22
21
21
(2)
(1)
32
22 33
(2)
21
33
22 33
(1)]
33
(3)
33
] (2) [
22
(2)
22
(3)
(3)
1
33 21
(1)
31
(2)
32
(1)
(1)
33 21
(1)
22
(2)
(2)
21
22
, tenemos:
] (1)
(2)
21
33
(1)
(1)
22
21
kk
k 1
(k )
k 1, j
(k
k 1, j
( j)
j)
j 1
kk
k 1
1
j 1
Como mencionamos antes, este procedimiento fue desarrollado por [Durbin (1960)].
IV.4.3. Algoritmo de Innovaciones
El algoritmo de innovaciones se caracteriza por ser un algoritmo recursivo, al igual que
el algoritmo de Durbin- Levinson.
Este algoritmo es aplicable a todos los procesos con segundo momento finito, sin
importar si el proceso es estacionario o no.
Sea { X t } un proceso con media cero y segundo momento finito, E ( X t ) 2
defnase:
E[ X i X j ]
X n
n
(i, j )
0,
si n 1
Pn 1 X n , si n
E[ X n
2,3,...
Pn X n 1 ] 2
Xn
70
X n
u1
X1
u2
X2
u3
X3
X 1 X 1 0 X 1
X 2 X 2 (a1 X 1 )
X 3 X 3 (a1 X 1 a 2 X 2 )
Xn
X n
un
Xn
(a1 X 1
a2 X 2
... a n 1 X n 1 )
Matricialmente, tenemos:
Un
An X n
exp lcitament e
u1
u2
a1
u3
a1
0 X1
X2
a2
X3
a1
un
a3 1
a2
Xn
Como se puede ver, la matriz An es no singular, por tanto existe su inversa. Sea Cn la
inversa de An:
1
11
Cn
22
n 1, n 1
21
n 1, n 3
n 1, n 2
De esta forma,
Xn
X n
C nU n
71
en
un
paso
est
dado
por:
Un
Xn
X n
Xn Un
C nU n U n
(C n - I)U n
n
Un
donde
0
11
22
21
n 1, n 3
Cn
n 1, n 1
n 1, n 2
Tal expresin nos da una representacin del mejor predictor lineal de Xn en funcin de
las Innovaciones.
Si observamos el proceso de Innovaciones, podemos ver que estas son una estimacin
del proceso de Ruido Blanco {Zt}. Por lo tanto, las Innovaciones deben satisfacer las
condiciones de tal proceso. Es decir, tienen media cero y son no correlacionadas. Esta
caracterstica se toma como una ventaja del Algoritmo de Innovaciones sobre el de DurbinLevinson.
Por otro lado, podemos usar la ltima expresin de X n y deducir que:
X n
nn 1
...
n ,n 1 2
n1 n
n
n ,n 1
ju j
j 1
nj
un
1 j
j 1
n
nj
(X n
1 j
X n
1 j
j 1
72
k 1
1
n,n k
(n 1, k 1)
k ,k j
n ,n j
, 0
n,
j 0
y
n 1
E[ X n
Pn X n 1 ] 2
2
n ,n j
(n 1, n 1)
j 0
donde
(i,j )
E[ X i X j ]
Zt
Z t ,donde {Z t } ~ WN(0,
Solucin.
Antes, recordemos que para el proceso MA(1) se tiene que:
2
(1
( h)
si h
si | h | 1
( h)
si | h | 1
(1
0
si h
2
si | h | 1
si | h | 1
Entonces, si
n 1,
1
0,
1
11
(2,1)
1
1
(.)(.)
(2,1)
ya que
j 0
1
(1)
(1) / (0)
(1)
0
1
2
1,1 j
(2,2)
(1
2
11
(0)(1
j 0
2
(1
1
0
73
2
11
).
2,
0,
1
1
22
(3,1)
(.)(.)
(3,1)
j 0
1
(2)
(2) / (0)
(2)
0
0
k 1,
1
21
(3,2)
1,1 j
2, 2 j
j 0
1
(1)
1
1
11 22
(1) 0
(1)
1
1
2
2, 2 j
(3,3)
2
22
2
21 1
2
21 1
(0)
(1
1 1
j 0
2
(1
n 3,
k
0,
33
k 1,
32
0
1
2,
1
31
(4,3)
2, 2 j
3, 3 j
j 0
1
(1) (
2
1
22 33 0
21 32
(1) 0
1
2
(1)
2
2
3
2
3, 3 j
(3,3)
2
33 0
2
32 1
2
31 2
j 0
2
(1
1
2
0,
n, j
1
n 1
2
2,3,..., n
2
2
74
1
n 1
(0)
2
31 2
(1
( B) X t
Wt
Xt
( B) X t
si t
1,..., m
si t
donde
m
(i, j )
Las autocovarianzas
2
X
(i
max( p, q)
E (WiW j ) se obtienen a partir de la siguiente expresin:
j)
1 i, j
p
2
X (i
j)
(r
j)
min (i,j)
max (i,j)
(i, j )
2m
.(IV.5.1)
r 1
q
r
min (i,j)
r i j
r 0
de otro modo.
W n
nj
(Wn
1 j
W n
1 j
si 1 n
nj
(Wn
1 j
W n
1 j
si n
j 1
1
j 1
nj
E (Wn
W n 1 ) 2 se
W t
X t
X t
Xt
...
Xt
si t
1,...,m
si t
Wn
1
1
Xn
(Wn 1 - W n 1 )
(X n
X n 1 )
n
1
(Wn
nj
W n
1 j
1 j
nj
j 1
W n
(X n
X n
1 j
1 j
j 1
n
nj
(X n
X n
1 j
1 j
j 1
X n
n
1
nj
(X n
X n
1 j
1 j
j 1
Si n m
W n 1
X n
q
nj
(Wn
1 j
Xn
...
W n
1 j
Xn
1 p
j 1
q
1
nj
(X n
X n
1 j
1 j
j 1
X n
q
1
Xn
...
Xn
1 p
nj
(X n
1 j
X n
1 j
nj
(X n
1 j
X n
1 j
j 1
X n
q
1
1X n
...
pXn
1 p
j 1
En resumen:
n
nj
X n
(X n
1 j
X n
1 j
si 1 n
j 1
1
q
1X n
...
pXn
1 p
nj
(X n
1 j
X n
1 j
si n
j 1
E Xn
X n
2
1
E Wn
W n
2
1
76
rn , m
max (p,q)
nj
E (Wn
W n 1 ) 2 se
Pn X n
(X n
X n
h j
si 1 h
n h 1
j P( X n
i)
n h 1, j
i 1
h j
m-n
j h
(X n
X n
h j
h j
si h
m-n
j h
max (p,q)
Pn X n
q
i P( X n
i)
n h 1, j
i 1
(X n
h j
X n
h j
j h
Xn
Zn
h j
y Zn
Xn
j 0
Xn
h j
Xn
j 1
Zn
Xn
h j
j 1
~X
P
n n
j h
~ (Z )
P
n
n h
~X
P
n
n
h j
j 1
~X
P
n
n
h j
j 1
E( X n
~ X )2
P
n
n h
Zn
h j
j 0
h j
h 1
Zn
j h
Zn
h j
j 0
77
~ 2 ( h)
2
j
j 0
0.4
( 0. 4
1
0
z 0 .4
1
z2
) z ( 0.4
z2
0.4
0.4(1)
0.4
0.4
- 0.4(1.4)
0 .4
)z 2
z3
0 .4
... 1 z 0.4 z 2
z3
... 1 z 0.4 z 2
1 .4
0.4
0.96
(k )
(k 1)
(k
p)
k j
para 0
max( p, q)
j 0
2
0
(0)
(1)
(1)(
...)
(0)
(1)(
...)
1
(1)
(k 1)
(k
p)
(0)
para k
4.0571 y
max( p, q )
As,
(2) 0.4 (1)
0 .4
( 2)
(3)
0.4(3.1828) 0.4
0.4(1.6731)
(2) 1.6731
( 2)
78
0.6692
(1)
3.1828 . El
2.784
1, 2 ,...
como sigue:
i 1, j 1
(1,1)
i 1, j
(1,2)
(1 2)
i 1, j 3
i 2, j 3
(1,3)
(2,3)
(2) 0.4 (1 2)
(1) 0.4 (1 1)
3, j
(3,3) 1 1 0.4 2
3, j
3, j
(3,5)
(1 1)
(0)
0.4
(2,2) 4.0571
(1)
(2,1) 3.1828
(2) 0.4 (1)
(3,1)
(1) 0.4 (0) 1.56
2.16
(i, i) , i
(i, j ) , con i
(i, j ) , con i
(2,4) 0.4
2,i
1, i
2, j
2, j
En resumen,
4.0571 3.1828
0 .4
0 .4
0
0 .4
0 .4
1.56
2.16
1 .4
0 .4
1 .4
2.16 1.4
0 .4
1 .4
usando el algoritmo de
n, n k
(n 1, k 1)
k ,k j
n ,n j
, 0
n,
j 0
con
n 1
n
E[ X n
Pn X n 1 ] 2
2
n ,n j
(n 1, n 1)
j 0
n 1, k
0
1
11
1
n
(2,1)
(2,2)
0,1
1
2
11 0
2, k
22
21
2
79
0
1
(3,3)
(3,1)
(3,2)
2
22
11 22
0
2
21 1
0.7987
1.1252
0,1,2
1
33
1
1
31
(4,2)
11 33
(4,3)
22 33
2
33
(4,4)
44
2
31 2
43
1
1
0.9603
21 32 1
1y
11 44
(5,3)
22
44
33 44
41
(5,4)
(5,5)
2
44
(5,2)
42
1.0198
(5,1) 0 / 4.0571 0
0
1
2
32 1
0,1,2,3
1
(4,1) 0 / 4.0571 0
32
n 4, k
nj
2
43 1
0
21 43 1
32
2
42
43 1
2
41 3
0.3555
31 42
0.9961
1.006
dadas por:
n
nj
X n
(X n
X n
1 j
1 j
si 1 n
j 1
1
0.4 X n
nj
(X n
X n
1 j
1 j
si n
j 1
Supongamos 8 observaciones simuladas del proceso: 0.42, 0.63, 0.52, 0.82, 0.7, 1.12,
1.14, 1.09. Las predicciones quedan como:
n 1,
X 1
X 2
2,
X 3
0.4 X 2
0.7845(0.42) 0.3295
X 2 ) 22 ( X 1 X 1 )
21 ( X 2
7,
X 8
0.4 X 7
71
0,
0
11
(X1
X 1 )
0.0294
X 7 )
(X 7
72
(X 6
X 6 )
0.56
Pn X n
0.4 P8 X 7
n h 1, j
(X n
h j
X n
h j
j h
Pn X n
0.4 P8 X 7
para todo h
P8 X 9
2,
P8 X 10
0.4 X 8
0.4 X 9
3,
P8 X 11
0.4 X 10
81
(X8
92
(X8
X 8 )
X 8 )
82
(X 7
0.4 X 9
X 7 )
0.4 X 8 ( X 8 X 8 ) 0.4( X 7
0.4( X 8 X 8 ) 1.23
80
X 7 )
0.87
~ 2 ( h)
2
j
j 0
De esta forma,
h 1,
~ 2 (1)
2,
~ 2 (2)
(1)(12 1.94 2 )
3,
~ 2 (3)
(1)(12 1.94 2
(1)(12 ) 1
4.7636
0.96 2 )
5.6852
81
)' y
( 1 ,...,
)' ,
los datos han sido corregidos por la media, es decir, si el modelo ajustado es:
( B) X t
( B) Z t
Es estacionaria la serie?
No
Diferenciar la serie
Si
Identificar posibles modelos
Estimacin preliminar
83
No
Xt
Z t j (5.1)
(0)
y
donde
[ (i
p
( 1,
p
j )]ip, j
2
,....,
'
)'
( 0)
' p
Note que, bajo los supuestos iniciales, en este momento el vector de incgnitas es el
vector . Ahora, si (0) 0 , entonces m es no singular para m=1,2,. De esta forma,
podemos escribir las ecuaciones muestrales de Yule-Walker:
p1 p
2
(0)[1
R p 1 p
p ' R p p ],
1
donde :
p
84
p / (0)
N( , n
1
p
En la prctica no conocemos el verdadero orden del modelo generado por los datos. De
hecho, puede suceder que el modelo AR(p) no sea apropiado. Suponiendo que el modelo
AR(p) es adecuado, resta encontrar el orden de tal modelo, es decir, el valor de p. Dos tcnicas
que se usan en esta parte del proceso de modelacin son: aplicando intervalos de confianza
para los componentes del modelo y otra, minimizando el AICC.
El programa ITSM grafica la funcin de autocorrelacin muestral junto con las bandas
de confianza usando aproximacin Normal. De esta grfica es fcil encontrar el valor de p. SPLUS tambin grafica las bandas de confianza en cuestin siguiendo Statistics> Time Series>
Autocorrelations.
Si queremos aplicar el criterio del AICC, se considera el valor:
AICC
2 ln L(
, S(
) / n) 2( p 1)n /( n
p 2)
donde L es la verosimilitud. Note que mientras ms grande sea L, ms pequeo ser el valor
del AICC, y por lo tanto el modelo es mejor. Para seleccionar p, se ajustan modelos para
diferentes valores de p* y aquella p* que minimice el AICC ser el estimador de p.
NOTA1: No todos los criterios de seleccin darn el mismo valor de p.
En resumen, tenemos que el modelo AR(p) ajustado por Yule-Walker es:
Xt
p1 X t
...
pp X t
Zt
donde :
Zt
WN (0, p ),
( p1 ,..., pp )' R p1 p
(0)[1
1
p ' R p p ]
pj 1.96n
Para probar la hiptesis H 0 :
pj
1/ 2
son:
1/ 2
jj
78
DJ
120
115
110
105
10
30
50
70
DJ
1.0
0.5
0.0
-0.5
-1.0
10
30
50
70
Las instrucciones para llevar a cabo lo anterior en S-PLUS son las siguientes:
dif.DJ<-diff(DOWJ,1,1)
guiPlot(PlotType="Y Series Lines", Columns=1, DataSet="DOWJ")
guiPlot(PlotType="Y Series Lines", Columns=1, DataSet="dif.DJ")
donde DOWJ es el nombre del Dataset con los datos del ndice de utilidad Dow Jones.
Las autocorrelaciones muestrales de la serie diferenciada, as como la grfica de estas,
las obtenemos siguiendo Statistics > Time Series> Autocorrelations en el Dataset dif.DJ,
86
Grfica21. ACF y PACF Serie del ndice de utilidad Dow Jones diferenciada a
distancia 1.
Series : dif.DJ[,"difDJ"]
0.0
-0.2
-0.2
0.0
-0.1
0.2
ACF
0.4
Partial ACF
0.1
0.2
0.6
0.3
0.8
0.4
1.0
Series : dif.DJ[,"difDJ"]
10
15
Lag
10
15
Lag
La grfica de la PACF (derecha) sugiere ajustar un modelo AR(1), puesto que las
dems autocorrelaciones son estadsticamente iguales a cero. Para obtener la estimacin
preliminar por Yule-Walker y con mnimo AICC, agregamos las instrucciones siguientes (en
S-PLUS):
yw.dif.DJ<-ar.yw(dif.DJ, aic=T)
yw.dif.DJ
0.1518409
87
0.1157
0.4219(Yt
0.1157) Z t ,
{Z t }
WN(0,0.1518)
0.4219
que
(0.2194,0.6244)
Cabe notar que el intervalo de confianza no contiene al cero, por lo que se concluye
0 con
0.05 de significancia.
u i 1 (t 1)
vi (t )
vi 1 (t )
Entonces, el estimador de
minimizando la siguiente expresin:
2
1
11
v (t )
ii i 1
ii
u i 1 (t 1)
1
2(n 1)
(B)
11
, se encuentra
[u12 (t ) v12 (t )]
t 2
con respecto a 11 . La solucin nos dar los valores de u1 (t ), v1 (t ) y 12 , que se usarn para
encontrar el estimador de 22 y los valores de u 2 (t ), v2 (t ) y 22 . Esto sucede minimizando la
nueva expresin:
n
1
2
[u 22 (t ) v 22 (t )]
2
2( n 2) t 3
El proceso de estimacin continua de la misma forma hasta obtener el estimador
(B ) 2
p
ii
(B )
pp
.
2
i
88
[u 02 (t 1) v02 (t )]
d (1)
t 2
2
d (i ) t
(B)
ii
d (i 1)
(B)2
i
1
1
[vi 1 (t ) u i 1 (t 1)]
i 1
( B)2
ii
( B)2
ii
d (i ) vi2 (i 1) u i2 (n)
d (i ) /[ 2(n i )]
lake
11
5
10
30
50
70
90
Grfica23. ACF y PACF de la serie nivel del lago Hurn aos 1875-1972.
Series : Lake$lake
-0.2
-0.2
0.0
0.0
0.2
ACF
0.4
Partial ACF
0.2
0.4
0.6
0.6
0.8
0.8
1.0
Series : Lake$lake
10
Lag
15
89
10
Lag
15
La opcin aic=T asegura que se obtendr el modelo con mnimo AICC. Los resultados
son:
$order:
[1] 2
$ar:
[,1]
[1,] 1.0450438
[2,] -0.2457325
$var.pred:
[,1]
[1,] 0.4788279
9.0041 1.0450(Yt
9.0041) 0.2457(Yt
9.0041) Z t ,
{Z t }
WN(0,0.4788)
n, n k
90
1y
n ( m1
, m2
,..., mk
NMV (0, A)
aij
i r
r 1
j r
Este resultado nos permite construir intervalos de confianza para los coeficientes y
decidir cuales de ellos son estadsticamente diferentes de cero y as decidir el orden q.
3. Al igual que para los procesos AR(p), una aproximacin ms sistemtica para
seleccionar el orden de los modelos MA(q) es encontrar el valor de q y
q ( m1 , m2 ,..., mq )' que minimice el valor AICC, dado por:
AICC
2 ln L(
, S(
) / n) 2(q 1)n /( n q 2)
Zt
m1 Z t
...
mm Z t
con {Z t } WN ( m )
mj
al 95% de
mj 1.96n
j 1
1/ 2
1/ 2
2
mi
i 0
Hasta ahora, en el desarrollo del Algoritmo de Innovaciones hemos supuesto que p=0 y
q>0. Pero el Algoritmo se puede llevar a casos ms generales, es decir, cuando p>0 y q>0.
91
Xt
Zt
j 0
p
j
j=0,1,
j k
k 1
Con
1y
0 para j > q.
m1 , m 2 ,..., m, p q , ya que el modelo se supone causal. As, sustituyendo las mj por los
obtenemos el sistema de ecuaciones:
m1
m 2
1 m1
mq
1 m ,q 1
m ,q
m ,q
1 m,q
1 m,q p 1
m ,q
m ,q
1 p
m ,q
( 1 , 2 ,..., p )' . Es
decir, resolvemos:
m, q
m, q
m, q
m, q
m, q
m, q
1
m, q
p 1
m, q
1 p
m, q
m, q
2 p
m, q
m, q
p 2
mj
)' mediante:
min( j , p )
k m, j
j=1,2,,q
k 1
92
1
nrt 1
(X t
X t ) 2
t 1
Yt
9.0041 .
93
m1 X t
Xt
mm X t
, t=m+1,,n
el vector de parmetros
y encontrar
la cantidad
(mnimos cuadrados):
n
S( )
Xt
Xt
Xt
Z t
Z t
t m q 1
donde X n
(X m
1 q
(Z ' Z ) 1 Z ' X n
(X m
Xm
Xm
q 1
q
q 1
Xn
,...., X n ) '
Xm
Xm
q 1
q
Xn
Xm
q 1 p
Xm
q 2 p
Xn
Z m q
Z m q 1
Z m q 1 Z m
Z m q Z m
Z n
Z n
1
2
Z n
HR
S( )
n m q
94
si t
p
j X t
Xt
j Z~t j , si t
j 1
max (p,q)
max (p,q)
j 1
y para t=1,,n,
0,
si t
Vt
jVt
Z~ t , si t
max (p,q)
max (p,q)
j 1
0,
q
Wt
jWt
si t
max (p,q)
Z~t j , si t
max (p,q)
j 1
Minimizando la cantidad:
n
Z~t
S ( )
t max( p q ) 1
Vt
Wt
k p
j 1
k 1
*
*
~
encontraremos el vector
. Entonces el estimador mejorado de , dado por
,
tiene la misma eficiencia (asinttica) que el estimador de mxima verosimilitud, que se
muestra enseguida.
Para aplicar el mtodo de mxima verosimilitud debemos suponer una distribucin del
proceso, digamos una distribucin Normal con media cero y funcin de autocovarianzas (h) .
Si disponemos de n observaciones de esta distribucin, podemos plantear la funcin de
distribucin conjunta de X n ( X 1 ,..., X n )' como sigue:
L(
donde
(2 )
es la matriz de covarianzas,
1/ 2
n/2
n
exp{
E ( X n X n' ) .
95
1 '
Xn
2
1
n
X n}