U1. Procesos y Series de Tiempo

Estadstica III
Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Universidad Abierta y a Distancia de Mxico
Licenciatura en Matemticas
8 cuatrimestre
Estadstica III
Informacin general de la asignatura
Clave: 050930935
Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas
Estadstica III
Unidad 1. Procesos de Segundo Orden y Series de Tiempo ndice
Unidad 1. Procesos y Series de Tiempo.................................................................................. 3 Presentacin de la unidad ........................................................................................................ 3 Propsitos de la unidad ........................................................................................................... 3 Competencia especfica ........................................................................................................... 3 1.1. Procesos de 2 orden y series de tiempo ......................................................................... 3 1.1.1. Procesos de segundo orden....................................................................................... 4 1.1.2. Procesos estacionarios .............................................................................................. 5 1.1.3. Procesos estacionarios de segundo orden ............................................................... 6 1.1.4. Ejemplos ...................................................................................................................... 8 1.1.5. Relaciones entre las formas de estacionariedad .................................................... 10 1.2. La sucesin de autocorrelacin...................................................................................... 12 1.2.2. La sucesin de autocorrelacin ............................................................................... 12 Actividad 1. Estacionariedad ................................................................................................. 14 1.3. El espacio de variables aleatorias con segundo momento finito ................................. 14 1.3.1. Variables aleatorias con 2 momento finito ............................................................. 15 1.3.2. Desigualdades importantes ...................................................................................... 16 1.3.3. Operadores de retraso .............................................................................................. 16 1.4. Procesos ARMA ....................................................................................................... 20 1.4.1. Proceso de ruido blanco ........................................................................................... 20 1.4.2. Proceso de promedios mviles ................................................................................ 20 1.4.3. Proceso autorregresivo ............................................................................................ 22 1.4.4. Proceso ARMA(p,q) ................................................................................................... 28 Actividad 2. Uso de software ................................................................................................. 31 1.5. La sucesin de autocorrelacin parcial ......................................................................... 31 1.5.1. Procesos autorregresivos y el proceso de sucesin de autocorrelacin parcial . 32 Actividad 3. Simulacin de un proceso ARMA en R............................................................. 34 Autoevaluacin ....................................................................................................................... 34 Evidencia de Aprendizaje. Ajuste de modelos ARMA .......................................................... 34 Autorreflexiones ..................................................................................................................... 35 Cierre de la unidad.................................................................................................................. 35 Referencias Bibliogrficas ..................................................................................................... 36
Estadstica III
Unidad 1. Procesos de Segundo Orden y Series de Tiempo Unidad 1. Procesos y Series de Tiempo
Presentacin de la unidad
En esta unidad se revisarn las definiciones de proceso estocstico de de segundo orden, procesos estacionarios y procesos estacionarios de segundo orden. Se ver que esta ltima clase de procesos tienen la caracterstica de tener valor esperado y sucesin de autocovarianza que no cambian con el ndice de tiempo. Teniendo en mente esta caracterstica de los momentos de primer y segundo orden para un proceso estacionario de segundo orden, se revisarn los procesos de ruido blanco, autorregresivo y de promedios mviles, estudiando las condiciones bajo las cuales estos procesos son estacionarios de segundo orden. Este anlisis nos permitir identificar las propiedades estadsticas de los modelos lineales de series de tiempo, conocidos en literatura como procesos ARMA( ).
Propsitos de la unidad
Identificars las nociones de Proceso Estocstico Estacionario y Estacionario de Segundo Orden Identificars las relaciones entre los diferentes tipos de estacionariedad. Determinars las condiciones sobre los parmetros de cada proceso, que hacen que este sea estacionario de segundo orden.
Competencia especfica
Identificar las propiedades estadsticas de los modelos de series de tiempo lineales mediante la definicin de los modelos de ruido blanco, de promedios mviles, y autorregresivo.
1.1. Procesos de 2 orden y series de tiempo

La medicin de una cantidad de inters a lo largo de varios instantes en el tiempo es un proceso que emerge en forma natural en diferentes mbitos de estudio. En economa si nos interesa la evolucin de algn ndice, se consideran mediciones de este registradas por ejemplo cada mes durante varios aos. Para este ejemplo, pueden tenerse en mente varios objetivos como saber si hay un patrn que se repite en intervalos de tiempo con la misma longitud (existencia de ciclos). Tambin puede ser de inters predecir el valor del ndice una unidad de tiempo despus de la ltima observacin. Otro ejemplo se da en estudios ecolgicos, donde se tienen
Estadstica III
mediciones anuales de la temperatura global del planeta tierra y la pregunta a contestar es si existe una tendencia de estas observaciones a tener mayor magnitud a lo largo de diferentes tiempos. La metodologa estadstica para trabajar con observaciones de algn fenmeno hechas en varios tiempos se conoce como series de tiempo. Desde un punto de vista terico, el modelo matemtico para pensar en una serie de observaciones indexadas en el tiempo es un proceso estocstico. A continuacin estudiamos brevemente este tema. En esta unidad denota al conjunto ndice de tiempo, este conjunto se toma como un modelo de la coleccin de tiempos en los que se observan mediciones con respecto a un fenmeno de intres. Para nuestros objetivos, el conjunto puede estardado por los nmeros enteros bien por el conjunto de los nmeros naturales Un proceso estocstico es una coleccin de variables aleatorias indexadas en el conjunto
Para cada
la variable aleatoria
est definida en el espacio de probabilidad , es decir, para
Una serie de tiempo es una realizacin del proceso
y las observaciones
son la serie de tiempo.
Recordemos que la informacin necesaria para describir el comportamiento de una variable aleatoria est dada en su funcin de distribucin de probabilidades .
1.1.1. Procesos de segundo orden

Los procesos estocsticos con los cuales vamos a trabajar tienen caractersticas basadas en sus momentos de primer y segundo orden. Por esta razn resultar importante revisar algunas nociones referentes variables aleatorias con segundo momento finito. Ahora, supngase que para cada variable aleatoria indexada en y su varianza Usando notacin de integral de Stieltjes existen su valor medio
(1)
Estadstica III
(2)
Para nosotros sern de inters los procesos estocsticos para los cuales la media y la varianza, definidas por estas expresiones, existen. Recordemos que una condicin equivalente a la existencia de (1) y de (2), es la existencia de segundo momento finito Lema 1.1 y existen si y slo si existe. Demostracin: Recordemos que si es finita, entonces es finita ya que
y como Por otra parte
entonces
es finita.
es decir, la varianza de finitos. Inversamente si tenemos que
es la suma de dos cantidades finitas. Entonces y son finitos entonces como es finito.
son
Decimos que el proceso
es un proceso de
orden si
1.1.2. Procesos estacionarios

Ser difcil trabajar con cualquier proceso estocstico arbitrario para tratar de describir fenmenos en la naturaleza. Por esta razn en una primera forma de restringir nuestra bsqueda, propondremos que los procesos con los que se trate tengan una caracterstica de invarianza de sus propiedades estocsticas en el tiempo. Esta forma de invarianza se conoce como estacionariedad y bsicamente se tiene que los procesos estacionarios son aquellos para los cuales las distribuciones de probabilidades asociadas a cada variable dentro del proceso no cambian con el indice de tiempo. Sea un proceso estocstico y para cada , tomemos distribuciones de probabilidad conjuntas del vector aleatorio . Las estn dadas por (3)
Estadstica III
Estas distribuciones se llaman distribuciones de dimensin finita del proceso .
Definicin 1. [Proceso estacionario] Un proceso se llama estacionario si para todo , para cualesquiera elementos de y para todo tal que , la funcin de distribucin conjunta del vector es igual a la distribucin conjunta del vector
En otras palabras, las propiedades estocsticas de un proceso estacionario no cambian al pasar el tiempo. Para comprender mejor esta definicin, consideremos y Entonces si y el proceso es estacionario, la distribucin de las variables y es la misma, pero tambien la distribucin de y es la misma. Esta situacin se ilustra en la figura 1.1. En dnde, el eje horizontal representa el tiempo y el eje vertical el valor de Asimismo representamos las parejas con un carcter Para cada tiempo la distribucin de es la misma (como se muestra en la figura 2). Algunos autores usan el nombre completamente estacionario o estrictamente estacionario para este tipo de procesos.
Figura 1: Proceso completamente estacionario
1.1.3. Procesos estacionarios de segundo orden

Como un modelo para datos reales los procesos estacionarios resultan restrictivos, ya que se est pidiendo que la distribucin de cada variable sea la misma independientemente de en
Estadstica III
que tiempo se observa. A continuacin se relaja la definicin de proceso completamente estacionario al pedir condiciones que pueden ser cumplidas ms fcilmente por datos reales. Definicin 2. [Proceso estacionario de orden]
Un proceso de orden se llama dbilmente estacionario estacionario de orden si: Para cada , para cualesquiera y para todo tal que , todos los momentos de orden 1 y 2 del vector son iguales a los correspondientes momentos de orden 1 y 2 del vector , es decir (4) donde y .
La definicin 2 debilita la definicin 1, en el sentido de que para un proceso estacionario de segundo orden la distribucin de puede ser diferente a la distribucin de pero los momentos ( y son los mismos que los momentos ) Entonces si por ejemplo se tendr que (5) es decir, la media del proceso es constante. Anlogamente para segundo orden implica que
la estacionariedad de
(6) Notemos que de (5) y (6) se sigue que para un proceso estacionario de segundo orden
es decir media y varianza son cantidades que no dependen de (4) que
En forma anloga se sigue de
Estadstica III
Figura 2: Proceso estacionario de segundo orden
1.1.4. Ejemplos
Ejemplo (Variables aleatorias independientes e idnticamente distribuidas con segundo momento finito) Sea tal que orden. una sucesin de variables aleatorias independientes e idnticamente distribuidas entonces es fuertemente estacionario y estacionario de
Para nuestro siguiente ejemplo necesitamos una definicin: Definicin 3. [Matriz no negativo definida] Una matriz simtrica de dimensiones se llama no negativo definida si para cada = tenemos que Dado un vector aleatorio la matriz de dimensiones covarianza entre y ) para de dimensin su matriz de varianzas covarianzas es simtrica y con entrada dada por (la
Los procesos Gaussianos son una clase muy importante de procesos de segundo orden. Se caracterizan por el hecho de que sus distribuciones de dimensin finita son distribuciones normales multivariadas. Como la distribucin normal multivariada esta caracterizada por un vector de medias y una matriz de varianzas covarianzas al establecer condiciones sobre estas dos cantidades se podemos encontrar ejemplos de procesos estacionarios
Estadstica III
Ejemplo (Proceso Gaussiano) Sea un proceso Gaussiano, es decir, es un proceso de orden tal que para cada y para cada , existen y una matriz de dimensiones , simtrica y no negativo definida tales que [ ]
donde
Para construir un segundo ejemplo de un proceso que es estacionario fuerte y estacionario de orden fijamos , y
(8)
de donde y es una matriz con todos los elementos de la diagonal igual a y todos los elementos fuera de la diagonal igual a El proceso construido as es fuertemente estacionario en virtud de que y caracterizan a la distribucin Normal y en nuestro ejemplo no dependen de por lo que se sigue que las distribuciones de y de son iguales. Por otra parte, es estacionario de orden, ya que , y de la ecuacin (8)
Notemos que definida a travs de la ecuacin (8) es no negativa definida, un argumento para verificarlo se da a continuacin. Si y para tomamos , podemos calcular
Estadstica III

Se tienen dos escenarios Caso 1: Si Caso 2: Si de donde
, entonces , entonces
1.1.5. Relaciones entre las formas de estacionariedad

Es natural que te realices esta pregunta Cul es la relacin entre estacionariedad y estacionariedad de segundo orden? Para responder a esta pregunta, podemos mencionar lo siguiente: En general se tendr que: (i) Si es estacionario fuerte y adems es un proceso de orden, entonces es estacionario de orden, o bien estacionariedad fuerte y existencia de momentos de orden implica estacionariedad dbil. Sin embargo, (ii) Si es estacionario de orden, entonces no necesariamente es fuertemente estacionario. Probaremos (i) en el caso de variables aleatorias absolutamente continuas. Asumiendo estacionariedad fuerte tenemos:
10
Estadstica III
donde la segunda igualdad se sigue de la definicin de estacionariedad fuerte. Sean densidad de la y tales que , entonces
la
ya que al tener y la misma funcin de distribucin entonces funcin de densidad. Por lo tanto
tienen la misma
Como lo anterior se vale para cualesquiera y tales que y , podemos concluir que . Ahora hay que demostrar que la varianza no cambia con traslaciones del tiempo, es decir:
por lo tanto Por ltimo, denotamos por
. a la funcin de densidad conjunta de
11
Estadstica III
ya que la definicin de estacionariedad fuerte dice que
y por lo tanto las correspondientes densidades bivariadas son iguales. Entonces [ ]
La anterior discusin se puede elaborar en forma anloga en el caso de variables aleatorias discretas. Ejemplo (De acuerdo a ii, estacionarionariedad de estacionariedad) Sea
orden, no necesariamente implica
una sucesin de variables aleatorias independientes tales que y Entonces tenemos que
Claramente tenemos que
no es fuertemente estacionario ya que para cada pero , tambien que y que por ser variables independientes. De esta forma . Por lo tanto si es estacionario de segundo orden.
1.2. La sucesin de autocorrelacin

Por ser menos restrictivos en sus supuestos, se trbajar los procesos estacionarios de segundo orden. Por lo cual ser de inters analizar las caractersticas de los momentos de segundo orden para esta clase de procesos. En particular un momento que nos ayuda a cuantificar el grado de dependencia (en un sentido lineal) entre dos variables del proceso estocstico, es la covarianza entre estas dos variables. Para procesos estacionarios de segundo orden esta covarianza tiene propiedades que se estudian a continuacin.
1.2.2. La sucesin de autocorrelacin

Consideremos tomando y sea un proceso estacionario de orden. Entonces,
12
Estadstica III
si ahora tomamos (9)
Es decir (10)
y las ltimas dos cantidades dependen de y slo a travs de . En otras palabras, para un proceso estacionario de orden la covarianza entre y es funcin de . As, la covarianza entre y vale lo mismo que la covarianza entre y . De la anterior observacin, definimos la sucesin de autocovarianza del proceso como
Notemos que para Por otra parte y en virtud de las ecuaciones (9) y (10), esta sucesin es una funcin par de , es decir,
vase la figura 3. Asimismo, se define la sucesin de autocorrelacin (ACF) del proceso como
La ACF es tal que Adems para cada como consecuencia de la desigualdad de Cauchy Schwarz (desigualdad (a) en la seccin 1.3), se tiene Aunque puede suceder que dos procesos estacionarios de segundo orden tengan la misma sucesin de autocovarianza (autocorrelacin), dentro de una clase particular de procesos que introducimos a continuacin, la sucesin se usar para diagnosticar qu tipo de proceso no resulta inadecuado como modelo para un conjunto de datos.
13
Estadstica III
Figura 3: Grfica de una sucesin de covarianza
Actividad 1. Estacionariedad
Por medio de esta actividad, Resolvers ejercicios sobre estacionariedad. Para ello 1. Descarga el documento Act. 1. Ejercicios de estacionariedad. 2. Lee las instrucciones y resuelve los problemas que se plantean, tomando en cuenta el contenido que hasta el momento has revisado. 3. Guarda y enva tu reporte al portafolio de evidencias con la nomenclatura MEST3_U1_A1_XXYZ. 4. Espera la retroalimentacin de tu Facilitador(a). * Recuerda consultar la Escala de evaluacin de la actividad para saber qu aspectos se tomarn en cuenta para su revisin
1.3. El espacio de variables aleatorias con segundo momento finito
14
Estadstica III
Es de menester revisar sin demostrar algunas propiedades matemticas del entorno en el cual se puede concebir (para fines tericos) a los procesos de segundo orden, la clase de variables aleatorias dentro de la cual yacen los procesos estacionarios de segundo orden. Las demostraciones de varios de estas propiedades se pueden consultar por ejemplo en Laha y Rohatgi (1979) o Royden (1968). Las proyecciones ortogonales juegan un papel importante tanto en inferencia estadstica (teorema de Rao-Blackwell) como en regresin. Para el contexto de series de tiempo, observars que estos conceptos nos ayudan a dar una solucin al problema de prediccin
1.3.1. Variables aleatorias con 2 momento finito

Definicin 4 [Espacio de variables aleatorias con segundo momento finito] Sea un espacio de probabilidad, se define
El conjunto tiene estructura de espacio vectorial sobre el campo de los nmeros reales. Por ejemplo, dadas en tenemos que casi seguramente con respecto a (11) ya que para se tiene Tomando valor esperado en (11) se obtiene
de donde se tienes que si
Se puede adems definir un producto interno para
Este esta dado por
y tiene las siguientes propiedades para
en
Con este producto interno se define la siguiente norma para
15
Estadstica III

Esta norma caracteriza la llamada convergencia en media cuadrtica, para variables aleatorias con segundo momento finito. Notemos que si entonces correspondientemente
1.3.2. Desigualdades importantes

Se tienen adems dos desigualdades cruciales las cuales no demostraremos. a) Desigualdad de Cauchy-Schwarz: Dadas | b) Desigualdad de Minkowski: Dadas en | en (12)
A continuacin presentamos una operacin que se usar frecuentemente en la descripcin y tratamiento de los procesos estocsticos y mtodos a estudiar en el curso.
1.3.3. Operadores de retraso

Definicin 5 [Operadores de retraso y diferencia] Sea un proceso de segundo orden. El operador de retraso relacin
est dado por la
El operador de diferencia
queda definido por
Se tiene que segundo orden
y estas operaciones son lineales, dados dos procesos de y
16
Estadstica III
Se puede definir la aplicacin iterada (composicin) de estos operadores, por ejemplo
con la convencin de que
donde
es el operador identidad.
Lo anterior permite trabajar con operadores definidos como polinomios, por ejemplo el cual actua sobre como
Para
un nmero complejo, considera el polinomio obtenido al reemplazar a y son las races de
por
El teorema fundamental del lgebra (vase por ejemplo Kurosh, 1972 o Lang, 1974), nos dice si entonces este se puede escribir como
y en nuestro caso
es decir
Ahora, aplicando el operador ( * ( *
(13) ( *
De (13) vemos que
son el mismo operador.
Esta correspondencia entre operaciones algebricas con polinomios de variable compleja y los correspondientes polinomios donde la variable es ser usada ms adelante. En particular, para un nmero real tal que ser de inters el operador inverso del operador dado por
(14)
17
Estadstica III
En Radjavi y Rosenthal (2003), se establece el lado derecho de (14) es otro operador de que est bien definido. Notemos que formalmente (14) es un inverso de ya que en
Un problema que emerge en la prctica es el problema de la proyeccin ortogonal. Por ejemplo, en el espacio vectorial euclidiano con el producto interno para en Consideremos vectores y en y el subespacio de dado por
Supn que tenemos el problema de encontrar el vector en que minimiza la distancia entre y el vector se conoce como la proyeccin ortogonal de sobre y adems de ser un elemento de cumple la condicin de ortogonalidad (15) Ahora supn que en tales que y que pueden escribir y Como entonces existen y que se y
adems la condicin (15) implica que estas son dos ecuaciones lineales con incgnitas
(16) Para los vectores especificados arriba tenemos y el sistema de ecuaciones lineales (16) tiene solucin y entonces La notacin nos ayudar a ser ms especficos posteriormente, ya que indica el espacio sobre el cual proyectamos. Ahora pensemos en el mismo problema de encontrar una proyeccin ortogonal, pero considerando y variables aleatorias y en El teorema de la proyeccin ortogonal (vase Shumway y Stoffer, 2006, apndice B o tambin Brockwell y Davis, 2009, captulo ) nos dice que si entonces existe en que minimiza la distancia entre y
18
Estadstica III
La variable aleatoria pertenece a condicin de ortogonalidad por lo cual adems se satisface la
(17) Supn ahora que las variables aleatorias y tienen media en tal caso y y debido a la condicin de ortogonalidad (17) se tiene el sistema de ecuaciones lineales
(18)
Si conoces las covarianzas puedes dar solucin al sistema para conocer a resolver el problema de prediccin.
y entonces Por ltimo, vers como estas ideas ayudan
Sea un proceso estacionario de segundo orden tal que Supn que dadas las variables queremos predecir el valor de una observacin futura en funcin de Para lo anterior se denota por a esta funcin de la historia del proceso. En un sentido prctico nos concentramos en el caso de que es una funcin lineal del pasado, es decir (19)
A continuacin vamos a escribir esta tarea en el contexto del problema de la proyeccin ortogonal, sean y queremos encontrar la variable aleatoria en el subespacio que minimiza la distancia entre y Usando el teorema de la proyeccin ortogonal podemos encontrar los coeficientes en (19) que definen a al resolver el sistema lineal (ecuaciones de prediccin)
o equivalentemente (dado que
19
Estadstica III
(20)
La proposicin 5.1.1 en el libro de Brockwell y Davis (2009), establece si y cuando entonces las ecuaciones de prediccin (??) tienen solucin. En la siguiente unidad veremos que estas condiciones sobre son vlidas para un proceso ARMA( ) causal.
1.4. Procesos ARMA

Es momento de observar algunos procesos estacionarios de orden que son utilizados para modelar datos. Estos procesos forman parte de la familia de procesos lineales y en su definicin se recuperan ideas de teora de regresin lineal en el sentido de que para cada tiempo el valor observado puede pensarse como la respuesta en un modelo de regresin. Para este modelo de regresin las variables de control son: los valores observados a tiempos pasados (antes de ) y valores de otro proceso a tiempos pasados. Primeramente estudiamos las propiedades de este otro proceso al cual llamaremos ruido blanco. En lo que sigue asumiremos que
1.4.1. Proceso de ruido blanco

Sea una sucesin de variables aleatorias no-correlacionadas, tal que , . Entonces y , luego y
(21)
El ruido blanco es un proceso estacionario de segundo orden, ya que la media, la varianza y la covarianza entre cualesquiera dos variables del proceso son constantes independientes del tiempo y por ende se satisface la condicin (4) revisada en el subtema 1.1.3. Este proceso parece muy simple pero servir como el material principal para construir casos ms sofisticados.
1.4.2. Proceso de promedios mviles
20
Estadstica III
Para en diremos que el proceso (MA(q)), si se puede escribir como donde y y son constantes reales, . se llama de promedios mviles con orden q
El proceso
es ruido blanco con
Debido a las propiedades del valor esperado se tiene de autocovarianza de para lo cul primeramente asume es tal que
Vamos a calcular la sucesin y observa que el proceso
Sea
, se puede escribir ( ) ( )
y luego, por linealidad de la esperanza
Usando que es ruido blanco, de la ecuacin (21) se concluye que el valor esperado en cada trmino de la suma se anula siempre que no se de la condicin , es decir cuando y en cuyo caso el valor esperado vale . Pero como se debe tener que o bien . Entonces y por lo tanto . De estas observaciones se obtiene que
{ Dentro de las actividades a desarrollar esta probar la siguiente afirmacin: Si entonces
21
Estadstica III
( )
{ Al comparar los casos, el caso y el caso concluimos que
{ Nota que no depende de y slo depende de y no de De lo anterior podemos establecer que si es un proceso MA(q), entonces y adems es decir se satisface la condicin (4). Por lo tanto no hay restricciones sobre los valores y para que sea estacionario de segundo orden y podemos escribir que { Observa que para el caso de los procesos de promedios mviles, de acuerdo a sucesin de autocorrelacin o funcin de autocorrelacin (ACF) (22) si entonces Es decir, para un proceso MA( ), su ACF correspondiente es diferente de slo para valores de en el rango y se cancela para los valores de que no sean estos nmeros enteros. Como podrs observar en el siguiente ejemplo, este comportamiento de la ACF no sucede en los procesos autorregresivos y por esta razn ser importante recordar que para los procesos MA( ), la ACF se comporta como en la ecuacin (22), la cual nos da informacin del valor de Dicho de otra forma, si se tiene un proceso del cual slose conoce y esta se comporta como la ecuacin (22), entonces dentro de la clase de procesos de promedios mviles el proceso MA( ) es un candidato para usarse como modelo. (22) y observando que , deducimos
1.4.3. Proceso autorregresivo
22
Estadstica III
Para en diremos que el proceso se puede escribir como se llama autorregresivo de orden (AR( )), si
(23) donde y , , y , son constantes reales y el proceso . es ruido blanco con
Con la notacin del operador de retraso como:
definido en la seccin anterior podemos escribir (23)
(24) A diferencia de los procesos MA que siempre son estacionarios, los procesos AR( ) no resultan estacionarios para cualesquiera valores de , Comenzaremos por estudiar el caso Considera el siguiente proceso
con ruido blanco con media y varianza De la discusin respecto al operador de retraso podemos escribir
en el subtema 1.3.3, siempre que
(25)
Esta es la conocida representacin MA( ) para un proceso autorregresivo, escribir as al proceso AR( ) te permitir calcular sus momentos en forma anloga a como se hizo para el proceso MA( ) en el inciso (b). Con este fin sea y al tomar el valor esperado en ambos lados de (25) ( + (26)
23
Estadstica III
( +
En la penltima igualdad, el intercambio entre valor esperado y suma se puede justificar con los teoremas de convergencia montona y convergencia dominada (Royden, 1968). Como en el caso MA( ), podemos volver a tomar y tenemos
[( [
+ ( ]
+]
De nueva cuenta, el intercambio entre valor esperado y suma se puede justificar con los teoremas de convergencia dominada y montona. Luego
pero por ser
un proceso de ruido blanco, {
Entonces si (27) ( )
24
Estadstica III
toda vez que en tal caso Por otra parte, si entonces es no negativo cuando
(28) ( )
Combinando (27) y (28) concluimos que en general (para cualquier ( +
en
tal que
) (29)
De (26) y (29) observamos que y no dependen de y que slo depende de Entonces el proceso AR( ) es estacionario de orden bajo el supuesto de que y Claramente, para un proceso AR( ),
el comportamiento de la sucesin de autocorrelacin es radicalmente diferente al de la correspondiente sucesin de autocorrelacin de un proceso MA( ), en el sentido de que para el proceso AR( ) esta sucesin no se cancela a partir de un valor entero como sucede en la ecuacion (22). Por esta razn, cuando estamos tratando de identificar si un modelo autorregresivo se podra usar para los datos, la ACF no es una herramienta til ya que no nos da una idea de lo que vale Como se ver mas adelante en el tema 1.5 para identificar modelos autorregresivos para los datos se requiere usar otra sucesin de autocorrelacin conocida como autocorrelacin parcial (PACF). Para en el campo de los nmeros complejos sea el polinomio obtenido al reemplazar por en el operador Una observacin que ser importante es que restringir a a que su raz est afuera del conjunto conduce a la condicin de estacionariedad . Pasemos a tratar ahora el caso Considrese ahora un proceso de segundo orden tal que para cada (30)
25
Estadstica III
donde son nmeros reales y es un proceso de ruido blanco con y Sea con Vamos a usar el mismo argumento que lleva a la ecuacin (13). Con este fin escribimos y
en donde
. Equivalentemente
con las races de Sean ,
dadas por
. y ilustrada en la ecuacin
Usando la correspondencia entre como
(31), escribimos el polinomio de retraso
(31) As, usando (31) escribimos (30) como
y podemos pensar en los operadores
de acuerdo a (14), siempre que (32)
Asumiendo estas condiciones
Para justificar la ltima igualdad, sean Tenemos que ya que Consecuentemente, usando (14)
26
Estadstica III
[ ] } } { } (33) ]
[ { {
donde se denota
Al igual que en el caso AR( ) (donde se us la condicin
) en este caso bajo las restricciones (32) hemos escrito al proceso AR( ) en una representacin MA( ). Lo anterior sera til para calcular media y sucesin de autocovarianza del proceso, para hacer esto sea y calculando valor esperado en ambos lados de (33) ( + (34)
Tomamos
y vamos a calcular la covarianza
[( [
+ ( ]
+]
El valor esperado en cada sumando se anula siempre que no suceda que entonces Por otra parte si entonces
Si
27
Estadstica III
Ambos casos se pueden escribir en la expresin
(35)
Nota que es finita. Para ver esto, bajo las condiciones (32) se tiene que luego dada existe tal que si entonces De aqu se sigue que si de donde es finita. De (34) y (35) observamos que y no dependen de y que slo depende de Entonces el proceso AR( ) es estacionario de orden bajo las condiciones (32) y en tal caso y . Observa que en la condicin de estacionariedad para el proceso AR( ) dada en la ecuacin (32), se restringe a que las races del polinomio autorregresivo estn fuera del circulo unitario en Se podra proseguir en forma anloga para estudiar la estacionariedad de los procesos AR( ), pero el teorema 1.7 que aparece al final de esta seccin tiene el objetivo de llevar a cabo esta generalizacion. A continuacin definimos la clase general de procesos que sern el objeto de nuestro estudio y aplicacin en el resto del curso.
1.4.4. Proceso ARMA(p,q)

Para y en mviles de ordenes diremos que el proceso se llama autorregresivo y de promedios y (ARMA( )), si se puede escribir como (36) , y , son constantes reales y el proceso es ruido
donde y , blanco con
Definiendo los polinomios autorregresivo
y de promedios mviles
como
podemos escribir (36) como
Nota que
28
Estadstica III
Si Si ( ( ), entonces ), entonces es un modelo MA(q). es un modelo AR(p).
Como ya haz revisado anteriormente, para estudiar la estacionariedad de los procesos ARMA( ), usaremos sin demostrar un teorema del libro de Brockwell y Davis (1991), para lo cual necesitamos algunos resultados y definiciones previos Definicin 6. [Causalidad] Un proceso ARMA( ) definido por la ecuacin (36) se llama causal (funcin causal de si existe una sucesin de constantes tales que y
),
(37)
La ecuacin anterior se conoce en la literatura como Modelo lineal general Promedios moviles de orden + .
Ejemplo: El proceso de Ruido Blanco es causal considerando en la definicin de causalidad El proceso MA( ) es causal considerando en la definicin de causalidad y si El proceso AR( ) es causal siempre que se tenga la condicin en cuyo caso
Proposicin 1.5 Sea un proceso estacionario de segundo orden con funcin de autocovarianza Asumiendo que , entonces la serie converge absolutamente con probabilidad uno y en media cuadrtica. Adems el proceso (38)
es un proceso estacionario de segundo orden con funcin de autocovarianza (39)
La demostracin de este resultado puede encontrarse en el libro de Brockwell y Davis (1991), captulo Lo cual no se demuestra dado la complejidad y corresponde a un nivel mas elevado.
29
Estadstica III
Respecto a esta proposicin, una observacin importante es que si se toma con un proceso de ruido blanco en la ecuacin (38) y si conocemos tal que y el proceso satisface la ecuacin (38), se obtiene que es estacionario de segundo orden y su autocovarianza est dada en (39). Entonces si tenemos un proceso ARMA( ) tal que es causal, se sigue de la proposicin 1.5 que es estacionario de segundo orden con sucesin de autocovarianza Corolario 1.6 Si segundo orden. es un proceso ARMA( ) causal, entonces es estacionario de
Otra aplicacin de la proposicin 1.5, es si se toma un proceso Como ya se estableci en el ltimo ejemplo que sigue a la definicin 6, con entonces de la proposicin es estacionario de orden con
con es causal
que es un resultado que ya se haba desarrollado cuando estudiamos el proceso AR( ). Para terminar esta seccin enunciamos sin demostrar un teorema del libro de Brockwell y Davis (1991), que a la luz de la ltima observacin, establece cundo un proceso ARMA( ) es estacionario de segundo orden. Sean y los polinomios autorregresivo y de promedios mviles que definen al proceso ARMA( ). Teorema 1.7 [Causalidad para procesos ARMA] Sea un proceso ARMA(p,q) para el cual los polinomios comn. Entonces es un proceso causal si y slo si
no tienen ceros en
tal que
Otra condicin importante en los procesos ARMA(
) es conocida como invertibilidad:
Definicin 7 [Invertibilidad] Un proceso ARMA( ) definido por la ecuacin (36) se llama invertible , si existe una sucesin de constantes tales que y
(40)
Ejemplo Un proceso AR( ), anterior sean
siempre es invertible. Para ver lo y si
30
Estadstica III
Ejemplo Un proceso MA( ), con
tal que es invertible. En efecto, escribimos y de la relacin (14) se tiene que
con
tal que
El siguiente teorema da condiciones necesarias y suficientes para invertibilidad.
Teorema 1.8 [Invertibilidad para procesos ARMA)] Sea un proceso ARMA(p,q) para el cual los polinomios comn, entonces es invertible si y slo si
y no tienen ceros en tal que ..
En el capitulo del libro de Guerrero (2009), se establece que la importancia del concepto de invertibilidad radica en que todo proceso invertible est determinado de manera nica por su ACF.
Actividad 2. Uso de software

A travs de esta actividad, podrs resolver ejercicios, con la ayuda del programa estadstico R. para ello: 1. Descarga el documento llamado Act. 2. Uso de Software 2. Resuelve los ejercicios que se presentan en el documento descargable 3. Guarda y enva tu documento con la nomenclatura MTOPG_U1_A2_XXYZ. 4. Espera la retroalimentacin de tu Facilitador(a). * Recuerda consultar la Escala de evaluacin de la actividad para saber qu aspectos se tomarn en cuenta para su revisin
1.5. La sucesin de autocorrelacin parcial

Tal como se observ en la seccin anterior, la sucesin de autocorrelacin no resulta una herramienta til en la identificacin de un modelo AR( ) para unos datos ya que no proporciona una idea del valor del orden de autorregresin Por esta razn se requiere estudiar otra
31
Estadstica III
estructura de dependencia del proceso estacionario de segundo orden la cual ayude a identificar posibles modelos autorregresivos. A menos que se indique lo contrario, supondremos que es estacionario de segundo orden con media
1.5.1. Procesos autorregresivos y el proceso de sucesin de autocorrelacin parcial

Para definir la sucesin de autocorrelacin parcial, recordemos del tema 1.3 que dada la historia del proceso podemos encontrar el predictor de al resolver las ecuaciones de prediccin (??), donde En general, usando los mismos resultados sobre proyeccines ortogonales, dadas variables aleatorias y en y considerando es posible aproximar a encontrando la mejor combinacin lineal en El adjetivo mejor es en el sentido de que es tal que
Para cada sean subespacio de generado por las combinaciones lineales de Consideremos los elementos de dados por y mejores combinaciones lineales para explicar a y
el Estos son las
Definicin 8 [Sucesin de autocorrelacin parcial] La sucesin de autocorrelacin parcial (PACF) del proceso correlaciones
es la sucesin de
(41)
Asumiendo que el proceso es Gaussiano, en el apndice del libro de Madsen (2008), se demuestra que la definicin 8 de la PACF y la definicin 9 abajo son equivalentes. Para cada consideremos el sistema lineal
,(
(42)
32
Estadstica III
Notemos que al dividir el sistema de ecuaciones (??) por se obtiene el sistema de ecuaciones (42). En Brockwell y Davis (2009), proposicin 5.1.1, se establece que este sistema tiene solucin si es un proceso estacionario de segundo orden con sucesin de autocovarianza tal que si
Definicin 9 [Sucesin de autocorrelacin parcial] La sucesin de autocorrelacin parcial (PACF) del proceso
es la sucesin (43)
donde
esta determinada en forma nica por (42).
Recordando la regla de Cramer para sistemas lineales y utilizando esta equivalencia de las definiciones 8 y 9, la PACF del proceso se calcula como | | | | | | | |
Se puede demostrar que cuando entonces
es un proceso AR( ) causal (44)
Es decir, para los procesos autorregresivos, la PACF se hace cero para cada lag despus del valor del orden Este comportamiento es el anlogo al comportamiento de la ACF para los procesos de promedios mviles. En la siguiente unidad vamos a dar un argumento para ver que (44) es cierta.
Por esta razn, la PACF ser la correlacin que resulta til para identificar un modelo AR( ) adecuado para los datos.
33
Estadstica III
Actividad 3. Simulacin de un proceso ARMA en R
A traves de esta actividad, simulars un proceso ARMA en en lenguaje R, para despus representar tus conclusiones dentro del foro. para ello 1. Descarga el documento llamado Act. 3. Simulacin de un proceso ARMA en R 2. Realiza los lineamientos que se indican en el documento descargable 3. Ingresa al foro para anotar tus conclusiones sobre cada unos de los elementos solicitados en el documento descargable. 4. Revisa las aportaciones de dos de tus compaeros, ratificando sus resultados, aceptando o rechazando sus aportaciones. Consulta la Rbrica general de la participacin en foros, que se encuentra en la seccin Material de apoyo.
Autoevaluacin
Para reforzar los conocimientos relacionados con los temas que se abordaron en esta unidad del curso, es necesario que resuelvas la autoevaluacin. Ingresa al Aula virtual para realizar tu actividad.
Evidencia de Aprendizaje. Ajuste de modelos ARMA

A travs de esta actividad, podrs comparar los diferentes modelos de la clase ARMA. Para ello: 1. Descarga el documento llamado EA. Ajuste de un modelo ARMA 2. De acuerdo a elementos que se presentaron durante la unidad de modelos ARMA, realiza una tabla comparativa. 3. Guarda y enva tu documento con la nomenclatura MTOPG_U1_A2_XXYZ. 4. Espera la retroalimentacin de tu Facilitador(a). * Recuerda consultar la Escala de evaluacin de la actividad para saber qu aspectos se tomarn en cuenta para su revisin
34
Estadstica III
Autorreflexiones
Como parte de cada unidad, es importante que ingreses al foro Preguntas de autorreflexin y leas los cuestionamientos que formul tu Facilitador(a), ya que a partir de ellos debes elaborar tu Autorreflexin y enviarla mediante la herramienta Autorreflexiones. No olvides que tambin se toman en cuenta para la calificacin final.
Cierre de la unidad
Los procesos estacionarios de segundo orden tiene la caracteirstica de tener momentos como media, varianza y sucesin de autocovarianza tales que no dependen del ndice del tiempo . Bajo algunas condicones los modelos ARMA son de la clase de prosesos estacionaros de 2 orden cuyos elementos han sido utilizados para modelar fenmenos rales. Por ejemplo en econometra para describir y predecir algn indice ecnomico, en ecologa para estudiar tendencias en la temperatura global del planeta y en general en fenmenos en donde hay observaciones indexdas en el tiempo. El dominio de este tema te permitir proponer modelos para datos que guardan dependencia en el tiempo.
Para saber ms
En esta seccin podrs encontrar referencias complementarias para reforzar los conocimientos adquiridos en la unidad. Comenzaremos por referir las notas del profesor Richard Smith de la universidad de Carolina del Norte (Chapell Hill). http://www.stat.unc.edu/faculty/rs/s133/tsnotes.pdf La seccin 2 de estas notas trata el tema de los procesos estacionarios de segundo orden, los procesos ARMA( ), las sucesiones de autocovarianza y autocorrelacin y su relacin con la densidad espectral del proceso. Las secciones 1 y 2 de las notas de la profesora Gesine Reinert tambin explican los temas referentes a procesos ARMA( ) y sus propiedades de momentos de segundo orden. http://www.stats.ox.ac.uk/~reinert/time/notesht10short.pdf Por ultimo, un muy buen archivo de documentos que tratan el tema del aprendizaje de series de tiempo utilizando el paquete se encuentra en http://blog.revolutionanalytics.com/2013/06/learning-time-series-with-r.html
35
Estadstica III
Referencias Bibliogrficas
Brockwell, J.D. y Davis, A. (2009). Time series: Theory and Methods. New York, Springer-Verlag. Cowpertwait, P.S.P. (2010). Introductory Time Series with R. New York, Springer-Verlag. Guerrero, V.M. (2009). Anlisis Estadstico de Series de Tiempo Econmicas. Mxico, Just in Time press. Shumway, R.H. y Stoffer, D.S. (2010). Time Series Analysis and Its Applications: with R examples. New York, Springer-Verlag.
36

U1. Procesos y Series de Tiempo

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

U1. Procesos y Series de Tiempo

Diunggah oleh

Hak Cipta:

Format Tersedia

Estadstica III

Unidad 1. Procesos de Segundo Orden y Series de Tiempo

Universidad Abierta y a Distancia de Mxico

Informacin general de la asignatura

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

1.1. Procesos de 2 orden y series de tiempo

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

est definida en el espacio de probabilidad , es decir, para

Una serie de tiempo es una realizacin del proceso

son la serie de tiempo.

1.1.1. Procesos de segundo orden

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

y como Por otra parte

es decir, la varianza de finitos. Inversamente si tenemos que

Decimos que el proceso

1.1.2. Procesos estacionarios

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

Figura 1: Proceso completamente estacionario

1.1.3. Procesos estacionarios de segundo orden

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

es decir media y varianza son cantidades que no dependen de (4) que

En forma anloga se sigue de

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

Figura 2: Proceso estacionario de segundo orden

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

Se tienen dos escenarios Caso 1: Si Caso 2: Si de donde

1.1.5. Relaciones entre las formas de estacionariedad

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

por lo tanto Por ltimo, denotamos por

. a la funcin de densidad conjunta de

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

y por lo tanto las correspondientes densidades bivariadas son iguales. Entonces [ ]

orden, no necesariamente implica

Claramente tenemos que

1.2. La sucesin de autocorrelacin

1.2.2. La sucesin de autocorrelacin

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

si ahora tomamos (9)

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

Figura 3: Grfica de una sucesin de covarianza

1.3. El espacio de variables aleatorias con segundo momento finito

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

1.3.1. Variables aleatorias con 2 momento finito

de donde se tienes que si

Se puede adems definir un producto interno para

Este esta dado por

y tiene las siguientes propiedades para

Con este producto interno se define la siguiente norma para

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

1.3.2. Desigualdades importantes

1.3.3. Operadores de retraso

est dado por la

queda definido por

Se tiene que segundo orden

y estas operaciones son lineales, dados dos procesos de y

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas

con la convencin de que

un nmero complejo, considera el polinomio obtenido al reemplazar a y son las races de

Ahora, aplicando el operador ( * ( *

De (13) vemos que

son el mismo operador.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y Tecnologas