apuntes serie de tiempo

Apuntes para el CursoSeries de Tiempo

M.Ignacia Vicuna - Cristian Vasquez

11 de noviembre de 2013

Indice general

1. Introduccion 31.1. Definicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2. Objetivo del Analisis de Series de Tiempo . . . . . . . . . . . . . . . . . . . 3

1.2.1. Ejemplos de Series de Tiempo . . . . . . . . . . . . . . . . . . . . . . 41.3. Modelamiento de una Serie de Tiempo . . . . . . . . . . . . . . . . . . . . . 5

1.3.1. Tendencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.2. Estacionalidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.3.3. Transformaciones para estabilizar la varianza . . . . . . . . . . . . . . 18

2. Modelos Basicos y definiciones 222.1. Ruido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.2. Ruido Blanco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.3. Camino Aleatorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.4. Operadores y polinomios de rezago . . . . . . . . . . . . . . . . . . . . . . . 242.5. PLG - Proceso lineal general . . . . . . . . . . . . . . . . . . . . . . . . . . . 262.6. Funcion de Autocovarianza . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.6.1. Funcion de Autocovarianza Proceso Lineal General Causal . . . . . . 292.7. Estimacion de y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3. Procesos Estacionarios 333.1. Modelos Auto-Regresivos (AR) . . . . . . . . . . . . . . . . . . . . . . . . . 34

3.1.1. Modelo AR(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.1.2. Modelo AR(2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373.1.3. Modelo AR(p) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3.2. Modelos de Medias Moviles (MA) . . . . . . . . . . . . . . . . . . . . . . . . 403.2.1. Modelo MA(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403.2.2. Modelo MA(2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.2.3. Modelo MA(q) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.3. Modelo ARMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.3.1. Modelo ARMA(1,1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.3.2. Modelo ARMA(p, q) . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3.4. Prediccion de Series de tiempo Estacionarias . . . . . . . . . . . . . . . . . . 493.5. Prediccion en Procesos ARMA . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.5.1. Intervalos de Prediccion: . . . . . . . . . . . . . . . . . . . . . . . . . 543.6. Funcion de Autocorrelacion Parcial . . . . . . . . . . . . . . . . . . . . . . . 55

1

3.6.1. Descomposicion de Wold . . . . . . . . . . . . . . . . . . . . . . . . . 61

4. Estimacion en Procesos ARMA 634.1. Estimadores de Yule-Walker . . . . . . . . . . . . . . . . . . . . . . . . . . . 634.2. Estimacion Mnimos Cuadrados Ordinarios . . . . . . . . . . . . . . . . . . . 674.3. Estimacion de maxima verosimilitud . . . . . . . . . . . . . . . . . . . . . . 69

4.3.1. Descomposicion de Cholesky . . . . . . . . . . . . . . . . . . . . . . . 704.3.2. Algoritmo de Durbin-Levinson . . . . . . . . . . . . . . . . . . . . . . 70

4.4. Estimadores Maximos Verosmiles Condicionales . . . . . . . . . . . . . . . . 724.5. Seleccion de Modelos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

4.5.1. Criterio AIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734.5.2. Diagnostico y Validacion del modelo . . . . . . . . . . . . . . . . . . 73

5. Procesos no Estacionarios 775.1. Procesos ARIMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775.2. Test de Raz Unitaria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

5.2.1. Raz Unitaria en el Polinomio Autoregresivo . . . . . . . . . . . . . . 805.2.2. Raz Unitaria en Polinomio de Media Movil . . . . . . . . . . . . . . 83

5.3. Prediccion en Modelos ARIMA . . . . . . . . . . . . . . . . . . . . . . . . . 835.3.1. Prediccion con pasado infinito . . . . . . . . . . . . . . . . . . . . . . 835.3.2. Prediccion con Pasado Finito . . . . . . . . . . . . . . . . . . . . . . 85

5.4. Modelos SARIMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 885.4.1. Modelo multiplicativo estacional . . . . . . . . . . . . . . . . . . . . . 90

6. Modelos Heterocedasticos 936.1. Caractersticas de las Series Financieras . . . . . . . . . . . . . . . . . . . . . 936.2. Modelos ARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

6.2.1. Modelo ARCH(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 966.2.2. Modelo ARCH(p) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 986.2.3. Prediccion en Modelos ARCH(p) . . . . . . . . . . . . . . . . . . . . 1006.2.4. Debilidades de los Modelos ARCH . . . . . . . . . . . . . . . . . . . 101

6.3. Modelos GARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1016.3.1. GARCH(1,1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1026.3.2. Debilidades de los Modelos GARCH . . . . . . . . . . . . . . . . . . 103

6.4. Modelos ARMA-GARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1036.5. Modelos IGARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Series de TiempoSegundo Semestre 2013

2 M.Ignacia Vicuna - Cristian Vasquez

Captulo 1

Introduccion

Hoy en da existe una gran cantidad de fenomenos naturales, sociales o economicos, a loscuales podemos medir ciertas variables y asignar algun valor numerico a cada observaciona traves del tiempo. El analisis de series de tiempo pretende extraer toda la informacionque sea posible desde los datos con el fin de determinar patrones o comportamientos quepermitan inferir sobre los valores futuros.

Algunas series pueden ser observadas de manera continua en el tiempo (por ejemplo temper-atura) las cuales se denominan series de tiempo continuas. Otras en cambio, son registradasdurante un tiempo discreto y posiblemente equiespaciado las que se denominan serie de tiem-po discreta.

1.1. Definicion

Una serie cronologica o serie de tiempo es una coleccion de observaciones {Yt, t T } de uncierto fenomeno medidas secuencialmente en el tiempo. Por simplicidad, llamaremos Seriede Tiempo a una coleccion de observaciones numericas {Yt, t T }, donde t es estrictamentecreciente.

1.2. Objetivo del Analisis de Series de Tiempo

Modelacion: Poder describir y modelar el comportamiento de la series de tiempo.

Prediccion: Poder inferir el comportamiento futuro del fenomeno, proporcionando in-tervalos de confianza para las predicciones.

Construir sistemas y mecanismos de control: Cuando la serie toma valores fuera deciertos margenes deseados, hay ciertas variables exogenas que podemos modificar demodo que el proceso se mantenga en estandares normales. Este proceso se conoce comoretroalimentacion. Por ejemplo, es posible usar series de accidentes automovilsticos

3

diarios en una cuidad para predecir cuando iniciar una campana de publicidad deprevencion de accidentes.

Poder imputar datos no observados en la serie de tiempo.

1.2.1. Ejemplos de Series de Tiempo

Serie AirPassengersLa siguiente serie representa los totales mensuales en miles de pasajeros internacionales desdeEnero de 1949 hasta Diciembre de 1960. El registro de estos datos puede ser de utilidad parapoder hacer predicciones sobre la demanda futura, con el objeto de poder planificar el numerode aviones necesarios para satisfacer la demanda.

1950 1952 1954 1956 1958 1960

100

200

300

400

500

600

Tiempo

Serie AirPassengers

Lago HuronLa siguiente serie contiene mediciones (en pies) anuales del nivel del Lago Huron desde Enero1975 a Febrero 1883.

1876 1878 1880 1882

576

577

578

579

580

581

582

Tiempo

Serie Lago Huron

1875



Indice de precios al consumidor

El IPC es un ndice en el que se valoran los precios de un conjunto de productos determinadosobre la base de la encuesta de presupuestos familiares, que una cantidad de consumidoresadquiere regularmente, y la variacion con respecto del precio de cada uno, respecto de unamuestra anterior. Los datos presentes en el siguiente grafico corresponden a la variacionmensual del IPC desde el ano 1988 hasta 2009.

1990 1995 2000 2005 2010

1

0

1

2

3

4

5

Tiempo

Indice de Precios Consumidor

1988 2010

1.3. Modelamiento de una Serie de Tiempo

Un primer paso en el analisis de Series de Tiempo es graficar los datos. Si existe algunaaparente discontinuidad de los datos, como un cambio brusco en la tendencia, puede seraconsejable analizarla por segmentos. Si hay observaciones atpicas que pueden ser causa deerrores de medicion o que el fenomeno presento un comportamiento absolutamente inusual.Si la serie tiene un comportamiento similar antes y despues del outlier se podra pensar eneliminarlo o reemplazarlo por otra observacion usando algun procedimiento o criterio.

Considere que las observaciones {Yt, t = 1, 2, . . . , n} de una serie temporal se puede descom-poner en una suma de tres componentes no observadas,

Yt = Tt + St + at,

donde Tt y St representan la tendencia y estacionalidad, respectivamente y at es una com-ponente estacionaria de media cero y varianza 2a. Este modelo lleva el nombre de modeloaditivo. El interes principal al considerar un modelo aditivo sera poder estimar la tendenciay la estacionalidad, con el objetivo de ajustar un modelo que se adapte a la serie libre detendencia y estacionalidad.



1.3.1. Tendencia

Inicialmente vamos a suponer que el modelo aditivo la componente estacional no esta pre-sente, entonces el modelo a considerar sera:

Yt = Tt + at,

donde at es una componente estacionaria de media cero y varianza 2a.

Existen varios metodos para estimar Tt. los mas utilizados consisten en:

1. Ajustar una funcion del tiempo, como un polinomio, una funcion exponencial o otrafuncion suave.

2. Suavizar los valores alrededor de un punto, para estimar la tendencia en el punto.Suavizamiento de medias moviles, suavizamiento exponencial.

3. Suavizar los valores de la serie mediante sucesivos ajustes de rectas de mnimos cuadra-dos ponderados (lowess).

Una vez que se define el procedimiento para estimar Tt, se puede obtener una serie ajustadalibre de tendencia,

Zt = Yt Tt.Un procedimiento que tambien es utilizado para eliminar tendencia de una serie, es tomardiferencia, es decir

Yt = Yt Yt1

Tendencia Polinomial

Un procedimiento muchas veces utilizado es ajustar un curva a los valores observados dela serie para estimar Tt y hacer predicciones. Tradicionalmente son utilizados varios tiposde funciones, como exponencial y la logstica, nos vamos a limitar a describir brevemente elajuste de un polinomio.

Suponga que

Tt = 0 + 1t+ + mtm,donde m es el grado del polinomio y el numero de observaciones es n. Para estimar losparametros js utilizamos el metodos de los mnimos cuadrados, o sea minimizamos

f(0, 1, . . . , m) =nt=1

(Yt 0 1t . . . mtm)2.

As se obtiene los estimadores 0, 1, . . . m. El problema es que se puede presentar cor-relacion entre las variables independientes, pero se puede utilizar algun procedimiento para



ortogonalizar las variables.

Ejemplo 1.3.1 En la siguiente tabla presentamos parte de una serie de tiempo de datos deconsumo de energa electrica de una localidad brasilena entre los anos 1977 y 1978. Para eseperiodo de tiempo ajustamos un polinomio de grado dos para representar Tt.

Cuadro 1.1: Serie de consumo de energa electrica Enero-1977 a Diciembre-1978.

t Yt t Yt

1 84.6 13 110.32 89.9 14 118.13 81.9 15 116.54 95.4 16 134.25 91.2 17 134.76 89.8 18 144.87 89.7 19 144.48 97.9 20 159.29 103.4 21 168.210 107.6 22 175.211 120.4 23 174.512 109.6 24 173.7

El modelo se reduce a

Yt = 0 + 1t+ 2t2 + at,

y minimizando la suma de cuadrados de residuos

f(0, 1, 2) =nt=1

(Yt 0 1t 2t2)2

obtenemos que

0 = 84,64, 1 = 0,50, beta2 = 0,14

Tt = 84,64 + 0,5t+ 0,14t2



0 5 10 15 20 25

50

100

150

200

Meses

Consumo Energa Elctrica entre los aos 19771978

SerieEstimacin Polinomial

Suavizamiento Medias Moviles

El metodo de promedios moviles supone que todas las observaciones de la serie de tiemposon igualmente importantes. De esta manera, se utiliza como pronostico para el siguienteperiodo el promedio de los 2q + 1 (q entero no negativo) valores de los datos mas recientesde la serie de tiempo.

Considere el promedio movil de dos lados

Wt =1

2 q + 1

qj=q

Ytj

del proceso Yt. Luego, para q + 1 t n q

Wt =1

2 q + 1

qj=q

Ttj +1

2 q + 1

qj=q

atj

Suponiendo que mt es aproximadamente lineal en el intervalo [t q, t + q] y que la mediadel error es cercana a cero.El promedio movil nos proporciona las estimaciones

Tt =1

2 q + 1

qj=q

Ytj, q + 1 t n q.

Para las estimaciones faltantes de repiten el primero y ultimo dato q veces y se agreganvirtualmente a los datos originales.

No existe una regla especfica que nos indique como seleccionar el valor de q. Si la variableque se va a pronosticar no presenta un comportamiento relativamente estable en el tiempo,se recomienda que el valor de q grande. Por el contrario, es aconsejable un valor de q pequeno



si la variable muestra patrones cambiantes

Es util pensar que {Tt} es un proceso obtenido a partir de la aplicacion de un filtro lineal a{Yt} de la forma

Tt =

j=aj Ytj,

con pesos aj = (2 q + 1)1 para q j q.

En particular este filtro es un filtro low-pass en el sentido que toma los datos {Yt} y remueverapidamente las fluctuaciones (o altas frecuencias) de at al estimar suavemente la tendenciaTt.

Ejemplo 1.3.2 Datos Ejemplo 1.3.1Se estimo la tendencia usando suavizamiento de medias moviles con q = 2.

0 5 10 15 20 25

50

100

150

200

Meses


SerieEstimacin Medias Mviles

Suavizamiento Exponencial

A diferencia de los promedios moviles, este metodo pronostica otorgando una ponderaciona los datos dependiendo del peso que tengan dentro del calculo del pronostico. Es razonabledar un peso mayor a las observaciones mas recientes que las observaciones del pasado remoto.Una forma de lograr esto es dando ponderaciones distintas a las observaciones a traves deun promedio ponderado, cuyos pesos decaen geometricamente. De este modo el nivel mediode la serie {Yt} en el instante t es estimado por:

Yt = Yt + (1 )Yt1 + (1 )2Yt2 + 0 < < 1, 1 t n (1.1)

Note que la ecuacion contiene una cantidad infinita de terminos, pero en la practica solodisponemos de un numero finito de ellos. Una forma de representar (1.1) en una forma mascompacta es

Yt = Yt + (1 )Yt1 0 < < 1 (1.2)



Si la tendencia Tt evoluciona suavemente, su promedio Tt va a diferir poco de Tt. Ademassi la media del error es cercana a cero, Yt sera muy parecido a Tt el cual es similar a Tt. Deesta manera, la tendencia de la serie puede ser estimada por

Tt = Yt + (1 )Tt1 0 < < 1 (1.3)donde T1 = Y1.Observaciones:

Usando la condicion de que T1 = Y1, la ecuacion (1.3) puede ser escrita como

Tt =t2j=0

(1 )jYtj + (1 )t1Y1

Los pesos {i} decaen en forma geometrica. En efectoi=1

(1 )i = 1

Ademas, como (1 )i (1 )j si i j, entonces los pesos asignan mas impor-tancia al pasado reciente de la serie y menos importancia al pasado remoto de la seriesatisfaciendo nuestro requerimiento inicial.

La constante se llama constante de suavizamiento, la cual debe elegirse usando alguncriterio de optimalidad. El valor de Yn+1 puede ser estimado por Yn, luego si denotamospor Yn+1 el valor estimado de la serie en el instante t = n+ 1, se tiene que (1.2) puedeser escrito como

Yn+1 = en + Yn

donde en = Yn Yn, et se denomina error de prediccion, es similar al concepto deresiduo en el contexto de regresion. Un metodo sencillo para estimar consiste encalcular los errores de prediccion y luego considerar aquel valor de que minimice lasuma de cuadrados de dichos errores, es decir,

= argminnt=1

e2t

En la practica, es posible calcular la cantidadn

t=1 e2t para varios valores de en el

intervalo (0, 1) y luego encontrar el valor de que minimice el error cuadratico medio(EMC) de prediccion.



Ejemplo 1.3.3 Datos Ejemplo 1.3.1Se estimo la tendencia usando suavizamiento exponencial con = 0,6. Luego se calculo elError cuadratico medio para varios valores de (0,5, 0,95), obteniendo que el mnimoECM se obtiene para = 0,95.

0 5 10 15 20 25

50

100

150

200

Meses


SerieSuavizamiento Exponecial=0.6

0.2 0.4 0.6 0.8

0

5000

10000

15000

20000

25000

Error Cuadrtico Medio

Regresion Polinomica Local: LOWESS

La regresion local es un enfoque de ajuste de curvas y superficies a datos mediante suavizadosen los que el ajuste en x se realiza utilizando unicamente observaciones en un entorno de x.Al realizar una regresion local se utiliza una familia parametrica al igual que en un ajustede regresion global pero solamente se realiza el ajuste localmente.

Considere la siguiente regresion,

Yi = (xi) + i

donde es la funcion de regresion y son los errores del modelo.

El objetivo es poder estimar la funcion g.

Suposiciones:

La funcion () debe ser continua y diferenciables de manera que pueda estar bienaproximada localmente por polinomios de un cierto grado.



La variabilidad de Y alrededor de la curva () debe ser constante.Los metodos de estimacion que resultan de este tipo de modelos es relativamente simple:

1. Para cada punto x, se define un entorno.

2. Dentro de ese entorno suponemos que la funcion regresora es aproximada por algunmiembro de la familia parametrica.

3. Luego se estiman los parametros con las observaciones en el entorno.

4. El ajuste local es el la funcion ajustada evaluada en x.

Generalmente se incorpora una funcion de peso, w(u), para dar mayor peso a los valores xique se encuentran cerca de x. Los criterios de estimacion dependen de los supuestos que serealicen sobre la distribucion de las Y s. Si, por ejemplo, suponemos que tienen distribucionGaussiana con varianza constante tiene sentido utilizar el metodo de Cuadrados Mnimos.

El objetivo general de la regresion local es ajustar un polinomio de grado p alrededor de unpunto utilizando los datos de un entorno. Esto incluye estimacion por nucleos (p = 0).El principio subyacente es que una funcion continua puede aproximarse bien por un polinomiode bajo grado. Por ejemplo una aproximacion lineal esta dada por:

(xi) = a0 + a1(xi x)donde x h xi x + h. Los polinomios locales pueden ajustarse utilizando mnimoscuadrados ponderados localmente.

En el caso de una regresion lineal local los coeficientes estimados se eligen de manera deminimizar

ni=1

W

(xi xh

)(Yi ao a1(xi x))2

El estimador lineal local es

(xi) = a0

Para cada punto x se tiene una estimacion diferente pues los pesos cambian y por lo tantolos estimadores a0 y a1.

Los estimadores se obtienen resolviendo las ecuaciones normales:

XTW (Y X) = 0



donde

X =

1 x1 x... ...1 xn x

,W = diag(W (xi xh

)), Y = (Y1, ..., Yn)

T , = (a0, a1)

Si XTWX es invertible, entonces(a0a1

)= (XTWX)1XTWY

Ejemplo 1.3.4 Datos Ejemplo 1.3.1Se ajusto la tendencia usando regresion polinomica local ponderada. El primer ajuste con-sidera estimaciones locales lineales con un = 0, 2, donde representa la proporcion depuntos a utilizar en el ajuste local. El segundo ajuste lo realiza en base a estimacioneslocales cuadraticas con un = 0,84.

0 5 10 15 20 25

50

100

150

200

Meses


SerieLOWESS, grado 1, =0.2LOWESS, grado 2, =0.84

DiferenciacionLa diferenciacion tiene como objetivo eliminar la tendencia de una serie. La diferencia deorden uno se define como sigue

Yt = Yt Tt1 = (1B)Ytdonde BYt = Yt1. El operador de rezago B sera analizado mas adelante. Por el momento esnecesario entender que si el operador de diferencia es aplicado a una serie que tiene tendencialineal, entonces la serie diferenciada es una constante respecto al tiempo. Mas aun, podemosplantear el siguiente resultado:



Proposicion:Si Zt =

mj=0 ajt

j donde aj es una constante para todo j = 1, 2, m, entonces Zt es unpolinomio de grado m 1 en t y por lo tanto m+1Zt = 0.

Demostracion:Teorema del binomio.

El resultado anterior sugiere que dada una secuencia con cierta tendencia, es posible aplicar eloperador repetidas veces hasta que encontremos una secuencia transformada que tenga unatendencia razonablemente constante. En la practica el orden de diferenciacion es pequeno,es decir basta con aplicar una o dos diferencias para que la serie resultante no exhiba unatendencia. Sin embargo, tambien existen series que es imposible transformalas en series conaparente media constante.

Ejemplo 1.3.5 Datos Ejemplo 1.3.5

0 5 10 15 20 25

0

50

100

150

200

Meses


SerieSerie Diferenciada



1.3.2. Estacionalidad

La estacionalidad es una caracterstica que presentan algunas series en lo largo del tiem-po, y dicha caracterstica es observada con periodicidad. Este comportamiento cclico porlo general no es perfectamente regular. En esta seccion nos vamos a limitar a explicar elprocedimiento para estimar la estacionalidad determinstica. Los metodos de regresion sonoptimos para las series de tiempo que presentan estacionalidad determinstica.

Regresion ArmonicaUna representacion conveniente para St esta dada por una suma armonica,

St = a0 +kj=1

[ajcos(jt) + bjsin(jt)]

donde a0, a1, ..., ak, b1, ..., bk son parametros desconocidos y 1, . . . , k son las frecuenciasajustadas del tipo 2pij

dy d es el periodo de la serie.

Ejemplo 1.3.6 Muertes por Accidente, U.S.A. 1973-1978Se ajusto una regresion Armonica con k = 1 y periodo d = 12.

0 10 20 30 40 50 60 70

7000

8000

9000

10000

11000

12000

Mes

Muertes por Accidentes

SerieRegresin Armnica

Variables Dummies

Suponga el modelo con tendencia determinstica,

Tt = 0 + 1t+ + mtm,para nuestro modelo vamos a suponer que la periodicidad observada ocurre cada 12 periodosde tiempo, entonces



St =12j=1

jdjt,

Como suponemos que estacionalidad constante, j no dependen del tiempo, entonces pode-mos pensar en variables dummys, por ejemplo en el caso que se presente una estacionalidadcada 12 meses (en una serie mensual).

djt =

{1, si el periodo t corresponde al mes j, j = 1, 2, . . . , 12,0, otro caso.

En este caso

d1t + d2t + + d12t = 1, t = 1, 2, . . . , n,de modo que la matriz no es de rango completo, as, imponemos la restriccion adicional

12j=1

j = 0,

y obtenemos el modelo de rango completo

Yt =mj=0

jtj +

11j=1

jDjt + at,

donde ahora

Djt =

1, si el periodo t corresponde al mes j,1, si el periodo t corresponde al mes 12,

0, en otro caso.

De este modelo podemos utilizar la teora usual de mnimos cuadrados y obtener los esti-madores de j y j, o sea, para una muestra Y1, . . . , Yn obtenemos el modelo

Y = C + D+ a,

donde

Yn1 =

Y1...Yn

, Cn(m+1) =

1 1 11 2 2m...

......

1 n nm

,

(m+1)1 =

01...m

, Dn11 =D11 D21 D11,1D12 D22 D11,2

......

...D1n D2n D11,n

,Series de TiempoSegundo Semestre 2013


111 =

12...11

, an1 =a1a2...an

,el modelo se puede escribir de la siguiente manera

Y = X + ,

donde

X = [C : D] y =

,de modo que el estimador de mnimos cuadrados esta dado por

= [XX]1 XY.

Ejemplo 1.3.7 Datos Ejemplo 1.3.5Se ajusto una regresion con variables Dummies con periodo d = 12.

0 10 20 30 40 50 60 70

7000

8000

9000

10000

11000

12000

Mes

Muertes por Accidentes

SerieVariables Dummies



1.3.3. Transformaciones para estabilizar la varianza

Algunas series presentan variabilidad en la varianza. Una transformacion que reduce la depen-dencia de la variabilidad del tiempo es llamada transformacion estabilizadora de la varianza.Bartlett (1947) propuso un procedimiento que supone que la varianza 2t de la variablealeatoria Zt puede expresarse como una funcion de la media t, es decir,

E(Zt) = t

Var(Zt) = 2t = f(t)

Queremos encontrar una nueva variable Yt = T (Yt) tal que Var(Yt) = C2

Entonces, si T (.) es una funcion cuya primera derivada existe, se puede obtener la siguienteaproximacion lineal para T (Zt),

T (Zt) ' T (t) + TZt

Zt=t

(Zt t),de esta forma se tiene que la varianza aproximada del proceso T (Zt) es

Var(T (Zt)) ' TZt

Zt=t

2 f(t),ya que se desea que la varianza de T (Zt) sea constante C

2, sigue que

T

Zt

Zt=t

' Cf(t)

,

y por lo tanto

T (t) '

Cf(t)

dt.

Como se puede observar, es necesario conocer la forma funcional de f para estar en condi-ciones de utilizar la ecuacion anterior y de esta manera determinar la transformacion T (.)que estabilice la varianza.

Vamos a restringir el tipo de transformacion a la familia de transformaciones potencia, lacual se utiliza frecuentemente porque proporciona buenos resultados en la practica. Si lavarianza Zt es positiva y si es razonable suponer que

2t es proporcional a

2(1)t para algun

valor de se tiene

f(t) 2(1)tse sigue que



T (t) {t , si 6= 0,log(t), si = 0.

Este resultado sugiere que la funcion T (.), que vuelve aproximadamente constante la varianzade Zt, debe ser la transformacion potencia

T (Zt) =

{Zt , si 6= 0,log(Zt), si = 0.

la cual es valida para Zt > 0,t.Box Cox (1964) realizo una modificacion de las transformaciones de potencia,

Yt =

{Y t 1

> 0log(Yt) = 0, Yt > 0

la cual tiene la ventaja de ser continua es = 0 y es un parametro que puede ser estimadopor un procedimiento de maxima verosimilitud.

La Teora de Box Cox se base en el hecho de que las observaciones transformadas {Y1, ..., Yn}satisfacen los supuestos del modelo lineal, y ademas son v.a i.d.d con distribucion normal. Porlo tanto, Y N(X, 2In), donde X es la matriz de diseno y (, 2, ) son los parametrosdel modelo.

La funcion de densidad de Y esta dada por

f(Y ) =exp{ 1

22(Y X)T (Y X)}

(2pi2)n2

De esta manera, la funcion de verosimilitud de {Y1, ..., Yn} es

L(, , 2|Y ) = exp {122

(Y X)T (Y X)}(2pi2)

n2

J(,Y ) (1.4)

donde J(,Y,X) =n

i=1

dYidYi = ni=1 y1i es el jacobiano de la transformacion.Para encontrar el EMV se prosigue en dos etapas.

Para un fijo, se calcula el EMV de (, 2), obteniendose

() = (XTX)1XT Y

2() =Y T (I G)Y

n

donde G = X(XTX)1XT .



Se sustituye el valor de () y 2() en la Verosimilitud (1.4), por lo cual la log-verosimilitud queda como

l(|Y,X, (), 2()) = C +n2

log(2()) + ( 1)ni=1

log Yi (1.5)

Llamado g a la media geometrica, g = (n

i=1 Yi)1/n y Z = Y

g1 , es facil ver que

l(|Y,X, (), 2()) = C n2

log(s2()) (1.6)

donde s2() es la suma de los cuadrados de los residuos dividida por n del modelolineal Y N(X, 2In), es decir,

s2() =ZT (I G)Z

n

Por lo tanto, el EMV de es aquel valor que maximiza la log-verosimilitud (1.6).

En la practica, se calcula para una grilla de valores de que permite dibujar aproximada-mente la funcion de Verosimilitud. Las elecciones mas usadas son = 0, = 1/2. Es posibleque una transformacion que estabiliza la varianza necesite un filtrado previo de la serie.

Observaciones:

La log-verosimilitud (1.6) puede tambien ser escrita como

l(|Y,X, (), 2()) = C1 n2

log(s21()) (1.7)

donde s21() = ZT1 (I G)Z1 y Z1 = Yg .

En R a traves de la funcion boxcox() de la libreria MASS, se puede estimar el valorde . Dicha funcion entrega un grafico de la funcion Log-Verosimilitud de , el cualcontiene el valor maximo y el intervalo de confianza para la estimacion. R utiliza laecuacion (1.7) para calcular la log-verosimilitud.

El metodo anterior descrito es para el caso de modelos lineales, y si se quiere utilizaruna transformacion del tipo Box Cox en Series de Tiempo el supuesto de independenciade la variable transformada no es correcto. Una manera de adaptarlo es considerar quela variable transformada sigue un modelo ARIMA con errores gaussianos (modelo queveremos mas adelante), y en base a ese modelo escribir la verosimilitud, y estimar .En R la funcion BoxCox() de la librera FitAR permite hacer transformaciones de Seriesde Tiempo, cuyo argumento es el ajuste de un modelo ARIMA.



Ejemplo 1.3.8 La siguiente serie representa los totales mensuales en miles de pasajerosinternacionales desde Enero de 1949 hasta Diciembre de 1960. Se realizo una transformacionBox-Cox para estabilizar la variabilidad de la serie con = 0,148. La eleccion de serealizo por principio de maxima verosimilitud.

0.2 0.0 0.2 0.4

0.00.2

0.40.6

0.81.0

Relative Likelihood Analysis95% Confidence Interval

R()

^ = 0.148

1950 1952 1954 1956 1958 1960

100

200

300

400

500

600

Tiempo

Yt = AirPassengers

1950 1952 1954 1956 1958 1960

78

910

Tiempo

Yt= (Xt 1)

= 0.148



Captulo 2

Modelos Basicos y definiciones

Definicion 2.1 Sea T un conjunto arbitrario. Un Proceso estocastico es una familia devariables aleatorias Y = {Y (t), t T }, tal que, para todo t T , Y (t) es una variablealeatoria.

Note que en el caso de las series de tiempo T = {1, 2, . . . , n}, luego el proceso estocasticosera definido como Y = {Y1, Y2, . . . , Yn}.

2.1. Ruido

El modelo mas simple para una serie temporal es aquella en la que no hay ninguna tendenciao componente estacional y en el que las observaciones son variables aleatorias independientese identicamente distribuidas de media cero. Llamaremos a una secuencia X1,. . . , Xn con estascaractersticas como un Ruido.Por independencia la funcion de distribucion acumulada de esta secuencia es de la forma:

P (X1 x1, . . . , Xn xn) =ni=1

P (Xi xi)

lo que implica que no existe dependencia entre las observaciones, es decir,

P (Xn+k xn+k |X1 = x1, . . . , Xn = xn) = P (Xn+k xn+k)

Ejemplo 2.1.1 Proceso BinarioUn ejemplo de Ruido i.i.d. sera una secuencia de variables aleatorias i.i.d Xt, t = 1, 2, . . .con

P (Xt = 1) = p, P (Xt = 1) = 1 p,donde p = 1/2La siguiente figura contiene los datos correspondiente a All-Star Baseball Game, donde

22

Xt =

{1 Si la liga Nacional gano en el anot1 Si la liga Americana gano en el anot

Note que la serie contiene valores perdidos debido a que no hubo competencia en el ano 1945,y hay dos valores para la serie entre los anos 1959-1962 ya que dos juegos se realizaron.

1940 1950 1960 1970 1980 19902

1

0

1

2

AllStar Baseball Games

1933 19961933 1996

2.2. Ruido Blanco

Una forma mas debil para definir una secuencia no correlacionada esta dada por la siguientedefinicion.

Definicion 2.2.1 Decimos que {t, t Z} es un Ruido Blanco, si:E(t) = 0, t Z.Var(t) =

2, t Z.Cov(t, s) = 0, t 6= s.

Note que Un Ruido i.d.d es un Ruido Blanco, pero un Ruido Blanco no necesariamente esun Ruido i.d.d.Ademas al no tener correlacion con su pasado, es un modelo no predecible.

Notacion:Denotaremos por {t} RB(0, 2) a una secuencia de Ruido Blanco tal que E(t) = 0,Var(t) =

2.

2.3. Camino Aleatorio

Diremos que {xt} es una camino aleatorio si:



xt = xt1 + t (2.1)

donde {t} es una secuencia de Ruido Blanco. Sustituyendo xt1 = xt2+t1 en la ecuacion(2.1) y as sucesivamente, se obtiene,

xt = t + t1 + t2 + +En la practica, la serie anterior no sera infinita, por lo cual se iniciara en algun momentot = 1. Por lo tanto,

xt = 1 + 2 + + tEn este caso, el pasado del proceso es relevante para predecir los valores futuros, pero soloa traves de la ultima observacion.

Ejemplo 2.3.1 Camino Aleatorio

0 50 100 150 200

2

0

2

4

6Camino Aleatorio

2.4. Operadores y polinomios de rezago

El primer operador que se mencionara se llama operador de rezago, que se denota con laletra B (en ingles es backward). Dicho operador se define a continuacion.

Definicion 2.4.1 El operador de rezago B es tal que:

BYt = Yt1, para todo t.

por la aplicacion sucesiva del operador de rezago B se obtiene



B2Yt = B(BYt) = Yt2B3Yt = B(B

2Yt) = Yt3... =

... =...

BkYt = B(Bk1Yt) = Ytk

As que, en general, la expresion a la que se llega es

BkYt = Ytk, para k = 1, 2, . . . y todo t.

Note que al multiplicar a Bk por Yt se obtiene la variable rezagada k perodos y, debidoa que B0 = 1, se tiene B0Yt = Yt (si se fuera estricto, debera escribirse B

0 = I, donde Idenota el operador identidad que deja intacta la variable sobre la cual se opera).

Otro operador de uso frecuente y que esta ntimamente ligado con B es el operador diferencia. Este operador se utiliza para expresar relaciones del tipo Xt = Yt Yt1, donde, si Yt esuna variable de saldo, entonces Xt sera la variable de flujo correspondiente; es decir, si sedefine a mediante.

Yt = Yt Yt1, para todo tse tiene que Xt puede escribirse como Xt = Yt. La relacion que liga al a con B es lasiguiente

= 1B o sea Yt = (1B)Ytde esta manera, as como se obtuvo una expresion general para los Bk mediante la aplicacionsucesiva del operador B, as tambien podra obtenerse la siguiente forma general para k

kYt =kj=0

k!

j!(k j)!(1)jYtj k = 0, 1, 2, . . . , y t

Este resultado es facilmente comprobable con el teorema del binomio. Ahora bien, en elanalisis de series de tiempo se utilizan operadores de rezago en forma de polinomio, es decir,el polinomio

Yt 1Yt1 2Yt2 kYtk = Yt kj=1

jYtj,

es un polinomio de rezago que puede expresarse como A(B)Yt, en donde

A(B) = 1 1B 2B2 kBk = 1kj=1

jBj =

kj=0

jBj,



con 0 = 1 y los coeficientes 1, 2, . . . , k son constantes que ponderan la importancia delos rezagos con los que estan asociados, ademas k puede ser 0, 1, 2, . . .. Tambien es frecuentetrabajar con polinomios de rezago racionales, los cuales pueden expresarse como cocientes dedos polinomios de rezago, o sea, si j y j son constantes, G(B) sera un polinomio racionalsi

G(B) =A(B)

D(B)con A(B) =

kj=0

jBj y D(B) =

mj=0

jBj,

donde k y m son numeros enteros, no negativos y finitos.

Dado que B es un operador de rezago hay operaciones que no son validas:

Aplicar el operador de rezago a series que tienen diferentes frecuencias. Sea Xt = Y2t,entonces

BXt = Xt1 = Y2(t1) = Y2t2 = B2Y2t = B2Xt = Xt2

Aplicar operaciones absurdas,

1. Operacion logaritmo

Xt = B2Yt / log

log (Xt) = 2 log(B) + log (Yt)

2. Operacion raiz

Xt = B2Zt /

Xt = B

Yt

2.5. PLG - Proceso lineal general

Definicion 2.5.1 (Proceso lineal general) Un proceso lineal general es una combinacionlineal de una secuencia de ruido blanco. {Yt} es un PLG si se puede escribir como:

Yt =

j=jtj,

donde j son coeficientes cualquiera y {t} es una secuencia de ruido blanco t RB(0, 2).

Para poder calcular los momentos de Yt debemos imponer algunas condiciones,

1. Una condicion suficiente

j= 2j

2. Una condicion menos usada

j= |j|

y luego,

Pasado j=1

cjYtj +Yt +

Futuro j=1

cjYt+j = t,

entonces se tiene

Yt = t j=1

cjYtj j=1

cjYt+j

= RB Pasadot FuturotNote con esto, que el PLG no es adecuado para predecir, pues siempre aparece el futurode la serie que no es conocido. Por esto usaremos el PLGC - Proceso lineal general causal- el cual solo utiliza el pasado.

Definicion 2.5.2 {Yt, t = 1, 2, . . . , n} es un Proceso Lineal General Causal si se puedeescribir como una combinacion lineal de ruido blanco del pasado,

Yt =j=0

jtj,

2.6. Funcion de Autocovarianza

Se define la funcion de autocovarianza del proceso {Yt, t = 1, 2 . . . , n} como

(s t) := Cov(Yt, Ys) = Y (t, s) = E [(Yt Y (t))(Ys Y (s))]para todo entero s y t.Una vez conocida la funcion de autocovarianza del proceso {Yt, t = 1, 2, . . . , n}, se define lafuncion de autocorrelacion como

(s t) := (s t)(0)

, donde (0) = Var(Yt).

En muchas ocasiones (s t) no depende de t, en tales casos la funcion va a quedar definidasobre k = s t.

Proposicion 2.6.1 Una funcion de autocovarianza (k) que no depende de t satisface lassiguientes propiedades:

1. (k) > 0,

2. (k) = (k),



3. |(k)| (0),4. (k) es definida no negativa, en sentido que

ni=1

nj=1

ij(ki kj) 0,

para cualquier numero real 1, . . . , n y k1, . . . , kn Z.

Ejemplo 2.6.1 Ruido BlancoSea {t} una secuencia de Ruido Blanco con E(t) = 0 y Var(t) = 2. Se tiene que

(t, t+ k) =

{2 si k = 00 si k 6= 0

Ejemplo 2.6.2 Camino AleatorioSea {Xt} un camino aleatorio, entonces Xt =

tj=0 j, donde {t} RB(0, 2). La funcion

de autocovarianza del proceso esta dada por

X(t, t+ k) = t2 para todo k

Ejemplo 2.6.3 Media Movil de Primer OrdenSea Xt = t1 + t, donde {t} RB(0, 2). La funcion de autocovarianza del procesoesta dada por

X(t, t+ k) =

2(1 + 2) si k = 0

2 si |k| = 10 e.o.c

2.6.1. Funcion de Autocovarianza Proceso Lineal General Causal

Suponga que la serie de tiempo {Yt, t = 1, 2, . . . , n} se puede escribir como un proceso linealgeneral causal

Yt =j=0

jtj,

donde {t} RB(0, 2), vamos a imponer una condicion para la existencia del segundomomento,

j=0

2j

E(Yt) =j=0

jE(tj) = 0,

Var(Yt) =j=0

2jVar(tj) = 2

j=0

2j

j =

{1, si j = 0,j, si j 1.

tomando s t = k 0 tenemos que la funcion de autocovarianza esta dada por

Y (k) = 2

j=0

jj+k,

= 2kj=0

2j = 2k

1 2,

y la funcion de autocorrelacion es

Y (k) =

2k

1 22

1 2= k.

Notamos que la funcion de autocorrelacion de un proceso AR(1) tiene un decaimiento expo-nencial.

2.7. Estimacion de y

Utilizando los estimadores de momentos, podemos calcular

Cov(Yt, Yt+k) = E [(Yt E(Yt))(Yt+k E(Yt+k))] ,utilizando el estimador de momentos de la media E(Yt) = Y n tenemos

(k) =1

n

nkt=1

(Yt Yn)(Yt+k Yn)

y

(k) =(k)

(0).

Las sumas en los estimadores se divide por n y no por n k, esto se debe a que correspondea un estimador de momentos y definido as empricamente se comporta mejor.

Ejemplo 2.7.1 Usando los datos de Muertes por Accidente en U.S.A del Ejemplo 1.3.6, lossiguientes graficos contienen la serie residual (Sin Estacionalidad) y su funcion de autocor-relacion muestral.



0 10 20 30 40 50 60 70

500

0

500

1000

Tiempo

rt = Yt St^

0 5 10 15

0.2

0.0

0.2

0.4

0.6

0.8

1.0

Lag

ACF

rt = Yt St^



Captulo 3

Procesos Estacionarios

La clase de procesos aleatorios es muy amplia como para poder abordar el analisis de el-los en forma general, de tal manera que un metodo sirva para todos los posibles procesosexistentes. Una clase importante de procesos son caracterizados por las propiedades de susdistribuciones, especialmente cuando estas distribuciones no cambian en el tiempo. Si elproceso {Yt : t T } tiene esta propiedad diremos que es estrictamente estacionario. Unadefinicion formal es la siguiente:Estacionariedad estricta es un requerimiento bastante fuerte que puede ser relajado si seintroduce una nocion basada en los momentos del proceso. Es bien sabido que los momentosde un proceso estocastico no caracterizan de manera unica la distribucion del proceso, perosi los dos primeros momentos de un proceso satisfacen condiciones apropiadas, entonceses posible caracterizar una clase grande de procesos que poseen trayectorias que en algunsentido son estables.

Definicion 3.1 Un proceso estocastico {Yt} se dice debilmente estacionario o estacionariode segundo orden si cumple con

1. E [Yt] = (t) = para todo t T ,2. E [Y 2t ]

ser escrita como sigue

Y (t1, t2) = Y (t2 t1) = Y (h) = Y (t1, t1 + h) t Ty la funcion de autocorrelacion queda como

Y (h) =Y (h)

(0)

Ejemplo 3.1 Ruido Blanco.Es facil ver que {t, t T } es un proceso estacionario debil.

Ejemplo 3.2 Media Movil de Primer OrdenEl proceso Xt = t1 + t, donde {t} RB(0, 2) es un proceso estacionario de segundoorden.

Ejemplo 3.3 Autoregresivo de Primer OrdenEl proceso Xt = Xt1 + t, donde {t} RB(0, 2) y || < 1 es un proceso estacionario desegundo orden.

Definicion 3.2 Un proceso estocastico {Yt, t T } se dice Gaussiano si, para cualquier conconjunto t1, t2, . . . , tn de T , las variables aleatorias Yt1 , . . . , Ytn tiene distribucion nvariada.

Ejemplo 3.4 Suponga que tiene un proceso con la siguiente estructura

Yt = Yt1 + t, t 1 t iid N(0, 2)

Se tiene que Yt|Yt1 N(Yt1, 2) para t = 1, 2, . . . , n, entonces

f(y1, y2, . . . , yn) = f(yn|yn1, . . . , y1)f(yn1|yn2, . . . , y1) f(y2|y1)f(y1)= f(yn|yn1)f(yn1|yn2) f(y2|y1)f(y1)

=nj=1

1

2pi2exp

{ 1

22(yj yj1)2

}, con y0 = 0.

3.1. Modelos Auto-Regresivos (AR)

Los modelos auto-regresivos se definen como

(B)Yt = t,

donde (B) representa un polinomio de rezago, ademas, por simplicidad, se supone que elproceso {t} es un proceso de ruido blanco, es decir, t RB(0, 2). El proceso definido



anteriormente se encuentra centrado en cero, pero mas general es suponer que el procesovaria alrededor de una constante, es decir,

(B)Yt = + t.

Vamos a decir que el proceso puede ser representado por un modelo AR(p), si el polinimiode rezago es de orden p, as, para dicho proceso se tiene

(1 1B 2B2 pBp)Yt = + t,El termino auto-regresivo (AR) se le da al proceso representado por la ecuacion anterior, yaque se puede expresar como

Yt = + 1Yt1 + pYtp + t,la cual es basicamente una ecuacion de regresion lineal, con la caracterstica especial de queel valor de la variable dependiente Y en el periodo t depende de sus propios valores anterioresa t y ponderados de acuerdo a los coeficientes auto-regresivos 1, 2, . . . , p.

Es importante saber si el proceso alcanzara en el largo plazo su punto de equilibrio. Por lotanto es necesario saber si el proceso es estacionario, esto va a depender de los valores quetomen las races de la ecuacion caractersticas

(x) = 0

el cual rige el comportamiento del proceso auto-regresivo. Se sabe que el polinomio auto-regresivo (B) se puede escribir como

(B) = (1 g1B)(1 g2B) (1 gpB)de tal manera que el proceso AR definido por (B) sera estacionario siempre y cuando

|gi| < 1 para i = 1, 2, . . . , p,o dicho de otra manera, si y solo si las raices del polinomio, que son g11 , g

12 , . . . , g

1p , se

encuentran fuera del crculo unitario (en el plano complejo).

3.1.1. Modelo AR(1)

El caso mas simple es el de un modelo auto-regresivo de orden uno, o sea AR(1), quese presenta como

Yt = Yt1 + t

y que genera la serie de tiempo que se conoce como serie de Markov. Para que dicha seriesea estacionaria se requiere que la raz de la ecuacion

1 x = 0



se encuentre fuera del crculo unitario, es decir, se requiere que || < 1 para asegurar la esta-cionariedad del proceso AR(1). Otra representacion posible para el proceso AR(1) suponiendoque es estacionario (|| < 1) es en terminos de la serie de errores aleatorios exclusivamente,es

Yt = (1 B)1t =j=0

jtj.

As, el primer y segundo momento del modelo son:

E(Yt) =j=0

jE(tj) = 0,

Var(Yt) =j=0

2jVar(tj) =1

1 2 2.

De esta forma la media del proceso es cero y la varianza es constante,

(0) =1

1 2 2.

As mismo la funcion de autocovarianza del proceso se obtiene utilizando la formula para larepresentacion causal con j =

j, j = 1, 2, . . . .

(k) = 2j=1

2j+k = 2k

1 2, k = 1, 2, . . . .

Esto se logro al supuesto || < 1. Recuerde que (k) = (k), entonces la funcion deautocorrelacion del proceso.

(k) =(k)

(0)= |k|, |k| = 0, 1, 2, . . . .

Note que por medio de la funcion de autocorrelacion y autocorrelacion parcial (que veremosmas adelante) se caracterizan los procesos.



A continuacion se presentan dos series de tiempos AR(1) simuladas con sus respectivasfunciones de autocorrelacion.

0 100 200 300 400

4

2

0

2

4

Tiempo

0 5 10 15 20 25

0.0

0.2

0.4

0.6

0.8

1.0

Lag

ACF

Figura 3.1: Simulacion AR(1) con = 0,75 y su funcion de autocorrelacion (k).

0 100 200 300 400

4

2

0

2

4

Tiempo

0 5 10 15 20 25

0.5

0.0

0.5

1.0

Lag

ACF

Figura 3.2: Simulacion AR(1) con = 0,75 y su funcion de autocorrelacion (k).

3.1.2. Modelo AR(2)

El siguiente modelo autorregresivo a considerar sera el autorregresivo de segundo orden,esto es, se estudia el modelo

Yt = 1Yt1 + 2Yt2 + t, t RB(0, 2),que fue introducido por Yule 1927. Para que el proceso anterior sea estacionario debe cumplirque las races de polinomio 1 1x 2x2 se encuentre fuera del circulo unitario. Unacondicion equivalente a la anterior es requerir que

|2| < 1, 2 + 1 < 1, 2 1 < 1.Para describir el proceso AR(2) estacionario, lo unico que hace falta es obtener la funcion deautocovarianza. Para ello vamos a obtener las ecuaciones de Yule Walker (llamadas as enhonor a Yule, 1927 y Walker, 1931).

Yt = 1Yt1 + 2Yt2 + t, /YtkYtYtk = 1Yt1Ytk + 2Yt2Ytk + tYtk,



ya que E(tYti) = 0 i > 1, luego tomamos esperanza y se tiene las siguientes ecuaciones

(k) =

{1(1) + 2(2) +

2, si k = 0,1(k 1) + 2(k 2), si k = 1, 2, . . ..

De aqu, si (0)

0 100 200 300 400

4

2

0

2

4

Tiempo

0 5 10 15 20 25

0.5

0.0

0.5

1.0

Lag

ACF

Figura 3.4: Simulacion AR(1) con 1 = 0,4, 2 = 0,7 y su funcion de autocorrelacion (k).

se encuentran fuera del circulo unitario. Asumiendo que el proceso es estacionario, se puedenusar las ecuaciones de Yule-Walker para encontrar la funcion de autocorrelacion del proceso.

(1) = 1 + 2(1) + + p(p 1)(2) = 1(1) + 2 + + p(p 2)

... =...

(p) = 1(p 1) + 2(p 2) + + pde donde se obtienen los valores de las primeras p autocorrelacion en funcion de los paramet-ros autorregresivos 1, 2, , p, las siguientes correlaciones se obtiene de la relacion

(k) = 1(k 1) + 2(k 2) + + p(k p), k p+ 1

Definicion 3.1.1 Sea {Yt} un proceso AR(p) estacionario, entonces se puede escribir comoun proceso lineal general causal (o como veremos mas adelante MA()), es decir {Yt} puedeser representado por de la siguiente manera

Yt =j=0

jtj,

donde {t} RB(0, 2).

Ejemplo 3.1.1 Sea Yt un proceso estocastico que sigue un modelo AR(1), el cual es esta-cionario, entonces || < 1, as

(1 B)Yt = t, y Yt = (1 B)1t,entonces

Yt = (1 B)1t =j=0

jtj



As j = j.

3.2. Modelos de Medias Moviles (MA)

Los modelos de medias moviles fueron introducidos por Yule (1926) y Slutzky (1927); Laidea basica de estos modelos se basa en representar un proceso estocastico {Yt}, cuyos valorespueden ser dependientes unos de otros, como una suma finita ponderada de choques aleatoriosindependientes {t}, o sea

Yt = (1 + 1B + 2B2 + + qBq)t = (B)t,

en donde {Yt} es una suma de choques aleatorios y 1, 2, . . . , q representan a las pondera-ciones (parametro de promedios moviles) asociados con los choques aleatorios en los periodost 1, t 2, . . . , t q.

Note que el modelo anterior esta expresado en la forma del proceso lineal general y que lasuma

qi=1 |i|, al considerar un numero finito de sumandos, es una constante finita, por

consiguiente, todo proceso MA es estacionario.

3.2.1. Modelo MA(1)

El modelo de medias moviles mas simple es el modelo de medias moviles de orden uno,o sea el AR(1), que se representa como

Yt = t + t1, {t} RB(0, 2),por lo cual se obtienen de manera inmediata

E(Yt) = 0 y (0) = Var(Yt) = 2(1 + 2)

,ademas, la funcion de autocovarianza viene dada por

(k) = Cov(t + t1, t+k + t+k1)

= Cov(t, t+k) + Cov(t, t+k1) + Cov(t1, t+k) + 2Cov(t1, t+k1)

=

{2, si k = 1,0, si k 2.

de donde sigue que la FAC es

(k) =

{/(1 + 2), si |k| = 1,0, si k 2.

A continuacion se presentan dos series de tiempo simuladas de un proceso MA(1) con surespectivos parametros y funcion de autocorrelacion.



0 100 200 300 4004

3

2

1

0

1

2

3

Tiempo

0 5 10 15 20 250.2

0.0

0.2

0.4

0.6

0.8

1.0

Lag

ACF

Figura 3.5: Simulacion MA(1) con = 0,7 y su funcion de autocorrelacion (k).

0 100 200 300 4004

2

0

2

4

Tiempo

0 5 10 15 20 250.5

0.0

0.5

1.0

Lag

ACF

Figura 3.6: Simulacion MA(1) con = 0,7 y su funcion de autocorrelacion (k).

Definicion 3.2.1 Sea {Yt} un proceso MA(q), se dice que el proceso es invertible, si lasraces del polinomio caracterstico (B) se encuentran fuera del circulo unitario, es decir

(x) = 1 + 1x+ + qxq = 0.En tal caso, si el proceso es invertible, {Yt} se puede escribir como un proceso AR(), esdecir, sea pi(x) = (x)1 el polinomio inverso, entonces

pi(B)Yt = t

Para el caso de un MA(1), el proceso es invertible si || < 1, as el proceso Yt = t t1,puede ser representado por

t = pi(B)Yt

= (1 + B)1Yt

=j=0

jYtj

As t =

j=0 pijYtj, donde pij = ()j.



3.2.2. Modelo MA(2)

El siguiente proceso a considerar sera el de promedio de medias moviles de orden dos,denotado como MA(2) y cuyo modelo es

Yt = (1 + 1B + 2B2)t,

as, se tiene que el primer momento y la varianza son:

E(Yt) = 0 y Var(Yt) = 2(1 + 21 +

22)

luego, la funcion de auto-covarianza

(k) = Cov(Yt, Yt+k)

= Cov(t + 1t1 + 2t2, t+k + 1t+k1 + 2t+k2)

= Cov(t, t+k) + 1Cov(t, t+k1) + 2Cov(t, t+k2)

+1Cov(t1, t+k) + 21Cov(t1, t+k1) + 12Cov(t1, t+k2)

+2Cov(t2, t+k) + 12Cov(t2, t+k1) + 22Cov(t, t+k2)(1 + 12)

2, si |k| = 1;2

2, si |k| = 2;0, si |k| 3.

por lo cual, la funcion de autocorrelacion FAC viene a ser

(k) =

1(1 + 2)

1 + 21 + 22

, si |k| = 1,2

1 + 21 + 22

, si |k| = 2,0, si |k| 3.

De las formulas anteriores resulta evidente que el proceso es estacionario; para que el proceso{Yt} sea invertible se requiere que las races del polinomio caracterstico

1 + 1x+ 2x2 = 0

se encuentren fuera del disco unitario.

Dos ejemplos de series de tiempo simuladas de un proceso MA(2):



0 100 200 300 400

2

0

2

4

Tiempo

0 5 10 15 20 250.4

0.2

0.0

0.2

0.4

0.6

0.8

1.0

Lag

ACF

Figura 3.7: Simulacion MA(2) con 1 = 0,4, 2 = 0,5 y su funcion de autocorrelacion(k).

0 100 200 300 400

3

2

1

0

1

2

3

Tiempo

0 5 10 15 20 25

0.0

0.2

0.4

0.6

0.8

1.0

Lag

ACF

Figura 3.8: Simulacion MA(2) con 1 = 0,9, 2 = 0,5 y su funcion de autocorrelacion (k).

3.2.3. Modelo MA(q)

En general, un proceso estocastico se dira que sigue un esquema de promedios moviles deorden q 1 si se le puede representar mediante

Yt = t + 1t1 + + qtq, {t} RB(0, 2).Como ya se menciono, todo proceso MA es estacionario, y en particular se observa que ni lamedia, ni la varianza, ni la funcion de autocovarianza dependen del tiempo.

E(Yt) = 0

(0) = (1 + 21 + 22 + 2q)2

(k) =

{(k + 1k+1 + + qkq)2, si |k| = 1, 2, . . . , q,0, si |k| q + 1.

luego la funcion de autocorrelacion es

(k) =

(thetak + 1k+1 + + qkq)

1 + 21 + 22 + 2q

, si |k| = 1, 2, . . . , q,0, si |k| q + 1.



3.3. Modelo ARMA

Una generalizacion de los modelos AR y MA previamente descritos, consiste en combinarambas clases de modelos, as se obtienen los modelos auto-regresivos y de medias moviles(ARMA), estos modelos fueron estudiados por Wold (1938) y Bartlett (1946). El modeloARMA(p, q) es representado por

(B)Yt = (B)t, {t} RB(0, 2)y los polinomios (B) y (B) son polinomios de rezago de orden p y q respectivamente. Dichageneralizacion surge del hecho de que las series de tiempo que se observan en la practica,muchas veces presentan caractersticas tanto de procesos AR como de proceso MA.

Los proceso ARMA seran estacionarios si el polinomio caracterstico (x) = 0 tiene las racesfuera del disco unitario, y sera invertible si el polinomio caracterstico (x) = 0 tiene racesfuera del disco unitario.

3.3.1. Modelo ARMA(1,1)

Este proceso es uno de los mas sencillos y es de gran interes desde el punto de vista practicoporque proporciona representaciones adecuadas para muchas series de fenomenos reales. Elmodelo ARMA(1,1) esta definido por

(1 B)Yt = (1 + B)t, {t} RB(0, 2)para que el proceso sea estacionario e invertible se impone la restriccion || < 1 y || < 1.Para obtener la funcion de autocovarianza del modelo utilizamos las ecuaciones de Yule-Walker.

Yt = Yt1 + t + t1As, multiplicamos por Yt y tomamos esperando el valor esperado para obtener la varianza

(0) = E(YtYt1) + E(Ytt) + E(Ytt1)

= (1) + E(Yt1t) + E(2t ) + E(t1t) + E(Ytt1)

= (1) + 2 + E(Ytt1)

= (1) + 2 + E(Yt1t1) + E(tt1) + 2E(2t1)

= (1) + 2 + 2 + 22

= (1) + [1 + (+ )]2.

De manera similar, se tienen las funciones de autocovarianzas

(k) = E(YtkYt1) + E(Ytkt) + E(Ytkt1)

=

{(0) + 2, si k = 1,(k 1), si k 2.



Los valore se (0) y (1) se obtienen del sistema de ecuaciones

(0) = (1) + [1 + (+ )]2

(1) = (0) + 2

se tiene por solucion

(0) =(1 + 2 + 2)2

1 2

(1) =(1 + )(+ )2

1 2as se concluye que la funcion de autocovarianza es

(k) =k1(1 + )(+ )2

1 2 , k = 1, 2, . . .la cual da origen a la FAC

(k) =k1(1 + )(+ )

1 2 + 2 , k = 1, 2, . . .

de aqu una condicion de que || < 1, ademas note que tiene decaimiento exponencial.

Aqu un grafico de un proceso ARMA(1,1) y su funcion de autocorrelacion

0 100 200 300 4004

2

0

2

4

Tiempo

0 5 10 15 20 25

0.0

0.2

0.4

0.6

0.8

1.0

Lag

ACF

Figura 3.9: Simulacion ARMA(1,1) con = 0,8, = 0,4 y su funcion de autocorrelacion(k).

3.3.2. Modelo ARMA(p, q)

El caso general de un proceso ARMA(p, q) se representa mediante

(B)Yt = (B)t, {t} RB(0, 2)en donde los polinomios (B) y (B) son de orden p y q respectivamente, es decir



Yt Yt1 pYtp = t + 1t1 + + qtqpara que este proceso sea estacionario se require que las races del polinomio (x) = 0 seencuentren fuera del disco unitario, y para que sea invertible es que las races de la ecuacion(x) = 0 se encuentren tambien fuera del disco unitario.

Si ambos casos ocurren, entonces el proceso admite las representaciones AR() y MA()siguientes

Yt =(B)

(B)t = (B)t

t =(B)

(B)Yt = pi(B)Yt

con

i=1 |i| < y

j=1 |pij| < . Los coeficientes i, i = 1, 2, . . . y pij, j = 1, 2, . . . seobtienen al igualar los coeficientes del potencial del operador B en las ecuaciones

(1 1B 2B2 )(1 1B 2B2 pBp) = 1 + 1B + 2B2 + + qBq(1 pi1B pi2B2 )(1 + 1B + 2B2 + + qBq) = 1 1B 2B2 pBp

Para el caso AR(1) y MA(1) basta usar la series geometricas, para el caso de procesos AR(2)y MA(2) vamos a utilizar algunas soluciones conocidas de ecuaciones en diferencia.

Suponga un proceso AR(2) estacionario, donde

Yt 1Yt1 2Yt2 = t, {t} RB(0, 2)as se tiene

(1 1B 2B2)Yt = t,(B)Yt = (B)t

donde (B) = 1, luego

Yt =(B)

(B)t = (B)t,

es decir, (B) = (B)(B), la ecuacion queda

1 = (B)(B)

1 = (1 1B 2B2)(0 + 1B + 2B2 )entonces se tienen las ecuaciones para los coeficientes



B0 : 0 = 1

B1 : 01 + 0 = 0B2 : 11 02 + 2 = 0B3 : 21 12 + 3 = 0B4 : 31 22 + 4 = 0

... :...

lo que se reduce a

k = k11 + k22, k 2o bien

(1 1B 2B2)k = 0, k 2en estas ecuaciones en diferencias las condiciones iniciales

0 = 1, 1 = 1.

Para el polinomio caracterstico se tienen 3 soluciones posibles, con m1 y m2 las races delpolinomio

(1 1z 2z2) = 0

1. Las races reales distintas m1 6= m2, entonces

k = 1

[1

m1

]k+ 2

[1

m2

]k.

2. Las races son reales e iguales m1 = m2 = m

k = [1 + 2k]

[1

m

]k.

3. Las races son complejas, de la forma

m1 m2i = ratio exp{i} = ratio [cos() + i sin()] ,

entonces



ratio =[m21 +m

22

]1/2cos() =

m1

ratio

sin() =m2

ratio

finalmente, se tiene

k = 1

[1

ratio

]kexp{ik}+ 2

[1

ratio

]kexp{ik}

=

[1

ratio

]k[(1 + 2) cos(k) + i(2 1) sin(k)] .

Note que los valores de 1 y 2 se extraen de las condiciones iniciales.

Ejemplo 3.3.1 Considere el siguiente proceso AR(2) definido como

(1 0,9B + 0,2B2)Yt = t, {t} RB(0, 2),entonces note que 1 = 0,9 y 2 = 0,2, entonces cumple con la condiciones de estacionari-dad. note entonces que el polinomio caracterstico es de la forma

(x) = 0

1 0,9x+ 0,2x2 = 0As, las races del polinomio son m1 = 2,5 y m2 = 2, ambas son races reales distintas, porlo tanto aplicamos la primera solucion

k = 1

[1

2,5

]k+ 2

[1

2

]k,

con las condiciones iniciales 0 = 1 + 2 = 1 y 1 = 0,41 + 0,52 = 0,9, de esta forma1 = 4 y 2 = 5. Los coeficientes k resultan

k = 4(0,4)k + 5(0,5)k.Finalmente el proceso MA() sera representado por

Yt =j=0

jtj =j=0

[4(0,4)j + 5(0,5)j] tj.Series de TiempoSegundo Semestre 2013


3.4. Prediccion de Series de tiempo Estacionarias

Consideremos el problema de la prediccion de los valores de Xn+h, h > 0, de una serie detiempo estacionaria con media conocida y funcion de auto-covarianza en terminos delpasado finito de la serie, {Xn, . . . , X1}, hasta el tiempo n.Nuestro objetivo es encontrar la combinacion lineal de {1, Xn, Xn1,. . . , X1}, que predigaXn+h con el menor error cuadratico medio.El mejor predictor lineal en terminos de {1, Xn,. . . , X1} se denota por PnXn+h, y tiene laforma

PnXn+h = a0 + a1Xn + + anX1.Los coeficientes a0,. . . , a1 se obtienen minimizando el error cuadratico medio

S(a0, a1, . . . , an) = E[(Xn+h a0 a1Xn anX1)2

]Los valores que minimizan S() satisfacen la ecuacion

S(a0, a1, . . . , an)

aj= 0, j = 0, 1, . . . , n

Evaluando se tiene que

E

[Xn+h a0

ni=1

aiXn+1j

]= 0,

E

[(Xn+h a0

ni=1

aiXn+1j

)Xn+1j

]= 0, j = 1, . . . , n.

Luego,

a0 =

(1

ni=1

ai

)y asumiendo que E(Xt) = 0, las ecuaciones se pueden escribir matricialmente como

(0) (1) (2) (n 1)(1) (0) (1) (n 2)

......

......

(n 1) (n 2) (n 3) (0)

12...n

=

(h)

(h+ 1)...

(h+ n+ 1)

n an n(h)

Por lo tanto,

nan = n(h) (3.1)



donde n es la matriz de Varianza-Covarianza del proceso {X1, ..., Xn}.Entonces

PnXn+h = +ni=1

ai (Xn+1i ).

El valor esperado de error de prediccion es cero y su media cuadratica esta dada por:

E[(Xn+h PnXn+h)2

]= (0) 2

ni=1

ai (h+ i 1) +ni=1

nj=1

ai (i j) aj

= (0) an n(h),

Propiedades de PnXn+h:

1. PnXn+h = +n

i=1 ai (Xn+1i ), donde an = (a1, . . . , an).2. E

[(Xn+h PnXn+h)2

]= (0)an n(h), donde n(h) = ((h), (h+ 1), . . . , (h+ n 1)).

3. E (Xn+h PnXn+h) = 0.4. E [(Xn+h PnXn+h) Xj] = 0, j = 1, . . . , n.5. Pn(Xn+h PnXn+h)) = 06. Pn

ni=1 iZi = iPnZi

Ejemplo 3.4.1 Prediccion a un paso de una serie AR(1) Considere una serie de tiempo

estacionaria definida porXt = Xt1 + Zt,

donde || < 1 y {Zt} RB(0, 2). El mejor predictor lineal de Xn+1 en terminos de{1, Xn, . . . , X1} para n 1 es

PnXn+1 = an Xn,

donde Xn = (Xn, . . . , X1) y1 2 n1 1 n2...

......

......

n1 n2 n3 1

a1a2...an

=

2

...n

Una solucion es

an = (, 0, . . . , 0),

entonces el mejor predictor lineal de Xn+1 en terminos de {X1, . . . , Xn} esPnXn+1 = a

n Xn = Xn,

con error cuadratico medio

E[(Xn+1 PnXn+1)2

]= (0) an n(1) =

2

1 2 (1) = 2.



Ejemplo 3.4.2 Estimacion de un valor faltanteConsidere una serie de tiempo estacionaria AR(1) dada por

Xt = Xt1 + Zt,

donde || < 1 y {Zt} RB(0, 2). Suponga que solo se observan los valores X1 y X3 dela serie. Estime el valor de X2 como una combinacion lineal de 1, X1 y X3, tal que errorcuadratico medio sea mnimo.

Sea Y = X2 y W = (X1, X3). Las ecuaciones para el mejor predictor lineal estan dadas por[

1 2

2 1

]a =

[

],

con solucion

a =1

1 + 2

[

]Por lo tanto el mejor predictor de X2 esta dado por

P (X2 |W) = 1 + 2

(X1 +X3),

con error cuadratico medio

E[(X2 P (X2 |W))2] = 2

1 2 a

2

1 22

1 2

= 21 + 2 .Ejemplo 3.4.3 Una serie AR(1) con media distinta de ceroUna serie de tiempo {Yt} se dice AR(1) de media si {Xt = Yt } es un proceso AR(1)de media cero. La serie Yt satisface la ecuacion:

Yt = (Yt1 ) + Zt.

Si Pn Yn+h es el mejor predictor lineal de Yn+h en terminos de {1, Yn, . . . , Y1}, entoncesaplicando Pn a t = n+ 1, n+ 2, . . . da la recursion

Pn Yn+h = (Pn Yn+h1 ), h = 1, 2, . . .

Note que Pn Yn = Yn, por lo tanto

Pn Yn+h = + h (Yn )

E[(Yn+h Pn Yn+h)2] = 2 (1 2h)

1 2 .



Nota:En general, si {Yt} es una serie estacionaria con media y si {Xt} es una serie estacionaria conmedia cero, definida por Xt = Yt . Como la coleccion de todas las combinaciones lineales{Yn, Yn1, ..., Y1} es la misma que todas las combinaciones lineales de {Xn, Xn1, ..., X1}, setiene que el predictor lineal Yn+1 en terminos de {Yn, Yn1, ..., Y1} es el mismo predictor linealen terminos de {Xn, Xn1, ..., X1}, as

PnYn+h = PnXn+h +

Definicion 3.4.1 Sea {Xn, Xn1, ..., X1} el pasado de la serie. EntoncesE(Xn+1|Xn, Xn1, ..., X1) = PnXn+1

La esperanza condicional de Xn+1 dado {Xn, ...X1} corresponde al mejor predictor lineal,es decir, es aquella que minimiza el error cuadratico medio, o dicho de otra manera, es laproyeccion ortogonal de Xn+1 en el subespacio generado por {Xn, ...X1}.

La definicion anterior puede ser extendida a un pasado infinito de la serie.

3.5. Prediccion en Procesos ARMA

Suponga que {Xt} es un proceso ARMA(p, q) causal e invertible con media cero,(B)Xt = (B)Zt

donde Zt iidN(0, 2). Si E(Xt) = , reemplace Xt por Xt en el modelo. Denotemospor Xn+h el mejor predictor lineal de Xn+h basado en el pasado finito {Xn, ..., X1}, es decir,

Xn+h = E(Xn+h|Xn, ..., X1)Para procesos ARMA es mas sencillo calcular el predictor de Xn+h asumiendo que se tienela historia completa del proceso (paso infinito), Xn, Xn1, Xn2, ..., X1, X0, X1, .... Denotepor Xn+h al predictor lineal basado en el pasado infinito de la serie,

Xn+h = E(Xn+h|Xn, Xn1, ...., )En general, Xn+h y Xn+h no son lo mismo, sin embargo, para n suficientemente grande Xn+hes una buena aproximacion de Xn+h.Escribiendo Xn+h en su forma causal e invertible se obtiene,

Xn+h =j=0

jZn+hj 0 = 1 (3.2)

Zn+h =j=0

pijZn+hj pi0 = 1 (3.3)



Tomando esperanza condicional en la ecuacion (3.3) se tiene que

0 = E(Xn+h|Xn, Xn1, ...) +j=1

pijE(Xn+hj|Xn, xn1, ...)

E(Xn+h|Xn, Xn1, ...) = h1j=1

pijE(Xn+hj|Xn, xn1, ...)j=h

pijE(Xn+hj|Xn, xn1, ...)

Xn+h = h1j=1

pijE(Xn+hj|Xn, xn1, ...)j=h

pijXn+hj

Xn+h = h1j=1

pijXn+hj j=h

pijXn+hj (3.4)

ya que E(Xt|Xn, Xn1, ...) = Xt cuando t n y

E(Zt|Xn, Xn1, ...) ={Zt si t n0 si t > n

De esta manera,las predicciones Xn+h se obtienen de manera recursiva, para h = 1, 2, ...

De manera similar, tomando esperanza condicional en la ecuacion (3.2) se obtiene

E(Xn+h|Xn, Xn1, ..., ) =j=0

jE(Zn+hj|Xn, xn1, ...)

=j=h

jZn+hj

Luego el error de prediccion a h-pasos esta dado por

Xn+h Xn+h =h1j=0

jZn+hj

por lo tanto, el error cuadratico medio de la prediccion es

E(Xn+h Xn+h)2 = 2h1j=0

2j (3.5)

Cuando n es chico, en general la prediccion dada por el sistema de ecuaciones (3.1) puede serusado facilmente. Cuando n es grande, es conveniente usar las ecuaciones (3.4) truncadas, yaque no se observan los valores de X0, X1, X2,.... y solo disponemos de los datos X1, ..., Xn.



En este caso, se puede truncar (3.4) reemplazando

j=n+h pijXn+hj = 0, de esta manera elpredictor truncado a h- pasos es

Xnn+h = h1j=1

Xn+hj n+h1j=h

pijXn+hj (3.6)

El cual es calculado de manera recursiva para h = 1, 2, .... El error cuadratico medio, en estecaso es aproximadamente (3.5).

En procesos AR(p), cuando n > p las ecuaciones (3.6) corresponden al predictor exacto deXn+h, y no es una aproximacion, es decir, Xn+h = Xn+h = X

nn+h.

3.5.1. Intervalos de Prediccion:

Como el proceso {Xt} es causal e invertible donde {Zt} son iid Normal(0, 2), se tiene queeh = Xn+h Xn+h tambien es gaussiano, tal que

eh N(0,Var(eh))donde Var(eh) =

2h1

j=0 2j .

De esta manera, un intervalo para la prediccion Xn+h esta dado por

Xn+h z1/2

Var(eh)

En R el comando predict de la librera forecast entrega las predicciones a h pasos y lavarianza del error de prediccion.

Ejemplo 3.5.1 Predicciones a largo plazoConsidere un proceso ARMA con media . La prediccion a h - pasos esta dada por

Xn+h = h1j=1

pij(Xn+hj )j=h

pij(Xn+hj )

Escrita en terminos de los Zt queda,

Xn+h = +j=h

jZn+hj

Como los pesos j tienden a cero exponencialmente, se tiene que

Xn+h cuando hAdemas el error cuadratico medio de la prediccion,

E(Xn+h Xn+h)2 2j=0

2j = (0) cuando h

Por lo tanto, en procesos ARMA la prediccion recae rapidamente en la media del proceso,con un error de prediccion constante en la medida que aumenta h.



Ejemplo 3.5.2 Considere la data rec de la librera astsa de R, la cual contiene el reclu-tamiento (numero de nuevos peces) por un perodo de 453 meses que van en los anos 1950a 1987.

1950 1960 1970 19800

20

40

60

80

100

Tiempo

Serie Recruitment

1950 1988

Se le ajustara un proceso AR(2), con media a los datos,

Xt = 1(Xt1 ) + 2(Xt2 ) + ZtLos estimadores de mnimos cuadrados (que veremos mas adelante) de los parametros delmodelo estan dados por

1 = 1,3541 2 = 0,4632, = 62,262, 2 = 89,72De esta manera, las predicciones a h-pasos se calculan a partir de

Xn+h = h1j=1

(Xn+hj )2

j=h

pij(Xn+hj )

para h = 1, 2, ... y el error de cuadratico medio de la prediccion esta dado por

E(Xn+h Xn+h)2 = 2h1j=0

2j

A partir de la figura(3.12) podemos ver que a medida que aumenta h, las predicciones tiendena y su error cuadratico medio tienden a (0).

3.6. Funcion de Autocorrelacion Parcial

La funcion de autocorrelacion parcial entrega informacion relevante sobre la estructura dedependencia de un proceso estacionario. La funcion de autocorrelacion parcial (k) corre-sponde a la correlacion X1 y Xk+1, ajustada por al intervencion de X2, . . . , Xk. Esta idea seprecisa en la siguiente definicion



Time

Recru

itmen

t

1980 1982 1984 1986 1988 1990

020

4060

8010

012

0

Prediccin a 24 pasos Serie Recruitment

l

l

l

l

ll

ll l

l l ll l l l l l l l l l l l

Figura 3.10: Prediccion a h =24 pasos junto a su intervalo de 95 % de confianza

Definicion 3.6.1 La funcion de autocorrelacion parcial (PACF) () de una serie de tiempoestacionaria es definida por

(1) = Corr(X2, X1) = (1),

y para el resto

(k) = Corr(Xk+1 P{X2,...,Xk}(Xk+1), X1 P{X2,...,Xk}(X1)), k 2Donde P{X2,...,Xk}(Xk+1) y P{X2,...,Xk}(X1) se pueden determinar con las ecuaciones normales.

tambien se utiliza la notacion (1) = 11 y (k) = kk.

Observacion:

1. Para un proceso AR(p), entonces (k) = 0, k > p.2. Para un proceso MA(q), entonces (k) tiene decaimiento exponencial.

3. En un proceso ARMA tanto la ACF y la PACF tienen decaimiento exponencial.

Una definicion equivalente de la funcion de autocorrelacion parcial es la siguiente. Sea {Xt}un proceso estacionario con funcion de autocovarianza (.) tal que (k) 0 cuando k ,y suponga que los coeficientes kj, j = 1, 2, . . . , k; k = 1, 2, . . . son los coeficientes en larepresentacion

P{X1,...,Xk}(Xk+1) = k1Xk + k2Xk1 + + kkX1Demostraremos que (k) = kk k 2.

Para simplificar la notacion sea M = {X2, ..., Xk}. Por definicion tenemos que



(k) = Corr(Xk+1 PMXk+1, X1 PMX1)=

Cov(Xk+1 PMXk+1, X1 PMX1)Var(Xk+1 PMXk+1)

Var(X1 PMX1)

Note que

Cov(Xk+1 PMXk+1, X1 PMX1) = Cov(Xk+1 PMXk+1, X1)

pues Xk+1 PMXk+1PMX1.Como PMXk+1 = k1,2Xk + + k1,k1X2 se tiene que

Cov(Xk+1 PMXk+1, X1) = (k) Cov(k1j=1

k1,jXkj+1, X1)

= (k)k1j=1

k1,j(k j)

= kkk1

donde k1 = E(Xk+1 PMXk+1)2. La ultima igualdad proviene del algoritmo de Durbin-Levinson.Por otro lado,

Var(Xk+1 PMXk+1) = E(Xk+1 PMXk+1)2 = k1demostraremos que Var(X1 PMX1) = k1. Para ello defina Yt = Xkt+2, note que

Y (h) = Cov(Yt, Yt+h)

= Cov(Xkt+2, Xkth+2)

= X(h)

Ademas, E(Yk+1 PM Yk+1)2 = Y (0) , donde

M

= {Yk, ..., Y2} = (Cov(Yk+1, Yk), ...,Cov(Yk+1, Y2))

Como Y (h) = X(h) se tiene que = = (Cov(Xk+1, Xk), ...,Cov(Xk+1, X2)), de estamanera,

E(Yk+1 PM Yk+1)2 = Y (0)

= X(0) = E(Xk+1 PMXk+1)2= k1



Ademas E(Yk+1 PM Yk+1)2 = E(X1 PMX1)2 = k1.

Por lo tanto,

(k) =kkk1k1k1

= kk k 2Recuerde que kk se obtienen a partir del sistema de ecuaciones:

(0) (1) (2) (k 1)(1) (0) (1) (k 2)

......

......

(k 1) (k 2) (k 3) (0)

k1k2

...kk

=(1)(2)

...(k)

, k 1.Una forma de resolver el sistema es usando la Regla de Cramer, para k = 1, 2, 3, . . .

11 = (1),

22 =

1 (1)(1) (2) 1 (1)(1) 1

33 =

1 (1) (1)(1) 1 (2)(2) (1) (3)

1 (1) (2)(1) 1 (1)(2) (1) 1

En general

kk =|P k||P k| ,

donde P k es la matriz de correlaciones y Pk es la matriz de correlacion, donde la ultima

columna es sustituida por el vector de autocorrelaciones.

Definicion 3.6.2 La funcion de autocorrelacion parcial (k) de una muestra {x1, x2, . . . , xn}es definida por

(k) = kk, 1 k < n.

Ejemplo 3.6.1 Consideremos el proceso autoregresivo de primer orden,

Yt = Yy1 + t

con || < 1. Calcularemos la funcion de autocorrelacion parcial.



Usando la definicion:

El predictor lineal de yt dado Ft1 = {y1, ..., yt1} esta dado por

yt = yt1,

luego se tiene que

(1) = Cor(y1, y2) = y(1) =

(2) = Cor(y3 Py2{y3}, y1 Py2{y1})

Luego, Py2{y3} = y2 y Py2{y1} = y2, donde = 1y (0)/y(1) = y(1) = . Esto es,Py2{y1} = y2.

De esto ultimo se desprende que,

y3 = y2 = y1

Predecir y3 basado en y2, es lo mismo que predecir y1 basado en y2

(2) = Cor(y3 Py2{y3}, y1 Py2{y1})= Cor(y3 y2, y1 y2)= Cor(3, y1 y2)= 0

Luego, para k > 2, (k) = Cor(yk+1 Py2,...,yk{yk+1}, y1 Py2,...,yk{y1}), donde

Py2,...,yk{yk+1} = ykPy2,...,yk{y1} = y2

(k) = Cor(yk+1 yk, y1 y2)= Cor(k+1, y1 y2)= 0

As, en un proceso AR(1), (1) = y (k) = 0, k 2.



Usando (k) = kk.

11 = (1) =

22 =

1 (1)(1) (2) 1 (1)(1) 1 =

(2) (1)2(1 (1)2) = 0

33 =

1 (1) (1)(1) 1 (2)(2) (1) (3)

1 (1) (2)(1) 1 (1)(2) (1) 1

=

1 (2)(1) (3) (1) 1 (1)(2) (3)

+ (1) (1) 1(2) (1) 1 (1)(1) 1

(1) (1) (1)(2) 1+ (2) (1) 1(2) (1)

= 0

De la misma manera se obtiene que (k) = 0 k 2.

El siguiente grafico contiene la funcion de autocorrelacion Parcial y la funcion de autocor-relacion muestral para un proceso AR(1).

0 5 10 15 20 25

0.00.2

0.40.6

0.81.0

Lag

ACF

ACF

0 5 10 15 20 25

0.00.2

0.40.6

Lag

Partial

ACF

PACF

Figura 3.11: Simulacion proceso AR(1) con = 0,8 y n=400



0 5 10 15 20 25

0.5

0.00.5

1.0

Lag

ACF

ACF

0 5 10 15 20 25

0.6

0.4

0.2

0.0

Lag

Partial

ACF

PACF

Figura 3.12: Simulacion proceso AR(1) con = 0,8 y n=400

Ejemplo 3.6.2 Considere el proceso MA(1) definido por

Xt = Zt1 + Zt

La PACF del proceso esta dada por

(k) = ()k

1 + 2 + + 2h h 1

3.6.1. Descomposicion de Wold

El Teorema de descomposicion de Wold es esencial para la comprension teorica de los pro-cesos estocasticos estacionarios. Esto demuestra que cualquier proceso estacionario se puederepresentar como una combinacion lineal de errores del presente y pasado. Antes de establecerel teorema, introduciremos la siguiente definicion.

Definicion 3.6.3 Un proceso estocastico se llama determinista si y solo si puede predecirseexactamente con su pasado infinito. Mas precisamente, si y solo si

2 = E(Xn+1 PnXn+1)2 = 0donde PnXn+1 = E(Xn+1|Xn, Xn1, ...)

La clase mas importante de los procesos deterministas son los procesos armonicos. Estos pro-cesos se caracterizan por la suma finita o infinita de senos y cosenos con amplitud estocastica.Un ejemplo sencillo de un proceso armonico viene dada por

Xt = A cos(t) +B sin(t) (0, pi)donde A y B son variables aleatorias no correlacionadas con media cero y varianza finita.Note que Xt puede ser escrita como

Xt = (2 cos())Xt1 Xt2



Luego, Xt = Xt, por lo tanto, Xt puede predecirse exactamente a partir de su pasado. Eneste ejemplo, la ultima dos observaciones son suficiente. Ahora estamos en condiciones paramencionar el teorema de la descomposicion de Wold.

Teorema 3.6.1 Todo proceso estocastico estacionario Xt con media cero y varianza finitapuede ser representada por

Xt =j=0

j Ztj + Vt,

donde

1. 0 = 1 y

j=0 2j 0 y Vt = Y .



Captulo 4

Estimacion en Procesos ARMA

La especificacion y estimacion de un proceso ARMA(p, q) involucra varias etapas. En primerlugar hay que determinar los ordenes de p y q. Una vez especificados p y q se pueden estimarlos parametros j, j y

2. Por ultimo, el modelo tiene que pasar varias pruebas de robustezcon el fin de validar los supuestos del modelo. Estos controles pueden incluir analisis de losresiduos, capacidad predictiva o pruebas para la inclusion de adicionales variables exogenas.Por lo general es un proceso iterativo en el que se examinan varios modelos.En una primera instancia se asumira que el orden del proceso ARMA se conoce y el problemasolo consiste en la estimacion de los parametros de una serie de tamano T . Por simplicidad,se supone que los datos tienen media cero. Se abordaran tres metodos de estimacion. Elprimer es el metodo de los momento en el cual los momentos teoricos se igualan a losmomentos empricos. Este procedimiento se conoce como el estimador de Yule-Walker. Elsegundo procedimiento interpreta el proceso estocastico como un modelo de regresion y lasestimaciones de los parametros es a partir del estimador de mnimos cuadrados (OLS). Estosdos metodos funcionan bien si el modelo subyacente es solo un modelo AR. Si el modeloimplica la parte MA, se puede utilizar el estimador de mnimos cuadrados generalizado(GLS). El tercer metodo muy utilizado para estimar los parametros de un proceso ARMAes el estimador de maxima verosimilitud.

4.1. Estimadores de Yule-Walker

Considere el proceso {Xt, t {1, 2, . . . , T}} un proceso autorregresivo de orden p causal demedia cero.

Xt = 1Xt1 + + pXtp + t, {t} RB(0, 2) (4.1)

entonces defina como =[1 2 . . . p

]vector de los coeficientes autorregresivos

de dimension p. Multiplicando la ecuacion (4.1) pot Xtj, j = 0, ..., p y aplicando E() seobtienen las ecuaciones de Yule-Walker,

63

(0) 1 (1) p(p) = 2(1) 1(0) 2(1) p(p 1) = 0(2) 1(1) 2(0) p(p 2) = 0

... =...

(p) 1(p 1) 2(p 2) p(0) = 0

Las cuales se puede escribir en forma matricial,

(0) p = 2

(0) (1) (2) (p 1)(1) (0) (1) (p 2)

......

......

(p 1) (p 2) (p 3) (0)

12...p

=(1)(2)

...(p)

Por lo tanto,

(0) p = 2p = p

donde p es la matriz de varianza covarianza p = [(i j)]pi,j=1 y p =[(1) (2) (p) ]

De esta manera, los estimadores de Yule-Walker de 1, ..., p se obtienen reemplazando losmomentos teoricos por los empricos, y se resuelven las ecuaciones,

2 = (0) pp = p

Si (0) > 0, entonces p es no singular, dividiendo por (0) en ambos lados de las ecuacionesanteriores tenemos

= R1p p

2 = (0)[1 pR

1p p

]donde p =

[(1) (2) (p) ] = (0)1p. Recuerde que

(k) =

nkt=1 XtXt+k

n, k = 0, 1, 2 . . . , n k



Observaciones:

1. Si (0) > 0 entonces es no-singular por lo tanto el sistema de Yule-Walker tienesolucion.

2. El metodo de Yule-Walker puede ser adaptado para procesos ARMA(p, q). Sin embargoen este caso obtendramos ecuaciones no lineales. Entonces podra haber problemas deno existencia de unicidad de soluciones.

3. Este metodo es muy utilizado como una aproximacion preliminar de la estimacion.

Ejemplo 4.1.1 En un proceso AR(1),

Xt = Xt1 + t

t RB(0, 2) y || < 1. Los estimadores de Yule-Walker de y 2 son

= (1)

2 = (0) (1)2

(0)

Ejemplo 4.1.2 Estimacion proceso MA(1)

Yt = t + t1

El sistema de Yule-Walker esta dado por

(0) = (1 + 2)2

(1) = 2

Luego,(1)2 + (1) = 0

y se obtiene de solucion,

=11 4(1)2

2(1)

La solucion sera real si y solo si el discriminante 1 4(1)2 es positivo, en este caso (1)2 1/4, ssi |(1)| 1/2. Note que una raz es la inversa de la otra. Luego pueden ocurrir trescasos:

|(1)| < 1/2: Existen dos soluciones para , por lo cual dos procesos MA(1) observadosequivalentes.

(1) = 1/2: Existe una unica solucion: = 1.|(1)| > 1/2: No existe un proceso MA(1) con dicha funcion de autocovarianza.



En el caso de que hayan dos soluciones se privilegian las soluciones que aseguren la invert-ibilidad del proceso, en este caso || < 1. Sin embargo, la condicion de invertibilidad es dificilde implementar en el caso de un proceso MA con orden mayor. Por otra parte, se puede de-mostrar que el estimador de Yule-Walker en general ya no es consistente. Por estas razones,no es aconsejable utilizar el estimador de Yule-Walker para procesos MA, especialmentecuando existen otros metodos que son mas eficientes y consistentes.

Teorema 4.1.1 Si {Xt} es un proceso causal AR(p) con {t} iid N(0, 2) y es el estimadorde Yule-Walker de , entonces

T ( ) a Np(0, 21p ),

donde p es la matriz de varianza covarianza p = [ (i j) ]pi,j=1, mas aun

2P 2

Ejemplo 4.1.3 Para los siguientes procesos se tiene

AR(1), Xt = Xt1 + t, con || < 1T ( ) a N(0, 1 2)

Note que la suposicion de causalidad, es decir, || < 1, es crucial ya que de otra manerala varianza asintotica no sera positiva.

AR(2), Xt = 1Xt1 + 2Xt2 + t, donde =[1 2

].

T ( ) a N2

[[00

],

[1 22 1(1 + 2)

1(1 + 2) 1 22

]]

Significancia de los parametros:

Para contrastar la hipotesis nula k = 0 frente a la alternativa de que k 6= 0 construimos eltest - t,

t =k

Var(k)

que asintoticamente sigue una distribucion N(0, 1), siendo Var(k) = akk/T donde akk =diag(21p ).

La hipotesis se rechaza si



kVar(k) > z1/2

en donde z1/2 es el valor crtico tal que P (Z > z1/2) = 1 /2.

En la practica el orden del modelo es desconocido. Sin embargo se puede esperar que cuandose estima un proceso AR(m) donde el verdadero orden es p, con p < m, los coeficientes esti-mados p+1, ..., m son muy cercanos a cero. A partir de este resultado, se puede identificar elorden del modelo comenzando con un modelo altamente parametrizado (sobreparametriza-do), es decir un modelo con un valor grande para m y luego atraves de pruebas t testearcuando m es cero. Si la prueba no puede ser rechazada, reduzca el orden del modelo a m1y repita el mismo procedimiento para m1. El procedimiento finaliza cuando la prueba esrechazada.Si el orden del modelo inicial es demasiado chico, de manera que el verdadero orden es mayorque m, conlleva a un sesgo de variable omitida y las estimaciones correspondientes ya no sonconsistentes.

4.2. Estimacion Mnimos Cuadrados Ordinarios

Un metodo alternativo para estimar los parametros de un modelo AR(p) es considerar elproceso estocastico como un modelo de regresion lineal para Xt con regresores Xt1, ..., Xtpy error Zt. Dadas las observaciones X1, ..., XT el modelo de regresion se puede escribir deforma compacta en forma matricial,

Xp+1Xp+2

...XT

=

Xp Xp1 Xp2 X1Xp+1 Xp Xp1 X2

......

......

XT1 XT2 XT3 XTp

12...p

+Zp+1Zp+2

...ZT

Y = X +Z (4.2)

Note que no se disponen de las primeras p observaciones, por lo tanto la muestra efectiva sereduce a T p. El estimador de mnimos cuadrados (OLS) se obtiene miminizando la sumade los cuadrados de los errores S(),

S()

apuntes serie de tiempo

Documents