1. concepto de proceso estocástico · tema 1 12 • nota: estamos hablando de procesos...

Curso 2006/07 Econometría II

1

Tema 1 1

Tema 1: Procesos Estocásticos. Caracterización de los procesos ARIMA

1.1. Concepto de proceso estocConcepto de proceso estocáásticostico2. Estacionariedad fuerte y débil de los procesos estocásticos.

Teoremas de ergodicidad3. Procesos estocásticos lineales discretos4. Plan de trabajo5. Procesos autorregresivos de orden p. Momentos y

condiciones de estacionariedad6. Procesos de media móvil de orden q. Momentos y

condiciones de invertibilidad7. Procesos mixtos. Condiciones de estacionariedad e

invertibilidad

Tema 1 2

1.1 Concepto de proceso estocástico

• Serie Temporal: Observaciones periódicas y ordenadas en el tiempo de valores de una variable.

• Modelos de Series Temporales:– Deterministas

– Estocásticos

• Proceso Estocástico: Familia infinita de variables aleatorias que corresponden a momentos sucesivos en el tiempo (Serie temporal = realización muestral de un Proceso Estocástico)

• Caracterización:

Mod. UnivariantesMod. Multivariantes

1. Distribución de probabilidad conjunta2. Momentos


2

Tema 1 3

Tema 1 4

Distribución de probabilidad conjunta:Momentos:Esperanza:

Varianza:

Covarianza:

Autocorrelación:

Para un proceso de tamaño T, habría que estimar T-medias, T-varianzas, y autocovarianzas No disponemos de g.l. Suficientes. Hay que imponer restricciones al modelo

{ }Tttt XXXP ,...,,

21

( ) ( )TjXEjj tt ,...,2,1== μ

( ) ( )jjjjj ttttt XEXVar γμ =−= 2

( ) ( )( )[ ]ijiijjij tttttttt XXEXXCov γμμ =−−=,

( ) ( )( ) ( )

ij

ij

ij

ij

ij

tt

tt

tt

tttt XVarXVar

XXCovXX

γγ

γρ ==

,,

11 ≤≤− ρ

( )2

1−TT


3

Tema 1 5


1. Concepto de proceso estocástico

2.2. Estacionariedad fuerte y dEstacionariedad fuerte y déébil de los procesos bil de los procesos estocestocáásticos. Teoremas de sticos. Teoremas de ergodicidadergodicidad

3. Procesos estocásticos lineales discretos4. Plan de trabajo5. Procesos autorregresivos de orden p. Momentos y



invertibilidad

Tema 1 6

1.2 Estacionariedad fuerte y débil de los procesos estocásticos. Teoremas de ergodicidad

• Fuertemente estacionario: Su distribución de probabilidad es invariante respecto al tiempo

• Débilmente estacionario: Sus momentos son invariantes respecto al tiempo (Estacionario en media y en varianza)

• Con esta restricción se reduce el nº de parámetros a estimar: ahora sólo son 1+1+(T-1) (pero aún son muchos)

• Sus momentos pueden estimarse consistentemente a partir de los correspondientes momentos muestrales. Condición Necesaria: lim 0kk

ρ→∞

=


4

Tema 1 7


1. Concepto de proceso estocástico2. Estacionariedad fuerte y débil de los procesos estocásticos.

Teoremas de ergodicidad

3.3. Procesos estocProcesos estocáásticos lineales discretossticos lineales discretos4. Plan de trabajo5. Procesos autorregresivos de orden p. Momentos y



invertibilidad

Tema 1 8

1.3 Procesos estocásticos lineales discretos• Los procesos estocásticos, estacionarios y ergódicos son

LINEALES si se pueden representar como combinación lineal de variables.

• Un proceso estacionario puede ser de la forma

Es necesario que el proceso sea INVERTIBLE (los coeficientes de los retardos tiendan a cero cuanto más alejados del presente) y NO ANTICIPANTE (que el futuro no explique el presente)

• También se podría expresar el proceso como:

ttttt ...XXXX εφφφ ++++= −−− 332211

...X ttttt −−−−= −−− 33221 εθεθθεεqtqtttptpttt ...X...XXX −−−−−− −−−−++++= εθεθεθεφφφ 22112211

o como:


5

Tema 1 9

• Cualquiera de estas formas no es operativa porque se maneja polinomios de grado infinito (Hay que transformarlo en finito)

• Partiendo de un modelo simple de la forma:

desarrollando el modelo llegamos a:

Hemos expresado un proceso estocástico que era función de valores pasados del propio proceso más una perturbación, en función de un proceso que es función sólo de las perturbaciones en distintos instantes del tiempo.

ttt XX εφ += −11

...X ttttt ++++= −−− 33

122

111 εφεφεφε

Tema 1 10

EL OPERADOR DE RETARDOS• Operador que aplicado sobre una variable temporal la

retarda en el tiempo.• Se denota por “L”

• El modelo queda como:

( )( ) ( )( ) ( )

( )

12

1 2...

t t

t t t t

kt t k

L Y YL Y L L Y L Y Y

L Y Y

−

− −

−

== = =

=

( )( )

1 1 2 2 3 3

1 1 2 2 3 3

2 31 2 3

......

1 ...

t t t t t

t t t t t

t t

t t

X X X XX X X X

L L L X

L X

φ φ φ εφ φ φ ε

φ φ φ ε

φ ε

− − −

− − −

∞

= + + + +

− − − − =

− − − − =

=


6

Tema 1 11

La teoría de polinomios permite aproximar un polinomio de grado infinito por el cociente de dos polinomios de grado finito.

Así:

De esta forma solucionamos el problema de trabajar con polinomios de grado infinito.

( ) 11

LL

φφ

∞ =−

Polinomio de orden cero

Polinomio de orden uno

Tema 1 12

• NOTA: Estamos hablando de procesos ESTACIONARIOSP.ej.: no valdría, porque cuando t tiende a infinito, Xt también tiende a infinito, y por lo tanto la media ya no es fija

• Teorema de Wold: “Cualquier proceso estacionario se puede escribir como la suma de una parte determinista y otra parte formada por infinitos retardos de la perturbación, siendo ambas incorrelacionadas entre sí”

• Tipos: Los tipos de modelos lineales que nos encontramos son:Proceso puramente aleatorio o ruido blancoProceso autorregresivo de orden p AR(p)Proceso media móvil de orden q MA (q)Proceso mixto ARMA(p,q)

11.5t t tX X ε−= +


7

Tema 1 13

Proceso puramente aleatorio o ruido blancoProceso sobre el que no se puede predecir (ej. Lotería)

( )( ) ( )( )

2 2

0

, 0

t

t t t t

t t

E

X Var E t

Cov t tε

ε

ε ε ε σ

ε ε ′

⎧ =⎪

= = = ∀⎨⎪ ′= ∀ ≠⎩

Proceso autorregresivo de orden p AR(p)

( )1 1 2 2 ...t t t p t p t

pt t

X X X X

L X

φ φ φ ε

φ ε− − −= + + + +

=

Tema 1 14

Proceso media móvil de orden q MA(q)

( )1 1 2 2 ...t t t t q t q

qt t

X

X L

ε θ ε θ ε θ ε

θ ε− − −= − − − −

=

Procesos mixtos ARMA(p,q)

( ) ( )

1 1 2 2 1 1 2 2

1 1 2 2 1 1 2 2

... ...

... ...t t t p t p t t t q t q

t t t p t p t t t q t q

p qt t

X X X X

X X X X

L X L

φ φ φ ε θε θ ε θ ε

φ φ φ ε θε θ ε θ ε

φ θ ε

− − − − − −

− − − − − −

= + + + + − − − −

− − − − = − − − −

=

( )( )

( )( )

q p

t t t tp q

L LX o X

L L

θ φε ε

φ θ⇒ = =


8

Tema 1 15

• Resultados teóricos importantes:

– Cualquier Proceso Estocástico Estacionario se puede escribir como la suma de una parte determinista y un MA(∞).

– Bajo ciertas condiciones, un MA(∞) se puede convertir en un AR(∞) estacionario

– Bajo ciertas condiciones, un MA(∞) o un AR(∞) se puede aproximar adecuadamente mediante un ARMA de orden finito

Tema 1 16

• La función de autocorrelación simple (FAS):Autocorrelación entre dos variables Xi y Xj

Si el proceso es estacionario se verifica:

Coef. de autocorrelación de orden k:

Mide la relación lineal que existe entre 2 variables separadas k períodos.Al conjunto lo denotaremos FUNCIÓN DE AUTOCORRELACIÓN, y a su representación gráfica FAS.

( ) ( )( ) ( )tjti

tjtitjti xVarxVar

xxCovxx =ρ

( ) ( ) ( ) ( )s-ri-jxxxx trtstjti =∀= ρρ( )

0

kγγρρ == −ktitik xx

K...ρρρ 21


9

Tema 1 17

Si el proceso es ERGÓDICO podemos estimar consistentemente la función de autocorrelación poblacional a partir de las correspondientes autocorrelaciones muestrales.

• La función de autocorrelación parcial (FAP):Llamaremos al coeficiente de correlación parcial entre Xt y Xt-k . Este mide la relación lineal que existe entre Xt y Xt-k con independencia de los valores intermedios. ¿Cómo lo conseguimos?

De Xt quitamos los efectos explicados por Xt-1, Xt-2, ..., Xt-(k-1)

kkφ

t)k(tkttt ux...xxx ++++= −−−−− 112211 βββ

Tema 1 18

De Xt-k quitamos los efectos explicados por Xt-1, Xt-2, ..., Xt-(k-1)

El coeficiente de correlación parcial de orden k será el coeficiente de correlación lineal simple entre ut y vt.

Al conjunto lo denotaremos FUNCIÓN DE AUTOCORRELACIÓN PARCIAL, y a su representación gráfica FAP.

t)k(tkttkt vx...xxx ++++= −−−−−− 112211 ααα

( )( ) ( )tt

ttkk vVaruVar

vuCov=φ

kk...φφφ 2211

Ecuaciones de Yule-Walker


10

Tema 1 19



Teoremas de ergodicidad3. Procesos estocásticos lineales discretos

4.4. Plan de trabajoPlan de trabajo5. Procesos autorregresivos de orden p. Momentos y



invertibilidad

Tema 1 20

Objetivo: Determinar cuál es el proceso que puede haber generado nuestros datos. Para ello seguiremos estos pasos:Estudiar las características teóricas de los modelos ARIMA a través de los momentos de 1º y 2º orden (FAS y FAP)Fase de identificación: Identificar los valores de p y q que definen el modelo ARIMA que puede haber generado nuestros datos. Calcular los momentos muestrales, graficar el FAS y FAP muestrales y compararlos con los teóricos.Tomaremos los valores de p y q para los que los FAS y FAP muestrales y teóricos presenten mayor similitud.Fases de: Estimación - Validación - Obtención de predicciones - Chequeo de predicciones


11

Tema 1 21



Teoremas de ergodicidad3. Procesos estocásticos lineales discretos4. Plan de trabajo

5.5. Procesos Procesos autorregresivosautorregresivos de orden p. Momentos y de orden p. Momentos y condiciones de estacionariedadcondiciones de estacionariedad

6. Procesos de media móvil de orden q. Momentos y condiciones de invertibilidad

7. Procesos mixtos. Condiciones de estacionariedad e invertibilidad

Tema 1 22

AutorregresivosAR(1)AR(2)Generalización AR(p)

Media móvilMA(1)MA(2)Generalización MA(q)

MixtosARMA(1,1)Generalización ARMA(p,q)

MediaVarianzaAutocovarianzaAutocorrelación

Simple (FAS)Parcial (FAP)

EstacionariedadInvertibilidad


12

Tema 1 23

1.5 Procesos autorregresivos de orden p. Momentos y condiciones de estacionariedad

• Expresión: o bienLas perturbaciones afectan a las variables en el instante actual y en el futuro, pero no afectan a los valores pasados. Por tanto:

• Media: sin deriva con deriva

• Varianza: Condic. de estacionariedad:

• Autocovarianzas:

ttt XX εφ += −11 δεφ ++= − ttt XX 11

( ) 0 0 >∀=− sXE sttε

0=μ11 φ

δμ−

=

21

2

0 1 φσγ ε

−= 11 <φ

01 γφγ kk =

Tema 1 24

• Función de autocorrelación simple:

• Función de autocorrelación parcial:

• Características más relevantes:El modelo AR(1) es siempre invertibleSerá estacionario siempre que cumpla queEl AR(1) tiene memoria infinitaLa FAS tiende hacia ceroLa FAP se anula para retardos superiores a uno, coincidiendo este coeficiente con el de autocorr. simple

kkk 1

0

φγγρ ==

⎩⎨⎧

>=== 10

111kk

kkρφφ

11 <φTodos + si- + - + ... si

01 >φ01 <φ


13

Tema 1 25

1 0φ >

1 0φ <

FAS AR(1)

Tema 1 26

1 0φ >

1 0φ <

FAP AR(1)


14

Tema 1 27

• Expresión:


• Varianza:

Condic. de estacionariedad:


tttt XXX εφφ ++= −− 2211

0=μ211 φφ

δμ−−

=

( )( )( )( )21212

22

0 1111

φφφφφφσγ ε

−−−++−

=

2211 −− += kkk γφγφγ

tttt XXX εδφφ +++= −− 2211

111 21122 <+<−< φφφφφ

Tema 1 28

• Función de autocorrelación simple

• Función de autocorrelación parcial

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

>

=−−

=

=−

==

=

20

2

11

21

20

212

22

2

1111

k

k

k

kkρρρρφ

φφρφ

φ

2211 −− += kkk ρφρφρ


15

Tema 1 29

1

2

00

φφ>>

1

2

00

φφ><

FAS AR(2)

1

2

00

φφ<>

1

2

00

φφ<<

Tema 1 30

FAP AR(2)

1

2

00

φφ>>

1

2

00

φφ><

1

2

00

φφ<>

1

2

00

φφ<<


16

Tema 1 31

• Expresión:• Características más relevantes:

Siempre es invertibleUn m.a. estacionario debe cumplir la condición de que las raíces de caigan fuera del círculo unidad.Las autocovarianzas no llegan a anularse. Tampoco las autocorrelacionesLa FAS presenta infinitos valores con tendencia amortiguadaLas autocorrelaciones parciales (FAP) se anulan para retardos superiores al rango del modelo.

tptpttt X...XXX εφφφ ++++= −−− 2211

0=)L(φ

Tema 1 32

Sea:

Escribirlo en notación de retardos

Indicar si es estacionario y/o invertible

Calcular los momentos de orden 1 y 2

Dibuja la FAS y la FAP (utiliza las ecuaciones de Yule-Walker para los cálculos)

¿Cuál es el proceso generador de esta serie?

tttt XXX ε+−= −− 21 8'07'1


17

Tema 1 33




condiciones de estacionariedad

6.6. Procesos de media mProcesos de media móóvil de orden q. Momentos y vil de orden q. Momentos y condiciones de invertibilidadcondiciones de invertibilidad

7. Procesos mixtos. Condiciones de estacionariedad e invertibilidad

Tema 1 34








18

Tema 1 35

1.6 Procesos de media móvil de orden q. Momentos y condiciones de invertibilidad

• Expresión: o bien


• Varianza: Condic. de invertibilidad:


• Autocorrelaciones:

11 −−= tttX εθε 11 −−+= tttX εθδε

0=μ δμ =

( )21

20 1 θσγ ε += 11 <θ

⎩⎨⎧

>=−

=1012

1

kk

kεσθγ

⎪⎩

⎪⎨⎧

>

=+−

=10

11 2

1

1

k

kk θ

θρ

Tema 1 36


• Características más relevantes:El modelo MA(1) es siempre estacionarioSerá invertible siempre que cumpla queLa FAS se anula para retardos superiores a uno. Tendráun solo pico, con signo inverso al de parámetro El MA(1) tiene memoria de sólo un períodoLa FAP tiende hacia cero, pero no se anula. Tiene un comportamiento amortiguado, con todos los valores negativos si , o alternando el signo comenzando con positivo si

( ) ( )( )12

1

211

111

+−−−

= k

k

kk θθθφ

11 <θ

1θ

01 >θ01 <θ


19

Tema 1 37

1 0θ >

1 0θ <

FAS MA(1)

Tema 1 38

1 0θ >

1 0θ <

FAP MA(1)


20

Tema 1 39

Tema 1 40


21

Tema 1 41

• Expresión:

• Media: Varianza:

• Condic. de invertibilidad:

• Autocovarianzas: Autocorrelaciones:

2211 −− −−= ttttX εθεθε

0=μ ( )22

21

20 1 θθσγ ε ++=

111 21122 <+<−< θθθθθ

δεθεθε +−−= −− 2211 ttttX

( )1212

1 θθθσγ ε −=

22

2 θσγ ε−=3 0 ≥= kkγ

22

21

1211 1 θθ

θθθρ++−

=

22

21

22 1 θθ

θρ++

−=

3 0 ≥= kkρ

Tema 1 42

FAS MA(2)

1

2

00

θθ>>

1

2

00

θθ><

1

2

00

θθ<>

1

2

00

θθ<<


22

Tema 1 43

FAP MA(2)

1 0θ >

1 0θ <

22

2 1

04θθ θ<>

Raíces complejas

Tema 1 44


23

Tema 1 45

Tema 1 46


24

Tema 1 47

Tema 1 48


25

Tema 1 49

Tema 1 50


26

Tema 1 51

• Expresión:

• Características más relevantes:El modelo MA(q) es siempre estacionarioSerá invertible siempre que cumpla que las raíces de

caigan fuera del círculo unidadLas autocovarianzas, y por tanto las autocorrelaciones, se anulan cuando el desfase temporal considerado es superior al orden del modelo. (Memoria = orden del proceso)Las autocorrelaciones parciales no se anulan, presentando un comportamiento amortiguado hacia cero (raíces reales) o sinusoidal también tendente a cero (raíces complejas)

qtqtttt ...X −−− −−−−= εθεθεθε 2211

0=)L(θ

Tema 1 52





condiciones de invertibilidad

7.7. Procesos mixtos. Condiciones de estacionariedad e Procesos mixtos. Condiciones de estacionariedad e invertibilidadinvertibilidad


27

Tema 1 53







Tema 1 54

1.7 Procesos mixtos. Condiciones de estacionariedad e invertibilidad

• Los procesos mixtos ARMA(p,q) son una combinación de la estructura MA y la AR. Por tanto, para su estudio tendremos que tener en cuenta tanto el cumplimiento de las condiciones de estacionariedad como de invertibilidad.

• Expresión: o bien, desarrollándola

• El proceso será estacionario si las raíces de caen fuera del círculo unidad.

• El proceso será invertible si las raíces de caen fuera del círculo unidad.

( ) ( ) tq

tp LXL εθφ =

qtqtttptpttt ...X...XXX −−−−−− −−−−++++= εθεθεθεφφφ 22112211

( ) 0=pLφ

( ) 0=pLθ


28

Tema 1 55

• Expresión:

• Condición de estacionariedad:

• Condición de invertibilidad:


• Varianza:


; ...

1111 −− −=− tttt XX εθεφ

0=μ11 φ

δμ−

=

( )2

1

112

12

0 121

φθφθσγ ε

−−+

=

11 <θ

11 <φ

( )( )2

1

11112

1 11

φθφθφσγ ε

−−−

=

112 γφγ = 213 γφγ = 11 −= kk γφγ

Tema 1 56

• Función de autocorrelación:

FAS Decrecimiento amortiguado


FAP Decrecimiento amortiguado

( ) ( )( )2

21

22

213221

31

33 12112ρρρ

ρρρρρρφ−−−

−+−−=2

1

212

22 1 ρρρφ

−−

=111 ρφ = ; ; ...

( )( )( )11

21

1111

0

11 21

1θφθθφθφ

γγρ

−+−−

== 110

22 ρφ

γγρ == 11 −= kk ρφρ; ; ... ;


29

Tema 1 57

• Características más relevantes:El modelo ARMA(1,1) será estacionario e invertible siempre que cumpla y , además de La función de autocorrelación simple no se anula, aunque tiende a cero. La memoria es infinita. Una vez superado el orden de la parte MA, las autocorrelaciones del ARMA(1,1) se comportan como las de un AR(1).La FAS presentará un pico para el retardo 1 y a partir de ahí, un comportamiento amortiguado hacia cero. La FAP no se anula, ya que el ARMA (1,1) contiene al modelo MA(1). Comportamiento amortiguado hasta llegar a anularse.

11 <θ 11 <φ 11 θφ ≠

Tema 1 58

FAS ARMA(1,1)


30

Tema 1 59

FAP ARMA(1,1)

Tema 1 60

• Expresión:con deriva

• Condición de estacionariedad: Las raíces de la ecuación

deben caer fuera del círculo de radio unitario.Un ARMA(p,q) estacionario puede expresarse como un MA(∞ )

• Condición de invertibilidad: Las raíces de la ecuación

deben caer fuera del círculo de radio unitario.Un ARMA(p,q) invertible puede expresarse como un AR(∞ )

qtqtttptpttt ...X...XXX −−−−−− −−−−+++++= εθεθεθεφφφδ 22112211

( ) 01 221 =−−−−= p

pp L...LLL φφφφ

( ) 01 221 =−−−−= q

qq L...LLL θθθθ


31

Tema 1 61

• Forma de la FAS y FAP:La función de autocorrelación no se anula, aunque tiende a cero. La memoria es infinita. Una vez superado el orden de la parte MA(q), las autocorrelaciones del ARMA(p,q) se comportan como las de un AR(p).La FAS presentará q picos, hasta el retardo q, en los que influyen tanto la parte autorregresiva como la de medias móviles del modelo, y a continuación, comportamiento amortiguado hacia cero (si raíces reales) o sinusoidal (si raíces complejas). La FAP no se anula, ya que el ARMA (p,q) contiene al modelo MA(q) como un caso especial. Comportamiento amortiguado hasta llegar a anularse.

Tema 1 62

AR(1) AR(2)

FAS

FAP


32

Tema 1 63

MA(1) MA(2)

FAS

FAP

Tema 1 64

ARMA(1,1)

FAS

FAP

1. concepto de proceso estocástico · tema 1 12 • nota: estamos hablando de procesos...

Documents