modelizaci´on estad´ıstica en el tiempo y en el espacio · datos bivariados espaciales ejemplo:...

IntroduccionModelizacion estadstica e introduccion a R

Modelizacion temporalModelizacion espacial

Modelizacion estadsticaen el tiempo y en el espacio

Pierre [email protected]

UNNEFaCENA

Febrero y Marzo 2012

Pierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 1/ 190

[email protected]



DefinicionesEjemplosPreguntasObjetivosBibliografa

Plan

1 IntroduccionDefinicionesEjemplosPreguntasObjetivosBibliografa

2 Modelizacion estadstica eintroduccion a R

3 Modelizacion temporal

4 Modelizacion espacial





IntroduccionEstadstica

Estadstica:

ciencia del estadoanalizar e interpretar datostomar decisiones

Estadstica descriptiva:

descripcionresumen

Estadstica inferencial:

modelizacionprediccion





IntroduccionDatos temporales (1D)

Terminologa:

serie temporalanalisis cronologicodatos univariadostemporales

Ejemplo:

muertos por mesbronquitis, enfisema oasmaReino Unido1974-1979

Figura: Ejemplo de serie temporal





IntroduccionEstadstica descriptiva (1D)

Figura: Estadsticas descriptivas: funcion de autocorrelacion





IntroduccionEstadstica inferencial (1D)

Figura: Modelizacion estadstica: extrapolacion temporal





IntroduccionDatos espaciales (2D)

Terminologa:

geoestadsticaanalisis espacialdatos bivariadosespaciales

Ejemplo:

concentracion en zincpartes por millon(ppm)ro Meuse, Franciazona 15m 15m

Figura: Ejemplo de datos espaciales





IntroduccionEstadstica descriptiva (2D)

Figura: Estadsticas descriptivas: variograma





IntroduccionEstadstica inferencial (2D)

Figura: Modelizacion estadstica: interpolacion espacial





IntroduccionDatos temporales e espaciales

Indexacion:

lugarfecha

En la naturaleza:

dificilmente separablecomo geografia ehistoria

Figura: Evolucion espacial y temporal del hieloen el Artico





IntroduccionMotivaciones

Tema de mi tesis:

interpolacion temporaly espacialtemperatura desuperficie del mardatos de satelites

Figura: Interpolacion temporal y espacial dedatos de temperatura de superficie del mar





IntroduccionOtros ejemplos - Seguimiento

Seguimientos

Figura: Ejemplos de seguimiento temporal y espacial


http://www.irisa.fr/vista/Equipe/People/Papadakis/Research/tracking.html




IntroduccionPreguntas

Como reconocer:

una dinamica temporal?una estructura espacial?un link entre el tiempo y espacio?

Como modelizar una variable:

en el tiempo?en el espacio?en el tiempo y espacio?





IntroduccionObjetivos

Modelizacion estadstica (captulo 1):

estadstica inferencial:

tests estadsticosseleccion de modeloscriterios numericos y graficos

modelo simple y explicable






Modelizar datos:

temporales (captulo 2)

serie temporal1D

espaciales (captulo 3)

geoestadstica2D

temporales y espaciales (captulo 4)

3D






Utilizar software estadstico:

R (www.r-project.org)gratisflexibleextendido

Programar

Interpretar las salidas

Trabajar solo


www.r-project.org




IntroduccionEvaluacion

Grupo de 2

15 h en clase

Buscar datos:

sus datos propiosotros datosformato:

tiempoespaciotiempo y espacio

Presentacion:

10 mina la claseintercambio de ideas

Informe:

10 paginasextraer una problematicacon figuras, tablas, modelosin codigo R





IntroduccionComentario importante

Modelizacion temporal (1D):

interpolacionextrapolacion

Modelizacion espacial (2D):

interpolacion

Modelizacion temporal y espacial (3D):

interpolacionextrapolacion





IntroduccionBibliografa

Modelizacion estadstica (captulo 1):

Wasserman, L. All of Statistics, Springer New York, 2004

Modelizacion temporal (captulo 2):

Box, G.E.P. and Jenkins, G.M.Time series analysis:forecasting and control, Prentice Hall PTR, 1994

Modelizacion espacial (captulo 3):

Cressie, N.Statistics for spatial data, Wiley New york, 1992

Modelizacion temporal y espacial (captulo 4):

Cressie, N. and Wikle, K.Statistics for spatio-temporal data,Wiley Series in Probability and Statistics, 2011

Software R (captulos 1, 2, 3, 4):

Dalgaard, P.Introductory Statistics with R, Springer, 2002




IntroduccionEstadsticas descriptivasModelizacion estadsticaIntroduccion al software REjercicios

Plan

1 Introduccion



3 Modelizacion temporal






Modelizacion estadstica e introduccion a RPre-requisito

Probabilidad:

esperanzavarianzadistribuciones

Estadistica:

histograma, boxplotcorrelacion, covarianza

Computacion:

programacionmanejo de softwarematematico

Matematica:

algebra:

manipulacion de matrizoperaciones con matrices

funciones:

derivadasintegralesbuscar extremos





Modelizacion estadstica e introduccion a RObjetivos

Estadstica descriptiva:

mirar, transformar datosantes de la inferencia

Estadstica inferencial:

modelizarestimar parametrosseleccionar modelos

Aplicar en R





Modelizacion estadsticaModelizacion estadstica VS Modelizacion fsica

Modelizacion fsica:

teoria fsicacon a priorimodelo explicativosin error

Modelizacion estadstica:

datos realessin a priorimodelo explicativo y predictivocon error





Modelizacion estadsticaVocabulario y notaciones

Tipos de variables:

explicativa:

se denota Y{y1, . . . , yn} son n observaciones de Yvariable aleatoria

covariables:

se denotan X = (X1, . . . , Xp)son n p observaciones de Xvariables deterministas





Modelizacion estadsticaNotaciones

Y X1 . . . Xj . . . Xp

y1......

yi . . . . . . xi ,j

yn

Cuadro: Esquematizacion de datos en modelizacion





Modelizacion estadsticaEjemplo

Descripcion de los datos:

n = 47 estados de USA en 1960variable de interes Y :

numeros de delitos por million de habitantes

p = 9 covariables X :

indicatores socio-culturaldatos demograficasdatos del gobierno

Fuente:

http://lib.stat.cmu.edu/DASL/Stories/USCrime.html


http://lib.stat.cmu.edu/DASL/Stories/USCrime.html





Descripcion de las variables:

Y (R): delitosX1 (Age): machos (14-24)X2 (Ed): anos a estudiarX3 (Ex): gastos de la policaX4 (LF): fuerza de trabajoX5 (M): hombres para mujeresX6 (N): poblacion del estadoX7 (U1): desempleos (14-24)X8 (U2): desempleos (25-39)X9 (I): familias abajo del nivel medio






R Age Ed Ex1 LF M N U1 U2 I

79.1 151 91 56 510 950 33 108 41 261163.5 143 113 95 583 1012 13 96 36 194

......

......

......

......

......

50.8 126 104 97 599 989 40 78 593 17184.9 130 121 91 623 1049 3 113 588 160

Cuadro: Datos de los delitos de n = 47 estados de USA en 1960





Modelizacion estadsticaEstadsticas descriptivas

Etapa inevitable:

antes de la modelizacion

Estudio univarido:

distribucion de las variables

Estudio bivariado:

link entre variables





Modelizacion estadsticaEstudio univariado

Distribuciones de las variables:

distribucion conocida?distribuciones multiples?detectar datos extremos:

errores?cosas atpicas?






Figura: Salidas R: histograma y boxplot





Modelizacion estadsticaEstudio bivariado

Link entre 2 variables:

lineal?no lineal?correlacion, covarianza fuerte?

Cambio de variable:

logartmico?exponencial?inverso?






Figura: Salida R: bi-plot






R Age Ed Ex1 LF M N U1 U2 IR 1.00 -0.09 0.32 0.67 0.19 0.21 0.34 -0.05 0.18 -0.18

Age -0.09 1.00 -0.53 -0.51 -0.16 -0.03 -0.28 -0.22 -0.24 0.64Ed 0.32 -0.53 1.00 0.50 0.56 0.44 -0.02 0.02 -0.22 -0.77

Ex1 0.67 -0.51 0.50 1.00 0.11 0.02 0.51 -0.05 0.17 -0.65LF 0.19 -0.16 0.56 0.11 1.00 0.51 -0.12 -0.23 -0.42 -0.27M 0.21 -0.03 0.44 0.02 0.51 1.00 -0.41 0.35 -0.02 -0.17N 0.34 -0.28 -0.02 0.51 -0.12 -0.41 1.00 -0.04 0.27 -0.13

U1 -0.05 -0.22 0.02 -0.05 -0.23 0.35 -0.04 1.00 0.75 -0.06U2 0.18 -0.24 -0.22 0.17 -0.42 -0.02 0.27 0.75 1.00 0.02

I -0.18 0.64 -0.77 -0.65 -0.27 -0.17 -0.13 -0.06 0.02 1.00

Cuadro: Salida R: matriz de correlacion





Modelizacion estadsticaModelo aditivo y parametrico

Esquematizacion de la modelizacion estadstica

Y = modelo (X ) + error

Modelo:

simple, explicableparametrico:

linealpolinomiallog, exp

no parametrico:

splines, loess, etc...

Error:

se denota hypotesis (iid):

misma distribucionindependientes





Modelizacion estadsticaEscritura clasica

Modelo de regresion multiple

Y = 0 + 1X1 + . . . + pXp +

Con:

0 ordenada al origeni , i = 1..p, el efecto de la covariable Xi el error

Hipotesis:

(variable aleatoria), N(0, 2

)i 6= j , i y j son independientes





Modelizacion estadsticaEscritura en forma de matriz


Y = X +

Con:

X Rn(p+1), X =

1 x1,1 . . . x1,p... ... ...1 xn,1 . . . xn,p

Y Rn1, Y = (y1 . . . yn) R(p+1)1, = (0 . . . p) Rn1, = (1 . . . n)





Modelizacion estadsticaObjetivo y notaciones


Y = X +

Objetivo:

Estimacion de , Var () y 2

Notaciones:

loas estimadores se denotan , Var()

y 2

los valores ajustados se denotan ylos residuos se denotan = y y





Modelizacion estadsticaCriterio de los mnimos cuadrados


Y = X +

Minimizar la suma de los residuos cuadrados:

Residuals Sum of Squaresse denota RSSRSS =

ni=1

2i

Estimador de los mnimos cuadrados:

= arg min

(RSS)





Modelizacion estadsticaCriterio de los mnimos cuadrados


Y = X +

Estimadores:

= (X X )1

X Y

Var()

= 2 (X X )1

2 =(

1np1

)RSS

Condiciones:

X X invertiblecovariables no correlacionadas...






Cuadro: Modelo de regresion multiple





Modelizacion estadsticaValidez del modelo


Y = 0 + 1X1 + . . . + pXp +

Preguntas importantes:

hipotesis:

el modelo esta bien escrito?las hipotesis sobre errores son repetadas?

simplificaciones:

podemos simplificar el modelo?que covariables X affectan Y ?covariables significativas?parametros j 6= 0?





Modelizacion estadsticaValidez del modelo

Validacion del modelo:

tests estadsticos:

Fisher-testStudent-test

graficas:

lnea de regresiondistribucion de los residuos

Seleccion de modelo:

criterio numericoR2 ajustado





Modelizacion estadsticaTests estadsticos

Hipotesis nula:

se denota H0siempre una igualdadejemplo:

1 = 2j = 0

Hipotesis alternativa:

se denota H1siempre una desigualdadejemplo:

1 > 2j 6= 0

Pregunta:

acceptamos H0?rechazamos H0?

Repuesta:

p-valorporcentaje





Modelizacion estadsticaP-valor

Definicion:

probabilidadmas chiquita es la p-valor,...mas fuerte es la prueba que rechazamos H0

P-valor Significacion Codificacion en R

< 0,001 pruebas muy altas contra H0 ***[0,001; 0,01] pruebas altas contra H0 **[0,01; 0,05] pruebas contra H0 *

> 0,05 sin pruebas contra H0

Cuadro: Explicacion de los niveles de p-valores





Modelizacion estadsticaFisher-test y Student-test


Y = 0 + 1X1 + . . . + pXp +

Fisher-test (f-test):

testear la hipotesis globalH0 : j , j = 0 VS H1 : j , j 6= 0hay, al menos, un parametro i significativo?

Student-test (t-test):

hacerlo solo si f-test es significativohacerlo para cada jH0 : j = 0 VS H1 : j 6= 0






Variable Parametro P-valor

Intercept 685,95 4,6 105Age 0,93 0,021Ed 1,78 0,008Ex1 1,14 1,0 105U2 2,10 0,014I 0,56 0,001

Cuadro: Variables significativas

Cuadro: Testos estadsticosPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 48/ 190




Modelizacion estadsticaDistribucion de los residuos

Teoricamente:

residuos Gausianos N

(0, 2

)Verificar:

las hipotesis sobre los residuos

Graficos de los residuos:

histograma emprica y teoricaqq-plot

No es una manera de selecion de modelo






Figura: Salidas R: Distribucion emprica, teorica y qq-plot de los residuos





Modelizacion estadsticaSeleccion de modelo

Objetivo:

modelo mas simplereducir el numero p de covariables Xbuena prediccion

Criterio de seleccion de modelo:

coeficiente de determinacion ajustadose denota R2adjvariabilidad explicada por el modelo R2...con una penalizacion sobre el numero p de covariables

R2adj =(n 1) R2 p

n p 1con R2 =

Var(Y)

Var (Y )





Modelizacion estadsticaSeleccion de modelo

Maneraa mano:

sacar las covariables no significativasguardar las covariables significativas

Manera exhaustiva:

traer todas las combinacionesfuncion regsubsets()package leaps


regsubsets()leaps




Estadstica inferencialSeleccion de modelo exhaustiva

Calcular todos los modelos posibles:

con 1 covariable:

Y = 0 + 1X1 + Y = 0 + pXp +

con 2 covariables:

Y = 0 + 1X1 + 2X2 + Y = 0 + p1Xp1 + pXp +

con p covariables:

Y = 0 + 1X1 + . . . + pXp +

Queremos un modelo con:

buen R2adjpocos parametros





Estadstica inferencialEjemplo

Figura: Seleccion de modeloexhaustiva

Modelo 1:

R Ex1R2adj = 0,43

Modelo 2:

R Ex1 + IR2adj = 0,53

Modelo 3:

R Ex1 + I + EdR2adj = 0,61

Modelo 4:

R Ex1 + I + Ed + AgeR2adj = 0,64






Cuadro: Regresion multiple del Modelo 3

Elegimos el Modelo 3 porque:

pocos parametros (p = 3)calidad del ajuste(R2adj = 0,61)

Resultados:

efectos significativos(p-valores< 0,05)





Estadstica inferencialPrediccion del modelo

Finalidad principal

Generalmente olvidada...

Aplicar modelo

Nuevos datos






Modelo 3

R = 326,10 + 1,31Ex1 + 0,76I + 1,55Ed +

Nuevo estado con:

Ex1 = 97I = 302Ed = 120

Estimacion de los delitos:

R = 326,10 + 1,31 97 + 0,76 302 + 1,55 120R = 216,5





Introduccion a RHistoria de R

Software de matematica y estadstica:

MatlabSASS-PlusR

Qualidad de R:

utilizado en muchas universidadesflexible:

packagesevolucion perpetua

lnea de comandosgratis

Disponible en www.r-project.org


www.r-project.org




Introduccion a RManera de ensenar R

A partir de:

datos creadosdatos clasicos

Disposicion:

izquierda:

explicaciones

derecha:

lneas de comandos Rsalida grafica R





Introduccion a RScript

Siempre escribir su programa en un script:

ej: script curso.R

Comentar su programa:

con #ej: # Importacion de datosintercambio de scripts





Introduccion a RFuncion

Descripcion:

hacer una casa preprogamada

Entrada:

argumentosentre ()

Salida:

resultadoantes =

Ejemplo:

media=mean(x=misdatos,na.rm=TRUE)argumentosxyna.rmsalidamedia


()=media=mean(x=misdatos, na.rm=TRUE)




Introduccion a RPackage

Descripcion:

coleccion de funcionestema particularejemplos:

gstat: geoestadisticamatlab: funciones Matlabspacetime: metodos espacial y temporal

Instalacion:

con la funcion install.packages()ej: install.packages("matlab",dependencies=TRUE)

Cargar:

con la funcion library()ej: library(matlab)


gstatmatlabspacetimeinstall.packages()install.packages("matlab", dependencies=TRUE)library()library(matlab)




Introduccion a RAyuda

Buscar una funcion:

utilizar ??ejemplo:

buscar funcion que empieza conread??read

Ayuda de una funcion:

utilizar ?ejemplo:

?mean

?read.table

Descripcion de un package:

ejemplo: library(help=matlab)


????read??mean?read.tablelibrary(help=matlab)




Introduccion a RTipos de datos

Clases:

vectores (vector)matrices (matrix)tablas (array)tablas de datos (data.frame)listas (list)series temporales (time.series)

Modos:

no definido (null)logico (logical)numerico (numeric)complejo (complex)caracter (character)


vectormatrixarraydata.framelisttime.seriesnulllogicalnumericcomplexcharacter




Introduccion a RCreacion de vectores

Valores consecutivos:

:

Valores definidos:

c()

Valores repetitos:

rep()

Secuencia de valores:

seq()

Figura: Creacion de vectores


:c()rep()seq()




Introduccion a RFunciones matematicas sobre vectores

Logaritmo y exponencial:

log() y exp()

Sinusoidal:

sin() y cos()

Valor absoluto:

abs()

Raices:

sqrt() y ^

Figura: Funciones matematicas basicasPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 66/ 190

log()exp()sin()cos()abs()sqrt()^




Introduccion a RFunciones estadsticas sobre vectores

Sumas:

sum() y cumsum()

Media y variabilidad:

mean(), sd() y var()

Quantiles:

median() y quantile()

Extremos:

min() y max()

Figura: Funciones estadsticas basicasPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 67/ 190

sum()cumsum()mean()sd()var()median()quantile()min()max()




Introduccion a RFunciones sobre las distribuciones estadsticas

Distribuciones en R:

d funcion densidadp funcion reparticionq funcion del quantilergeneracion aleatoria

Distribucion Gausiana:

dnorm(), pnorm(), qnorm(), rnorm()

Distribucion Uniforme:

dunif(), punif(), qunif(), runif()

Muestreo sin/con reposicion:

sample() Figura: Funciones de distribucionPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 68/ 190

dnorm()pnorm()qnorm()rnorm()dunif()punif()qunif()runif()sample()




Introduccion a RCreacion de matrices

Funcion:

matrix()

Argumentos:

nrow, ncolbyrow

Salida:

una matriz

Ejemplos:

cf. Figura

Figura: Creacion de matricesPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 69/ 190

matrix()




Introduccion a RManipulacion de vectores y matrices

Tamano (vector y matrices):

length() y dim()

Extraer filas i1 y i2 de lascolumna j1 y j2:

[c(i1,i2),c(j1,j2)]

Suprimir filas i1 y i2 de lascolumnas j1 y j2:

[-c(i1,i2),-c(j1,j2)]

Seleccion sobre condicion:

which() Figura: Manipulacion de matrices


length()dim()[c(i1,i2),c(j1,j2)][-c(i1,i2),-c(j1,j2)]which()




Introduccion a ROperaciones sobre matrices

Productos:

* y %* %

Inversa, traspuesta y diagonal:

solve(), t() y diag()

Applicacion de funciones:

apply()

Figura: Operaciones sobre matrices


solve()t()diag()apply()




Introduccion a RCreacion y manipulacion de listas

Funcion:

list()

Argumentos:

datos de cualquier modo

Salida:

una lista

Descripcion:

agrega numeric, character, etc...extraer elementos con [[]] o $conocer los elementos con names() Figura: Manipulacion de listas


list()numericcharacter[[]]$names()




Introduccion a RImportacion de datos (data frame)

Funcion:

read()

Argumentos:

file, header, sep, dec

Salida:

un data frame

Descripcion:

lee datos txt, csv, xls, etc...descripcion con summary()

Figura: Resultado de la importacionPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 73/ 190

read()summary()




Introduccion a RVisualizacion univariada de los datos

Histograma:

hist()

Boxplot:

boxplot()

Multi-graficos:

par(mfrow=c(i,j))subgraficos con i filas y jcolumnas

Figura: Visualizacion univariadaPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 74/ 190

hist()boxplot()par(mfrow=c(i,j))




Introduccion a RModelizacion de los datos

Funcion:

lm()

Argumentos:

formula:

se escribe Y~Xse leeY en funcion de X

data

Salida:

parametrosresiduosvalores predictivas Figura: Modelo lineal


lm()Y~X




Introduccion a RManipulacion de los modelos

Tests, parametros, diagnosticosnumericos:

summary()

Diagnosticos graficos:

plot()

Extracion de los parametros:

coef()

Aplicar modelo sobre datosnuevos:

predict() Figura: Manipulacion de modelo


summary()plot()coef()predict()




Introduccion a RVisualizacion bivariada de los datos

Biplot:

plot():

primer graficotype=l (linea)type=p (puntos)

lines() y points():

despues plot()

Linea de regresion:

abline()

a (intercept)b (pendiente)v (vertical)h (horizontal) Figura: Visualizacion bivariada


plot()lines()points()plot()abline()




Introduccion a RElementos de programacion

Condiciones:

if(), else==, !=, >=, =




Introduccion a RCreacion de funcion

Funcion:

conjunto de instruccionespara simplificar el codigo

Creacion:

mi_funcion=function(argumentos)

{instrucciones}

en las instrucciones:

identificar la salidareturn()

Utilizacion:

res=mi_funcion(argumentos) Figura: Creacion de funcion


mi_funcion=function(argumentos){instrucciones}mi_funcion=function(argumentos){instrucciones}return()res=mi_funcion(argumentos)




Modelizacion estadstica e introduccion a REjercicio 1: vectores y bucles

Crear un vector x = (x1, . . . , xn):

con n = 50numeros aleatorios de ley uniforme [0; 1]

Crear un vector y = (y1, . . . , yn):

yi = 0 si xi < 0,5yi = 1 si xi 0,5

Deducir la proporcion z :

elementos de x > 0,5

Repetir la misma experiencia:

con n = 50, 100, . . . , 2000trazar z n





Modelizacion estadstica e introduccion a REjercicio 2: bucles y funciones

Supongamos que:

= 4+k=0

(1)k

2k + 1

Proponer una funcion R:

se llama pi_hatpara aproximar

Testear la funcion y verificar:

la aproximacion para k = 100, 200, . . . , 10000 = 3,141593


pi_hat




Modelizacion estadstica e introduccion a REjercicio 3: matrices

Crear la matriz A =

2 23 810 6 904 7 12

Calcular:

medias de las filassumas de las columnas

Que hacen los comandos:

A2, A*A, A%* %A1/A, A(-1), solve(A)

Resolver el sistema:2x + 23y + 8z = 5

10x + 6y + 90z = 6

4x + 7y + 12z = 7





Modelizacion estadstica e introduccion a REjercicio 4: modelizacion (regresion simple)

272 observaciones deOld Faithfulgeyseren Yellowstone National Park,Wyoming, USA

2 variables:

eruption, la duracion de la erupcion(min)waiting, el tiempo de espera (min)para la proxima erupcion

cf. http://www.stat.cmu.edu/~larry/all-of-statistics/=data/faithful.dat

Figura: El geiser del YellowstoneNational Park


http://www.stat.cmu.edu/~larry/all-of-statistics/=data/faithful.dathttp://www.stat.cmu.edu/~larry/all-of-statistics/=data/faithful.dathttp://www.stat.cmu.edu/~larry/all-of-statistics/=data/faithful.dat




Modelizacion estadstica e introduccion a REjercicio 4: preguntas

Importar los datos eruption.csv:

utilizar read.table()utilizar summary() para resumir los datos

Describir los datos:

estudio univariado:

utilizar boxplot() y hist()algun comentario?

estudio bivariado:

utilizar plot()que podra preguntar?relacion lineal?


eruption.csvread.table()summary()boxplot()hist()plot()





Realizar la regresion simple:

escribir el modeloutilizar lm()

Comentar los coeficientes:

utilizar summary()estimacion del intercept (0) y de la pendiente (1)?coeficientes significativos?decribir los coeficientes

Calcular RSS , y R2:

utilizar las formulas del cursoutilizar sum(), sqrt() y var()comparar con la salida de summary()


lm()summary()sum()sqrt()var()summary()





Salidas graficas:

trazar y x y la lnea de regresion:utilizar plot() y abline()

trazar la distribucion emprica y teorica de los residuos:

utilizar hist(), lines() y dnorm()son buenos los supuestos sobre los residuos?

hacer predicciones:

predecir la duracion de erupcion para los siguientes tiempos deespera: 40, 70 y 100 minutosutilizar data.frame() y predict()


plot()abline()hist()lines()dnorm()data.frame()predict()





Pregunta adicional:

recordar y x y los histogramas de x e yalgun comentario?describir su intuicionseparar los individuos:

utilizar kmeans()hacer una regresion para cada grupo de datostrazar las lneas de regresion y los gruposcomparar las ordenadas al origen y las pendientescual es la diferencia? por que?


kmeans()




Modelizacion estadstica e introduccion a REjercicio 5: modelizacion (regresion simple)

Datos:

1000 observaciones2 variables:

YZ

Fuente

secreto...

Figura: Datos secretosPierre Tandeo Modelizacion estadstica en el tiempo y en el espacio Febrero y Marzo 2012 88/ 190

secreto...





Importar los datos secret.csv

Describir los datos:

estudio univariado:

algun comentario?

estudio bivariado:

trazar y zrelacion lineal?

Para el Modelo 1: Y = 0 + 1Z + , con N(0, 2

)calcular el modelotrazar la lnea de regresiontrazar la distribucion teorica y emprica de los residuosalgun comentario?


secret.csv





Pensar otro modelo...

Cual es la relacion entre Y y Z?crear la variable X = log (Z )anadir X a los datos

Para el Modelo 2: Y = 0 + 1X +

, con N(0, 2

)trazar y xrelacion lineal?trazar la distribucion teorica y emprica de los residuosson buenos los supuestos sobre los residuos?






Modelo 1 VS Modelo 2:

comparar R2

comparar la distribucion de los residuoscual es el mejor modelo?

Por ultimo, cual es la relacion entre Y y Z?

escribir el modelotrazar y z y la lnea de regresion que corresponde

En realidad, fueron datos simulados...

cf. script_modelizacion_ejercicio.Robservar que 0, 1 y estan perfectamente estimados!


script_modelizacion_ejercicio.R




Modelizacion estadstica e introduccion a REjercicio 6: modelizacion (regresion multiple)

n = 507 individuos de California

1 variable de interes:

weight (kg)

p = 23 covariables:

medidas del cuerpowrist.girth (cm), elbow.diam (cm),age, etc...

cf. http://www.amstat.org/publications/jse/v11n2/datasets.heinz.html

Figura: Medidas del cuerpo


http://www.amstat.org/publications/jse/v11n2/datasets.heinz.htmlhttp://www.amstat.org/publications/jse/v11n2/datasets.heinz.htmlhttp://www.amstat.org/publications/jse/v11n2/datasets.heinz.html





Descargar y cargar el package leaps

Importar los datos body.csv

Separar los datos en 2 partes:

individuos 1 hasta 400 en data.body1individuos 401 hasta 507 en data.body2

Hacer el estudio univariado:

algun comentario?comentario sobre la distribucion de shoulder.girth?

Hacer el estudio bivariado:

que tipo de relaciones? lineal?como son las pendientes? positivas o negativas?


leapsbody.csvdata.body1data.body2shoulder.girth





Hacer la correlacion entre las variables:

como son los datos?puedes predecir un problema?

Calcule el modelo de regresion multiple con todas lascovariables (denotarloModelo 1):

escribir el modeloque variables son importantes?que pasa con wrist.girth?

efecto significativo?cual es el signo del coeficiente?adecuacion con el estudio bivariado?


wrist.girth





Hacer la investigacion exhaustiva de las variables:

utilizar regsubsets()package leaps

Elegir un modelo (denotarloModelo 2)

Hacer la regresion multiple de este modelo

Comentar los resultados


regsubsets()leaps





Comparar el comportamiento predictivo de los diferentesmodelos:

tenemos 2 modelos:

Modelo 1: todas las covariablesModelo 2: con la seleccion exhaustiva de modelo

para cada modelo:

hacer una prediccion de la masa sobre los datos data.body2calcular el RSS

cual es el mejor modelo? por que?


data.body2



IntroduccionTendencia temporalEstacionalidadComponente estacionaria temporalEjercicios

Plan

1 Introduccion


3 Modelizacion temporalIntroduccionTendencia temporalEstacionalidadComponente estacionariatemporalEjercicios






Modelizacion temporalDefiniciones y notaciones

Variable aleatoria:

se denota Y

Indexacion en el tiempo:

t Dtdiscreto Dt = {0, 1, 2, . . .}continuo Dt = (0;+)

Proceso estocastico:

sucesion de variables aleatoriasque evolucionan en funcion del tiempose denota {Yt , t Dt}





Modelizacion temporalEjemplo

Datos:

pasajes en avion en el mundoen milespor mes1949 hasta 1960

Fuente:

package datasets

Figura: Pasajes en avion en el mundo


datasets




Modelizacion temporalOtros cunjuntos de datos

Internet:

http://robjhyndman.com/TSDL/

R:

package datasets??time.series


http://robjhyndman.com/TSDL/datasets??time.series




Modelizacion temporalObjetivos

Tener un modelo:

simpleexplicableparametrico

Hacer predicciones:

interpolacionextrapolacion (en el futuro)

Tener informacion:

media de prediccionvarianza de prediccion





Modelizacion temporalDescomposicion temporal

Esquematizacion de la modelizacion temporal

Yt = Tt + St + Zt , t Dt

Tendencia temporal {Tt , t Dt}Estacionalidad {St , t Dt}Componente estacionaria temporal {Zt , t Dt}





Modelizacion temporalModelizacion aditiva y multiplicativa

Modelizacion aditiva


Modelizacion multiplicativa

Yt = Tt St Zt , t Dtlog (Yt) = log (Tt) + log (St) + log (Zt) , t Dt

Siempre transformar en un modelo aditivo!






Figura: Modelo multiplicativo - Transformacion logartmica





Modelizacion temporalTendencia temporal (definicion)

Modelizacion temporal aditiva


Se denota {Tt , t Dt}Evolucion a largo plazoInteranualParametrica:

polinomial de orden p 3funcion basica: log, exp, inverso, etc...si pocas variaciones

No parametrica:

splinesondculasi muchas variaciones





Modelizacion temporalInferencia

Modelizacion de la tendencia temporal

Tt = 0 + 1t + 2t2 + 3t

3 + t , t Dt

Estimacion de 0, . . . , 3:

modelo de regresion multiplemnimos cuadrados

Criterio:

modelo simplemodelo explicableR2adj






Figura: Tendencias polinomiales yR2adj

Figura: Regresion multiple de la tendencia






Figura: Tendencia retenida - Serie temporal {Yt Tt , t Dt} sintendencia





Modelizacion temporalEstacionalidad (definicion)



Se denota {St , t Dt}Evolucion que se repite

Parametrica:

sinusoide:

cos y sinamplitudes y periodos diferentes





Modelizacion temporalInferencia

Modelizacion de la estacionalidad

St =k

i=1 (i cos (2i t) + i sin (2i t)) + t , t Dt

Estimacion de las frecuencias de Fourier 1, . . . , k :

espectro (periodograma)frecuencias con muchas energas

Estimacion de los 1, . . . , k y 1, . . . , k :

modelo de regresion multiplemnimos cuadrados

Criterio:

modelo simplemodelo explicableR2adj





Modelizacion temporalEspectro (periodograma)

Objetivo:

detectar frecuencias con muchas energas

Calculo:

transformada rapida de Fourier (FFT)descomposicion en frecuencias

Representacion:

eje de abcisas:

frecuencia1/periodo

eje de ordenadas:

densidad espectral





Modelizacion temporalEstimacion de los 1, . . . , k (ejemplo)

Figura: Serie temporal {Yt Ts , t Dt} sin tendencia - Periodograma





Modelizacion temporalEstimacion de los 1, . . . , k (ejemplo)

Figura: Periodograma suavisado

Frecuencias importantes:

1 = 1 (periodo de 1 ano)2 = 2 (periodo de 6 meses)3 = 3 (periodo de 4 meses)3 = 4 (periodo de 3 meses)5 = 5 (periodo de 72 das)6 = 1/4 (periodo de 4 anos)





Modelizacion temporalEstimacion de los 1, . . . , k y 1, . . . , k (ejemplo)

Figura: Regresion multiple de la estacionalidad






Figura: Estacionalidad retenida - Serie temporal {Yt Tt St , t Dt}sin tendencia ni estacionalidad





Modelizacion temporalComponente estacionaria temporal (definicion)



Lo que queda lluego de quitar:

la tendencia temporal {Tt , t Dt}la estacionalidad {St , t Dt}

Se denota {Zt , t Dt}Olvidamos la hipotesis iid

Dependencia posible entre valores sucesivos





Modelizacion temporalHipotesis

Proceso estacionario de:

sentido ampliosegundo orden

Orden 1:

E (Zt) = 0, t Dt

Orden 2:

Cov (Zt , Zt) = E (ZtZt)= CZ (t)

con t = |t t |





Modelizacion temporalFunciones de covarianza temporal

Funcion de covarianza temporal emprica:

CZ (t) =1

N (t)

(t,t)N(t)

(ZtZt) , t = 0, 1, . . . , T 1

Propriedades:

CZ (t) = CZ (t)

CZ (0) = Var (Zt) = 2Z

En R:

funcion acf()argumento type=covariance


acf()type=''covariance''




Modelizacion temporalFunciones de correlacion temporal

Funcion de correlacion temporal emprica:

Z (t) =CZ (t)

2Z

Propriedades:Z (t) = Z (t)

Z (0) = 1

En R:

funcion acf()argumento type=correlation


acf()type=''correlation''




Modelizacion temporalFunciones de correlacion temporal parcial

Funcion de correlacion temporal parcial emprica

Correlacion condicional

En R:

funcion acf()argumento type=partial


acf()type=''partial''




Modelizacion temporalProcesos estocasticos discretos clasicos

Ruido blanco Gausiano

Autoregresivo (AR)

Media movil (MA)

Autoregresivo de media movil (ARMA)





Modelizacion temporalProceso de ruido blanco (definicion)

Se denota {Wt , t Dt}Idea:

no hay informacioncompletamente aleatorio:

elementos independientesmisma distribucion:

W = 0

CW (t) =

(2W , t = 0

0 , t 6= 0

Proceso de ruido blanco Gausiano (WGN):

Wt N(0; 2W

), t Dt





Modelizacion temporalProceso de ruido blanco (simulacion)

Figura: Proceso de ruido blanco Gausiano W N (0, 1) con su funcionde correlacion temporal





Modelizacion temporalProceso autoregresivo (definicion)

Proceso autoregresivo AR(p)

Zt = 1Zt1 + . . . + pZtp + Wtcon {Wt , t Dt} un WGN Wt N

(0; 2W

), t Dt

Idea:

proceso que depende de las observaciones pasadasciencia medioambiental, ecologa y biologa

Identificacion del orden p:

funcion de correlacion temporal parcial

Estimacion de 1, . . . , p:

criterio de los mnimos cuadrados





Modelizacion temporalProceso autoregresivo (simulacion)

Figura: Proceso autoregresivo AR(2) con 1 = 0,5 y 2 = 0,25 y sufuncion de correlacion temporal parcial





Modelizacion temporalProceso de media movil (definicion)

Proceso autoregresivo MA(q)

Zt = Wt + 1Wt1 + . . . + qWtqcon {Wt , t Dt} un WGN Wt N

(0; 2W

), t Dt

Idea:

proceso que depende de los errores pasadas

Identificacion del orden q:

funcion de correlacion temporal

Estimacion de 1, . . . , q:






Modelizacion temporalProceso de media movil (simulacion)

Figura: Proceso autoregresivo AR(2) con 1 = 0,5 y 2 = 0,25 y sufuncion de correlacion temporal





Modelizacion temporalProceso autoregresivo de media movil (definicion)

Proceso autoregresivo ARMA(p,q)

Zt = 1Zt1 + . . . + pZtp + Wt + 1Wt1 + . . . + qWtqcon {Wt , t Dt} un WGN Wt N

(0; 2W

), t Dt

Idea:

proceso acumulado (AR y MA)

Identificacion de los ordenes p y q:

difcil con las funciones de correlacion...seleccion del modelo:

package tseriesfunctiones arma() y summary.arma()

Estimacion de 1, . . . , p y 1, . . . , q:



tseriesarma()summary.arma()




Modelizacion temporalProceso autoregresivo de media movil (simulacion)

Figura: Proceso autoregresivo ARMA(2,2) con 1 = 0,5, 2 = 0,25,1 = 0,5 y 2 = 0,25





Modelizacion temporalProceso autoregresivo de media movil (simulacion)

Figura: Modelo de regresion multiple de un proceso autoregresivoARMA(2,2) con 1 = 0,5, 2 = 0,25, 1 = 0,5 y 2 = 0,25





Modelizacion temporalDiagnostico del orden p (ejemplo)

Figura: Diagnostico del proceso autoregresivo





Modelizacion temporalDiagnostico del orden q (ejemplo)

Figura: Diagnostico del proceso de media movil





Modelizacion temporalEstimacion de los 1, . . . , p, 1, . . . , q y

2 (ejemplo)

Figura: Regresion multiple de la componente estacionaria






Figura: Componente estacionaria retenida - Serie temporal{Yt Tt St Zt , t Dt} sin tendencia, estacionalidad, nicomponente estacionaria






Figura: Serie temporal {Yt Tt St Zt , t Dt} - Funcion decorrelacion temporal





Modelizacion temporalResumen


Yt = Tt + St + Zt , t Dt , con:

Tt = 0 + 1t + 2t2 + 3t

3

St =1 sin (21t) + 1 cos (21t)

+ . . . +k sin (2kt) + k cos (2kt)

Zt =1Zt1 + . . . + pZtp

+Wt+1Wt1 + . . . + qWtq





Modelizacion temporalPrediccion

Reconstruir el modelo completo

Interpolacion:

utilizar fitted.values del modelo completo

Extrapolacion:

parte tendencia temporal {Tt} y estacionalidad {St}:funcion predict()argumentos newdata, se.fit=TRUE yinterval=prediction

parte componente estacionaria temporal {Zt}:funcion predict.arima()argumentos n.ahead y se.fit=TRUE


fitted.valuespredict()newdatase.fit=TRUEinterval=''prediction''predict.arima()n.aheadse.fit=TRUE





Figura: Interpolacion y extrapolacion temporal





Modelizacion temporalEjercicio 1

Datos:

500 observaciones42 anos de datos

Fuente:

secreto...

Figura: Datos secretos


secreto...





Importar datos ej1_temporal.txt

Transformar Y en time.series:

funcion ts()argumentos frequency, start y names

Crear el vector de tiempo t:

funcion tsp()funcion seq()

Trazar Yt :

funcion plot()modelo aditivo?modelo multiplicativo? pasar al log?


ej1_temporal.txttime.seriests()frequencystartnamestsp()seq()plot()





Escribir la forma general de la modelizacion temporal aditiva

Introducir las notaciones de:

tendencia temporalestacionalidadcomponente estacionaria temporal

Modelizar la tendencia temporal {Tt}:polinomios de grados 1, 2 o 3escribir el modelo de tendencia:

elegir el mejor modelocon R2adj

crear la serie temporal {Tt}trazar {Yt}, {Tt} y {Yt Tt}comentario?






Modelizar la estacionalidad {St}:identificar las frecuencias fuertes:

periodograma suavizadofuncion spectrum() con argumento spansfuncion abline() con argumento v

escribir el modelo de estacionalidad:

elegir el mejor modelocon R2adj

crear la serie temporal {St}trazar {Yt Tt}, {St} y {Yt Tt St}comentario?


spectrum()spansabline()v





Modelizar la componente estacionaria temporal {Zt}:verificar si es un ruido blanco Gaussiano:

funcion acf()comentario?

Escribir el modelo temporal completo

Hacer una interpolacion de {Yt}Hacer una extrapolacion de {Yt}:

por t = 43, 44, . . . , 70funcion predict()argumentos newdata y interval="prediction"


acf()predict()newdatainterval="prediction"





Datos:

produccion de cervezaen Australiaenero 1956 hasta julio 1995

Fuente:

http://134.76.173.220/beer.zip

Figura: Produccion de cerveza por mesen Australia


http://134.76.173.220/beer.ziphttp://134.76.173.220/beer.zip





Importar datos beer.csv

Transformar en time.series

Denotar beer la serie temporal

Trazar beer:

modelo aditivo?modelo multiplicativo? pasar al log?


beer.csvtime.seriesbeerbeer





Modelizar la tendencia temporal:

se denota beer.tendencia

Modelizar la estacionalidad:

se denota beer.estacionalidad

Modelizar la componente estacionaria temporal:

verificar si es un ruido blanco Gaussianocomentario?

Escribir el modelo temporal completo:

se denota beer.lm


beer.tendenciabeer.estacionalidadbeer.lm





Calcular y trazar la interpolacion de beer:

utilizar beer.lm

Calcular y trazar la extrapolacion de beer:

de agosto 1995 hasta agosto 1996con un intervalo de prediccion de 95 %utilizar beer.lm


beerbeer.lmbeerbeer.lm





Generar un ruido blanco Gausiano:

se denota {Wt}con = 0 y 2 = 1con un tamano T = 1000trazar su funcion de correlacion temporal

Generar un proceso autoregresivo AR(2):

se denota {Xt}1 = 0,5 y 2 = 0,25con un tamano T = 1000trazar su funcion de correlacion temporal parcial






Generar un proceso autoregresivo MA(2):

se denota {Yt}1 = 0,5 y 2 = 0,25con un tamano T = 1000trazar su funcion de correlacion temporal

Generar un proceso autoregresivo ARMA(2, 2):

se denota {Zt}1 = 0,5, 2 = 0,25, 1 = 0,5 y 2 = 0,25con un tamano T = 1000trazar sus funciones de correlacion temporal clasica y parcialajustar un modelo arma:

package tseriesfunciones arma() y summary.arma()


tseriesarma()summary.ar

modelizaci´on estad´ıstica en el tiempo y en el espacio · datos bivariados espaciales ejemplo:...

Documents