Download - Modelo de regresión lineal múltiple
MotivaciónAsociación entre variables
MODELO DE REGRESIÓN LINEAL MÚLTIPLE
Andrey Mauricio Montoya Jurado
ASOCIACIÓN ENTRE VARIABLESEstadística y Probabilidad
Universidad del Quindío
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Contenido
1 MotivaciónRegresiónEjemplo de Motivación
2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
RegresiónEjemplo de Motivación
Contenido
1 MotivaciónRegresiónEjemplo de Motivación
2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
RegresiónEjemplo de Motivación
Regresión
La historia dice que Sir Francis Galton a finales del siglo XIXestaba interesado en predecir la altura de los hijos a partir de laaltura de los padres.
Despues de reunir las alturas de padres e hijos, verificó quepadres altos tenían hijos altos y padres bajos tenían hijos bajos.
Esto lo hizo pensar que existía una regresión entre las alturasde padres e hijos, desde entonces se usa el término Regresiónpara asociar variables.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
RegresiónEjemplo de Motivación
Contenido
1 MotivaciónRegresiónEjemplo de Motivación
2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
RegresiónEjemplo de Motivación
Motivación
Una de las características del alambre para amarres es su resistenciaa tracción (Y ). Se desea estimar la resistencia a la tracción (Y ) conla información que proporcionan las variables: altura del amarre (X1),altura del poste (X2) y longitud del alambre(X3).
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Contenido
1 MotivaciónRegresiónEjemplo de Motivación
2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Modelo Poblacional del MRLM
Se tiene el interés de relacionar la variable Y con las variables expli-cativas X1 y X2 utilizando la regresión lineal, se trataría de analizarun modelo de la forma
Y = b0 +b1X1 +b2X2 + e
Si se dispone de un conjunto de n observaciones (x1i , x2i , yi ), i =1, . . . ,n
X1 X2 Yx11 x21 y1
x12 x22 y2
x13 x22 y3...
......
x1n x2n yn
Cuadro : Esquema de una Matriz de Datos con 3 variablesAndrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Modelo Muestral del MRLM
El sistema de ecuaciones
yi = b0 +b1x1i +b2x2i + ei , i = 1, . . . ,n
Supuestos del modelo:ei ∼ N
(0, σ2).
ei son no correlacionados.X1 y X2 son no correlacionadas.
En notación matricial queda expresado en la forma
Y = Xβ + e
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Modelo de Regresión Lineal Múltiple (MRLM)
donde Y =
y1y2...yn
, X =
1 x11 x211 x12 x22...
......
1 x1n x2n
,
β =
b0b1b2
, e =
e1e2...en
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Estimación del modelo
Dado el modelo muestral
yi = b0 +b1x1i +b2x2i + ei , i = 1, . . . ,n
¿Cómo estimar los parámetros b0, b1 b2?
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Método de mínimos cuadrados
La ecuación Y = Xβ + e puede también expresarse como
e = Y −Xβ
por lo tanto
e ′e =n
∑i=1
e2i = (Y −Xβ )′ (Y −Xβ )
= Y ′Y −2(Xβ )′Y + (Xβ )′ (Xβ )
= Y ′Y −2β′X ′Y + β
′X ′Xβ
es una ecuación que expresa la suma de los cuadrados de los erroresen términos del vector de parámetros β .
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Método de mínimos cuadrados
El mínimo de esta función se obtiene derivando e ′e respecto a β eigualando a cero, esto es
∂e ′e∂β
=−2X ′Y +2X ′Xβ = 0
lo que conduce finalmente a la ecuación
X ′Xβ = X ′Y (1)
y el estimador de mínimos cuadrados de β esta dador por :
β =(X ′X
)−1 X ′Y (2)
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Contenido
1 MotivaciónRegresiónEjemplo de Motivación
2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Caso General del MRLM
Cuando se desea relacionar p variables independientes X1,X2, X3, , . . . , Xpcon una variable dependiente Y , el modelo de regresión toma la for-ma
Y = b0 +b1X1 +b2X2 + · · ·+bpXp + e
Si se dispone de n observaciones (x1i , ,x2i ,, . . . , ,xpi , yi ) , i = 1, . . . ,n
yi = b0 +b1x1i +b2x2i + · · ·+bpxpi + ei , i = 1, . . . ,n
Supuestos del modelo:ei ∼ N
(0, σ2).
ei son no correlacionados.X ′s sean no correlacionados entre ellas.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Caso General del MRLM
En notación matricial el modelo queda expresado en la forma Y =Xβ + e
donde Y =
y1y2...yn
, X =
1 x11 x21 · · · xp11 x12 x22 · · · xp2...
......
......
1 x1n x2n · · · xpn
,
β =
b0b1...
bp
, e =
e1e2...en
de (2) tenemos:
β =(X ′X
)−1 X ′YAndrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Caso General del MRLM
Con las matrices X ′X y X ′Y de la forma:
X ′X =
n ∑x1i ∑x2i ∑x3i · · · ∑xpi
∑x1i ∑x21i ∑x1ix2i ∑x1ix3i · · · ∑x1ixpi
∑x2i ∑x2ix1i ∑x22i ∑x2ix3i · · · ∑x2ixpi
......
......
. . ....
∑xpi ∑xpix1i ∑xpix2i ∑xpix3i · · · ∑x2pi
X ′Y =
∑yi
∑x1iyi
∑x2iyi...
∑xpiyi
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Contenido
1 MotivaciónRegresiónEjemplo de Motivación
2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Problema de Aplicación del MRLM
Una de las características del alambre para amarres es su resistenciaa tracción (Y ). En la tabla, está la información sobre esta variable,altura del amarre (X1), altura del poste (X2) y longitud (X3) para19 alambres.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Datos de las variables de alambre para amarres.
Y X1 X2 X3
8,0 19,6 29,6 94,9
8,3 19,8 32,4 89,7
8,5 19,6 31 96,2
8,8 19,4 32,4 95,6
9,0 18,6 28,6 86,5
9,3 18,8 30,6 84,5
9,3 20,4 32,4 88,8
9,5 19,0 32,6 85,7
9,8 20,8 32,2 93,6
10,0 19,9 31,8 86,0
10,3 18,0 32,6 87,1
10,5 20,6 33,4 93,1
10,8 20,2 31,8 83,4
11,0 20,2 32,4 94,5
11,3 19,2 31,4 83,4
11,5 17,0 33,2 85,2
11,8 19,8 35,4 84,1
12,3 18,8 34 86,9
12,5 18,06 34,2 83,0
Cuadro : Datos de las variables de Alambre para amarres.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Forma matricial del problema
La variable Y se puede relacionar con las variables X1, X2, y X3 através del modelo de regresión lineal múltiple
Y = b0 +b1X1 +b2X2 +b3X3 + e
En forma matricial
Y =
88,38,5...
12,5
X =
1 19,6 29,6 94,91 19,8 32,4 89,7...
......
...1 18,6 34,2 83,0
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Forma matricial del problema
Utilizando R (lenguaje y entorno de programación para análisis es-tadístico y gráfico) tenemos:
X ′X =
19 368,3 612 1682,2
368,3 7155,45 1186,22 32643,48612 11863,22 19757,92 54154,88
1682,2 32643,48 54154,88 149323,1
X ′Y =
192,5
3725,666227,2616980,18
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Forma matricial del problema
(X ′X )−1 =
61,834 −0,681 −0,867 −0,233−0,681 0,078 −0,005 −0,007−0,867 −0,005 0,024 0,002−0,233 −0,007 0,002 0,003
finalmente
β =
b0b1b2b3
= (X ′X )−1 X ′Y =
5,6458−0,11310,5187−0,1133
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Modelo de regresión que relaciona las variables
Así el modelo que relaciona las variables: resistencia a la tracción(Y ), altura del amarre (X1), altura del poste (X2), y longitud delalambre (X3), para los datos de la tabla es
Y = 5,6458−0,1131X1 +0,5187X2−0,1133X3 (3)
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Evaluación del modelo
Debemos probar la significancia de los parámetros estimados
H0 : bi = 0 i = 0,1,2,3H1 : bi 6= 0
Si p−valor > 0,05
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Confirmación de los resultados utilizando STATGRAPHICS
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Mejor ajuste utilizando STATGRAPHICS
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Diagramas de dispersión para las variables explicativas
Para visualizar la no colinealidad entre las variables regresoras X1, X2y X3 aparecen en la figura los diagramas de dispersión entre diferentespares de variables.
Figura : Diagramas de dispersión para las variables explicativas X1, X2 y X3.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
Matriz de correlación
La matriz de correlación entre las variables explicativas X1, X2 y X3es
Corr(Xi ,Xj) =X1X2X3
X1 X2 X31,0000 0,0031 0,44630,0031 1,0000 −0,22480,4463 −0,2248 1,0000
y como puede observarse no existe correlación lineal alta entre ningúnpar de variables, confirmándose de nuevo la no colinelidad.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
La calidad del Modelo de Regresión Multiple
La evaluación del Modelo de Regresión Multiple se hace, a travez de
R2 =β ′X ′Y −n (y)2
∑ni=1 Y 2
i −n (y)2
Utilizando el paquete R tenemos
y = 10,13n
∑i=1
y2i = 1983,55 β ′X ′Y = 1971,9
Finalmente se tiene que el coeficiente de determinación es
R2 =1971,9−19(10,13)2
1983,55−19(10,13)2 = 0,65
lo cual significa que las tres variables independientes consideradas eneste ejemplo explican el 65% de la variación de la resistencia a latracción.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
MotivaciónAsociación entre variables
Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM
MUCHAS GRACIAS
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple
Bibliografia Lecturas Complementarias
Lecturas Complementarias I
Hurtado, L. H., García, M. D., Galvis, D. M., & Salcedo, G. E.(2006). Estadística Básica. Armenia.
Mendenhall, W., Beaver, R., & Beaver, B. (2003). Introduccióna la probabilidad y estadística. Mexico: Thomson Learning.
Ross, S. (2000). Probabilidad y Estadística para Ingenieros.Mexico: McGRAW-HILL.
Draper, N. R., & Smith, H. (1966). Applied RegressionAnalysis. New York: John Wiley & Sons, Inc.
Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple