Inferencia Automática en Modelos Estimados Mediante la

Norma L1.

Víctor Aguirre y Manuel DomínguezDepartamento de Estadística, ITAM.

19 Foro Nacional de EstadísticaITESM, Monterrey, N.L.

V. Aguirre, ITAM 2

Propósito

• Mostrar que es posible hacer inferencia en modelos de regresión estimados por medio de la minimización de la norma L1 sin necesidad de recurrir a la definición de un parámetro de suavizamiento.

• Presentar lo anterior como una aplicación de una propiedad distribucional novedosa del remuestreo.

V. Aguirre, ITAM 3

Regresión L1

• Es un método de regresión robusta.• Modelo: • Donde Ui~ iid FU.•• Es un caso particular de la regresión

percentil.• Koenker y Basset (1978,1982), Bloomfield

y Steiger (1983), Oberhofer (1982).

Yi g,Xi Ui

g, Xi 1 2X1i . . .r1Xri

V. Aguirre, ITAM 4

Estimación, Regresión L1

• Estimador

• La función objetivo no es diferenciable.

arg min|Yi g,Xi|

V. Aguirre, ITAM 5

Distribución Asintótica, Regresión L1

• Si por ejemplo consideramos el caso de regresión lineal simple:

• Bajo condiciones de regularidad,

• La estimación de σ2 requiere de la definición de un parámetro de suavizamiento.

Yi 1 2Xi Ui

n 2 2 d N0,2

2 fU2 FU

11/2VX/41

V. Aguirre, ITAM 6

Estimación medular de f.

• Selección de función medular.• Selección apropiada de hn depende de f(x).• Método de sustitución, validación cruzada (mv o

mc).• Bowman (1985): sustitución decepcionante, vc-

mv ok si f no tiene colas pesadas.• Cao,González-Manteiga y Cuevas (1994): vc-mv

peor si f tiene colas no acotadas.• hn y por lo tanto f estocásticos, efecto sobre

cobertura de ics de β.

f z 1

nh ni1

n K Zizh n

V. Aguirre, ITAM 7

Remuestreo Básico, Regresión L1

• Remuestrear de los residuos:

• Para obtener

• Y calcular para b=1,2,...,B

Ui Yi g, Xi

Yi,b g

,Xi Ui,b

b

arg min Yi,b

g,Xi

V. Aguirre, ITAM 8

Distribución Asintótica, Remuestreo Regresión L1

• Bajo las mismas condiciones de regularidadHahn (1995) demostró que:

• Es decir que si

• Convergencia distribución condicional.

n 2,b2 d N0,2 en probabilidad

Tn n

2,b2

|FTnZn r Nr, 0,2| p 0

V. Aguirre, ITAM 9

Aplicación de Remuestreo en Regresión L1

• Se podrían usar los percentiles crudos de

• Con B>>100 encontrar

• Se ha demostrado teóricamente que es superior el remuestreo-t para hacer inferencia sobre β2 .

2,b

2,r

,2,s

V. Aguirre, ITAM 10

Remuestreo-t

• Requiere de la estimación del error estándar en cada replicación del remuestreo.

• Se calcula• Necesita B>100 y el empleo de suavizamiento en

cada remuestreo para estimar f y desv estd.• Se usan los percentiles de la distribución de t*

para hacer inferencia sobre β2.

t b

n 2,b2

b

2 t r ,

2 t s

V. Aguirre, ITAM 11

Notación

• Datos• Modelo• Modelo estimado• Operador de interés• Ejemplo

Zn Z1 ,Z2 , . . . ,Zn

FZ

Tn n1/2 n

F Z,n

Tn T FZ,FZ,n

V. Aguirre, ITAM 12

Problema Inferencial

• Deseamos inferir sobre:

• Ejemplos:

FTn T,FZ,n Cn CFTn

C1n IFTn FTn

C3n 12 x y2dFTn xdFTn y VTn

C2n xdFTn x ETn

V. Aguirre, ITAM 13

Estimador de Remuestreo

• Entonces como

• Si

• Encontrar analíticamente es usualmente muy difícil.

Tn T F Z,n ,FZ,n

FZ,n está relacionado con FZ

FZ,n está relacionado con FZ,n

estimo CFTn CT,FZ,nconCFTn

C T,F Z,n ,n

FTn

V. Aguirre, ITAM 14

Convergencia en Distribución del Operador de Interés.

• Bajo ciertas condiciones de regularidad usualmente se tiene que

• Es decir

• Para todo x punto de continuidad de FT.• Pero es estocástica.

Tn d T, n

FTnx FTx , n

FTn

V. Aguirre, ITAM 15

Convergencia Completa.

• una sucesión de funciones de distribución aleatorias, converge completamente en probabilidad a G una función de distribución no estocástica si y solo si

• Para todo x punto de continuidad de G.• También hay la versión casi segura.

Gn n1

|Gnx Gx | p 0

V. Aguirre, ITAM 16

Resultados de Convergencia del Remuestreo.

• Bajo condiciones de regularidad (que en varios casos no difieren demasiado de las condiciones para que Tn tienda a T) se tiene que converge completamente en probabilidad a FT.

• Bickel y Freedman (1981), caso iid.• Notación:

FTnZn

Tn d T en probabilidad

V. Aguirre, ITAM 17

Resultado de Convergencia no Condicional en Remuestreo.

• Si y para b=1,2,..., B. Entonces, para B fijo y cuando n tiende a infinito

donde es un vector aleatorio con 1+B entradas iid.

Tn d T Tn,b d T

Tn ,Tn,1 , . . . ,Tn,B

d T B

T B

V. Aguirre, ITAM 18

Aplicación a Operadores AN.

• Supongamos que T tiene distribución N(0,σ). Entonces, para B fijo y cuando n tiende a infinito

• Transformación asintótica pivotal (TAP) (tB ~ t deStudent con B grados de libertad).

• Válido aún para B=1!

tB Tn

1B b1

BTn,b 2

1/2 d tB

V. Aguirre, ITAM 19

Aplicación al Caso

• Bajo esta circunstancia:• Por lo que:

•

Tn nn

tB

n

1B b1

B n,bn

2 1/2 d tB

Tn,b n

n,bn

H0 : 0 versus H1 : 0

limn Pr|tB | tB,1/2 bajo H0

limn Pr|tB | tB,1/2 0 bajo H1

V. Aguirre, ITAM 20

Potencia Local

• Alternativas locales:• Potencia n finito

• Potencia límite, B fijo

H1n : 0 n1/2c

Bc limn B,nc

B,nc Pr c|tB | tB,1/2

V. Aguirre, ITAM 21

Potencia Local

• Con el resultado de convergencia no condicional se obtiene que

• Por ejemplo, si deseamos detectar una diferencia estandarizada de 4 veces el error estándar tenemos:

• Para B=5: • Para B=10:

54 0.89104 0.95

Bc Pr|tB, c| tB,1/2

V. Aguirre, ITAM 22

Alternativa propuesta

• Empleamos:

• Con B=5,10 y 20.• Comparamos con tabla normal y percentil

crudo.• No requiere estimación de f.

tB

22

1Bb1

B 2,b

2

2 1/2 d tB

V. Aguirre, ITAM 23

Inferencia Automática en Regresión Percentil

• Normal vs t*. (10,000)

tB

22

1Bb1

B 2,b

2

2 1/2 d tB

n 100 200 300 500 1000

-5.6 -3.9 -2.4 -2.0 -1.0

t5 -0.1 1.8 3.6 2.0 0.5

35 29.2 28.2 16.9 16.7

-7.7 -4.9 -4.8 -2.8 -2.3

t10 -8.6 -1.4 -0.2 -0.1 -0.6

20.4 23 17.8 18.8 13.8

-11.6 -6.7 -5.9 -4.4 -3.9

t20 -11.6 -4.8 -3.7 -2.6 -2.4

11.6 18.6 17.6 13.5 6.7

n 100 200 300 500 1000

19.7 22.0 24.8 25.3 26.6

5 51.7 55.1 58.3 57.9 58.0

255.8 263.3 264.8 252.4 249.7

3.5 9.2 9.2 10.6 11.2

10 16.8 24.7 25.8 28.1 25.8

116.1 126.2 128.9 128.3 121.0

-5.0 0.1 1.3 2.8 2.9

20 0.5 7.3 8.9 10.5 9.7

57.2 67.0 68.8 63.1 56.1

relative error n

V. Aguirre, ITAM 24

Inferencia Automática en Regresión Percentil

• Percentil crudo de remuestreo vs t*

tB

22

1Bb1

B 2,b

2

2 1/2 d tB

n 100 200 300 500 1000

-5.6 -3.9 -2.4 -2.0 -1.0

t5 -0.1 1.8 3.6 2.0 0.5

35 29.2 28.2 16.9 16.7

-7.7 -4.9 -4.8 -2.8 -2.3

t10 -8.6 -1.4 -0.2 -0.1 -0.6

20.4 23 17.8 18.8 13.8

-11.6 -6.7 -5.9 -4.4 -3.9

t20 -11.6 -4.8 -3.7 -2.6 -2.4

11.6 18.6 17.6 13.5 6.7

relative error n

n 100 200 300 500 1000

100.76 91.51 88.23 83.06 79.7

GTn5 301.52 283.02 276.46 266.12 259.4

1907.6 1815.1 1782.3 1730.6 1697

27.6 21.7 17.0 11.9 12.3

GTn10 155.2 143.4 134.3 123.8 146

1175.8 1117.2 1070.0 1019.0 1130.0

37.1 29.6 23.0 17.4 11.8

GTn20 69.8 55.4 46.1 36.5 22.8

749.0 676.8 630.5 582.5 514.0

V. Aguirre, ITAM 25

Comentario.

• Parece que estamos estimando del error estándar del numerador, pero no es así.

• Se podría estimar con remuestreo, pero requeriría condiciones de regularidad adicionales.

• El denominador no tiene porqué converger a σ de manera alguna.

• Se aprovecha la convergencia en distribución conjunta del operador de interés y sus contrapartes obtenidas por remuestreo.

V. Aguirre, ITAM 26

Aplicación a OperadoresMultivariados AN.

• T con distribución asintótica Np(0,Σ) • Entonces, para B fijo y n grande

• Distribución límite = T cuadrada deHotelling con parámetros B,p.

Hn,B Tn T 1B b1

B Tn,b Tn,b

T 1Tn d TB,p

2

BpBp1 Fp,B p 1

V. Aguirre, ITAM 27

Enfoque General

• Construir TAPs que combinen el operador de interés con sus pares de remuestreo

• Tal que, para cada B fijo, asintóticamenteno dependan de parámetros estorbosos.

• Otro ejemplo, si Tα Ji-cuadrada, ψ podría tener una distribución F.

Tn,1 , . . .Tn,B

,Tn

V. Aguirre, ITAM 28

Resumen

• Para n grande y procedimientos complejos, reducción drástica en aplicación del remuestreo, B(=1).

• Fácil determinación de B considerando tamaño del error y potencia. B es no estocástica (otros enfoques que si).

• No hay necesidad de imponer condiciones de regularidad adicionales al proceso generador de los datos (otros enfoques que si).