La significación es irrelevante y los P-values engañosos, ¿qué hacer?

Agustín Blasco

Instituto de Ciencia y Tecnología Animal

Universidad Politécnica de Valencia

Valencia, Spain

• 1. Porqué la significación es irrelevante

• 2. Porqué los test de hipótesis son innecesarios

• 3. Porqúe los intervalos de confianza no son de fiar

• 4. Porqué los P-values son engañosos

• 5. Porqué la elección de modelos es pastosa

• 6. Qué hacer

La significación…etc.

Tests de HipótesisNeyman & Pearson hijo

NT

0.129661

1.825e-007

g1( )x

250 x

m1-m2

0

95%

1 2x x

1 2x - x 1 2x - x

* **

H0: m1-m2=0

H1: m1-m2≠0

Riesgo

99%

NT

0.129661

1.825e-007

g1( )x

250 x

m1-m2

0

95%

1 2x x

1 2x - x

H0: m1-m2=0

H1: m1-m2≠0

Riesgo

Tu evidencia puede ser mucho mayor a lo largo de tu carrera

Tests de Hipótesis Neyman & Pearson hijo

NO DISPONEMOS DE NINGUNA MEDIDA DE NUESTRA PROBABILIDAD DE ACERTAR

• ¿Qué pasa con todos los caracteres para los que el experimento no está diseñado?

• Aparecen cantidades irrelevantes con *

• Aparecen cantidades relevantes como n.s.

• ¿Para qué queremos aquí el test?

Tests de Hipótesis Neyman & Pearson hijo

¿Necesitamos los tests?

Tamaño de camada de A: 11Tamaño de camada de B: 9Diferencia A-B = 2 es relevante¿Son A y B diferentes? El test dice que sí: *Intervalo de confianza de la diferencia A-B: [0.1, 3.9]

Típicamente la discusión usa sólo 2 y la * insistiendo en que son diferentes y mucho…pero la diferencia verdadera puede ser

irrelevante!!

… y todo es significativo si la muestra es lo bastante grande

PARA UNA GRAN PARTE DE NUESTROS TRABAJOS, NO HACEN FALTA

Lo que necesitamos es una descripción adecuada de la incertidumbre

Crítica frecuentistaC. HOWSON & P. URBACH (1996)

Crítica bayesianaC. ROBERT (2001)

¿Necesitamos los tests?

P-valuesFisher

NT

0.129661

1.825e-007

g1( )x

250 x

m1-m2

0

1 2x x

1 2x - x

H0: m1-m2=0

H1: m1-m2≠0 3%

OJO!: El P-valueNo mide la significación

NT

0.129661

1.825e-007

g1( )x

250 x

m1-m2

0

1 2x x

1 2x - x

5%

NT

0.129661

1.825e-007

g1( )x

250 x

P-valuesFisher

Si repito el experimento,la MITAD de las vecesSaldrá N.S.

NO DISPONEMOS DE NINGUNA MEDIDA DE NUESTRA PROBABILIDAD DE ACERTAR

Intervalos poco de fiar

m

[ ] [ ]

[ ] [ ] [ ] [ ] [ ]

5%

95%

m

[ ] [ ]

[ ] [ ] [ ] [ ] [ ]

5%

95% El mío es delos buenos !

Intervalos poco de fiar

Intervalos poco de fiar¿Son A y B diferentes? El test dice que sí: *

ALGUNOS DESASTRES:

• Diferencia A-B = 2 es relevante El test dice que sí: * Intervalo de confianza [0.1, 3.9] La diferencia verdadera podría ser irrelevante

• Diferencia A-B = 0.3 es irrelevante El test dice que n.s. Intervalo de confianza [-2.2, 2.5] La diferencia verdadera podría ser relevante

Selección pastosa de modelos

MODELO 1: y = m + e

MODELO 2: y = m + a + e

Uso un criterio (AIC,BIC, DIC,TIC, etc.)

AFIRMACION FALSA : Si el criterio elije el Modelo 1 es porque a=0

AFIRMACION CORRECTA : Mis datos son compatibles con que a sea a=0… sobretodo si tengo pocos datos

Selección pastosa de modelos

VARIOS MODELOS NO JERARQUIZADOS

• COMPARACION BAYESIANA DE P(M1|y), P(M2|y), P(M3|y)…• FACTORES DE BAYES

dependen fuertemente de la información a priori…aunque aumente el número de datos

• BIC es un factor de Bayes aproximado…con problemas

• AIC• DIC son estimadores heurísticos basados en razones

traídas por los pelosno dan una medida claramente interpretable

• VALIDACION CRUZADA

But you see, I can believe a thing without understanding it. It’s all a matter of trainingDOROTHY L. SAYERS Have his Carcase (1932)

¿Qué hacer?

¿Qué hacer?• No hacer test de hipótesis

• Publicar IC95% o IC 90% en vez de S.E.

• Discutir los asuntos importantes con los extremos del IC

• Comparar con otros autores considerando sus IC

• Utilizar Intervalos de credibilidad bayesianos

Distribución posterior

f(A–B|y)

P>0

0

Probabilidad de A >B

P=0.96

Relevante Relevante

f(A-B|y)

0

Probabilidad de SIMILITUD

¿Son A y B diferentes?

¡Por supuesto que sí, SIEMPRE !

Dicho sea de paso, decir que dos cosas son idénticas es unsinsentido, y decir que una es idéntica consigo misma esno decir nada en absoluto

Wittgenstein (Tractatus 5.5303)

Probabilidad de similitud

P>0P=0.21

0

f(A-B|y)

Relevante Relevante

Probabilidad de similitud

P=0.93

0Relevante

f(A-B|y)

Probabilidad de RELEVANCIA

P=0.95

0k

f(A-B|y)

Valor mínimo garantizado

P>0P=0.94

11.1

Probabilidad de que A sea al

menos un 10% mayor que

B

P(A/B | y)

Probabilidad de RELEVANCIA

LA ELECCION DE MODELOS ES UN PROBLEMA ABIERTO

LA ESTIMACION ES UN PROBLEMA RESUELTO

 “La rebelión contra el convencionalismo tiene la ventajade brotar cerca del corazón, último juez de todo lo quevale la pena tener o hacer”.

Jorge Agustín Ruiz de Santayana. Profesor de filosofía en Harvard de 1888 a 1912 “Personas y lugares”