clase 1 · title: clase 1 author: guillermo solovey created date: 10/20/2014 9:31:49 pm

El cerebro estadístico

Escuela de Modelado en NeurocienciasInstituto Balseiro - Centro Atómico Bariloche

20 de Octubre de 2014 clase 1 / 4

Guillermo Solovey

Monday, October 20, 14

Plan de la clase

• Introducción• Probabilidad• Percepción como inferencia bayesiana • Construyendo un modelo bayesiano de percepción


hipótesis del cerebro bayesiano

el principal desafío del cerebro es resolver el problema de la incerteza

¿podré cruzar el río? ¿lloverá?

¿me caerá mal? ¿conozco a esa persona?


fuentes de incerteza sensorial

proyección en la retina

1. Ambiguedad

Kersten, Mamassian & Yuille, 2004Purves et al (Scholarpedia)

Weiji Ma

trapezoide rectángulo en el camino forma rara de alambre


fuentes de incerteza sensorial

2. Baja calidad de los estímulos

es de noche hay niebla los objetos están lejos

acciones rápidas y en la periferia ruido neuronal


el cerebro está forzado a computar probabilidades

Ambiguedad

Baja calidad de los estímulos

Incerteza

Probabilidad

~1990s:el proposito del cerebro es inferir estados del mundo a partir de datos ruidosos e incompletos. es decir: hace inferencia estadística.

P( hipótesis | evidencia ) = “probabilidad de que una hipótesis sea cierta dada la evidencia (sensorial, ...)”

Nuestro sistema perceptual debe seleccionar la solución mas plausible entre un número infinito de posibilidades

¿Cómo lo hace? La forma óptima es usando la regla de bayesconocimiento previomodelo interno.

veamos un ejemplo


el abc de la inferencia bayesiana

Dada la ubicación de las manzanas... ¿dónde está el árbol? (0=imposible; 10=certeza absoluta)

28

3



la ubicación del río da información a priori: sabemos que no crecen árboles en los ríos.independientemente de la ubicación de las manzanas, ¿Cuál es la ubicación más probable del árbol?

el viento cambia el modelo: ¿Cómo se distribuyen las manzanas dada la posición del arbol?

28

3

90

1

P( arbol esta en x dada la ubicación de las manzanas ) = ??

P( ubicación de las manzanas dado que arbol esta en x): modeloP( arbol en x ): a priori



En percepción...

observaciones sensorialesestado del mundo que

se quirere conocer

informacion a prioriP( H | e ) P( e | H ) x P( H )

regla de Bayes!

∝Monday, October 20, 14

Regla de Bayes, 2 siglos de historia (y controversia)

Laplace, 1749-1827

Bayes, 1749-1827

Cuando los hechos cambian, cambio de opinión. ¿Usted que hace, señor?John Maynard Keynes

cuando obtenemos información nueva y objetiva sobre algo, obtenemos una creencia nueva y actualizada.

formaliza matemáticamente la regla de Bayes para dar respuesta a un problema práctico:

¿cómo inferir el movimiento planetario a partir de gran cantidad de datos de distintos observatorios, con diferente confiabilidad?

hoy se usa en infinidad de problemas:filtro de spam de gmailla búsqueda del vuelo de air france AF447aprendizaje, toma de decisiones, ...predicciones (del tiempo, electorales)netflixpercepción


Percepción como inferencia inconciente

Una idea vieja ...

... reflotada en los últimos 20-30 años con un formalismo matemático riguroso

... No todo lo que se percibe a simple vista se percibe a través de la sensación en bruto (...) Los objetos del mundo visible se perciben a través de las características que los definen y a través de conocimientos previos ...

Al Hazen, 965-1040

Revolución bayesiana en ciencias cognitivas (S Dehaene, 2011)

Helmholtz, 1821-1894

La percepción es un proceso de inferencia inconciente.

Las experiencias previas actúan en conjunción con sensaciones presentes para producir una imagen perceptual. (Physiological Optics)


inferencia bayesiana en percepción

¿Cómo hace inferencia el cerebro?

P( hipótesis | evidencia ) =P( evidencia | hipótesis ) P( hipótesis )

constante de normalización

¿Hace inferencia de forma óptima, es decir usando la regla de Bayes?

Knill & Pouget (2004)

Para algunos no hay duda de que somos óptimos...

Al menos hacemos un cómputo estadístico y el formalismo bayesiano provee un formalismo riguroso.


Plan de la clase



abc de probabilidad

frecuencia relativa de ocurrencia del resultado de un experimento

grado de creencia

dos interpretaciones:

0 10 20 30 40 50 60 70

prob

abilid

ad

distancia d

con neblina, más incerteza

con sol, menos incerteza

P( 1 ) = 1/6 ≈ #1/N{4, 5, 1, 3, 5, 6, 1, 3, 4, 2, ...}

variables aleatorias:

A = el número que sale en el dado, la distancia al auto, ...a = posible valor que toma la variable A.p(A=a), para abreviar a veces es p(a).

variables binarias, las más simples (ocurrencia de un evento. p(A=”si”), p(A=”no”).


abc de probabilidad

La probabilidad total es 1.

p( dado=1 ) + p( dado=2 ) + p( dado=3 ) + p( dado=4 ) + p( dado=5 ) + p( dado=6 ) = 1 X

a

p(A = a) = 1

0 10 20 30 40 50 60 70

prob

abilid

ad

distancia d

área = 1

variables discretas

variables contínuas

Zp(a)da = 1

densidad de probabilidad


abc de probabilidad

p(A) p(B)

Probabilidad conjunta = p(A, B)

A, B dos variables aleatoriasEjemplos:p(dado sale par y mayor que 3)p(mañana llueve y pasado no llueva)p(soy físico y soy neurocientífico)

p(A,B)

Independencia: A, B dos variables aleatorias son independientes si: p(A,B) = p(A) p(B)

si A y B son independientes

p(A|B) = p(A,B)p(B)

Probabilidad condicional: Probabilidad de A dado el valor de B. Por definición:

p(A|B) = p(A)


Plan de la clase



Percepción como inferencia bayesiana: regla de Bayes

Dos fuentes de información

probabilidad de una hipótesis

datos (inciertos)información sensorial

información previamemoria

Körding & Wolpert, 2004

P( hipótesis | información sensorial ) ∝ P( información sensorial | hipótesis ) P( hipótesis )

La forma óptima de combinarlas es usando la regla de Bayes:

función de verosimilitud likelihood

probabilidad a priori prior

probabilidad a posterioriposterior

x∝Monday, October 20, 14

Ejemplo de inferencia probabilística: cinta de recolección de equipaje

100 pasajeros1 valija por pasajero5% de los pasajeros tienen tu misma valija

a) A la distancia ves salir la primera valija, que tiene el mismo color, forma y tamaño que la tuya. ¿Es la tuya?

b) (ejercicio!) Ninguna de las primeras 85 valijas era la tuya. La valija 86 también tiene el mismo color, forma y tamaño que la tuya. ¿Cuál es la probabilidad de sea la tuya? ¿Qué cambia respecto de a)?

H1: es mi valija

H2: no es mi valija

p(d|H1) = 1

p(d|H2) = 0.05

p(H1|d) =1⇥ 0.01

1⇥ 0.01 + 0.05⇥ 0.99= 0.168

p(H2|d) =0.05⇥ 0.99

1⇥ 0.01 + 0.05⇥ 0.99= 0.832

p(H1) = 0.01

p(H2) = 0.99

prior likelihood posterior


Inferencia bayesiana

factores que afectan la función de verosimilitud

factores que afectan la distribución de probabilidad a priori

condiciones ambientales (obstrucciones, distancia, ...)

el “ojo” de cada observador.

contexto o conocimiento previo

priors evolucionan en el tiempo a medida que acumulamos información nueva.Ejemplo, un adulto no tiene los mismos priors que un niño.


¿Qué priors se usan en percepción?

Las ilusiones visuales dan una idea del tipo de priors que usa el sistema visual

1- la luz viene de arriba

Nature Neuroscience 2004



=

>

=



Howe & Purves, PNAS (2002)

tamaño percibido

tamaño real : tamaño proyección

2- la orientación de un objeto indica su tamaño relativo



3- los objetos se mueven despacio



El movimiento es compatible con un numero infinito de interpretaciones.


la inferencia estadística es parte de los componentes primarios, automáticos e involuntarios de las operaciones mentales.


Plan de la clase



Tarea: localización de una fuente sonora

objetivo:estimar en cada trial la ubicación de la fuente sonora con información auditiva y a priori

Pasos de un modelo generativo:

Construir un modelo bayesiano de percepción, paso a paso.

3- predicción del comporatmiento del sujeto:necesario para comparar con resultados de un observadorprobabilidad de cada estado del mundo

Psicofísica:

• estudiar la percepción de estímulos físicos controlados.• errores en la tarea informan sobre la forma en que el

observador realiza la tarea

1- modelo generativo (forward): distribuciones de probabilidad de las variables en la tarea.modelo del ruido en la información sensorial.

información sensorial

estado del mundo, s

modelo generativo

2- inferencia:invertir el modelo generativo. distribución posterior.¿cuál es el estado del mundo dada la información sensorial?

estimación del estado del mundo, ŝ

inferencia


paso 1: modelo generativo

s

x

estímulo: ubicación real de la fuente

medición (ruidosa) del estímulo p(x|s): distribución del ruido en la medición.

p(s): distribución del estímulo.

distribuciones objetivas: reflejan probabilidades de ocurrencia

p(x|s) = 1p2⇡�

2exp� (x� s)

2

2�

2

p(s) =1p2⇡�2

s

exp� (s� µ)2

2�2s

distribución del estímulo. ruido

µ = 0

Ma, Kording, Goldreich


paso 2: inferencia

inferencia

s

x


medición (ruidosa) del estímuloL(s) = p(x|s) = 1p

2⇡�

2exp� (x� s)

2

2�

2

función de likelihood: creencia de obtener x para cada ubicación posible de la fuente.

distribuciones subjetivas: cuantifican la creencia del observador sobre el valor

de variables del modelop(s|x) = p(x|s) p(s)p(x)

distribución posterior:

distribución a priori p(s) =1p2⇡�2

s

exp� (s� µ)2

2�2s

distribución a priori likelihood



paso 2: inferencia (cont.)

inferencia

s

x


medición (ruidosa) del estímulo

distribución posterior:

p(s|x) = 1q2⇡�

2pos

exp� (s� µ

pos

)

2

2�

2pos

µ

pos

=1�

2

1�

2 + 1�

2s

x+1�

2s

1�

2 + 1�

2s

µ

�2pos

=1

1�

2 + 1�

2s

s

MAP

= argmax

s

p(s|x) = µ

pos


el prior empuja al posterior alejándolo de la medición y atrayéndolo hacia su propio valor medio

combinar una medición con información previa disminuye la varianza


paso 3: distribución del estimador MAP

sMAP =1�2

1�2 + 1

�2s

x+1�2s

1�2 + 1

�2s

µ

Combinacion lineal de dos variables gaussiana. tambien es una distribucion gaussiana

La distribución de SMAP sirve para comparar el modelo con los resultados de los observadores.

Esta distribución se puede obtener ANTES de tener resultados.


cómo modelar el prior?

usar la distribución del estímulo como prior

estadística natural

inferir el prior experimentalmente

Howe & Purves, PNAS (2002)


Ejemplos de integración de información a priori con información sensorial

Kording & Wolpert, Nature (2004)

Weiss, Simoncelli & Adelson, Nature Neuroscience (2002)



Kersten & Yuille, Curr. Opin. Neurobiol (2003)


información previa información visual


P( hipótesis i | información visual ) =P( información visual | hipótesis i ) P( hipótesis i )

P( información visual )

hipótesis 1 = “derecha”hipótesis 2 = “izquierda”

la forma óptima de combinar los dos tipos de información es usando la regla de Bayes:


clase 1 · title: clase 1 author: guillermo solovey created date: 10/20/2014 9:31:49 pm

Documents