cooperative foraging and search:...

Cooperative Foraging and Search:Swarm

Daniel Docmac M.

Foraging Theory

• En esta exposición se tratarán los conceptos básicos de como los animales trabajan juntos para “forage” en sociedad.

• Foraging: Se basa en la suposición de que los animales buscan y obtienen nutrientes de manera de maximizar la energía E tomada de ellos por unidad de tiempo T gastado foraging.

• El problema se traduce a la maximización de la función:

T

E

2

Elementos teóricos de Foraging

• Otra definición tiene relación con la “energetic efficiency”: energía consumida/energía gastada para obtenerla: Ec/Eg

• Algunos animales parecen cambiarse entre una y otra definición.

• Otras actividades se relacionan con el foraging, por ejemplo buscar un lugar seguro o refugio de la lluvia.

• Algunos foragers tienen un ritmo (diario, todas las noches, etc) otros son oportunistas dependiendo de sus necesidades.

3

Elementos de la teoría Foraging (cont)

• La teoría de foraging formula el foraging como un problema de optimización en donde los métodos computacionales o analíticos pueden proveer una política óptima de foraging.

4

Estrategias de búsqueda

• Primero el predador debe buscar la presa. Luego seguir y atacarla. Finalmente manejarla e ingerirla.

• La importancia de cada uno de los componentes del comportamiento de foraging dependerá de la relación existente entre el predador y la presa.

• En tema de tamaño: si la presa es más grande que el predador el ataque será más importante. Si es más pequeño entonces la búsqueda es más importante dejando menos tiempo para seguir y atacar la presa siendo así este el factor dominante del foraging.

5

Estrategias de búsqueda (cont)

• Cruise (navegar):

Los foragers se mueven continuamente a través del medio ambiente buscando constantemente la presa dentro de límites de una área definida (halcones son cruise searchers).

• Ambush (acecho):

Los foragers se sientan y esperan que la presa cruce por su área de ataque (serpiente cascabel).

• Saltatory:

Estrategia intermedia entre Curise y Ambush.

6

Estrategias de búsqueda (cont)

• Los saltatory generalmente se mueven a través del área de búsqueda y se ajustan a los cambios del medio, lo que se ve representado en más de una curva escalonada.

7

Cooperative/Social Foraging

• Los foragers viven en un ambiente con otros pares .• Métodos de compartir información son necesarios para

foraging cooperativo .• Las ventajas de el foraging en grupo incluyen:

� La cantidad de energía per cápita es mayor , aun si la ganancia no es repartida equitativamente en el grupo.

� En algunos casos la tasa de energía de un individuo decrece si se une a un grupo pero sigue siendo una buena alternativa si es poco.

� Cuando hay más animales buscando se incrementa la probabilidad de encontrar nutrientes. Así, si uno encuentra alimento le dirá al resto donde está este. Es en otras palabras ganar acceso a un “centro de información”.

8

Cooperative/Social Foraging (cont)

� Aumente la posibilidad de acceder a grandes presas.

� Mayor protección frente a depredadores.

� Algunas especies ocupan la diversidad en su especie para producir mayor eficiencia (hormigas obreras, soldado, reina).

• ¿Cómo ocurre esta en la naturaleza?

� Una hormiga inicia la búsqueda a lo largo y lejos de forma aleatoria. Al encontrar nutrientes expele feromonas que marcarán en área e indicará al resto de la colonia donde están los nutrientes. Una abeja encuentra el alimento y vuelve al panal indicando con un baile al resto de la colmena la localización de este.

9

Cooperative/Social Foraging (cont)

• Swarms (enjambres) nacen debido a la comunicación y pueden llevar a un más exitoso foraging: Optimización.

10

E. Coli Swarm Foraging para optimización• El algoritmos de foraging de bacterias es un método de optimización

estocástico no gradiente.

• Sea J(θ) la representación de los efectos combinados de repelencia y atracción del medio ambiente , en donde θ será la posición de la bacteria con θ

• Así J(θ) < 0, J(θ) = 0, y J(θ) > 0 representarán que la bacteria se encuentra en una posiciónθ rica en nutrientes, neutral y nociva respectivamente.

• Básicamente la quimiotaxis es un comportamiento del foraging el cual consiste en que las bacterias tratan de escalar hacia las mayores concentraciones de nutrientes (encontrando valores más y más bajos de J(θ) evitando a su vez sustancias nocivas .

• Para definir una optimización es necesario definir antes: una población de bacterias, un modelo de como ejecutan la quimiotaxis, swarming, reproducción y eliminación/dispersión.

Rp∈

11

Población y Quimiotaxis

• Una bacteria tiene dos tipos de desplazamiento: swim (o run) y tumble.

12

Población y Quimiotaxis (cont)

• Se define la quimiotaxis como el patrón de movimiento que las bacterias generan en la presencia de químicos de atracción y repulsión.

• Sea:

� j: índice para pasos quimotaxicos.

� k: índice de paso reproductivo.

� l: índice para evento de eliminación – dispersión.

� S: población de bacterias.

• Se tiene que la posición de cada miembro de la población S estará dada por:

• Para el jth paso quimiotaxico, kth paso reproductivo y lth paso de eliminación-dipersión.

},..,2,1|),,({),,( SilkjlkjP i == θ

13


• J(i,j,k,l) corresponderá al costo de localización de la bacteria ith , representada por θi en donde p será el número de dimensiones a las cuales se aplica el método. Para este caso en particular p = 3 (ubicación espacial).

• Se define Nc como el largo de vida de una bacteria medido en el número de paso quimiotaxicos que darádurante su vida.

• Sea C(i) > 0 el tamaño de un paso quimiotaxico durante un desplazamiento “run” (swim) y Ф(j) la representación de la unidad aleatoria que definirá la dirección de movimiento luego de un “tumble”.

Rp∈

14


• Se tendrá que:

• Si para costo asociado es menor para entonces otro paso de tamaño C(i) será tomado en la

misma dirección, lo cual continuará mientras siga mejorando pero solo hasta un máximo de pasos Ns (número máximo de pasos en “run”).

)()(),,(),,1( jiClkjlkj ii Φ⋅+=+ θθ

),,1( lkji +θ ),,1,( lkjiJ +),,( lkjiθ

15

Mecanismo Swarming

• Hasta ahora no se ha tratado la utilización de “attractants” para señalar a otras células que deberían agruparse (cell-to-cell signaling via attractant).

• La optimización swarm explota una aproximación regional a un gradiente lo cual ayuda a escalar sobre el ruido.

• Se definen los siguientes parámetros de atracción:� dattract: Cuantificación de la cantidad de sustancias de

atracción liberadas por la célula.

� wattract: Cuantificación de la velocidad de difusión del

químico.

16

Mecanismo Swarming (cont)

• Las células también repelerán a sus vecinos cuando estos se encuentren demasiado cerca pues consumirían sus nutrientes.

• Se definen los siguientes parámetros de repulsión:� hrepellent: Cuantificación de la cantidad de sustancias de

repulsión liberadas por la célula.

� wrepellent: Cuantificación de la velocidad de difusión del

químico.

• Así se tiene que la representación del efecto combinado de atracción y repulsión cell-to-cell será:

∑=

=S

i

ii lkjJlkjPJcc1

)),,(,()),,(,( θθθ

17


• Así:

• En corresponde a un punto en el dominio de optimización, mientras que será el mth componente de la posición de la bacteria ith (θi).

∑ ∑= =

−−⋅−=

S

i

p

m

immattractattract wdlkjPJcc

1 1

2)(exp)),,(,( θθθ

∑ ∑= =

−−⋅+

S

i

p

m

immrepellentrepellent wh

1 1

2)(exp θθ

Tp ],...,[ 1 θθθ =

imθ

18


• La función Jcc representa los químicos liberados por el movimiento de cada célula. Debido al movimiento de todas las células Jcc es una función variante en el tiempo.

• Si muchas células vienen juntas habrá un alto valor de attractant lo cual aumentará las probabilidades de que otra célula se mueva hacia al grupo. Esto provoca el efecto swarming.

• Con swarming se tiene que la célula tratará de encontrar nutrientes, evitando sustancias nocivas y al mismo tiempo tratándose de mover hacia otras células, pero no muy cerca de ellas.

• Como se vio, el costo queda redefinido como:

),(),,,( PJcclkjiJ θ+

19


• La figura representa el modelo de costo (repulsión al medio) del modelo cell-to-cell chemical attractant para una población S = 2. Los dos peaks son la posición inicial de las respectivas células.

20

Reproducción y Eliminación/Dispersión

• Luego de los Nc pasos quimiotaxicos viene la reproducción.

• Sea Nre el número de pasos de reproducción a ser tomados.

• Se reproducirán los miembros que tengan suficientes nutrientes para hacerlo, dividiéndose en dos.

• Los menos saludables mueren.

• Ned: Número de eventos de eliminación - dispersión.

• Por cada evento cada bacteria en la población es forzada a la eliminación - dispersión con una probabilidad ped.

• Se asume que la frecuencia de un paso quimiotaxico es mucho mayor que la de reproducción la cual a su vez es mayor que la frecuencia de un evento de eliminación y dispersión. Así una bacteria dará muchos pasos quimiotaxicos y solo varias generaciones después tomará lugar un evento de eliminación -dispersión.

21

Optimización Algoritmo Foraging Bacteria• Se seleccionan los parámetros (p, S, Nc, Ns, Nre, Ned, ped y

C(i), i = 1,..,S. Además de los parámetros cell-to-cell attractant para swarming. Elegir también valores iníciales de posición para cada bacteria (θi).

• Algoritmo:

1. Loop eliminación-dispersión: l = l + 1

2. Loop reproducción: k = k + 1

3. Loop quimiotaxis: j = j + 1a. Para i = 1, 2, .., S tomar un paso quimiotaxico.

b. Calcular J, como:

)),,(),,,((),,,(),,,( lkjPlkjJlkjiJlkjiJ icc θ+=

22

Optimización Algoritmo Foraging Bacteria (cont)

c. Guardar el valor de J hasta encontrar un valor mejor de costo via un “run”: Jlast = J(i, j, k, l)

d. Tumble: Generar un vector aleatorio con cada elemento

, m = 1, 2,....,p.

e. Moverse:

Resultando en un paso de tamaño C(i) en la dirección del tumble para la bacteria i.

f. Calcular nuevo J como:

pRi ∈∆ )(

)(im∆

)()(

)()(),,(),,1(

ii

iiClkjlkj

T

ii

∆∆∆⋅+=+ θθ

)),,1(),,,1((),,1,( lkjPlkjJlkjiJ icc ++++ θ

23


)()(

)()(),,(),,1(

ii

iiClkjlkj

T

ii

∆∆∆⋅+=+ θθ

24


5. Reproducción: a. Para los índices k y l dados y para cada i = 1, 2,...., S

b. Las bacterias con los mayores Jhealth (mayores costos indican menor salud) mueren, mientras que las demás se ubican en la misma posición que sus madres.

6. If k < Nre ,ir a paso 2. No se ha alcanzado el número de reproducciones especificado. Se comienza la próxima generación en el lazo quimiotaxico.

7. Eliminación – dispersión: Para i = 1, 2,..., S, con probabilidad pedelimina y dispersa cada bacteria. Para esto al eliminar una bacteria, dispersa otra a una ubicación aleatoria en el dominio de optimización.

8. If l < Ned , ir a paso 1; en caso contrario terminar.

∑+

=

=1

1

),,,(cN

j

ihealth lkjiJJ

25

Efecto Swarming

26

Foraging Swarm Social Estable

• Modelo del medio ambiente: Describe los agentes, comunicaciones y el medio en que estos se mueven.

• Agentes dinámicos y comunicación: Se considera un swarm compuesto por N agentes, cada uno los cuales tiene:

• Modelo lineal simple para ilustrar las características básicas del swarming y análisis de estabilidad de cohesión.

• Se asume que cada agente puede censar la información de posición y velocidad de otros agentes, pero con algo de ruido.

• Los agentes interactúan para formar grupos pero en ocasiones estos se separan.

27

i

i

i

ii

uM

v

vx

1.

.

=

=

Foraging Swarm Social Estable (cont)

• Una forma de representar que agentes interactúan con cual es vía un gráfico dirigido (G, A), donde G={1,2,...,N} es un set de agentes y representa links de comunicación.

• Así, si se puede asumir que el agente i puede censar la posición y velocidad del agente j.

• Se asume que A es fijo y no dependerá de la posición y velocidad del agente, y que se encuentra completamente conectado. Además que no existe ruido ni retardo en las comunicaciones, con un ancho de banda ilimitado.

28

},,:),{( jiGjijiA ≠∈=

Aji ∈),(

Atracción y Repulsión Agente – Agente

• Los agentes quieren estar cerca uno del otro, pero no demasiado.

• Cada agente busca estar en una posición “confortable” relativa a sus vecinos.

• Muchas formas de caracterizar la atracción - repulsión, una de ellas es definiendo la fuerza ui para cada agente.

• Atracción: Puede ser lineal, y en este caso expresada en términos de ui.

• En donde ka > 0 es un escalar que representa la fuerza de atracción. Así, si los agentes se alejan, más se atraen.

• La atracción puede ser representada en función de una variedad de factores dinámicos, como por ejemplo la velocidad, en donde una agente intentaría igualar la velocidad de otro.

29

)( jia xxk −⋅−

Atracción y Repulsión Agente – Agente (cont)• Repulsión: Al igual que la atracción hay muchos tipos de

términos de repulsión: locales, globales, estáticos, dinámicos, cada uno de los cuales pueden ser expresados en términos de una variedad de factores.

• Buscando una “distancia confortable”: En términos de ui

tomará la forma:

• En donde k > 0 es la magnitud de la repulsión y d puede ser pensada como la distancia confortable entre el agente ith y jth . Aquí, el valor entre corchetas fijará el tamaño de la repulsión.

30

( )[ ] ( )jiji xxdxxk −⋅−−⋅−

Atracción y Repulsión Agente – Agente (cont)• Se tiene entonces que:

▫ Si es pequeño en relación a d, [%] > 0 se repelen.

▫ Si es grande en relación a d, [%] < 0 se atraen.

▫ Si es igual a d, [%] = 0 equilibrio .

• Equilibrio: Concepto básico en la dinámica swarm.

• Otras expresiones de repulsión:

▫ Repulsión cuando se está cerca.

31

ji xx − ⇒ji xx − ⇒ji xx − ⇒

( )ji

s

ji

r xxr

xxk −⋅

−⋅−⋅

2

22/1

exp

Atracción y Repulsión Agente – Agente (cont)

▫ Repulsión “fuerte” para evitar colisión.

En donde w > 0 afecta el radio de repulsión de los agentes, a > 0 es la ganancia de la magnitud de la repulsión, b > 0 puede cambiar la forma de la repulsión, y puede ser usado para definir el término para que solo tenga influencia local.

32

( )ji

jixx

wxxb

a −⋅

∈−

−−⋅0,max

0>∈

Medio ambiente Foraging

• Se define el medio en que los agentes se mueven.

• Habiendo muchas posibilidades se considera que estosse mueven sobre un llamado “resource profile” (ej: nutrientes) J(x), donde x Rn.

• En el ambiente, existirán regiones que el agente evitará(donde hayan sustancias nocivas).

• Así el agente se moverá in dirección del gradiente negativo de J(x) para alejarse de las áreas nocivas y acercarse a las favorables.

33

∈

x

JxJ

∂∂=∇− )(

Medio ambiente Foraging (cont)

• Claramente hay muchas formas posibles de J(x). Por simplicidad se consideran las dos siguientes:▫ Plana: Se tiene J(x) = Jp(x), siendo:

Donde y ro es un escalar. Aquí,

▫ Cuadrática: En este caso se tiene J(x) = Jq(x), siendo:

Donde rm y ro son escalares y . Aquí,

34

oT

p rxRxJ +=)(

nRR ∈ RxJ p =∇ )(

ocm

q rRxr

xJ +−= 2

2)(

nc RR ∈ )()( cmq RxrxJ −=∇

Análisis de estabilidad de propiedades de cohesión Swarm• La cohesión y swarm dinámico pueden ser cuantificadas y

analizadas usando análisis de estabilidad.• Censado, ruido y error dinámico:

▫ Sea:

el centro del swarm y

la velocidad promedio del grupo de agentes.

▫ Se asume que cada agente puede censar su distancia al centro delswarm y la diferencia entre su velocidad y la velocidad promedio .

35

∑=

=N

i

ixN

x1

1

∑=

=N

i

ivN

v1

1

Análisis de estabilidad de propiedades de cohesión Swarm (cont)

▫ Cada agente conoce su velocidad pero no su posición.

▫ El objetivo de cada agente es moverse para acabar cerca de

y tener su velocidad igual a . Así terminarán cercas unos de otros y se moverán en la misma dirección (cohesión).

• Surge el problema que al moverse todos los agentes al mismo tiempo, x y v serán variantes en el tiempo.

• Se estudia la dinámica del erro de un sistema como:

36

x v

vve

xxe

iiv

iip

−=

−=

Análisis de estabilidad de propiedades de cohesión Swarm (cont)• Otras formas de error son posibles. Por ejemplo:

Correspondiente a computar el error a cada uno de los otros

agentes y luego intentar llevar todos estos a cero.

• Notar sin embargo que:

37

∑=

−=N

j

jiip xxe

1

~ )(

( ) ip

iN

j

jiip eNxxNx

NxNe ⋅=−⋅=

−⋅= ∑

=1

~ 1

Análisis de estabilidad de propiedades de cohesión Swarm (cont)• La misma relación existe para velocidad:

• El desafío es especificar el valor de ui para obtener buenas propiedades de cohesión y un exitoso social foraging.

38

∑=

⋅

⋅

−=

=N

j

j

j

i

i

iv

iv

ip

uMN

uM

e

ee

1

111

Conclusiones

• Swarm se basa en la aplicación de reglas sencillas sobre sus agentes individuales logrando como resultado un comportamiento global complejo.

• La agrupación de agentes “sencillos” permiten que estos accedan a una “fuente de información”poderosa la cual les permite optimizar su foraging logrando una mayor eficiencia energética.

39

Fin

Preguntas

40

cooperative foraging and search:...

Documents