reconocimiento automático de la actividad física diaria aplicado a contextos de e-salud y...

• La globalización tecnológica y la innovación han transformado la manera en que se imparten los servicios de salud

• Las intervenciones médicas han sufrido un cambio radical, pasando del “contacto personal directo y puntual” en tiempo y espacio, hacia una interacción “continua e independiente del espacio físico”

• Las enfermedades han evolucionado, de agudas a crónicas, al tiempo que la población envejece rápidamente en todo el mundo

2

• Estudio de técnicas aplicadas al reconocimiento de actividades físicas cotidianas

• Monitorización supervisada y no supervisada

• Diferentes campos de

aplicación (teleasistencia, e-salud, deportes, etc.)

3

• Definir una metodología propia para el reconocimiento de actividades

• Mejorar los resultados en el marco supervisado y seminaturalístico

Analizar la información extraída de la monitorización de ejercicios habituales

Definir modelos de caracterización a partir de las señales asociadas a cada actividad

Establecer metodologías para la selección de las variables más adecuadas

Comparar diversas metodologías de extracción de conocimiento

Para ello

4

FASE I: Análisis de las

señales y valoración de

qué pre-procesado es

necesario

FASE II: Identificación,

definición y aplicación de las técnicas

para extracción de

características

FASE III: Selección de

características

FASE IV: Clasificación

FASE V: Test, análisis de los resultados y

selección del modelo de clasificador

5

• Cinco acelerómetros • Cuatro actividades

• Dos metodologías de • Veinte individuos monitorización

Andar Sentarse y relajarse Permanecer de pie Correr

6

7

SENTARSE Y RELAJARSE

PERMANECER DE PIE

CORRER

ANDAR

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

An

dar

Sen

tars

e y

rela

jars

e

Pe

rman

ece

r d

e p

ie

Co

rre

r

9

• Acelerómetro del tobillo

28 30 32 34 36

3

4

5

6

7

Tiempo (seg)

Ace

lera

ció

n (

G)

Andar

82 84 86 88 90 92

5

5.5

6

Tiempo (seg)A

ce

lera

ció

n (

G)

Sentarse y relajarse

420 430 440 450

5

5.2

5.4

5.6

5.8

6

6.2

6.4

Tiempo (seg)

Ace

lera

ció

n (

G)

Permanecer de pie

76 77 78 79 80

1

2

3

4

5

6

7

8

Tiempo (seg)

Ace

lera

ció

n (

G)

Correr

10

• Offset

• Saltos de discontinuidad (descalibración)

• Anomalías (movimientos irregulares, cambios de orientación, caídas, etc.)

• Ruido de alta frecuencia

NECESIDAD DE PREPROCESAMIENTO

11

• Filtrado de media modificado – Permite eliminar el offset – Elimina las descalibraciones

• Filtrado paso bajo + paso alto – Elimina ruido de alta frecuencia – Elimina offset – Elimina picos de baja frecuencia

• Otras opciones valoradas – Filtro de mediana – Wavelets

Original Filtrado media

LPF + HPF

12

Magnitudes

Amplitud Autocorrelación Cepstrum Densidad espectral de energía Espectro en amplitud Espectro en fase Histograma Reconstrucción de mínima fase Valor de los históricos Wavelet

Correlación cruzada Coherencia espectral Índice de desfase

Operaciones matemático-estadísticas

Coeficiente de asimetría Cruces por cero Curtosis Desviación estándar Distorsión armónica total Energía total Entropía Máximo Media aritmética, armónica, geométrica, truncada Mediana Mínimo Moda Momento de orden 4 y 5 Posición del máximo/mínimo Rango Varianza

14

• Método de la señal completa

• Método de la subseñal más característica – Basado en correlación

– Basado en coherencia

• Método de la ventana – Fija

– Solapada

15

LABORATORIO

SEMINATURALÍSTICOS

Filtrados Originales Sin Offset

Señal completa Subseñal (correlación) Subseñal (coherencia) Ventana (fija) Ventana (solapamiento)

Filosofía de monitorización

Preprocesado Técnica de extracción

16

• Influye en el proceso de clasificación

POSICIÓN ÓPTIMA Pocas Características Buena Clasificación

0 200 400 600 800-1

-0.5

0

0.5

1x 10

4 Acel. TOBILLO, Act. CORRER

Características

Va

lor

de

la

ca

racte

rística

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2x 10

4

Nivel de solapamiento

Núm

ero

de c

ara

cte

rísticas d

iscrim

inante

s

ACELERÓMETRO DEL TOBILLO

Andar


Permanecer de pie

Correr

Act. conjuntas

Act. y acel. conjuntas

0 200 400 600 800-1

-0.5

0

0.5

1x 10

4 Acel. TOBILLO, Act. CORRER

Características

Va

lor

de

la

ca

racte

rística

• Conjunto de características muy amplio (861 variables 2861

1.5 x 10259 posibles combinaciones)

18

Criterio de solapamiento

19

ACELERÓMETRO DEL MUSLO


Criterio de calidad discriminante

Actividades discriminadas

Acelerómetros donde lo permite

Grupo de Calidad

4 5 #1

4 4 #2

4 3 #3

4 2 #4

4 1 #5

3 5 #6

3 4 #7

3 3 #8

3 2 #9

3 1 #10

2 5 #11

2 4 #12

2 3 #13

2 2 #14

2 1 #15

1 5 #16

1 4 #17

1 3 #18

1 2 #19

1 1 #20

0 5 #21

20



21

Publicaciones: Baños, O., Pomares, H., Rojas, I.: Ambient Living Activity Recognition based on Feature-set Ranking Using Intelligent Systems. In: Proceedings of the 2010 International Joint Conference on Neural Networks (IJCNN 2010), IEEE, Barcelona July 18-23, (2010) Baños, O., Pomares, H., Rojas, I.: Novel Method for Feature-set Ranking Applied to Physical Activity Recognition. In: Proceedings of The Twenty Third International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems (IEA-AIE 2010), Córdoba June 1-4,(2010) Baños, O., Pomares, H., Rojas, I.: Hibridación de Paradigmas de Clasificación en el Contexto del Reconocimiento Automático de Actividades Físicas Cotidianas. En: XV Congreso Español sobre Tecnologías y Lógica Fuzzy (ESTYLF 2010), Huelva Febrero 3-5, (2010) Baños, O., Pomares, H., Rojas, I.: Redes de Sensores Inalámbricos en Entornos de Inteligencia Ambiental, Teleasistencia y E-Salud. En: III Simposio de Inteligencia Computacional (SICO 2010), Valencia Septiembre 8-9, (2010)


• Nº de características discriminantes en función del umbral de solapamiento

0 0.2 0.4 0.6 0.8 1

0

200

400

600

800

1000

Nivel de solapamiento

Nú

me

ro d

e c

ara

cte

rística

s d

iscrim

ina

nte

s ACELERÓMETRO DEL BRAZO

• Modelo utilizado: criterio de restricción máximo (usolap, ÓPTIMO = 0)

– Categorías basadas en el método de extracción de la subseñal más característica no superan la condición

0 0.2 0.4 0.6 0.8 10

100

200

300

400

500

600

700

800

900

Nivel de solapamientoNúm

ero

de c

ara

cte

rísticas d

iscrim

inante

s

ACELERÓMETRO DE LA MUÑECA

Andar


Permanecer de pie

Correr

Act. conjuntas


0 0.2 0.4 0.6 0.8 10

100

200

300

400

500

600

700

800

900

Nivel de solapamientoNú

me

ro d

e c

ara

cte

rística

s d

iscrim

ina

nte

s ACELERÓMETRO DE LA MUÑECA

Andar


Permanecer de pie

Correr

Act. conjuntas


22

• Selectores basados en distancias o criterios estadísticos, usados ampliamente en diversos contextos

23

• Nuestra herramienta destaca como la más rápida de las empleadas

• Pueden ser

Supervisados / No supervisados Binarios / Multientrada Binarios / Multiobjetivo Paramétricos / No paramétricos Etc.

• Principales

opciones

Lógica Difusa Redes Neuronales Máquinas de Soporte Vectorial (SVM) Árboles de Decisión Redes Bayesianas Modelos Ocultos de Markov

25

• Muy rápido

• Fácil interpretación

• Relación con el selector basado en solapamiento

• Modelo multiclase directo

• Modo binario y modo multivariable

26

• Rápido

• Opera bien a partir de datos parciales

• Asume independencia estadística entre las variables de entrenamiento

27

• Rápido • Solución simple • Buenos precedentes • Multiclase basado en

modelos binarios • Diferentes tipos de

kernels (lineal, cuadrático, RBF, MPL, etc.).

0 50 100 150 2000

20

40

60

80

100

120

Media geométrica de los coeficientes wavelets a3, señal del eje XMe

dia

ge

om

étr

ica

de

lo

s c

oe

ficie

nte

s w

ave

lets

a3

, se

ña

l d

el e

je Y Hiperplano separador para kernel RBF

Resto de actividades (entrenamiento)

Resto de actividades (clasificado)

Andar (entrenamiento)

Andar (clasificado)

Vectores de soporte

28

29

• Clasificadores binarios son más robustos y ofrecen por lo general mejor performance

• Los modelos para definir sistemas de decisión multiclase no aprovechan por lo general las capacidades que ofrecen las unidades binarias o resultan muy costosos

• No existe un modelo unificado que proporcione resultados destacables bajo cualquier contexto o ámbito de aplicación

• Principal (P)

• Grupos de calidad (GC)

• Roles cambiados (RC)

32

• Principal (P)



33

1 Carac. 2 Carac. 3 Carac. 4 Carac. 5 Carac. 10 Carac.

2-fold

5-fold

10-fold

• Principal (P)



34

1er GC 1º+2o GC 1º+2o+3o GC 1º+2o+3o+4o

GC

1º+2o+3o+4o

+5o GC

1º+2o+3o+4o

+5o+6o GC

2-fold

5-fold

10-fold

• La metodología basada en el CHJP ofrece los mejores resultados (para ambos ámbitos de monitorización)

• Usando sólo una característica se alcanzan ratios de acierto prácticamente absolutos

35

Laboratorio (DT, empleando 1 característica)

Seminaturalístico (DT, empleando 1 característica)

• La metodología basada en el CHJP ofrece los mejores resultados • Resultados muy buenos, sobretodo al emplear características

seminaturalísticas en contextos de laboratorio

36

Laboratorio (DT, empleando 1 característica)

Seminaturalístico (DT, empleando 1 característica)

• La metodología basada en el CHJP ofrece los mejores resultados • Resultados muy buenos, sobretodo al emplear características

seminaturalísticas en contextos de laboratorio • Al aumentar la longitud del vector de características se mejoran los

resultados (salvo en los NB), logrando un altísimo performance

37

Laboratorio (DT, empleando 3 características)

Seminaturalístico (DT, empleando 3 características)

38

• Se obtienen sistemas de clasificación con ratios de acierto próximos o iguales al 100%

• La metodología más interesante es la basada en el CHJP, empleando DT y SVM. Los NB operan bien pero su eficiencia se ve reducida al aumentar el número de características

• La metodología Propia de selección ofrece características con un alto nivel de discriminación

• Cualquier fuente es utilizable, pero destaca el uso de la información monitorizada a través de la muñeca

TRABAJO Ratios de acierto

L. Bao and S.S. Intille.,“Physical Activity Recognition from Acceleration Data under Semi-Naturalistic Conditions” (2004)

DT (89%), kNN (83%), NB (52%)

M. Ermes et al, “Detection of Daily Activities and Sports With Wearable Sensors in Controlled and Uncontrolled Conditions” (2008)

ANN (93%), Jerárquico (83%), DT (60%)

U. Maurer et al, “Activity Recognition and Monitoring Using Multiple Sensors on Different Body Positions” (2006)

DT (87%), NB y kNN (<87%)

S. Pirttikangas et al, “Feature Selection and Activity Recognition from Wearable Sensors” (2006)

ANN (93%), kNN (90%)

ESTE ESTUDIO CHJP + DT (>98.00% (SEM),

99.99% (LAB))

Fuente: S. J. Preece et al, “Activity identification using body-mounted sensors—a review of classification techniques” (2009)

39

• El preprocesado, modelo de extracción y selección de características, y clasificador determinan de forma directa la eficiencia del sistema

• Se obtienen diferentes realizaciones algunas de las cuales ofrecen ratios de eficiencia prácticamente absolutos

• Cada acelerómetro ofrece por sí mismo un ratio de acierto alto, luego a priori no sería necesario utilizar combinaciones (si bien se pueden emplear en modo redundante). Especialmente interesante es el acelerómetro de la muñeca

41

• Estudiar otras alternativas a la metodología propuesta, trabajando también en la mejora de las técnicas ideadas y aplicando un estudio cruzado

• Analizar otras actividades, acelerómetros y proponer un sistema propio de monitorización

• Integrar el diseño junto a otros sistemas de reconocimiento para aplicaciones específicas

42

reconocimiento automático de la actividad física diaria aplicado a contextos de e-salud y...

Science