Minería de datos en salud:

Series temporalesJairo cesar Alexander 2017

:

Técnicas cualitativas, cuantitativas, basadas en modelos

causales y mixtos

• El primero utiliza datos cualitativos como la opinión de los expertos, y puede o no tener en cuenta el pasado.

• El segundo, por el contrario, se centra exclusivamente en patrones y cambios de patrón, y por lo tanto se basa enteramente en datos históricos.

• La tercera utiliza la información altamente refinada y específica acerca de las relaciones entre los elementos del sistema, y es lo suficientemente potente como para tener eventos especiales formalmente en cuenta. Al igual que con técnicas de análisis de series temporales y de proyección, el pasado es importante para los modelos causales.

• Los modelos mixtos dan información cuantitativa a un grupo de expertos para sacar conclusiones validas.

Como trabajar con Series

temporalesMétodos cuantitativos

Trabajar con SOFTWARE

• JDemetra+ TRAMO-SEATS, X13-ARIMA (libre)

• GRETL (Libre)

• JOINT POINT (Libre)

• EXCEL (Comercial)

• GMDH SHELL DS (Comercial)

• MATLAB (Comercial)

• IBM SPSS . MODELER (Comercial)

• R (libre)

• WEKA - PENTAHO

https://surveillance.cancer.gov/joinpoint/ http://gretl.sourceforge.net/index.html

Series temporales: definición

Colección de observaciones

hecha en el tiempo

Tareas: de la minería de series temporales

• Caracterización y comparación temporal: ejem. Dos departamentos tienen series de dengue muy similares

• Análisis clustering temporal: ejem cluster costa atlanticacluster area amazoncia

• Clasificacion temporal: la sifilis congenital esta bien el elcentro, critica en la periferia, y acceptable en la region costera.

• Reglas de asociación temporal: si la economia cae 3 puntosy la produccion agricolase mantiene la desnutriciónaumentara 7%

• Analisis de patrones temporales, en carmen de bolivar se ha detectado un anormal caso de eventos adeversos a la vacunación que debe ser atendido.

• Analisis de prediccción y tendencias temporales: ejemplo de continuar la tendencia no se cumplirarn las metas de desnutrición en niños para los proximos 4 años.

• Detección de anomalias: inceremento en los casos de hemophilia en Colombia.

Guangchen Ruan, Paul C. Hanson, Hilary A. Dugan, Beth Plale, Mining Lake Time Series using

Symbolic Representation, Ecological Informatics,

Etapas de los Modelo de series temporales

Formulación de un

problema

Estudio del Fenómeno

Parte descriptiva

70%

Parte pronostico

30%

Explicación de supuestos

Presentación de

escenarios

Generación de un modelo

De los fenómenos

• Es necesario la comprensión del fenómenos, definiciones

• Datos , recuentos, porcentajes, tasas, índices

• Causalidad, asociaciones, dependencias

• Estudios y modelos anteriores

• Registros históricos

Parte descriptiva

Suministra mucha

mas información

de la que se piensa

Análisis de series temporales

•Visualización

• Filtros, atípicos, ocultos, faltantes.

•Reducción de dimensiones

• Segmentación, clasificación, comparación, distancia euclídea coeficientes DFT

y los coeficientes DWT, Distancia “time warping, asociación, similitud,

diferencias sub secuencias de las series, General-Match, reglas, evolución,

interpolación, pronósticos.

EJEMPLOS algoritmos

• Support vector regression (SVR)

• algoritmo Gecko

• Neural clustering method

• fuzzy c -means (FCM)

• Autorregresivo de media móvil (ARMA , ARIMA)

• Modelos ocultos de Markov (HMM)

• El análisis de conglomerados

• descomposición wavelet

• clasificación del vecino más cercano

• árboles de decisión basados en DTW

• transformación simbólica

• candle stick charting

Ak-chung Fu, A review on time series data mining, Engineering Applications of Artificial Intelligence, Volume 24, Issue 1, February 2011, Pages 164-181,

Los nuevos: Aproximación simbólica

Convierte los datos a

palabras y utiliza

algoritmos de

procesamiento de

lenguaje natural para

descubrir y clasificar los

patrones

Guangchen Ruan, Paul C. Hanson, Hilary A. Dugan, Beth Plale, Mining Lake

Time Series using Symbolic Representation, Ecological Informatics,

Resumen de Representaciones

• Polinómicas - regresión interpolación

• Coeficientes

• Simbólica

• Arboles

• Wavelet

• Espectral - transformada de Fourier

Los datos y las fechas

La segmentación e

incompatibilidad de

los sistemas de

información puede

ser un problema

La depuración , de

datos errados

faltantes,

inconsistentes, y con

formatos

incompatibles

pueden tomar algún

tiempo, que hay que

tener en cuenta

Outlier

• Es una observacion que se

desvian mucho de las otras

observaciones y se cree generada

por mecanimos diferentes

• La mayoria de software

recomendado puede eliminar

este tipo de datos, pero eso

depende de los objetivos del

invetigador.

Valores missing faltantes u ocultos

• El software puede detectar y

tratar este problemas con varios

métodos como la interpolación

Integración de base de datos

y formatos

Mayores capacidades

Los modelos generados deben ser pensados en producción desde el comienzo

Y también en integración para superar los problemas de segmentación de los sistemas

de información

Manejo de os formatos y estandares

Es necesario el manejo

adecuado de los formato

(estándar) en este caso la fecha

en GRETL

DATOS INGRESO DE INFORMACIÓN

http://www.ins.gov.co/lineas-de-

accion/Subdireccion-

Vigilancia/sivigila/Paginas/vigilancia-

rutinaria.aspx

FORMATO DE ARCHIVO PDF !

INS Es necesario que lo sistemas

de información suministren

información de forma útil, y

no solo para cumplir la

norma

Adquisición de información

La información

pueden venir de

base de datos, ejem

PENTAHO- Base de

datos, o KNIME, en

MYSQL.

En la imagen

integración de varios

archivos de

indicadores de salud

(INS) de Excel en

ACCESS

Un ejemplo de consulta SQL de

un conjunto de tablas de

EXCEL en ACCES (Indicadores

de salud pública)

Ejemplo de graficas y la exploración inicial

Aquí se ve el

comportamie

nto de la

varicela en

Colombia,

nota/ la

varicela tiene

vacuna

efectiva.

Registro

histórico con

proyección a

2018

Los filtros

Filtro media móvil

exponencial

Filtro tendencia polinómicaFiltro Hodrick -Prescott

Serie varicela 2012- 2016 (recuento)

Los filtros :

PERMITEN:

Mirar la tendencia

Estacionalidad,

componente aleatorio

Consideraciones sobre la Exploracion de series

de tiempo

• Algunos fenómenos son tan

complejos que es necesario

tener en cuenta ciertas cosas

sobre como se clasifican, los

fenómenos aleatorios, la teoría

del caos, la causalidad y el

manejos de escalas para tener en

cuenta en los modelos

Consideraciones

• - tipo de fenómeno

• - el azar, la mala suerte o la buena suerte

• - la causalidad

• - la teoría del caos

• - la ley de los grandes números y las escalas

-Tipos de FENÓMENOS de acuerdo a su

complejidad

ADRIANA ELISA ESPINOSA CONTRERAS “EL CAOS Y LA CARACTERIZACIÓN DE SERIES DE TIEMPO A TRAVÉS DE TÉCNICAS DE LA DINÁMICA NO-LINEAL” UNIVERSIDAD NACIONAL AUTÓNOMA

DE MÉXICO. MÉXICO, D.F. 2004

Todos los fenómenos

no son tan

predecibles como

una Varicela,

algunos rayan en lo

aleatorio y parecen

o se asemejan a

series económicas

En la figura se

pueden ver

diferentes tipos de

fenómenos

-Consideraciones sobre los FENÓMENOS

ADRIANA ELISA ESPINOSA CONTRERAS “EL CAOS Y LA CARACTERIZACIÓN DE SERIES DE TIEMPO A

TRAVÉS DE TÉCNICAS DE LA DINÁMICA NO-LINEAL” UNIVERSIDAD NACIONAL AUTÓNOMA

DE MÉXICO. MÉXICO, D.F. 2004

Se puede ver que

algunos fenómenos son

muy deterministas, otros

imposibles de predecir

(aleatoriedad) con la

ciencia actual , y otros

están en el limite de lo

predecible y tienen un

comportamiento

matemáticamente

extraño.

-Del demonio de Laplace a la física cuántica :

determinismo vs indeterminismo

Aleatoriedad

Concepto central dentro de la teoría de probabilidades y en los

estudios del comportamiento cuya definición descansa en la

suposición de que todo suceso tiene una causa, nada es azaroso.

La noción de aleatoriedad aparece asociada al espacio generado

por el desconocimiento humano (parcial o total) de tales causas.

Así, la "aleatoriedad significa que no hay una ley conocida, capaz

de ser expresada en un lenguaje coherente, que describa o

explique los eventos y sus resultados" (Kerlinger, 1994, p.126).

Demonio del mercurio alquímico, en el

libro “Della trasmutatione metallica”,

Giovani Battista Nazario, Brescia, 1589.

-Mis indicadores obedecen solo a variables conocidas a Efecto azar (purísima suerte!) a

variables desconocidas o fenómenos complejos?

-La causalidad

Según la indagación, "hasta

el momento tenemos

evidencia de que ningún

factor técnico influyó en el

accidente, todo está

involucrado en un factor

humano y gerencial".

-Hay que tener en cuenta la Teoría del caos

-Puede un discurso de donald trump en

Washington afectar gravemente la salud de

un niño en la guajira?

-consideraciones

• El azar, la suerte, o el libre albedrio es importante?

• Como estimarlos? Existen??

• Basta con cambiar la escala temporal? , o usar proporciones?

• Bata con usar filtros ?

• Toca usar índices de aletoriedad, dimesiones, fractalidad, etc..?

• Que pasa con la predicción si el fenómeno es complejo y el azar cambia los condiciones iniciales del fenómeno?

• Los diferencia entre lo pronosticado y lo real se debe al azar, a los factores asociados o a ambos y en que grado?

• Mi predicción o mis acciones puede alterar el futuro?

-Ley de los grandes números (aplicada)

• En la teoría de la probabilidad, bajo el término genérico de ley de los grandes números se engloban varios teoremas que describen el comportamiento del promedio de una sucesión de variables aleatorias conforme aumenta su número de ensayos.

• Estos teoremas prescriben condiciones suficientes para garantizar que dicho promedio converge al promedio de las esperanzas de las variables aleatorias involucradas. Ejemplo la difusión de un gas es azarosa a pequeña escala pero determinística a gran escala.

-AUMENTAR LA Escala en el tiempo

• Aumentar la escala de tiempo permite

filtrar el componente aleatorio que se

anula a si mismo y permite ver otros

elementos de la serie temporal, como

la tendencia, la estacionalidad, y los

ciclos.

• Disminuir la escala aumenta el

efecto visible del componente

suerte.

• Inconvenientes?

Por día

Por semana

Por mes

Por trimestre

Por semestre

Por año

Por 4 años

-Aumentar La escala en el evento

• Tasas x 1000 x 10 000 x 1 000 000 ….

• Proporciones

• Índices

• Funciones

• Inconvenientes

Usar denominadores puede filtrar algunos componentes aleatoriosy otros componentes como el crecimiento de la población, mortalidad Etc.

-fractales

Algunos

fenómenos son

independientes

de escala !!!

Volviendo Al modelo y la minería

hay que Seleccionar un modelootras consideraciones ….

• En un modelo determinístico se pueden controlar los factores que intervienen en el estudio del proceso o fenómeno y por tanto se pueden predecir con exactitud sus resultados.

• En un modelo estocástico no es posible controlar los factores que intervienen en el estudio del fenómeno y en consecuencia no produce simples resultados únicos. Cada uno de los resultados posibles se genera con una función de probabilidad que le adjudica una probabilidad a cada uno de éstos,

Ejemplo: un modelo para predecir el tamaño de una epidemia en una población de N individuos. Para el caso determinístico se proporciona un valor único, C, mientras que el modelo estocástico permite la posibilidad de obtener desde cero hasta N individuos y se adjudica una cierta probabilidad a cada uno de estos sucesos. La diferencia es más grande de lo que parece, ya que en un modelo matemático determinístico en el contexto epidemiológico; un solo sujeto causa una epidemia generalizada, mientras que bajo un modelo estocástico existe la posibilidad de que la epidemia se extinga

Cual es la relación de los modelos, la teoría del

caos, y la utilidad practica.

• Aun dentro de los procesos deterministas, también se da el azar en la dinámica de sistemas complejos impredecibles, también conocidos como sistemas caóticos.

• Hasta el advenimiento de la teoría del caos, se creía que todos los sistemas deterministas eran necesariamente predecibles y, por tanto, no azarosos.

• Sin embargo, el caos determinista se refiere a un tipo de situación de sistemas físicos que a pesar de ser deterministas y presentan cierta predictibilidad estadística general, resultan impredecibles en sus detalles o a pequeña escala.

• En estos casos la descripción mediante modelos matemáticos deterministas que reproducen todos los detalles, se vuelve inviable (o especial) y para describirlos o tratarlos se suele trabajar con descripciones estadísticas de conjuntos de grandes cantidades de elementos, cada uno de ellos impredecible de manera individual pero no así globalmente

• Las propiedades especiales de los sistemas caóticos incluyen cosas como sensibilidad a las condiciones iniciales , emergencia, adaptación, interdependencia, y dificultad para predicción en largo plazo, o de manera individual.

Elaboración automática del modelo de serie

temporal• La mayoría de software de alta calidad tiene funciones automatizadas para seleccionar el mejor modelo

según nuestras necesidades y datos

• En el caso de las series temporales JDEMETRA (software libre) o IBM SPSS MODELER y GMDH SHELL (software comercial) ofrecen herramientas muy sofisticadas para elaboración automática de modelos.

• Los modelos luego pueden exportarse a medios de producción

Los Modelos en r

son mas manuales, aunque existen muchos paquetes de automatización

• Pronostico del autor generado

con un modelo

HOLTWINTERS en R para la

serie de bajo peso al nacer en

Colombia con datos semanales

Selección automática del modelo ejemplo

Este es el modelizador

experto automático

de SPSS 20,0

Modelos automáticos en SPSS

Modelos automáticos en JDEMETRA+

Hay que tener en cuenta en la Elaboración del

modelo para serie temporal

• Información de buena calidad produce resultados de buena calidad

• Datos de pésima calidad, generalmente producen malos resultados

independiente de lo sofisticado de los algoritmos o software usado

• La elaboración de modelos temporales como por ejemplo los ARIMA puede

tomar algún tiempo , por eso puede ser recomendable iniciar con un proceso

automático en MODELER GMDH SHELL Y JDEMETRA que presentan

resultados bastante buenos .

Medidas de bondad de ajuste: (se usan para saber

que tan bueno es el modelo)

• R cuadrado estacionaria, R cuadrado (R2), raíz del error cuadrático

promedio (RMSE), error absoluto promedio (MAE), error absoluto

porcentual promedio (MAPE), error absoluto máximo (MaxAE), error

absoluto máximo porcentual (MaxAPE) y criterio de información bayesiano

(BIC) normalizado

Ejemplo DE SERIE DE TIEMPO bajo peso

al nacer

Bajo peso al nacer vs Semana Epidemiológica

Bajo peso al nacer mapa de recurrencia

El grado de

aleatoriedad

puede estimarse

con un mapa de

recurrencia

en este caso en

MATLAB

Mapa de recurrencia

Aquí se puede

ver

Un fenómeno

desde

completamente

Azaroso (puntos)

hasta

Determinista (las

líneas)

Filtros - Curve fiting tool

General model Sin3:f(x) =

a1*sin(b1*x+c1) + a2*sin(b2*x+c2) + a3*sin(b3*x+c3)

where x is normalized by mean 26.58 and std14.47Coefficients (with 95% confidence bounds):

a1 = 2162 (1718, 2606)b1 = 0.3811 (-0.2769, 1.039)c1 = 1.541 (1.002, 2.079)a2 = 6529 (-1.161e+07, 1.162e+07)b2 = 2.792 (-42.63, 48.21)c2 = 0.3984 (-41.46, 42.26)a3 = 6569 (-1.161e+07, 1.162e+07)b3 = 2.843 (-41.07, 46.75)c3 = -2.698 (-41.6, 36.2)

Goodness of fit:SSE: 3.479e+06R-square: 0.9146Adjusted R-square: 0.9118RMSE: 121.4

Los filtros pueden

mostrar patrones no

visibles interesantes..

LOS CAMBIOS DE ESCALA PARA CONTRARESTAR AL AZAR

Función previsión

Suaviza cimiento

exponencial AAA

En Excel

Función

agregar

elemento

grafico

líneas de

tendencia

con

proyección

en Excel

Estadística Valor

Alpha 0.50

Beta 0.00

Gamma 0.50

MASE 1.20

SMAPE 0.08

MAE 23.68

RMSE 33.10

ESTE ES UN EJEMPLO DE TEST DE BONDAD DE AJUSTE EN EXCEL

EJEMPLO BAJO PESO AL NACER

• El análisis de las series temporales pude determinar que regiones

departamentos y municipios están presentado mas el fenómeno, y si alguna

política esta impactando en la región

• La información estaría disponible no solo para el tomador de decisión sino

también para la opinión publica, el medico y el usuario.

CONSIDERACIONES FINALES

DIMENSIONES:

CIRCULO O CUADRADO (2d)?

Hay que pensar

Siempre desde varias

Perspectivas

El trabajo en quipo

Multidiciplinario es

Recomendable,

Los dx poblaciones

Son de equipo

PATRONES :UNA CARA EN MARTE?

Crédito NASA

ASOCIACIONES – CAUSALIDAD - AZAR

Tyler Viglen - Spurious Correlations website

https://commons.wikimedia.org/w/index.php?curid=48043945

http://www.nature.com/nature/journal/v529/n7584/full/nature16166.html

http://science.sciencemag.org/content/347/6217/78

SIEMPRE INTERPRETAR

•“La mejor manera de predecir el futuro es crearlo” (“The best way to predict the future is to create it”).

Dennis Gabor Nobel de Física en Inventando el futuro 1963

fin

• Puede usar esta presentación pero da algo de crédito al autor