TÉCNICAS DE

APRENDIZAJE MÁQUINA

PARA EL PROCESAMIENTO

DE DATOS EN MEDICINA

INTENSIVA

Joaquín Álvarez Rodríguez

Jefe de Servicio de Medicina Intensiva

Hospital Universitario de Fuenlabrada. Madrid

INTELIGENCIA ARTIFICIAL

Capacidad de un sistema para interpretar correctamente datos externos, para aprender de dichos datos y emplear esos conocimientos para lograr tareas y metas concretas a través de la adaptación flexible (Kaplan and Haenlein):

Big data

Minería de datos

Aprendizaje máquina o aprendizaje automático

BIG DATA

Cantidad voluminosa de datos estructurados,

semiestructurados y no estructurados que tienen

el potencial de ser extraídos para obtener

información.

Volumen extremo

Variedad de fuentes

Velocidad a la que se obtienen y procesan

Veracidad de los datos

MINERÍA DE DATOS

Minería de datos (data mining): extracción de información de un conjunto de datos y su transformación en información comprensible para su uso.

APRENDIZAJE MÁQUINA

Aprendizaje máquina

(machine learning):

conjunto de herramientas

que obtienen algoritmos

que hacen posible el

aprendizaje.

APRENDIZAJE MÁQUINA

Métodos supervisados: descubre relaciones

entre las variables de interés para uno o más

resultados. El resultado es conocido.

APRENDIZAJE MÁQUINA

Métodos no supervisados: descubre patrones o

agrupamiento entre los datos sin conocer el

resultado.

APRENDIZAJE MÁQUINA

Aprendizaje profundo (deep learning): Algoritmos de

aprendizaje automático, supervisado o no supervisado,

diseñados para extraer características de los datos y

representar la información en un orden jerárquico de

complejidad creciente llamados capas o nodos (neuronas).

MIS DATOS

70-80%

Training

30-20%

Test

MODELO

PROCESAMIENTO DE DATOS

LÍNEAS DE TRABAJO EN APRENDIZAJE

MÁQUINA EN LA UCI DEL HUF

Predicción de pacientes en riesgo en planta

RGI

HITACHI America 2018 y 2019

IBM & Cognitive Experts

URJC – Departamento de Teoría de la Señal y

Comunicaciones y Sistemas Telemáticos y Computación

Predicción de la aparición de gérmenes

multirresistentes en la UCI

PREDICCIÓN DE PACIENTES EN RIESGO

AI PREDICTION OF CLINICAL DETERIORATION

PROOF OF CONCEPT (POC) - FINAL REPORT

HEALTHCARE ANALYTICS TEAM

Hitachi R&D (CSI-NA),

Hitachi America, Ltd.

15th Jun 2018

METHODS: USING AI TO FIND THE SIGNAL IN THE DATA

Extract Features

Population: positive cases

Population: negative cases

ClassifierLearned model

Predicted scores

New data

Patient demographics

Admissions, discharges, and transfers

Fluids in/out

Vital signs

Lab tests

Medication orders and administration

Diagnoses

Procedures

Medications on administration

Original data

• ~500 features were extracted

• The classifier selects a subset of features for the model

• The top ~50 features selected contains most of the

signal

Selected Features

Labs

• Most recent value of each test – original & age-adjusted

• Count of each test since admission & in the past x days

• Avg/min/max of values over the above time windows

RFM (recency, frequency, monetary)

• Days since last discharge

• Number of admissions in the past week, …, past 2 years

• Count of labs over the above time windows

• Trend of number of lab orders

Demographics & Utilization

• Gender

• Age

• Number of previous admissions

• Previous LOS

• Previous discharge disposition

Medications administered

• Whether each ATC4 was administered in the past x days

Service codes

• At admission & most recent value

Fluids in/out and vital signs

• Most recent value

• Presence of wound drain and CVP

• Count and average value in the past x days

• Trend of fluid balance and urine output

Past diagnoses/comorbidities

• Modified Charlson and Elixhauser index

Recall

Population = all hospital admissions, excluding neonatal

Target ICU = the first ICU transfer from a bed that is not an operating room or recovery bed

For each admission

Use learned model to compute scores at selected timestamps with new patient data

Select a score cutoff

Raise a flag if a score exceeds the cutoff

Calculate metrics at the admission level:

AUC, sensitivity, specificity

For true positives, advance warning = time between the first flag and the target

PREDICTION TARGET & EVALUATION APPROACH

Hitachi AI Process: Signal (features) Model (HUF) Calibrate (HIL, HHE) Executable (Object Code)

Performance metrics are averaged across 3 hospitals

Mean Sensitivity (true positive rate): 81%TPR = TP/(TP + FN)

Mean Specificity (true negative rate): 75%TNR = TN/(TN + FP)

HITACHI MODEL FOR PREDICTING CLINICAL DETERIORATION

Seems like we’ve extracted a good signal, and also created an AI

model with good tradeoff flexibility…

Hitachi Model:

Good performance

Tunable with good tradeoff possibilities Sensitivity vs Specificity

Alerts per day (about 10 unique patient alerts per day per hospital)

HITACHI MODEL PERFORMANCE – AVERAGED ACROSS 3 HOSPITALS

RBS

MAM

Hitachi

(HUF)

MEWS

Next, let’s see how the model performs with each of the three

hospitals…

RESULTS SUMMARY

Goals:

SoW: Find and extract a signal from the data (done)

SoW: Perform better than rule-based systems (done)

Internal: Flexible with performance metric trade-offs possible (done)

Internal: AUC > 0.75 (done… latest results indicate 0.86)

PREDICTION TARGET & EVALUATION APPROACH

Time to target ICU transfer

HUF HIL HHE

1 2 3 4 5 6 7 8-14 >14 1 2 3 4 5 6 7 8-14 >14 1 2 3 4 5 6 7 8-14 >14

0%

20%

40%

60%

Days from admission to ICU transfer

Perc

enta

ge o

f adm

issio

ns

When ICU transfers happen,• For Hospitals 1 & 2, ~20% are within 1 day; ~67% within 1 week• For Hospital 3, 62% are within 1 day; ~85% within 1 week

Results on sensitivity and advance warning

For both kinds of ICU transfers, the model is more sensitive.

We look at ICU transfers within 1 day and after 1 day separately

For ICU transfers after 1 day, the model detects earlier.The median advance warning is 3.6 days vs 2.9 days

Distribution of advance warning for ICU transfers after 1 dayHUF HIL HHE

< 1 day >= 1 day < 1 day >= 1 day < 1 day >= 1 day

0%

25%

50%

75%

Days to ICU transfer

Sensiti

vity Method

model

benchmark 3.43.6 3.85.1

1.5

2.8

HUF HIL HHE

model benchmark model benchmark model benchmark

0.1

10.0

Advance w

arn

ing (

days)

AI PREDICTION OF CLINICAL DETERIORATION

PROOF OF CONCEPT (POC) - FINAL REPORT

HEALTHCARE ANALYTICS TEAM

Hitachi R&D (CSI-NA),

Hitachi America, Ltd.

15th Jun 2018

Departamento de Teoría de la Señal

y Comunicaciones y Sistemas

Telemáticos y Computación

LÍNEAS DE TRABAJO EN APRENDIZAJE

MÁQUINA EN LA UCI DEL HUF

Predicción de pacientes en riesgo en planta

URJC – Departamento de Teoría de la Señal y

Comunicaciones y Sistemas Telemáticos y Computación

IBM & Cognitive Experts

Predicción de la aparición de gérmenes

multirresistentes en la UCI

NLP Procesamiento del lenguaje natural en las notas

clínicas evolutivas de los pacientes.

Hipótesis: las valoraciones de médicos y

enfermeras que se recogen en las notas clínicas

van por delante del deterioro manifiesto del

paciente

Signos vitales

Expediente 1

Expediente M

...

Varia

ble

Méd

ica N

Varia

ble

Méd

ica 1

...

Ingre

so U

CI? S

I/NO

Base de entrenamiento

MLPEnriquecemiento

Extracción

Analítica/WIFI Variables Inferidas HIS

Medical Language Processing

Aprendizaje

Train

Eval

Modelo

ML

Modelo

ML

Predicción

Ap

ren

diz

aje

Su

perv

isad

o: L

abel

ALARMAS

UCI

Serie

Temporal

Histórica

Envío

Laboratorio

Expedientes y

Notas Médicas

HIS

LÍNEAS DE TRABAJO EN APRENDIZAJE

AUTOMÁTICO EN LA UCI

Predicción de la aparición de gérmenes multirresistentes en la UCI

URJC – Departamento de Teoría de la Señal y Comunicaciones y Sistemas Telemáticos y Computación

2 TFG presentados y 2 en curso

3 presentaciones en congresos

4 solicitudes de ayudas presentadas:

KLINILYCS

MAPPING-UCI

APRENDIZ

Acciones Estratégicas en Salud del ISCIII

KLINILYCS

Extracción de Conocimiento para Predicción de la

Evolución Clínica usando Análisis de Datos

Proyectos RETOS. Convocatoria 2016.

Ministerio de Economía y Competividad

Aprendizaje automático

AES-2019

Predicción de Multirresistencia Antibiótica en

Pacientes Críticos Utilizando Aprendizaje

Automático y Optimización Robusta sobre Grafos

Proyectos de Desarrollo Tecnológico en Salud 2019

Ministerio de Ciencia, Innovación y Universidades

Aprendizaje automático y grafos

MAPPING-UCI

Métodos de Aprendizaje Automático para

Predecir Infecciones por Gérmenes

Multirresistentes en la Unidad de Cuidados

Intensivos

Proyectos I+D de GENERACIÓN DE CONOCIMIENTO

Ministerio de Ciencia, Innovación y Universidades

Métodos de aprendizaje automático basado en

núcleos y aprendizaje profundo

TÉCNICAS DE

APRENDIZAJE MÁQUINA

PARA EL PROCESAMIENTO

DE DATOS EN MEDICINA

INTENSIVA

Joaquín Álvarez Rodríguez

Jefe de Servicio de Medicina Intensiva

Hospital Universitario de Fuenlabrada. Madrid