tesis belén estebanez - diseño e implantación de un sistema multimodal para un asistente...
TRANSCRIPT
DISEÑO E IMPLANTACIÓN DE UN SISTEMA MULTIMODAL
PARA UN ASISTENTE QUIRÚRGICO
DEFENSA DE TESIS DOCTORAL
María Belén Estebanez Campos
Director: D. Víctor F. Muñoz MartínezCodirectora: Dña. Isabel García Morales
DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICAUNIVERSIDAD DE MÁLAGA
Mayo 2013
Índice de Contenidos
1. Introducción
2. Objetivo
3. Modelado y Reconocimiento de Maniobras Quirúrgicas
4. Interfaz Multimodal y Colaboración de un Asistente Robótico
5. Implantación y Experimentos
6. Conclusiones y Líneas Futuras
1. Introducción
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Cirugía Ortopédica Neurocirugía
ROBODOC NEUROMATE
Radioterapia
CYBERKNIFE
La Robótica en la Medicina
Conclusiones y Líneas Futuras
Cirugía Mínimamente Invasiva
1
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
AUTÓNOMOS COOPERATIVOS
TELEOPERADOS
Clasificación de Robots por Modos de Funcionamiento
ASISTENTES SEMI-AUTÓNOMOS
Conclusiones y Líneas Futuras
1
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Robots en Cirugía Laparoscópica
TELE-OPERADOSASISTENTES
SEMI-AUTÓNOMOS
Conclusiones y Líneas Futuras
MULTI-BRAZOS CAMARÓGRAFOS
1
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Robots en Cirugía Laparoscópica
TELE-OPERADOSASISTENTES
SEMI-AUTÓNOMOS
Conclusiones y Líneas Futuras
CÁMARA Y HERRAMIENTA DE
APOYO
1
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
LAPMAN de Medsys (Polet, 2004)
Robot ERM (Muñoz, 2006)
Da VINCI (Niemeyer, 2000)
Face MOUSe (Nishikawa, 2003)
Interfaz de Comunicación Persona-Máquina
Conclusiones y Líneas Futuras
1
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Colaboración en Tareas Quirúrgicas
Conclusiones y Líneas Futuras
• Conocimiento estructurado de la intervención y sus tareas.
• Capacidad para extraer e interpretar información durante laintervención.
• Capacidad para realizar tareas de forma automática sin órdenesdirectas del cirujano.
CIRUJANO: Corta
YO: Sujeto
KalAR System (Ko, 2007)
1
2. Objetivo
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Aportaciones
1. Sistema de reconocimiento de maniobras quirúrgicas.
2. Sistema de predicción de la localización del instrumental.
3. Interfaz multimodal con reconocimiento de maniobrasquirúrgicas y de voz para el manejo de un asistente semi-autónomo.
Diseñar una interfaz de comunicación persona-máquina para unrobot asistente semi-autónomo que colabore con el cirujanodurante las tareas quirúrgicas laparoscópicas, de manera intuitiva ynatural.
Objetivo
Conclusiones y Líneas Futuras
2
3. Modelado y Reconocimiento de Maniobras Quirúrgicas
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Información de la intervención:
• Número de participantes.
• Tipos de instrumentos.
• Gestos realizados con los instrumentos.
• Trayectorias de los extremos de los instrumentos.
• Estado de apertura de las pinzas.
• Fuerzas y momentos en el extremo de la herramienta.
• Movimientos del cirujano: ojos, brazos, manos y gestos faciales.
Estudio de los Procedimientos Quirúrgicos
Movimientos de las dos herramientasquirúrgicas que maneja el cirujano.
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
INTERVENCIÓN
MANIOBRAS
INTERACCIONES DEL
INSTRUMENTAL
Comportamiento del Cirujano
Conjunto de modelos que permiten representar de formamatemática: la intervención y las maniobras quirúrgicas que laforman.
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
La interacción del instrumental se define como lalocalización relativa entre las dos herramientas y lasvelocidades de sus extremos en un instante de tiempo.
e1 e5 e7
INTERACCIÓN 1 INTERACCIÓN 5 INTERACCIÓN 7
Cada interacción representada con una etiqueta ei denominadacaracterística observable.
Interacción del Instrumental
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Maniobra
Una maniobra es una secuencia determinada deinteracciones del instrumental.
INTERACCIONES
Interacción1
Interacción 2
Interacción 3
Interacción 4
Interacción 5
Interacción 6
MANIOBRAS
Maniobra 1
Maniobra 2
Maniobra 3
Maniobra 4
e1
e5
e2
e4
e3
e6
e1 e2 e3 e6
e2 e4 e5
e4 e3 e6e2
e4e5 e2e5
e6 e2 Maniobra 5
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Intervención
La intervención es una secuencia de maniobras que, deforma ideal, tienen que completarse para finalizar laoperación.
INICIO
EXPONER CONDUCTO
PONER CLIP/NUDO EN CONDUCTO
CORTAR CONDUCTO
SEPARAR VESÍCULA
RECOGER VESÍCULA
FIN
ELEVAR / SUJETAR VESÍCULA
COLECISTECTOMÍA
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Intervención
INICIO
FIN
Maniobra β0
T1
T2
T3T5,i
T4
i<=2
T7,i
i<=2 T6
T8
T9
Modelo determinista de la intervención
DM = {Δ,Tk, β0, βF}
• Δ : Conjunto de maniobras quirúrgicas:
{β0, β1, …, βF}.
• Tk : Transición entre maniobras.
• β0 : Maniobra inicial.
• βF : Maniobra final.
Maniobra β1
Maniobra β2
Maniobra β3
Maniobra β4
Maniobra βF
COLECISTECTOMÍA
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Maniobra
Maniobra PATRÓN β3
Maniobra REAL β3
Maniobra REAL β3
Conclusiones y Líneas Futuras
Técnicas y herramientas para el modelado de maniobras:
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Maniobra
Modelo Oculto de Markov (HMM)
λ= {SQ,E,A,B,π}
• Conjunto SQ de estados:
{q0,q1,…,qN}
• Matriz A:
A={aij}, aij=P[qt+1=qj|qt=qi]
• Conjunto E de características:
{e0,e1,…,eM}
• Matriz B:
B={bj(ek)}, bj(ek)=P[ek en t |qt=qi]
• Matriz inicial π
Conclusiones y Líneas Futuras
q1
a12
q2
q3
q4
a13
a24
a34
a23a32
a22
a33
e1
e2e4
e3
a11
a44
b2(e2)
b1(e1)
b4(e4)
b3(e3)3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Maniobra : Funcionamiento del HMM
e1
Conclusiones y Líneas Futuras
a11
a44
q1
a12
q2
q3
q4
a13
a24
a34
a23a32
a22
a33
e1
b1(e1)
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Maniobra : Funcionamiento del HMM
e1
e2
Conclusiones y Líneas Futuras
q1
a12
q2
q3
q4
a13
a24
a34
a23a32
a22
a33
e2
a11
a44
b2(e2)
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Maniobra : Funcionamiento del HMM
e1
e2
e3
Conclusiones y Líneas Futuras
q1
a12
q2
q3
q4
a13
a24
a34
a23a32
a22
a33e3
a11
a44
b3(e3)
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Maniobra : Funcionamiento del HMM
e1 e2 e3
P O|λ = Pi O|λ
n
i=1
P1 O|λ = a11b1 e1 ∙ a12b2 e2 ∙ a13b3 e3
O =
Conclusiones y Líneas Futuras
q1
a12
q2
q3
q4
a13
a24
a34
a23a32
a22
a33
a11
a44
e1
b1(e1)
e2
b2(e2)
e3
b3(e3)
AlgoritmoForward-Backward
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Reconocimiento de Maniobras Quirúrgicas
LIBRERÍA DE MANIOBRAS
P O|λ1 P O|λ2 P O|λ3 P O|λ4 P O|λ5
O = Maniobra real β3
λ1 λ2 λ3 λ4 λ5
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Entrenamiento de Modelos de Maniobras
e1 e2 e3 e4 e5 e6
Matriz A Matriz B
q1 q2 q3 q4
q1
q2
q3
q4
0.2 0.2 0.2 0.2
0.1 0.3 0.2 0.4
0 0.2 0.6 0.2
0.3 0.3 0.2 0.2
0.1 0.2 0.2 0.1
0 0.1 0 0
0 0.2 0.1 0.6
0.3 0.3 0 0
0.2 0.2
0.5 0.4
0 0.1
0.1 0.3
q1
q2
q3
q4
Conclusiones y Líneas Futuras
Matriz A
Matriz B
Topología :
AlgoritmoBaum-Welch
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Obtención de la Característica Observable ei
CODIFICADO
DE DATOS
PROCESADO DE DATOS
PREPROCESADO
DE DATOS
Localización de Herramientasdel Cirujano
CaracterísticaObservable
eiVCi
VCi = [c1 c2 c3 c4] i=1…M
M= nc1·nc2·nc3·nc4
α
D
vI vD
Conclusiones y Líneas Futuras
C1 C2
C3 C4
1
c1
20°100°
234
5
AlgoritmoK-Means
ei
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
• Velocidades de los extremos de las dos herramientas.
• Tiempo medio de duración de la próxima maniobra quirúrgica.
Umbralvv ID 22
maxmin, ttm UUt
Umbral
0 t
Umbral
mintU maxtU
e5 e1 e6 e5 e8 e2 e7
INICIO FIN
e5
Extracción de la Secuencia de la Maniobra del Flujo Quirúrgico
e6 e1
Conclusiones y Líneas Futuras
3
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
PROCESO FUERA DE LÍNEA
PROCESO EN LÍNEA
HMMs de lasmaniobras{λ 1, λ 2, …}
SISTEMA DE RECONOCIMIENTO
ALGORITMO
FORWARD-BACKWARD
SISTEMA DE ENTRENAMIENTO
ALGORITMO
BAUM-WELCH
MODELO DE
INTERVENCIÓN
CODIFICADO
DE DATOS
PROCESADO DE DATOS
PREPROCESADO
DE DATOS
MODELO DEL COMPORTAMIENTO DEL
CIRUJANO
Localización de Herramientasdel Cirujano
CaracterísticaObservable
ei
Maniobra más probableen cada instante
Secuencia de Características Observables[e2 e1 e40 e5 …]
VCi
Secuencia de Características Observables[e2 e1 e40 e5 …]
CaracterísticaObservable
ei
Maniobraβk
HMMs de lasmaniobras{λ 1, λ 2, …}
TransiciónTk
LIBRERÍA DE
MANIOBRAS
Interpretación de Maniobras Quirúrgicas
SELECTOR DE SECUENCIASVD , VI
Tiempo medio de βk
Maniobra Reconocida
Conclusiones y Líneas Futuras
3
4. Interfaz Multimodal y Colaboración de un Asistente Robótico
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelo de la Intervención
Conclusiones y Líneas Futuras
Link video
SUTURA LAPAROSCÓPICA CON TÉCNICA ROSSER
4
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
FASE 1: INSERCIÓN DE LA AGUJAModelo de la Intervención
Conclusiones y Líneas Futuras
FASE 2
FASE 1
FASE 3
FASE 4
β 2
β 3
β 4β 5
β 6
β 8
β 9
β 7
β 11β 10
β 12 β 13
β 14
T1
T2
T3
T4
T5
T6
T7
T8T9
T10 i = 3
i < 3
T11
T12
T13
T14
β 1
β 0
T0
T15
Robot Cirujano
FASE 2: PUNCIÓN DE LA AGUJA
FASE 3: ANUDADO DEL HILO
FASE 4: CORTE DEL HILO
β k β k+1
Tk-1Tk
1
1
k
kEk
kE
Tk+1
k
kE
1
1k
kE
4
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Interfaz Multimodal Propuesto
Comandode Voz
TrayectoriaPlanificada
MODELO DE LA
INTERVENCIÓN
INTERACCIÓN
AUTO-GUIADA
ManiobraReconocida
Estado Sk
Tk
Señal videoFuerzas yPares
LocalizaciónHerramienta
del Robot
LocalizaciónHerramientadel Cirujano
Señal de Audio
RECONOCIMIENTO
DE VOZ
PREDICCIÓN DE
LOCALIZACIÓN
CIRUJANO ROBOT
Tk o Ek
IDENTIFICACIÓN DE
MANIOBRAS LocalizaciónPredicha
Maniobra Más Probable
PRIORIDAD DE
COMANDOS
INTERFAZ MULTIMODAL
Conclusiones y Líneas Futuras
4
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Interfaz Multimodal:Reconocimiento de Voz
SISTEMA DE RECONOCIMIENTO
ALGORITMO
FORWARD-BACKWARD
CLASIFICACIÓN
DE VECTORES
PROCESADO DE DATOS
EXTRACCIÓN DE
CARACTERÍSTICAS
MODELO DEL COMPORTAMIENTO DEL
CIRUJANO
Señal de Audio
Coeficientescepstrales
Secuencia de Características
Observablesei
HMMs de los comandos{λ 1, λ 2, …}
LIBRERÍA DE
COMANDOS
Comando de VozReconocida
LIBRERÍA DE
VECTORESCaracterísticaObservable
ei
Conclusiones y Líneas Futuras
0 0.5 1 1.5 2 2.5
x 104
-0.2
-0.1
0
0.1
0.2
Tiempo (segundos)
Señal de a
udio
Comando de voz: Siguiente
0 500 1000 1500 2000 2500 3000-0.2
-0.1
0
0.1
0.2
Tiempo (segundos)
Señal de a
udio
Comando de voz: Siguiente. Eliminación de silencios
4
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Interfaz Multimodal:Predicción de la Localización de la Herramienta
FUNCIONES DE
ESTIMACIÓN
{fr , fθ}Vθ0 Localización
Herramientadel Cirujano
Predicha
Vr0
LocalizaciónHerramientadel Cirujano
Maniobra βMás Probable
CONSTRUCTOR DE
VECTORES HISTÓRICOS
{Vr0, Vθ0}r, θ
Conclusiones y Líneas Futuras
Vr0
Vr0
4
5. Implantación y Experimentos
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelado y Reconocimiento de Maniobras
SIMULADOR
DE PACIENTE
SISTEMA DE
MODELADO Y
RECONOCIMIENTO
SENSOR 3D
TORRE LAPAROSCÓPICA
HERRAMIENTAS DEL
CIRUJANO CON
MARCAS PASIVAS
ROBOT ERM
CAPTURADORA
VIDEO
FUENTE LUZ FRÍA
SENSOR 3D
CÁMARA
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
TRASLADAR
Link video
SUJETAR TEJIDO
Link video
CLIPAR CONDUCTO
Link video
DISECCIÓN
Link video
CORTAR CONDUCTO
Link video
Modelado y Reconocimiento de Maniobras
SUTURA
Link video
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelado y Reconocimiento de Maniobras
ENTRENAMIENTO DE MANIOBRAS:
• Maniobras: 6
• Participantes: 2
• Nivel de destreza de los participantes:
- 1 cirujano experto
- 1 persona no experta
• Repeticiones de cada maniobra:
- 10 repeticiones (cirujano experto)
- 20 repeticiones (persona no experta)
• Topología del modelo de la maniobra (HMM):
-Matriz A: combinada (izquierda-derecha con posibilidad de retroceso)
- 50 estados y 2000 características observables
q1 q2 q3 q4
q1
q2
q3
q4
Matriz A combinada
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelado y Reconocimiento de Maniobras
TRASLADAR SUJETAR TEJIDO CLIPAR CONDUCTO
DISECCIÓNCORTAR CONDUCTO SUTURA
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Estados Estados Estados
Estados Estados Estados
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelado y Reconocimiento de Maniobras
TRASLADAR SUJETAR TEJIDO CLIPAR CONDUCTO
DISECCIÓNCORTAR CONDUCTO SUTURA
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Pro
bab
ilid
ad
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Modelado y Reconocimiento de Maniobras
RESULTADOS
Maniobra %Aciertos
Trasladar 95.00 %
Sujetar tejido 100.00 %
Clipar 100.00 %
Cortar conducto 50.00 %
Diseccionar 90.00 %
Suturar 100.00 %
RECONOCIMIENTO DE MANIOBRAS:
• Maniobras: 6
• Participantes: 2
• Nivel de destreza de los participantes:
- 2 personas no expertas
• 20 repeticiones de cada maniobra por
cada participante.
Conclusiones y Líneas Futuras
Maniobra ejecutada: Cortar conducto
Suturar Clipar Cortarconducto
Cortartejido
Sujetar Trasladar
dm
Log
[P(O
|λ)]
Suturar Clipar Cortarconducto
Cortartejido
Sujetar Trasladar
Maniobra ejecutada: Clipar Conducto
dm
Log
[P(O
|λ)]
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Asistencia a la Sutura
BRAZO HERRAMIENTABRAZO CÁMARA
SIMULADOR PACIENTE
TORRE DE LAPAROSCOPIA
SENSOR 3D
HERRAMIENTA
CIRUJANO
CÁMARA
PLATAFORMA Y ENTORNO QUIRÚRGICO
LUZ FRÍA
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Experimento 1: Módulo de Voz
Comando %Aciertos
Sutura 95.00 %
Siguiente 100.00 %
Repetir 100.00 %
Parar 80.00 %
Abrir 95.00 %
Cerrar 90.00 %
Comando %Aciertos
Sutura 90.00 %
Siguiente 80.00 %
Repetir 85.00 %
Retroceder 80.00 %
Arriba 75.00 %
Abajo 95.00 %
Izquierda 75.00 %
Derecha 80.00 %
Introducir 90.00 %
Extraer 55.00 %
Abrir 75.00 %
Cerrar 75.00 %
Parar 80.00 %
Participantes: 1
Repeticiones para el entrenamiento: 30
Repeticiones para la validación: 20
Topología de la matriz A: izquierdas-derechas
RESULTADOS
Asistencia a la Sutura
6 comandos
RESULTADOS
13 comandos
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Maniobras T medio Utmin Utmax %Aciertos
β2 6.64 s 4.25 s 9.02 s 100.00 %
β4 15.36 s 11.19 s 19.53 s 100.00 %
β6 3.79 s 3.38 s 4.21 s 50.00 %
β8,i=1 8.75 s 7.79 s 9.72 s 90.00 %
β8,i=2 8.40 s 6.66 s 10.14 s 100.00 %
β8,i=3 8.69 s 7.78 s 9.59 s 100.00 %
β11 8.99 s 6.70 s 11.28 s 100.00 %
β13 7.33 s 6.36 s 8.30 s 100.00 %
Experimento 2: Módulo de Estimación de Maniobras
Número de participantes: 1
Repeticiones de cada maniobra βk para el entrenamiento: 5
Repeticiones de cada maniobra βk para el reconocimiento : 10
Topología combinada
Asistencia a la Sutura
RESULTADOS
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Experimento 3: Módulo de Predicción de la Localización
Asistencia a la Sutura
Posición del extremo de la herramienta del cirujano en β4
Número de características observables
Número de características observables
Lo
g [
P(O
|λ)]
Lo
g [
P(O
|λ)]
Sin predicciones
Con predicciones
Conclusiones y Líneas Futuras
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Experimento 4: Sutura con Asistente Robótico
Asistencia a la Sutura
Conclusiones y Líneas Futuras
Fase 1: Inserción de la aguja.
Lo
g [
P(O
|λ)]
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Número de características observables
Reconocimiento de la maniobra β2
Link video 5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Fase 2: Punción de la aguja.
Experimento 4: Sutura con Asistente Robótico
Asistencia a la Sutura
Conclusiones y Líneas Futuras
Lo
g [
P(O
|λ)]
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Número de características observables
Reconocimiento de la maniobra β4
Link video 5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Fase 3: Anudado del hilo.
Experimento 4: Sutura con Asistente Robótico
Asistencia a la Sutura
Conclusiones y Líneas Futuras
Link video
Lo
g [
P(O
|λ)]
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Número de características observables
Reconocimiento de la maniobra β8,1
5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Fase 3: Anudado del hilo.
Experimento 4: Sutura con Asistente Robótico
Asistencia a la Sutura
Número de características observables
Lo
g [
P(O
|λ)]
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Conclusiones y Líneas Futuras
Lo
g [
P(O
|λ)]
Número de características observables
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Reconocimiento de la maniobra β8,1
Reconocimiento de la maniobra β8,2
Link video 5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Fase 4: Corte del hilo.
Experimento 4: Sutura con Asistente Robótico
Asistencia a la Sutura
Conclusiones y Líneas Futuras
Lo
g [
P(O
|λ)]
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Número de características observables
Reconocimiento de la maniobra β13
Lo
g [
P(O
|λ)]
*** Maniobra β2
*** Maniobra β4
*** Maniobra β6
*** Maniobra β8,i=1
••• Maniobra β8,i=2
••• Maniobra β11
••• Maniobra β13
Número de características observables
Reconocimiento de la maniobra β11
Link video 5
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
RECONOCIMIENTO DE MANIOBRAS
Maniobras %Aciertos
β2 83.33 %
β4 100.00 %
β6 50.00 %
β8,i=1 100.00 %
β8,i=2 100.00 %
β8,i=3 100.00 %
β11 83.33 %
β13 100.00 %
Comandos% Aciertos
Sutura 60.00 %
Cerrar 85.71 %
Parar 60.00 %
Siguiente 100.00 %
RECONOCIMIENTO DE VOZ
Sutura Tiempo medioDesviación
típica
Con robot 190.6 s 12.5 s
Sin robot 115.5 s 21.5 s
PROCEDIMIENTO DE SUTURA
Experimento 4: Sutura con Asistente Robótico
Asistencia a la Sutura
Conclusiones y Líneas Futuras
5
6. Conclusiones y Líneas Futuras
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
• Sistema para la identificación de maniobras quirúrgicas deforma aislada y en el contexto del protocolo.
• Sistema para la predicción de la localización del instrumentaldurante sombras de pequeña duración.
• Interfaz Multimodal que ofrece una “Comunicación más natural”.
• Automatización del procedimiento de sutura con el objetivo deobtener la colaboración que plantea el concepto “co-worker”.
Conclusiones y Líneas Futuras
Conclusiones
6
Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos
Aumentar la información que contienen las característicasobservables que describen las interacciones del instrumental.
Utilizar Dynamic Time Warping para el modelado de lasmaniobras quirúrgicas, además de contemplar la posibilidad decombinar HMM con otras modelos matemáticos.
Añadir la tolerancia a fallos al interfaz multimodal.
Predecir las maniobras en las zonas de sombras mediante el usode técnicas de aprendizaje.
Desarrollar un algoritmo de sutura más colaborativo.
Adaptar el interfaz multimodal a las técnicas SILS y HALS.
Conclusiones y Líneas Futuras
Líneas Futuras
6
Revistas (1+1)
Artículos Internacionales (4+1)
Artículos Nacionales (9)
B. Estebanez, P. del Saz-Orozco, I. García-Morales, V.F. Muñoz. “Interfaz multimodal para un asistenterobótico quirúrgico: uso de reconocimiento de maniobras quirúrgicas”. Revista Iberoamericana deAutomática e Informática Industrial (2010), Vol. 8, Núm. 2. ISSN: 1697-7912. ( En revisión ) B. Estebanez, P. del Saz-Orozco, I. García-Morales, V.F. Muñoz. “A Multimodal HMI forSurgical Robotic Assistant in Laparoscopic Surgery”. Transactions on Biomedical Engineering (2013).
B. Estebanez, G. Jiménez-Ruiz, V.F. Muñoz, E. Bauzano, J. Molina-Pérez. “Minimally invasive surgerymaneuver recognition based on surgeon’smodel”. IEEE/RSJ International Conference on Intelligent Robotsand Systems. (2009). ISBN: 978-1-4244-3804-4.B. Estebanez, P. del Saz-Orozco, V.F. Muñoz. ”Maneuvers recognition system for laparoscopic surgery”.International Workshop on Robotics in Alpe-Adria-Danube Region- RAAD (2010). B. Estebanez, E. Bauzano, V.F. Muñoz. “Surgical Tools Pose Estimation for a Multimodal HMI of a SurgicalRobotic Assistant”. IEEE/RSJ International Conference on Intelligent Robots and Systems (2011). ISBN: 978-1-61284-454-1. B. Estebanez, P. del Saz-Orozco, I. Rivas, E. Bauzano, V.F. Muñoz, I. García-Morales. “Maneuversrecognition in laparoscopic surgery: Artificial Neural Network and Hidden Markov model approaches”.International Conference on Biomedical Robotics and Biomechatronics, BioRob 2012. ISBN: 978-1-4577-1199-2. ( En revisión ) E. Bauzano, B. Estebanez, I. Garcia-Morales and V.F. Muñoz-Martinez. “Robot CollaborativeAssistance for Suture Procedures via Minimally Invasive Surgery”. IEEE/RSJ International Conference onIntelligent Robots and Systems (2013).
Aportaciones
DISEÑO E IMPLANTACIÓN DE UN SISTEMA MULTIMODAL
PARA UN ASISTENTE QUIRÚRGICO
DEFENSA DE TESIS DOCTORAL
María Belén Estebanez Campos
Director: D. Víctor F. Muñoz MartínezCodirectora: Dña. Isabel García Morales
DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICAUNIVERSIDAD DE MÁLAGA
Mayo 2013