panorama general de la realidad virtual en medicina
TRANSCRIPT
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Panorama general, procedimientos y aplicaciones
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Primeros simuladores de Vuelo
1909 Simuladores mecánicos, como los simuladores de vuelo,
1929 Primeros conceptos de simulaciones electrónicas,
1945 primeras proyecciones de fuente luminosa puntual (simulando el recorrido
de la luz puntual). 1955 Sistemas de simulación basados en video grabaciones, principalmente
usadas en entretenimiento.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1960
Creación del Sensorama; el cuál era un paseo en bicicleta a través de Brooklyn. Una experiencia cinematográfica que incluía: • Imágenes en 3D • Olores contextuales • Sonido estéreo • Vibración • Viento en el cabello
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1970 Efectos especiales en el cine, Juegos de video, Guantes de flexibilidad (con sensores de flexibilidad) y Guantes de Datos, Polhemus Tracker.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1980
Visión a través de pantalla (display) montada en cabeza (Callahan (MIT) 1983) Displays para cabeza comerciales (VPL Research y Autodesk 1989) Se acuña el término de "Realidad Virtual", por Jaron Lanier (VPL Research 1989) Creación del primer “Reality Engine” por Silicon Graphics International (1989)
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
1990 Se dieron las primeras aplicaciones de realidad virtual en la enseñanza médica:
Simulación del tracto endoscopia y colonoscopia, Simulación del tracto digestivo superior, Primeros intentos de simulación de laparoscopia. Primeros dispositivos hápticos.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Tipos de sistemas de Realidad Virtual Sistemas Window on World Hands on Virtual Worlds Sistemas de Head Tracking y Sistemas Inmersivos Telepresencia Realidad Aumentada y Mixed reality.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Sistemas Window on World Se trata de un sistema en donde se hace uso de:
Un monitor de computadora convencional Sonido estéreo
Son una simple representación gráfica por medio de computadora, adecuada para
ciertos tipos de visualización médica, por ejemplo:
La colonoscopia virtual Simulación de algunos procedimientos médicos Sistemas 3D con gafas de obturación (gafas 3D) son una extensión posible para
agregar interactividad a los sistemas de Window on World.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Uno de los problemas en la creación de sistemas Windows on World en cirugías es el diseño de dispositivos hápticos (Hands on Virtual Worlds). Son caros y son usados específicamente para la aplicación (ad-hoc). Esto hace que no puedan ser reutilizados para otras visualizaciones o simulaciones.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Creemos que algunas herramientas o dispositivos médicos pueden ser sustituidos, para la creación de experiencias virtuales, por dispositivos como el PlayStation Move,
controles de Nintendo Wii u otros dispositivos en el mercado que son usados en la industria de videojuegos, generando un buen nivel de inmersión. Son baratos y de fácil obtención. Aquí un ejemplo: https://www.youtube.com/watch?v=7uRS2OJrnp0
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Sistemas de Head Tracking y Sistemas Inmersivos El rastreo (tracking) de la posición de la cabeza proporciona un mayor realismo en
una experiencia de Realidad Virtual. Mediante el seguimiento de la cabeza y calculando el par de imágenes estéreo de una imagen estéreo 3D se crea una inmersión más precisa. Además de tomar en cuenta el confort del usuario. Los dispositivos (headsets) de Realidad Virtual actuales proveen de una inmersión
más profunda al bloquear estímulos visuales del mundo exterior, si son implementados de manera correcta, casi no hay restricciones en el movimiento de la cabeza, además son relativamente baratos y pueden proveer de una excelente calidad 3D en la imagen.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Aspectos más importantes a considerar al diseñar experiencias con el uso de dispositivos de realidad virtual: El confort del usuario. Dentro de la experiencia y al usar los headsets de Realidad
Virtual. El FOV (field of view) adecuado para que el usuario tenga una perspectiva real de
lo que observa. Calidad de la imagen estéreo 3D. Proporciona credibilidad de lo ue se está
observando dentro de la experiencia. Diseñar experiencias que sean recomendables para todos; esto es, evitar que el
uso de los headsets de realidad virtual causen molestias físicas al usuario. (Diseño responsable de experiencias).
Acompañar con algún tipo de retroalimentación el diseño para que el usuario
aprenda más rápido a cómo usar la experiencia y a retener más información de ella.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Campos de aplicación de la Medicina y Cirugía potenciales para la
Realidad Virtual • Entrenamiento (Training)
Es muy popular y es factible económicamente. Un ejemplo de ello es el entrenamiento paramédico). • Certificación y Evaluación
Está ganando popularidad y es factible económicamente. • Servicio al cliente
Los clientes de Hospitales y clínicas pueden involucrarse más en el servicio por medio de la Realidad Virtual •Medicina preventiva
La realidad virtual puede ser utilizada para educar a los pacientes sobre los estilos de vida positivos, tales como dejar de fumar, el consumo moderado de alcohol, la alimentación saludable y el ejercicio. • Telepresencia (Interacción con ambientes remotos)
Muy popular pero es tecnología muy cara. Ha sido propuesto para cirugía endoscópica y robótica, pero realmente no es muy solicitado en la práctica.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
•Tratamiento de fobias o Estrés Post Traumático.
Se pueden crear escenarios y situaciones virtuales. En resumen, los principales beneficios de la realidad virtual en la medicina son: Son métodos seguros y en ambientes virtuales controlados Ahorro en tiempos para hacer e implementar pruebas Barato comparado con otros sistemas de inmersión o aparatos médicos Capacidad de reutilizar y modificar la experiencia virtual Se puede utilizar de forma remota Eficientes al momento de ser utilizados Se pueden construir experiencias realistas
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Arquitectura de un sistema médico de Realidad Virtual
COMPUTADORA INTERFASE USUARIO
Motor de
desarrollo
Modelos por
computadora
Geometría (anatómica)
Bio-mecanismos
User Interface (UI)
Feedback táctil
Interface mecánica
Usuario Dispositivos hápticos
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Si se quiere iterar aplicaciones de realidad virtual para medicina de una forma rápida y viable, se puede optar por la creación y uso de geometría anatómica para diseño de modelos 3D por computadora, en donde la plataforma de diseño (Rendering Engine, en el esquema superior) es nuestro motor de desarrollo de aplicaciones interactivas 3D; el GC Engine 2.0. El cuál es el primer y único motor de desarrollo 3D hecho en México. De esa forma se evita el pago en el uso de licencias de terceros. Además de la creación de una Interfaz de Usuario práctica (Graphical Display, en el esquema superior) y un feedback táctil usando el PlayStation Move de Sony Computer Entertainment (barato y de fácil adquisición). En conjunto, todo esto conformaría el esquema para la experiencia de realidad virtual
solicitada por el usuario objetivo (Médicos, practicantes, usuarios de hospitales o
clínicas, vendedores de medicamentos o dispositivos de uso médico; etc).
Feedback de audio
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelado de geometría (Geometría Anatómica)
El modelado geométrico se puede utilizar para reproducir la anatomía del paciente en
diferentes perspectivas.
Se utiliza para crear “paseos virtuales” del peritoneo, pulmones, colon, etc. Los modelos geométricos realistas pueden ser generados de los datos de los
escaneos de un TAC, por mencionar un ejemplo. También pueden ser generados de manera convencional, en donde un artista 3D
modela y texturiza el objeto anatómico.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Limitantes de los modelos geométricos Modelos triangulares, como los de la imagen, son fáciles de obtener, pero en caso de
simulación, donde se requiera manipular tejido, es difícil deformarlos.
Son perfectos para estructuras rígidas (laringe, pulmones, tráquea, etc.) No son adecuados para órganos deformables (colon, vesícula biliar, TGI, etc.)
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelos geométricos cuadráticos Un colon puede ser modelado efectivamente por un modelo cuadrático (esferas)
(agregar imagen de colón hecho por esferas), y ofrecen las siguientes ventajas:
Representación compacta Más rápido de renderizar Fácil de deformar para simular espasmos e inflaciones.
A pesar de ello, son una representación anatómica menos exacta de la anatomía real.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelos geométricos de mayor orden • Superficies con “parches” cúbicos son buenos para la representación de formas suaves y complejas, • Las formas son controladas por un pequeño número de “puntos de control” (o nudos) que se pueden mover para crear diferentes animaciones (espasmos, inflaciones etc). En general:
Se puede recurrir a técnicas geométricas y cuadráticas para crear modelos que sirvan para la simulación de prácticas médicas. Nota: Se conoce a la perfección el pipeline de trabajo para de creación de modelos
para la visualización en realidad virtual y se pueden transformar estructuras triangulares a estructuras cuadráticas fácilmente con el uso de software especializado.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Construcción de una simulación Los modelos geométricos pueden lograr una gran precisión, pero son sólo una parte del sistema de simulación. Por lo general, en una aplicación médica el usuario necesita manipular la geometría (órganos) subyacente - por ejemplo, en una colonoscopia o una laparoscopia. Existen algunas dificultades para simular el comportamiento mecánico de los instrumentos médicos y la interacción con los órganos humanos.
Preguntas a considerar cuando se hacen simulaciones • ¿Qué ocurre cuando se presionan las paredes de un tejido? • ¿Qué propiedades dinámicas tiene el endoscopio? • ¿Qué fuerzas de fricción están actuando? • Si hay órganos del cuerpo que se encuentran adyacentes a otros órganos, que son deformables, ¿cómo se deforman entre sí? • etc.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Modelado del comportamiento de los órganos en la colonoscopía Existe un gran factor favorece a la simulación de colonoscopía: En la vida real no se ve reflejado como el colon está siendo deformado por el colonoscopio. Esto significa que podemos usar modelos de animación de comportamiento en vez de los físicos: Simular el comportamiento del colon es más fácil que simular las físicas de un cuerpo u órgano. Son animaciones más controladas.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Simulación de operación laparoscópica Este tipo de simulación ha atraído un gran interés comercial en los últimos 20 años. Es percibida como la aplicación más importante de la realidad virtual en la cirugía. • Desafortunadamente presenta los retos más difíciles del modelado: • Interacción de varios sistemas: BILIS ⇔ VESÍCULA BILIAR ⇔ ÓRGANOS
CIRCUNDANTES
• Cortar tejido, sangrado, flujo de bilis &c. • Aunque es posible crear gráficas plausibles, se pueden solucionar algunas limitantes con la grabación de una laparoscopía real implementada en una visualización de Realidad Virtual.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Las aplicaciones actuales de modelado 3D en medicina, cubren una
amplia gama: Desde: Cuerpos sin deformación (fácil creación)
Broncoscopía Colonoscopía Endoscopía digestiva alta Otros procedimientos endoscópicos Laringoscopía Laparoscopía Colecistectomía
Hasta: Deformación de cuerpos complejos (difícil creación, pero posible) Ejemplo de una aplicación de Laparoscopía con fines de entrenamiento.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Cuestiones de validación La creación de simulaciones, visualizaciones y casos médicos ficticios convincentes actualmente son posibles, pero no se ha cuantificado la forma de evaluar la precisión de reproducir virtualmente los procedimientos practicados en la vida real. Por otro lado, para el entrenamiento de habilidades manuales podrían ser igualmente efectivas -si no es que más- que los métodos tradicionales.
Algunas otras aplicaciones que pueden ser desarrolladas para
Realidad Virtual Ginecología
Evolución del cíclo menstrual y del folículo (seguimiento folicular), Histerosalpingografía.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Tecnología médica
Simuladores de Uso de TAC para barridos de cuerpo entero: Experiencia para el usuario y para el operador de un TAC. Se pueden hacer varias simulaciones con diferentes cuerpos que padezcan patologías diferentes. Objetivo: hacer una experiencia de realidad virtual para detectar patologías en su face inicial. Aprender a usar el TAC. El paciente puede experimentar qué se siente ser escaneado por un TAC.
Posteriormente, los modelos que arroje un TAC (como un TAC Aquilion Vision) pueden ser visualizados en realidad virtual. (Colonoscopía Virtual para la detección de pólipos)
Visualizador de escaneos MRI
Cardiología
Coronariografía no invasiva, visualización de modelos de miocardio para su estudio. (En una visualización de puede instruir en descartar infartos).
Otras aplicaciones interesantes
Visualizador de Propiedades materiales de los tejidos. Visualizadores de enzimas, enlaces químicos, sistemas del cuerpo humano. Visualización de tomografías prediseñadas.
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Entrenamiento virtual para dar consultas (anamnesis), descubrir síntomas y dar diagnósticos. Los usuarios de esta aplicación pueden ser los médicos o los pacientes.
Entre muchas otras.
Plus: Aplicación para describir las enfermedades o dolencias que sufrían los
protagonistas de algunas de las grandes obras de arte de la historia como, por ejemplo, la Mona Lisa. Aquí un ejemplo de esta práctica: http://www.savalnet.cl/mundo-medico/reportajes/17801.html
RederFarm Studios S.A. DE C.V. / GC STUDIOS S.A. DE C.V. VR/MED
Contacto
55-56-041-016
www.renderfarm.com
(044) 473-123-7000
www.gamecoderstudios.com