proyecto fin de carrera departamento de tecnología electrónica 1 e.t.s.i.telecomunicación...

Proyecto Fin de CarreraDepartamento de Tecnología Electrónica

1

E.T.S.I.TelecomunicaciónUniversidad de Málaga

DESARROLLO Y DISEÑO DE MUNDOS

VIRTUALES PARA LA NAVEGACIÓN A

TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín


2

Índice

Sistema BCI

Realidad Virtual y VRML

Objetivos

Herramientas utilizadas

Modelado de los mundos

Integración y pruebas

Conclusiones y líneas futuras


3

Sistema BCI

Conversor A/D

Almacen. datos

Cancelación

Artefactos

Obtención característic

as

Traducción Característic

as /Clasificación

PROCESADO SEÑAL

ADQUISICIÓN SEÑAL

Interfaz Control

Controlador

Dispositivo

APLICACIÓN

Señal digitalizada

Configuración Sistema

ComandosDispositivo

FEEDBACK

Amplif.

Sensores

Pantalla

USUARIO(Actividad cerebral)


4

Características Bidireccional

Modo de operación

Tipo de registro

Señal captada

Tarea mental a ejecutar

Tipo de feedback

Sistema BCI

Refuerzos Positivos o negativos

Reposo e imaginar movimiento

Señal EEG

Ritmos ,b [8-32Hz] Funciones motoras

Síncrono o asíncrono

Obtener y proporcionar información

Técnicas invasivas y no invasivas


5

Problemática

Sistema BCI

Técnicas biofeedback- Información proceso mental

- Concentración, motivación e inmersión

- Impacto visual

Adaptación de usuario

Evitar frustración, cansancio

Reducir tiempo respuesta

MEJORARENTRENAMIENTO

- Controlar actividad mental

- Usabilidad del sistema

- Aprendizaje no adecuado

(Realidad Virtual)

Mundos virtuales


6

Índice

Sistema BCI


Objetivos






7

Realidad Virtual y VRML Permite generar un mundo artificial o sintético en el

cuál el usuario tiene la impresión de estar presente,

por el que puede navegar e interactuar en tiempo

real. Clasificaciones:

- Inmersiva, No inmersiva

- De proyección

- Mundo muerto

- Mundo real

- Mundo fantástico

Problemas:

- Representación

- Realimentación háptica (colisiones)

- Demora

- Malestar por uso prolongado

MUNDOS VIRTUALES


8

Realidad Virtual y VRML VRML (Virtual Reality Modelling Language)

Formato de archivo que describe objetos tridimensionales y multimedia interactivos dentro de una escena virtual

- Lenguaje de modelado (ISO/IEC 14772)

- Mundo virtual fichero *.WRL estructurado en nodos

- Objetos pueden modificarse y animarse en ejecución

- Objetos 3D y multimedia interactivos (imagen, audio, etc.) NODOS

- Visualización browsers o visores (en tiempo real).


9

Índice

Sistema BCI


Objetivos






10

Objetivos

motivación, concentración de usuario

Diseño e implementación de mundos virtuales:

Ambientes reales, familiares o conocidos Integración con BCI existente

Respuesta en tiempo real

Vivienda

Virtual

ETSITVirtual

Simulador

Vuelo

Mejorar etapa entrenamiento

Entornos de simulación

Reforzar biofeedback


11

Índice

Sistema BCI


Objetivos






12


Software de desarrollo

Herramienta CAD: 3D Studio Max 9

- Minimizan tiempo de modelado

- Modelos detallados (mejor acabados)

Virtual Reality Toolbox (Matlab)

Equipamiento hardware

Interacción BCI – Mundo virtual

- Para modelos complejos

- PC con memoria y hardware gráfico (Pentium Core2Duo, 1Gb RAM, 256Mb tarjeta gráfica). - Polígrafo 4 canales (amplificador), tarjeta adquisición, gorro y electrodos (generador de señal).

- Conversión a VRML


13

Índice

Sistema BCI


Objetivos






14

Vivienda virtual

Estructura de la vivienda

Texturización de estructura

Editor de Materiales (3DStudio)

Texturas Mapeo de texturas


15

Vivienda virtual

Exteriores

- Plano de suelo (césped)

- Plano de horizonte

- Semiesfera (cielo)

Visualización limitada se emplean formas sencillas (poco polígonos)


16

Vivienda virtual

Decoración interior

Elementos prediseñados

No concebidos para VRML Número de polígonos muy elevado Optimización Retexturización de mobiliario


17

Vivienda virtual

Decoración interior

Elementos diseñados (p.e. cortinas)

Resultado final

- Formas curvas aprox. triángulos- En gran número en la escena


18

ETSIT virtual

Bloques básicos


19

ETSIT virtual

Modelado de detalle

Módulo de Aulas Escaleras bajada patio

Salón de actos

Pasillos interiores Biblioteca y cafetería

Columnas


20

ETSIT virtual

Texturización PROCESO

- Realización de fotografías

- Obtención de texturas

- Almacenamiento (JGP)

- Mapeo de texturas en las geometrías

Texturas para estructura

Texturas para puertas , ventanas y decoración

Resultado final


21

Simulador de vuelo

Cambio de perspectiva de diseño

- Pocos elementos en la escena

- Una textura

- Importancia de la ubicación de los objetos

- Sensación de movimiento

Elementos de la escena

Plano de vuelo Avión


22

Simulador de vuelo

Material de textura y texturización Creación de la textura

Cuadrícula Textura definitiva (Simétrica)

Texturización del plano de vuelo

Modificar “gizmo” para obtener ciclicidad


23

Simulador de vuelo

Ubicación de los elementos

Punto de vista

PLANO

AVIÓN


24

Simulador de vuelo

Ubicación de los elementos

Resultado final


25

Iluminación de mundos

Iluminación de Vivienda y ETSIT

- Luz principal (“Omni” o PointLight) SOL

- 3 luces de apoyo (SpotLight ) menor intensidad

Iluminación Simulador

- Una fuente de luz (DirectionalLight)


26

Índice

Sistema BCI


Objetivos






27

Integración


- Paso previo adecuación de los mundos modelados:

- Incorporar sensores de proximidad

- Conversión a VRML

Nodo VRML “silla”

- Integración de la Interfaz de navegación en el mundo virtual.

Punto de Vista

o Cámara

Interfaz NC Interfaz CI


28

Integración con Vivienda y ETSIT


- El interfaz no controla la “silla”.

- Punto de vista y avión inmóviles.

- Implementación de movimiento

- Avance , giros, ascenso y descenso.

Integración con Simulador de Vuelo

- Virtual Reality ToolBox.


29

Pruebas


Visualización de mundos Respuesta correcta

OBJETIVOS

- Escalado

- Respuesta en tiempo real visualización continuada

- Colisiones con objetos y estructuras

- Animación de la escena al seleccionar un movimiento


30

Índice

Sistema BCI


Objetivos






31

Conclusiones


- Desarrollo y diseño de mundos virtuales:

- Representan ambientes reales y conocidos.

- Refuerzan biofeedback del usuario.

- Limites de exploración los impone el usuario.

- Entornos de simulación y evaluación seguros.

- Potente herramienta de modelado, limitada por VRML.


32

Líneas futuras


- Aumentar inmersión del usuario

- Incrementar interactividad entre objetos

Involucrar más sentidos

Experimentación simultanea

Colisiones encadenadas

- Impresión más realista de los mundos OpenGL o DirectX

Visión estereoscópica


33

E.T.S.I.TelecomunicaciónUniversidad de Málaga

DESARROLLO Y DISEÑO DE MUNDOS

VIRTUALES PARA LA NAVEGACIÓN A

TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín

proyecto fin de carrera departamento de tecnología electrónica 1 e.t.s.i.telecomunicación...

Documents