sesion08 evaluacion
Post on 22-Jan-2018
145 Views
Preview:
TRANSCRIPT
EvaluaciónDavid Díez Cebollero
Departamento de InformáticaUniversidad Carlos III de Madrid
DISEÑO DE
SISTEMAS INTERACTIVOS
Grado en
Ingeniería Informática
Diseño de Sistemas Interactivos
Evaluación > Contenido sesión 8
Comprender el concepto de evaluación
Entender el sentido de la fase de evaluación en el desarrollo de
sistemas interactivos
Conocer la diferencia entre evaluación formativa y aditiva
Conocer los métodos de evaluación de sistemas interactivos
Inspección
Prueba
Conocer el sentido y estructura del “plan de evaluación” y el “informe
de resultados”
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación
26/02/2016 David Díez Cebollero
¿Por qué se evalúa?
Para conocer la opinión de
terceros (usuarios) y obtener
mejores productos
Diseño de Sistemas Interactivos
Evaluación
26/02/2016 David Díez Cebollero
¿Qué se evalúa?
¿Prototipo de
baja fidelidad o de
alta fidelidad?
¿La estética?
¿El uso?
¿La eficiencia?
Diseño de Sistemas Interactivos
Evaluación
26/02/2016 David Díez Cebollero
¿Dónde se evalúa?
En entorno controlado
En entorno real
En remoto
Diseño de Sistemas Interactivos
Evaluación
26/02/2016 David Díez Cebollero
¿Cuándo se evalúa?
Durante el proceso de análisis/síntesis
Evaluación formativa (ex-ante):
• Predecir la usabilidad del producto
• Validar requisitos
• Probar ideas
Al final del proceso de análisis/síntesis
Evaluación aditiva (ex-post):
• Identificar problemas de uso
• Establecer áreas de mejora
Diseño de Sistemas Interactivos
Evaluación
26/02/2016 David Díez Cebollero
¿Cuál es el riesgo?
No adecuar la evaluación a:
El artefacto a evaluar
Las características a evaluar
El momento de la evaluación
El entorno
El tipo de usuario
La actividad
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Definición
“La evaluación es la
actividad del proceso
de diseño de un
sistema interactivo
encargada de
determinar si la
solución satisface o no
las necesidades del
usuario.”
Diseño de Sistemas Interactivos
Evaluación
26/02/2016 David Díez Cebollero
1. Comprender el contexto real
2. Comparar alternativas
3. Comprobar si el sistema es
conforme a estándares
4. Determinar el cumplimiento
de los requisitos
Objetivos de la evaluación
Planificación
• Establecer objetivos
• Seleccionar tipo de evaluación
• Definir tareas de evaluación
• Seleccionar evaluadores
Realización
• Preparar entorno de evaluación
• Realizar tareas de evaluación (por parte de los evaluadores)
• Recopilar información
Interpretación de resultados
• Categorizar información
• Analizar datos
• Documentar
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso
Proceso de evaluación
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
“Actividad de evaluación
dirigida establecer las
condiciones en las
cuales se evaluará el
sistema”
Planificación
• Establecer objetivos
• Seleccionar tipo de evaluación
• Definir tareas de evaluación
• Seleccionar evaluadores
Realización
• Preparar entorno de evaluación
• Realizar tareas de evaluación (por parte de los evaluadores)
• Recopilar información
Interpretación de resultados
• Categorizar información
• Analizar datos
• Documentar
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
1. Definir la estrategia de evaluación
1. Establecer objetivos
2. Fijar el tipo de producto a evaluar
3. Establecer las características que se desean evaluar
4. Establecer el tipo de evaluación a realizar
2. Por cada tipo, definir el modo de evaluación
1. Definir condiciones de evaluación
2. Fijar el método de evaluación
3. Definir tareas de evaluación
4. Seleccionar evaluadores (número y perfil)
5. Fijar la forma de recopilar la información
3. Redactar el plan de evaluación
26/02/2016 David Díez Cebollero
Tipos de evaluación
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Según procedimiento
Monitorización
Recopilación de opiniones
Observación
Predicción
Según entorno
Entorno controlado
Entorno real
Entorno de diseño
Según los implicados
Usuarios
Expertos
Equipo de diseño
Sin implicación / no intrusivos
Según propósito
Inspección
Prueba
Indagación
26/02/2016 David Díez Cebollero
Tipos de evaluación
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Entorno controlado con implicación del usuario
Evaluación de usabilidad
Experimentación
Entorno real con implicación del usuario
Estudios de campo
Sin implicación de usuarios
Predicción: heurísticas, estándares y modelos
Revisión por pares
No intrusivo
1.1
1.2
2.1
3.1
3.2
3.3
26/02/2016 David Díez Cebollero
Tipos de evaluación
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Objetivo Entorno
controlado con
implicación
usuarios
Entorno real
con implicación
usuarios
Sin implicación
usuarios
Comprender el contexto real
Comparar alternativas
Comprobar sistema de
acuerdo a estándares
Determinar el cumplimiento
de los requisitos
2.1
2.1
2.11.1 1.2
1.1 3.1 3.3
3.1
3.1 3.2 3.3
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Métodos de evaluación
Prueba
Inspección
Indagación
Inspección (Inspect)
Revisión del sistema a fin de validar el cumplimiento tanto de estándares como de requisitos de usuario. Habitualmente realizado por expertos
Prueba (Testing)
Uso del sistema por sus potenciales usuarios a fin de comprobar que el sistema satisface adecuadamente sus necesidades
Indagación (Inquiry)
Recolección de información en el contexto de utilización del sistema a fin de estudiar y validar las necesidades del usuario
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Método Descripción Tipo evaluación
Evaluación mediante
heurísticas
Basado en la revisión de un conjunto de
características de la interfaz de usuario de
acuerdo a un catálogo de características de
diseño
Evaluación mediante
estándares
Basado en la revisión de un conjunto de
características de la interfaz de usuario de
acuerdo a un catálogo de estándares, normas y
reglas
Cognitive walkthroughs Basado en la revisión por parte de una serie de
evaluadores de un conjunto preestablecido de
tareas a fin de probar su facilidad de uso y
aprendizaje
Pluralistic walkthrough Basado en la revisión en grupo por parte de una
serie de evaluadores de un conjunto
preestablecido de tareas a fin de probar su
facilidad de uso y aprendizaje
3.1
3.1
3.2
3.1
1.1
3.1
3.2
1.1
1.1
(*)
Métodos de evaluación- Inspección -
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Métodos de evaluación- Prueba -
Método Descripción Tipo evaluación
Retrospective testing Basado en la la grabación de las acciones
ejecutadas por el usuario y su posterior discusión
con el mismo
Thinking aloud protocol Basado basado en solicitar al usuario que
verbalices sus opiniones, sensaciones y
pensamientos durante la ejecución de las
pruebas del sistema
Question-asking protocol Basado en realizar preguntas específicas al
usuario durante la ejecución de las pruebas del
sistema
Evaluación subjetiva Basado en preguntar a los usuarios sus
sensaciones y experiencia a la hora de utilizar la
solución
- Uso de cuestionarios -
1.1
1.2
1.1
1.2
1.1
1.2
1.1
1.2
2.1
2.1
2.1
2.1
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Métodos de evaluación- Prueba -
Método Descripción Tipo evaluación
Comparativa Basado en la comparación, de acuerdo a alguna
característica de antemano, el rendimiento de los
usuarios al utilizar dos soluciones distintas
Medición de rendimiento Basado en la comparación, de acuerdo a alguna
característica de antemano, el rendimiento de los
usuarios al utilizar dos soluciones distintas
Tiempo en completar una tarea
Número y tipo de errores por tarea
Número de errores por unidad de tiempo
Número de usuarios que cometen un determinado error
Número de usuario que completan la tarea correctamente
Número de consultas realizadas al manual de usuario
3.3
3.3
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Planificación
Introducción
Estrategia de evaluación
Objetivos de evaluación
Tipos de evaluación
Por cada tipo de evaluación
Establecer métodos de evaluación
Fijar participantes
Definir tareas de evaluación
Definir mecanismos de recolección de información
Establecer medios necesarios
Conclusiones
“Definición en detalle de la
evaluación a realizar,
recogiendo el por qué, el
qué, el cómo, el cuándo y
por quién.”
Documentación- Plan de evaluación -
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Realización
“Conjunto de labores
realizadas a fin de
poner en práctica la
evaluación y recopilar
información”
Planificación
• Establecer objetivos
• Seleccionar tipo de evaluación
• Definir tareas de evaluación
• Seleccionar evaluadores
Realización
• Preparar entorno de evaluación
• Realizar tareas de evaluación (por parte de los evaluadores)
• Recopilar información
Interpretación de resultados
• Categorizar información
• Analizar datos
• Documentar
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Realización
1. Dar la bienvenida a los participantes
1. Explicar a los participantes el propósito de la evaluación
2. Solicitar a los participantes su consentimiento (y confidencialidad)
2. Ejecutar la evaluación
1. Indicar a los participantes las tareas a realizar o, en su caso, solicitar a
los participantes realizar su actividad habitual
2. Recolectar datos sobre las tareas/actividad realizada
3. En su caso, repasar las tareas/actividad con los participantes
3. Despedir a los participantes
1. Agradecer a los participantes su participación
2. (Remunerar a los participantes)
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Realización
Es necesario el acuerdo de los
participantes tanto para tomar parte en la
evaluación como para grabarlos
Recopilar el perfil
del participante
Siempre agradecer
la participación…
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Realización
Método Descripción Ventajas Desventajas
Tratamiento de trazas
(logging)
Grabación automática por parte
del ordenador de las acciones
realizadas por el usuario en el
sistema
No intrusivo
Permite medir
rendimientos
Identificar patrones
No permite conocer
impresiones o
motivaciones del
usuario
Grabación Captación de imágenes y/o sonido
sobre la actividad del usuario
Permite fijarse en
comportamientos
repetitivos
Permite conocer la
impresión del usuario
Intrusivo
Tratamiento de la
información muy
costoso
Recolección de notas Poner por escrito, de manera
manual o digital, comentarios,
impresiones u observaciones
sobre la evaluación
Muy efectivo para captar
observaciones
Puede resultar
intrusivo
Opinión sesgada
Recopilación a posteriori
(retrospective collection)
Revisión a posteriori, en presencia
del usuario, de las tareas
realizadas durante la ejecución de
la evaluación
No intrusivo
Permite conocer la
opinión y motivación de
los usuarios
El usuario puede
interpretar los
resultados más que
explicarlos
Cuestionarios Realización de cuestionarios sobre
el sistema evaluado, impresiones
de los evaluadores, sensaciones,
expectativas, etc.
No intrusivo
Permite conocer la
opinión, motivación y
satisfacción de los
usuarios
Puede originar sesgo
Difícil diseño
En el caso de
preguntas abiertas,
difícil tratamiento
Recolección de datos
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Realización
Cuestionarios más
utilizados:
SUS, SUMI y QUIS
Recolección de datos- Cuestionarios -
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Realización
Recolección de datos- Cuestionarios -
Cuestionario de aceptación de la
tecnología
Encuesta sobre
incidentes críticos
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Interpretación
“Actividad de
evaluación dirigida a
extraer conclusiones a
partir de la información
recopilada en la
evaluación”
Planificación
• Establecer objetivos
• Seleccionar tipo de evaluación
• Definir tareas de evaluación
• Seleccionar evaluadores
Realización
• Preparar entorno de evaluación
• Realizar tareas de evaluación (por parte de los evaluadores)
• Recopilar información
Interpretación de resultados
• Categorizar información
• Analizar datos
• Documentar
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Interpretación
1. Tratamiento de los resultados
1. Organizar información
2. Analizar datos
3. Establecer consecuencias
2. Redactar informe de evaluación
1. Explicar las condiciones en las cuales se realizó la evaluación
2. Enunciar y priorizar problemas encontrados
3. Teorizar causas
4. Proponer soluciones
5. Enunciar ventajas o casos de éxito
6. Enunciar áreas de incertidumbre
Conceptualmente:
el mismo proceso que el
tratamiento de la información
recopilada en la fase de
análisis
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Proceso > Interpretación
Introducción
Resumen de la evaluación
Estructura de la sesión
Participantes
Tareas
Resultados
Tasas de ejecución
Métricas de desempeño
Recomendaciones
Conclusiones
“Exposición de la ejecución de
la evaluación indicando tanto el
modo en que se realizó como
los resultados obtenidos en la
misma.”
Documentación- Informe de evaluación -
26/02/2016 David Díez Cebollero
Diseño de Sistemas Interactivos
Evaluación > Ejercicio
La Oficina de Turismo de una gran ciudad está desarrollando un
sistema informático que permita a los turistas recibir información a
través de pantallas y grandes monitores distribuidos a lo ancho de la
ciudad. Una vez realizada la especificación completa del sistema, y
tras elaborar un prototipo preliminar, se desea realizar una evaluación
formativa del mismo. En particular, la Oficina de Turismo está
interesada en evaluar aspectos referidos a la presentación de la
información (uso de gráficos, colores, disposición de elementos, etc.),
a la facilidad de acceso a la información y a la adecuación de los
medios de interacción con el sistema. Como limitación, la evaluación
deberá desarrollarse en un tiempo inferior a dos meses.
Diseño de Sistemas Interactivos
Evaluación > Contenido sesión 8
Comprender el concepto de evaluación
Entender el sentido de la fase de evaluación en el desarrollo de
sistemas interactivos
Conocer la diferencia entre evaluación formativa y aditiva
Conocer los métodos de evaluación de sistemas interactivos
Inspección
Prueba
Conocer el sentido y estructura del “plan de evaluación” y el “informe
de resultados”
26/02/2016 David Díez Cebollero
top related