modelo de evaluaciÓn de usabilidad web para …
TRANSCRIPT
1
MODELO DE EVALUACIÓN DE USABILIDAD WEB PARA ENTIDADES DE EDUCACIÓN SUPERIOR EN COLOMBIA
JESÚS AUGUSTO GUZMÁN LOZANO
CÓDIGO: 20102295002
UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS
FACULTAD DE INGENIERÍA
MAESTRÍA EN CIENCIAS DE LA INFORMACIÓN Y COMUNICACIONES
BOGOTÁ
2016
2
MODELO DE EVALUACIÓN DE USABILIDAD WEB PARA ENTIDADES DE EDUCACIÓN SUPERIOR EN COLOMBIA
JESÚS AUGUSTO GUZMÁN LOZANO
CÓDIGO: 20102295002
CARLOS MONTENEGRO, PhD
Director
UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS
FACULTAD DE INGENIERÍA
MAESTRÍA EN CIENCIAS DE LA INFORMACIÓN Y COMUNICACIONES
BOGOTÁ
2016
3
Nota de aceptación:
_________________________________
_________________________________
_________________________________
_________________________________
_________________________________
_________________________________
_________________________________
_________________________________
Firma del Director del Trabajo de Grado
_________________________________
Firma del jurado
_________________________________
Firma del jurado
Bogotá D.C., noviembre 28 de 2016.
4
DEDICATORIA
A Dios, con él, con su apoyo, con su mano amiga, lo
imposible se volvió posible
A mi Padre, que, a través de vencer tantos obstáculos,
me ha dado la fortaleza para seguir luchando. Gracias
Papá
A mi Madre, con su Fe silenciosa, con su dedicación,
me ha dado más que un impulso. Gracias Mamá
A mi hermano, todo es posible y lo que falte, ya pronto
llegará.
A mi hermanita, desde donde Dios te tenga, un sueño
se volvió realidad. Siempre estarás aquí. No dejes de
sonreír.
A mis amigos y amigas, creyeron mucho más
5
AGRADECIMIENTOS
Dios, gracias por darme entusiasmo y Fe para creer
Papá, eres un bacán, un luchador, cada palabra es un aprendizaje.
Mamá, tu Fe inquebrantable y silenciosa, me animan a seguir adelante.
Hermano, los momentos difíciles son los que nos han estado
enseñando
Juan David, aprovecha tus años, Dios te colme de sabiduría y disciplina
Hermanita, siempre es grato recordar tu sonrisa.
Pedro, tu amistad a prueba de hackers, cada palabra ha sido
importante. Seguiré aprendiendo.
Karina, la amiga que esta justamente cuando se necesita, gracias por
tu manito en el modelo.
Karina y Marina, las dos hadas madrinas que me impulsan a dar el
paso que se necesita.
Carlos Montenegro, Víctor Hugo, Juan Manuel, un buen inicio, gracias
por el apoyo.
Elvis Eduardo, Germán Macías, si es duro iniciar es más duro terminar.
Ernesto, los revisores Nelson y Sandro, a mi Psicóloga María
Fernanda, Sandra, Fernando Rincón, Víctor, Raúl y todos aquellos
que, de forma directa e indirecta, han estado allí.
A mis estudiantes, ellos fueron un detonante para seguir, gracias por
su comprensión.
A la Universidad Distrital Francisco José de Caldas, generadora de
oportunidades.
Leidy Alejandra, eres la inspiración que mi vida necesita.
6
RESUMEN
En el presente trabajo se pretende llegar a un modelo que pueda ser usado para la evaluación de la usabilidad de los sitios web de Instituciones de educación Superior en Colombia, utilizando una metodología, que contemple los objetivos propios de estos sitios web y las necesidades de los usuarios de acuerdo a sus objetivos, teniendo en cuenta para ello, los estándares y experiencias internaciones, los valiosos comentarios de web masters y responsables de estos sitios web y por ultima los valiosos comentarios de los usuarios, sin estos últimos no tendría sentido pensar en este trabajo
Desarrollar una evaluación de usabilidad en un sitio web es una tarea diaria que permite la detección de problemas los cuales impiden al usuario lograr sus objetivos y apoyar el proceso constante de mejora y hacer más fácil la vida al usuario, mejorar el tiempo de acceso, reduciendo la angustia de la navegación y motivar al usuario a regresar por decisión propia.
La evaluación de la usabilidad web aplicada en estos sitios, debe hacerse sobre un marco internacional, enfocada en aspectos regionales, teniendo en cuenta, la cultura informática que está floreciendo en un país como Colombia, es por esto que la revisión metodológica y la métrica propuesta está basada en este País, esperando que se convierta en un referente para la Región.
Palabras claves
Usabilidad, Educación Superior, Evaluación, estándares usabilidad, Colombia
7
ABSTRACT
In the present document, we intend to obtain model that can be used to evaluate the usability of the Higher Education Institutions web sites in Colombia, using a methodology that contemplates the objectives of these web sites and the needs of the Users according to their objectives, taking into account for this, the international standards and experiences, the valuable comments of web masters and responsible of these websites and last the valuable comments of the users, without the latter it would not make sense to think about this work
Developing a usability assessment on a website is a daily task that allows problem detection, that imped user to achieve their goals and support the constant improvement process making easier the life of the user, improving access time, reducing the anguish of navigation and motivating users to get back by their own choice.
The web usability evaluation, applied in these sites, should be perform on an international framework, focused on regional issues, taking into account, a computer culture, flourishing in countries like Colombia, that is why the methodological revision and the proposed metric Is based in this Country, hoping that it will become a reference for the Region.
Key word
Usability, university, evaluation, usability standard, Colombia
8
TABLA DE CONTENIDO
Índice de Tablas. ............................................................................................................. 12
Índice de Figuras ............................................................................................................. 13
INTRODUCCIÓN ............................................................................................................. 14
1. DESCRIPCIÓN DEL PROBLEMA EN INVESTIGACIÓN .......................................... 15
1.1. Formulación del problema ................................................................................. 15
1.2. Hipótesis del trabajo de investigación ................................................................ 15
1.3. Justificación de la investigación ......................................................................... 16
1.4. Objetivos de la investigación ............................................................................. 18
1.4.1. Objetivo general ............................................................................................. 18
1.4.2. Objetivos específicos ..................................................................................... 18
1.5. Alcance y limitaciones ....................................................................................... 19
1.6. Metodología ....................................................................................................... 19
2. FUNDAMENTOS DE USABILIDAD .......................................................................... 21
2.1. Usabilidad .......................................................................................................... 21
2.2. Conociendo de usabilidad .................................................................................. 21
2.3. Definición ISO 9241-11 ...................................................................................... 23
2.4. Definición ISO/IEC 25010 .................................................................................. 25
2.5. Definición de Jakob Nielsen ............................................................................... 27
2.6. Factores generales de usabilidad en sitios Web. ............................................... 27
2.7. Finalidad al aplicar usabilidad ............................................................................ 28
3. EVALUACIÓN DE LA USABILIDAD ......................................................................... 30
3.1. Interacción Humano – Computador (HCI) .......................................................... 30
3.1.1. Estilos de interacción ..................................................................................... 31
3.1.2. Ergonomía ..................................................................................................... 32
3.1.3. Diseño de la Usabilidad .................................................................................. 33
3.1.3.1. Análisis del usuario ..................................................................................... 33
3.1.3.2. Análisis de tareas ....................................................................................... 33
3.1.3.2.1. El entorno ............................................................................................... 33
3.1.4. Principios de usabilidad .................................................................................. 33
3.1.4.1. Aprendizaje ................................................................................................ 34
3.1.4.2. Flexibilidad ................................................................................................. 34
3.1.4.3. Robustez .................................................................................................... 34
3.2. Evaluación de Usabilidad y Clasificación de UEMs ............................................ 35
3.2.1. ¿Qué es la evaluación de la usabilidad? ........................................................ 35
9
3.2.2. Definición formal de un método de evaluación de usabilidad ......................... 35
3.2.3. Enfoques de la evaluación ............................................................................. 35
3.2.3.1. Participación del usuario ............................................................................. 35
3.2.3.2. Evaluación formativa y sumativa................................................................. 36
3.2.3.3. Lugar de la evaluación ................................................................................ 36
3.2.4. Clasificación de los métodos de evaluación de la usabilidad. ......................... 36
3.2.4.1. Método de evaluación de la usabilidad por Preece ..................................... 37
3.2.4.2. Método de evaluación de usabilidad por Shneiderman ............................... 37
3.2.4.3. Método de evaluación de (Dix & Finlay, 2008) ............................................ 38
3.2.4.4. Método de evaluación de usabilidad (Nielsen, Designing Web Usability, 1999) 39
3.3. Evaluación empírica .......................................................................................... 41
3.3.1. ¿Cómo realizar un experimento? ................................................................... 41
3.3.1.1. Cuáles son los sujetos de un experimento .................................................. 41
3.3.1.2. Variables .................................................................................................... 41
3.3.1.3. Hipótesis ..................................................................................................... 42
3.3.2. Experimentos en la interacción entre el sistema y el humano ........................ 42
3.4. Métodos de evaluación basados en modelos .................................................... 43
3.4.1. Modelo GOMS ............................................................................................... 43
3.4.2. Modelo de nivel de pulsación de teclas (KML) ............................................... 44
3.4.2.1. Beneficios de GOMS .................................................................................. 45
3.4.2.2. Limitaciones de GOMS ............................................................................... 45
3.5. Métodos de observación .................................................................................... 45
3.5.1. Evaluación piensa en voz alta. ....................................................................... 46
3.5.2. Análisis del protocolo ..................................................................................... 46
3.5.3. Papel y lápiz ................................................................................................... 47
3.5.4. Grabación de audio ........................................................................................ 47
3.5.5. Grabación de video / grabación de video ....................................................... 47
3.5.6. Registro de computadoras ............................................................................. 47
3.5.7. Cuadernos de usuario .................................................................................... 48
3.5.7.1. Precauciones a tomar que protocolo usar ................................................... 48
3.5.8. Pruebas de usabilidad .................................................................................... 48
3.5.9. Técnicas de evaluación observacional para aplicaciones de aprendizaje basadas en la web ....................................................................................................... 49
3.6. Técnicas de consulta ......................................................................................... 49
3.6.1. Entrevistas ..................................................................................................... 50
3.6.1.1.1. Entrevistas no estructuradas ................................................................... 50
10
3.6.1.2. Entrevistas estructuradas ........................................................................... 51
3.6.1.3. Entrevistas semiestructuradas .................................................................... 51
3.6.1.4. Entrevistas de grupo ................................................................................... 51
3.6.1.5. Ventajas y desventajas de las entrevistas .................................................. 52
3.6.2. Cuestionarios ................................................................................................. 52
3.7. Métodos de evaluación de expertos .................................................................. 53
3.7.1. Evaluación Heurística..................................................................................... 53
3.7.1.1. ¿Qué es la evaluación heurística? .............................................................. 53
3.7.1.2. Ejemplos de heurística ............................................................................... 54
3.7.1.3. Heurística específica del dominio ............................................................... 56
4. ESTADO DEL ARTE, ESTÁNDARES PARA EVALUACIÓN DE USABILIDAD ........ 58
4.1. Estándares existentes para la evaluación de la usabilidad ................................ 58
4.2. Estándares orientados al proceso: ISO/IEC 9241 y 13407 ................................ 58
4.2.1. Normas orientadas a los productos: ISO/IEC 9126 y 14598 ........................... 60
4.2.2. Norma ISO/IEC 25000 SQuaRE .................................................................... 63
4.3. Métodos de evaluación de la usabilidad web basados en estándares ................... 65
5. MODELO DE MEDICIÓN Y EVALUACIÓN DE LA USABILIDAD ............................. 69
5.1. Pretensiones del modelo de evaluación ............................................................. 69
5.2.1. Información que se provee ............................................................................. 70
5.2.1.1. Usuarios que se esperan ............................................................................ 71
5.2.1.2. Elementos a tener en cuenta en la evaluación heurística. .......................... 72
5.2.1.3. Aspectos que se relacionan en la evaluación ............................................. 72
5.2.2. Criterios a tener en cuenta en la Evaluación .................................................. 73
5.2.2.1. Lista de los aspectos (Heurísticos) ............................................................. 73
5.2.2.2. Aspectos y sus criterios .............................................................................. 74
5.2.2.3. Valoración de los criterios y aspectos desde el punto del usuario ............... 77
5.2.2.3.1. Nivel de Importancia de los aspectos ...................................................... 77
5.2.2.3.2. Nivel de Importancia de los aspectos ...................................................... 78
5.2.3. Especificación del Modelo .............................................................................. 81
5.2.3.1. Formulación de la métrica del modelo de evaluación de Sitios web de Educación Superior ...................................................................................................... 81
5.2.3.2. Ponderación de elementos en cada criterio en relación a los aspectos ...... 81
5.2.3.3. Calculo de usabilidad desde el modelo ....................................................... 81
5.2.4. Análisis de los resultados luego de la aplicación del modelo. ......................... 88
5.2.5. Comparativa con paginas Ranking ................................................................. 90
5.2.6. Calculo de usabilidad para un usuario ............................................................ 90
5.2.6.1. Resultados cualitativos ............................................................................... 91
11
6. CONCLUSIONES ..................................................................................................... 93
6.1. Cumplimiento de objetivos ................................................................................. 93
6.2. Aportes de la Investigación ................................................................................ 94
6.3. Nuevas áreas de Investigación .......................................................................... 94
BIBLIOGRAFÍA ................................................................................................................ 95
Anexos ............................................................................................................................ 99
Diagrama de clases y modelo relacional ........................................................................ 100
Apartes del Código de la aplicación ............................................................................... 102
Herramientas de recolección de información ................................................................. 105
12
Índice de Tablas.
Tabla 1. Universidades y direcciones de sus sitios Web, para evaluación heurística. ..... 19 Tabla 2. Factores generales de usabilidad en sitios Web ............................................... 28 Tabla 3. Factores generales de usabilidad en sitios Web ................................................ 29 Tabla 4. Ciclo de acción de Norman (Norman, 2015) ....................................................... 31 Tabla 5. Síntesis de los principios que pueden afectar el aprendizaje (Dix & Finlay, 2008) ........................................................................................................................................ 34 Tabla 6. Síntesis de los principios que pueden afectar la flexibilidad (Dix & Finlay, 2008) ........................................................................................................................................ 34 Tabla 7. Síntesis de los principios que pueden afectar la robustez (Dix & Finlay, 2008) .. 34 Tabla 8. Síntesis de métodos ........................................................................................... 37 Tabla 9. Opiniones de las partes interesadas sobre la calidad en uso ............................. 65 Tabla 10. Actividades realizadas de mayor relevancia por tipo de usuario ....................... 71 Tabla 11. Lista de los aspectos en relación con los principios heurísticos propuestos por Nielsen Jakop .................................................................................................................. 74 Tabla 12. Valoración de los aspectos .............................................................................. 77 Tabla 13. Tabla de valoración de importancia de los criterios. ......................................... 78 Tabla 14. Valoración de los criterios ................................................................................ 81 Tabla 15. Valores para evaluar los criterios. ................................................................... 81 Tabla 16. Tabla de equivalencias entre Valor contextual y Valor de imortancia .............. 81 Tabla 17. Esta es la matriz de coeficientes de correlación entre los 10 principios ............ 83 Tabla 18. Principios orientados a la imagen (Diseño) ..................................................... 84 Tabla 19. Principios orientados a la funcionalidad .......................................................... 84 Tabla 20. Promedios de los 10 principios para cada página evaluada ............................. 84 Tabla 21. Promedios de los 10 principios para cada página evaluada ............................ 85 Tabla 22. Pesos para cada principio en cada concepto ................................................... 85 Tabla 23. Pesos de cada principio en la medición de la usabilidad ................................. 89 Tabla 24. Ranking de las páginas de las universidades .................................................. 89
13
Índice de Figuras
Figura 1. Accesos a Internet en Colombia 1 T 2014 – 1 T 2015. (Colombia, 2015) 15 Figura 2. Representación gráfica de la Hipótesis y su alcance 16 Figura 3. Mapa conceptual de la Usabilidad 20 Figura 4. Relación entre Contexto de uso, Interfaz y Usabilidad (ISO 9241-11) 24 Figura 5. Modelo de calidad del producto definido por la ISO/IEC 25010 26 Figura 6. Usabilidad, atributo de la calidad del producto software ISO/IEC 2510 26 Figura 7. Definiendo usabilidad de acuerdo a Jakob Nielsen 27 Figura 8. Interacción entre el Framework y el Usuario (Dix & Finlay, 2008) 31 Figura 9. Relación de problemas encontrados Vs cantidad de evaluadores, (Nielsen & Robert, Usability Inspection Methods, 1994) 54 Figura 10. Proceso de diseño centrado en el usuario 59 Figura 11. Se presenta el ciclo de vida en el proceso de calidad del software, según ISO/CI 9126 60 Figura 12. Visión del proceso de evaluación según ISO /IEC 14598-1 62 Figura 13. Modelo de referencia de calidad de producto de software según SQuaRE 63 Figura 14. Actividades realizadas de mayor relevancia por tipo de usuario 71 Figura 15. Circulo de correlación 83 Figura 16. Distribución de la usabilidad resultante. 89 Figura 17. Ranking web de universidades, (Webometrics, 2016). 90
14
INTRODUCCIÓN
Las páginas de un sitio Web deben estar provistas de una funcionalidad específica y deben cumplirla como tal, así mismo, deben darle al usuario facilidad de uso y permitir que la interacción hombre y sitio Web sea la mejor, para que el usuario regrese en futuras oportunidades, logrando en cada una de sus visitas, siempre alcanzar sus objetivos. Esto realmente es una utopía, ya que existen muchas páginas en Internet que cuentan con una escasa usabilidad debido esto a que en sí mismo el tema de usabilidad se podría considerar subjetivo, provocando en el navegante, que se cohíba en entrar a un sitio o que entre y salga muy rápido, produciendo, que el usuario incurra en pérdida de tiempo, sentir desmotivación en la exploración y que de alguna manera considere esta labor como tediosa y complicada.
Las instituciones universitarias hoy en día no pueden estimar si los usuarios que ingresan a sus sitios Web, lo hacen a satisfacción y agrado propio, si sus estudiantes o usuarios navegan en sus sitios porque no tienen otra alternativa, si el sitio provee lo que realmente necesita el usuario o cliente, si el navegante se siente seguro navegando por el sitio Web de la universidad, si lo haría nuevamente, si lo hace ocasionalmente, porque desiste y otros factores que determinan la usabilidad del sitio, que para las áreas de desarrollo de las universidades sería muy importante conocer, con el fin de mejorar sus sitios y/o capturar más navegantes, con alguna idea novedosa producto de este estudio. Para obtener resultados que le sean de utilidad a las universidades en Colombia, se realizará una evaluación heurística por 3 expertos en el tema de sitios Web universitarios y como complemento a dicha evaluación se hará un test de usuarios, como resultado de estas dos evaluaciones se obtendrá un modelo de medición y evaluación de usabilidad para sitios Web universitarios, el cual permitirá hacer la evaluación de este tipo de sitios, con un mínimo conocimiento sobre el tema.
15
1. DESCRIPCIÓN DEL PROBLEMA EN INVESTIGACIÓN
De acuerdo al boletín trimestral de las TIC del primer semestre de 2015, en Colombia el número de conexiones a Internet continúa creciendo, teniendo accesos en conexiones a Banda Ancha 10.112.662 en todo el país, y en otro tipo de conexiones es menor a 1000.000 en 611.750 conexiones de internet, que en comparación con el 2014 (primer trimestre), tuvieron un incremento de 1.209.725. Lo anterior se puede ver en la Figura 1.
El potencial de usuarios que hacen su ingreso a Internet con fines de consulta en un sitio web de alguna institución de educación, debería inducir a que los diseñadores y administradores de estos sitios, tengan en cuenta adicionalmente que el acceso se puede realizar desde un computador de escritorio o dispositivo móvil y se preocupen más por la presentación de los contenidos de la misma, con el fin de que los usuarios logren su búsqueda y mantenga las expectativas y que la información presentada está acorde con sus necesidades.
Figura 1. Accesos a Internet en Colombia 1 T 2014 – 1 T 2015. (Colombia, 2015)
Los usuarios de Internet que ingresan a la vorágine de información, con fines diferentes a consultar, buscan satisfacer necesidades tales como, realizar una compra o que realizar alguna transacción, estos usuarios generalmente son más exigentes, necesitan que las páginas a las cuales acceden tengan un diseño sencillo, con gran calidad en contenido y estructura, y además de que les permita lograr sus objetivos, se sientan agradados de haber ingresado al sitio Web. Es el caso de los usuarios de las páginas de instituciones educativas, ingresan a un sitio de estos siempre con una finalidad, estos usuarios requieren que las páginas de dichos sitios cumplan con ciertas características, reglas de usabilidad y seguridad para que puedan cumplir sus objetivos y volver por gusto propio.
1.1. Formulación del problema
¿Es posible que, por medio de la utilización de modelos de evaluación de sitios Web, se pueda elaborar un modelo que permita medir y evaluar la usabilidad de los sitios Web de Instituciones de educación superior en Colombia?
1.2. Hipótesis del trabajo de investigación
El desarrollo del presente trabajo de investigación tiene como base la siguiente hipótesis:
16
“Lograr crear un modelo que permite realizar la medición y evaluación de la usabilidad de sitios Web de educación Superior en Colombia, a través del análisis de las diferentes metodologías y/o modelos de evaluación de usabilidad”
Los sitios Web de universidades en Colombia, en los últimos años han adquirido relevancia para los usuarios de la educación superior, beneficios como el ahorro de tiempo, evitar el desplazamiento, seguridad y reducción de riesgos que la red ofrece a los usuarios, han impulsado a que, a hoy, el 100% de las universidades den mayor relevancia a un Sitio Web robusto.
La Figura 2, muestra gráficamente la formulación de la hipótesis del presente trabajo de investigación.
Figura 2. Representación gráfica de la Hipótesis y su alcance
1.3. Justificación de la investigación
En el área de la usabilidad web existen infinidad de desarrollos académicos y empresariales, con lo que se denota un gran interés en realizar avances en el tema, sin embargo, es muy claro la deficiencia en aplicarlo en la vida real. En que los actores directos
17
en el desarrollo de los sitios web apliquen algún modelo en el momento de su creación y/o actualización
Una de las propuestas de evaluación de la usabilidad es la basada en la revisión de heurísticas, uno de los principales problemas a la hora de realizar una evaluación heurística es, paradójicamente la gran cantidad e heurísticas o pautas de diseño documentadas en la literatura especializada. No se cuenta tampoco con un esquema de organización de las mismas que permita su clasificación y búsqueda. Se constata además que existe muy poca coherencia entre las diferentes propuestas y que incluso algunas de ellas son contradictorias. Todo esto unido a que el modo en que enuncian dichas pautas es muy poco uniforme, sugiere la necesidad de un trabajo de uniformidad y reescritura de las mismas.
La técnica de la evaluación heurística, en el contexto de la evaluación de los sistemas interactivos, es la que está más extendida. En la mayoría de los casos, los resultados obtenidos son de tipo cualitativo que hacen muy difícil determinar en qué nivel de usabilidad puede considerarse el sitio analizado. No resulta sencillo, por lo tanto analizar exhaustiva y rigurosamente los resultados obtenidos de la aplicación de esta técnica de evaluación. Se plantea la necesidad de disponer de resultados cuantitativos asociados a esta técnica de evaluación.
No se ha encontrado un método consensuado que dé soporte a dicho proceso de evaluación y lo más importante, de entre todas las propuestas son muy pocos los que tienen asociada una métrica de evaluación que proporcione un valor cuantitativo representativo del grado de usabilidad alcanzado en el sitio que sirva de referencia o de medida. Además, las propuestas de métricas documentadas obtienen un dominio de aplicación especifico (como sitios web de comercio electrónico) o bien no consideran el tipo de sitio en evaluación para ponderar de alguna manera los resultados obtenidos.
Bien sea por la falta de organización mencionada, que se traduce en la ausencia de modelo para el aseguramiento de la usabilidad, por la falta de conciencia de muchos de los desarrolladores de sitios web respeto a la importancia de la usabilidad como factor de éxito del mismo o por una combinación de ambas, la realidad es que son muchos los estudios que evidencian la falta de usabilidad en muchos de los sitios web en explotación.
Se plantea entonces la necesidad de desarrollar un sistema de evaluación de la usabilidad que pueda ser utilizado en cualquier fase de desarrollo de un sitio web. De esta forma, en las fases iniciales del mismo se podrán adoptar las pautas o criterios propuestos en el sistema y en la fase de evaluación del prototipo o del sitio en explotación, se podrá verificar el cumplimiento de los mismos. Obtener una medida del nivel de usabilidad alcanzado y conocer la relación de los errores detectados en el sitio web ordenados por su prioridad en el arreglo.
Cabe indicar que el sistema de evaluación propuesto se enmarca dentro de un proceso global de evaluación de un sitio web en el que habría que abordar varias fases. Se comenzaría por una revisión de la accesibilidad del mismo, se realizaría a continuación la evaluación heurística propuesta en este trabajo, se rediseñaría el sitio en base a los resultados de evaluación y se completaría esta evaluación con un modelo de evaluación con usuarios considerando la realización de las tareas que se consideren críticas o relevante e involucrando en el mismo, usuarios correspondientes a todas las potenciales audiencias del sitio web en evaluación.
18
Basándose en que si los usuarios de Internet en Colombia, para el año de 2015, están por encima de los seis millones, según el MINTIC, que de estos, navegaron por las diferentes páginas de los sitios Web de educación superior, el 58%, es decir aproximadamente tres millones quinientos mil y que de estos realizaron transacciones un poco mas de dos millones quinientos mil, sin embargo, existe un 12% aproximadamente de usuarios que ingresaron a la universidades desde los sitios web y por razones diversas no realizaron ninguna actividad. Por otro lado, si en Colombia existía a diciembre de 2014, aproximadamente, 17´000.000 de cuentas en el sector universitario, entre cuentas de estudiantes y usuarios no activos, que son los productos, por los cuales, un estudiante puede ingresar a la web universitaria, ¿qué está sucediendo con el resto de los posibles usuarios de este tipo de sitios, que tienen la posibilidad de navegar en y ellos y no lo hacen.
En principio, las universidades, desean saber si, los usuarios que ingresan a sus sitios Web y no realizando actividad alguna, lo hacen porque su sitio, no es fácil de usar, porque se demora en cargar, porque su estructura y forma de presentar la información no le es agradable o porque simplemente el sitio Web no le provoca ningún interés. Por otro lado, es relevante para una entidad universitaria, conocer, que está pasando con sus usuarios que efectivamente están realizando transacciones, en su página de Internet, están satisfaciendo, de forma fácil y segura, sus necesidades y objetivos, además, el sitio les provee accesibilidad, confiabilidad y funcionabilidad. Por último, los usuarios que no han ingresado a la web, no lo han hecho por temor a ser víctima de fraude, inseguridad, desconocimiento de Internet, desconocimiento de la navegación, desconocimiento del sitio Web de la universidad, no le ve la funcionalidad, no le atrae el sitio Web o simplemente no tiene el interés por realizar transacciones en la página web. Lo anterior conlleva a realizar un modelo de medición y evaluación de usabilidad de los sitios Web de educación superior, para que las entidades universitarias conozcan que tan usables son sus páginas de Internet.
1.4. Objetivos de la investigación
1.4.1. Objetivo general
Desarrollar un modelo de medición y evaluación de la usabilidad en sitios Web de educación superior en Colombia, que permita conocer que tanto nivel de usabilidad tienen.
1.4.2. Objetivos específicos
Realizar la medición de usabilidad de sitios Web seleccionados de Instituciones de educación superior en Colombia, para conocer la facilidad de uso, la presentación y estructura de la información, mostrada a través de las páginas.
Utilizar y aplicar metodología(s) y/o modelo(s) de evaluación existente, con la elaboración de un instrumento del campo de la investigación, que facilite la recolección de la información sobre un conjunto de usuarios o muestra, para evaluar los sitios Web de educación superior.
Conocer mediante la métrica de usabilidad, la accesibilidad, la funcionalidad, la confiabilidad y la seguridad, de los sitios Web de las entidades universitarias objeto de la investigación.
Aplicar el modelo de medición elaborado, para utilizarla como evaluación de usabilidad de algunos de los sitios Web de universidades en Colombia. Del análisis
19
de resultados se debe desarrollar un informe ejecutivo, con destino al área de tecnología de las universidades colombianas.
Dar a conocer los resultados obtenidos a las universidades, producto de la aplicación del modelo de medición, dando las respectivas sugerencias, para que se realicen las mejoras en los sitios Web y de esta forma atraer más clientes o usuarios de Internet.
1.5. Alcance y limitaciones
El desarrollo del modelo perseguido en el objetivo, permitirá obtener resultados que le indiquen claramente a un evaluador, si un sitio Web universitario colombiano, cumple con los estándares de usabilidad y de las variables que el modelo en sí, puede medir, como Accesibilidad, Funcionalidad, Contenidos, Confiabilidad y Eficiencia del sitio Web evaluado.
El modelo desarrollado debe ser utilizado únicamente como un medio para obtener resultados de una evaluación, mas no como una guía o un manual de usabilidad. Y ya que la usabilidad en si es un principio subjetivo, el modelo pretende ser guía para que se puedan resolver problemas de esta índole.
1.6. Metodología
La metodología que se aplicará en el desarrollo de la presente investigación, se fundamenta en las siguientes perspectivas:
Evaluación heurística
Test de usuarios
Definición de la métrica de usabilidad
Evaluación heurística: Se realizará a través de los principios formulados por Jakob Nielsen (Nielsen, 10 Usability Heuristics for User Interface Design, 1991) a las Instituciones presentadas en la Tabla 1.
UNIVERSIDAD SITIO WEB
Universidad de los Andes (www.uniandes.edu.co)
Universidad Nacional de Colombia (www.unal.edu.co)
Universidad de Antioquia (www.udea.edu.co)
Universidad del Valle (www.univalle.edu.co)
Pontificia Universidad Javeriana (www.javeriana.edu.co)
Universidad Nacional de Colombia Medellín (www.unalmed.edu.co)
Universidad Tecnológica de Pereira (www.utp.edu.co)
Universidad Distrital Francisco José de Caldas (www.udistrital.edu.co)
Universidad Santo Tomás (www.usta.edu.co)
Universidad de la Sabana (www.unisabana.edu.co)
Tabla 1. Universidades y direcciones de sus sitios Web, para evaluación heurística.
Esta medición se realizará por usuarios de diferentes edades, con grado de escolaridad mínima de grado 11.
20
Según el mapa de usabilidad Figura 1, se realizará una evaluación heurística, por medio de un test que será diseñado para medir eficacia, eficiencia, estética y algunos factores de accesibilidad. El test será adaptado por el autor de la presente investigación teniendo en cuenta los principios de usabilidad de Nielsen Jakob (Nielsen, 10 Usability Heuristics for User Interface Design, 1991).
Figura 3. Mapa conceptual de la Usabilidad
Test de usuarios: Posterior a la evaluación heurística desarrollada por el autor, se diseñará un test de usuarios, el cual permitirá medir y concluir con los factores que hayan quedado pendiente con la evaluación heurística, como satisfacción, eficiencia en cuanto a contenidos y facilidad de uso, accesibilidad y estética, factores que pueden ser medidos por un grupo de usuarios con o sin experiencia en el uso de Internet y de los sitios Web de universidades de Colombia.
La población objeto de investigación, es de tipo infinita, ya que no se conoce exactamente, cuantas personas puedan utilizar un sitio Web universitario, aunque toma como referencia la cantidad de usuarios que proponen distintos autores, tal como se verá en el desarrollo del presente trabajo.
21
2. FUNDAMENTOS DE USABILIDAD
Se refiere a usabilidad para expresar la facilidad con que se pueden utilizar una herramienta –Tangible o intangible-. También podría referirse al método de medida de la usabilidad y el estudio de los principios de facilidad de uso y satisfacción al usarlo.
Cuando se habla de usabilidad, se podría referir a la ergonomía aplicada en sistemas de información, software –escritorio, aplicativos móviles- , páginas web –como parte de un portal web-, y todo tipo de herramienta, es por esta razón que se evita cometer errores en el desarrollo de elementos para el uso humano, el que puede ocasionar que una excelente creación no sea aceptada.
Usabilidad se usa para referirse a la calidad de la interacción entre el usuario y un computador, los cuales involucran aspectos de forma, color y contenido entre otros (Lillo Jover, 2000).
2.1. Usabilidad
La definición de usabilidad (Preece, 1993) y (Zetie, 1995) y las dadas en ISO 9241-11 (ISO, Stage 2013), coinciden en dos aspectos fundamentales que se deben considerar, la Eficacia y el Grado de satisfacción.
Entonces que diferencia a una aplicación sea usable y otra no, esto se responde desde el punto de vista donde el usuario pueda desarrollar de formar fácil un aprendizaje y a su vez responder, ¿Qué es lo que puedo hacer con la aplicación?, ¿Qué lógica debe aplicarse para interactuar con la aplicación? (Lillo Jover, 2000).
2.2. Conociendo de usabilidad
Según (Shackel, 2009) , la usabilidad se puede definir como: "La capacidad en términos de funcionalidad humana, a ser usada de forma fácil y eficaz, por un rango especificado de usuarios, después de dar al usuario, una capacitación y soporte , para cumplir con un grupo específico de tareas, dentro de un rango especificado de escenarios " , aunque existen definiciones más recientes de usabilidad, que afirman explícitamente que debe tenerse en cuenta la "satisfacción del usuario", pero se excluye el hecho de tener que dar "formación específica y apoyo a los usuarios". Sin embargo, las definiciones más recientes aún están en armonía con el marco de usabilidad en su estado actual.
Al momento de realizar cualquier evaluación, se deben considerar factores, que según (Preece, 1993), apoyan el marco de trabajo de usabilidad, como el nivel de experiencia de los usuarios, el tipo de tarea que se está llevando a cabo, el sistema que se utiliza, y el entorno en el que se desarrolla el estudio.
La Organización de Normas Internacionales (ISO) define la usabilidad como: "La medida en que un producto puede ser utilizado por usuarios específicos para alcanzar objetivos concretos con eficacia, eficiencia y satisfacción " (ISO, Stage 2013).
(Åborg, Sandblad, Gulliksen, & Magnus, 2003), (Costabile, De Marsico, Lanzilotti, Plantamura, & Roselli, 2005), de acuerdo con la definición anterior, se puede concluir que la usabilidad del sistema comprende la capacidad de aprendizaje, la eficacia, la eficiencia
22
y la satisfacción (Hugo, 1998) con la cual los usuarios pueden alcanzar objetivos específicos en un entorno particular, donde se evidencian los siguientes aspectos:
Eficiencia: mide la exactitud y la integridad de los objetivos alcanzados en relación con los recursos, por ejemplo, el tiempo y el esfuerzo dedicado.
El Aprendizaje: mide el tiempo que se tarda en acostumbrarse al sistema y su funcionamiento, y lo fácil que es recordar los detalles operativos;
La efectividad: mide la precisión e integridad de los objetivos alcanzados;
La satisfacción: mide la forma en que el usuario recorre el sitio y vuelve nuevamente.
Sin embargo, esta definición no se aplica estrictamente a cualquier entorno, y por esta razón muchos autores, basándose en la definición anterior, tienen su propio concepto de usabilidad.
Como ejemplo, (Karoulis & Pombortsis, 2003) definen la usabilidad de un sistema como su capacidad para funcionar eficaz y eficientemente, a la vez que proporcionan satisfacción subjetiva a sus usuarios. La usabilidad también puede definirse como el grado en que un usuario puede aprender y utilizar con eficacia un sistema para terminar un trabajo (Jones, 2000)
(Preece, 1993), y otros autores señalan que los factores humanos, la eficiencia y la eficacia del sistema y la interacción con el usuario, se deben considerar al momento de analizar la usabilidad de un sistema. Los factores humanos incluyen una comprensión de los aspectos psicológicos, ergonómicos, organizativos y sociales.
(Holzinger, 2005) y (Karoulis & Pombortsis, 2003) enumeran ciertas características asociadas con la usabilidad de un sistema:
Fácil de aprender: el usuario puede trabajar rápidamente con el sistema;
Eficiente de usar: una alta productividad puede ser obtenida del sistema por un usuario que ha aprendido el sistema;
Fácil de recordar: un usuario casual puede volver a usar el sistema después de un período sin tener que volver a aprenderlo;
No conduce a errores: muestra que un usuario no comete muchos errores durante el uso del sistema, o cuando lo hace, puede recuperarse;
Agradable de usar: el usuario obtiene satisfacción subjetiva al usar el sistema, es decir, disfruta usarlo.
Aspectos como, la facilidad de uso y la efectividad se pueden definir de forma cuantificable, como sigue (Chapanis, 1991)
Facilidad de puesta en marcha: el tiempo necesario para abrir una aplicación, o para instalar un programa y empezar a usarlo;
23
Facilidad de aprendizaje: el tiempo necesario para aprender a realizar un conjunto de tareas con el sistema;
Puntuaciones de errores: el número de errores cometidos o el tiempo necesario para corregir errores;
Funcionalidad: el número de cosas diferentes que el programa puede hacer;
Calificación por el usuario de la facilidad de uso: aunque las percepciones de los usuarios no se pueden observar, se pueden medir por sus calificaciones.
La usabilidad es esencial en el desarrollo de aplicaciones, donde se debe evitar que el alumno pase demasiado tiempo tratando de entender la funcionalidad del sistema en lugar de comprometerse con el contenido, haciendo que el sistema sea fácil de usar, es decir, que la interfaz de la aplicación debería ser prácticamente invisible para el alumno (Costabile, De Marsico, Lanzilotti, Plantamura, & Roselli, 2005).
Lo anterior indica que la usabilidad permite tener un sistema fácil y seguro de usar, que es capaz de satisfacer los requisitos de los usuarios en un entorno particular. Aparte de la eficiencia, la eficacia del sistema, y la necesidad de satisfacción del usuario, las tres áreas de enfoque de usabilidad son: el usuario, la tarea y el entorno.
El alto grado de crecimiento en los desarrollos informáticos y la devastadora introducción de la web, al alcance de todos, tanto la una como la otra, hace que el diseño se centralice en el usuario, haciendo que todo desarrollo sea intuitivo, ya que el usuario busca alcanzar metas por el camino más rápido y fácil posible.
A continuación, se esbozan algunas definiciones de usabilidad referentes a nivel mundial.
2.3. Definición ISO 9241-11
Usabilidad significa hacer que los productos y sistemas sean más fáciles de usar y que se adapten mejor a las necesidades y requerimientos del usuario.
La norma internacional, ISO 9241-11, proporciona una guía sobre usabilidad y la define como:
“La medida en que un producto puede ser utilizado por usuarios especificados para alcanzar los objetivos especificados con eficacia, eficiencia y satisfacción en un contexto específico de uso.”
La usabilidad se trata de:
Eficacia: ¿pueden los usuarios completar tareas, alcanzar metas con el producto, es decir, hacer lo que quieren hacer?
Eficiencia - ¿cuánto esfuerzo necesitan los usuarios para hacer esto? (A menudo se mide en el tiempo)
Satisfacción - ¿qué piensan los usuarios acerca de la facilidad de uso de los productos?... que se ven afectados por:
24
Los usuarios - ¿quién está usando el producto? p.ej. ¿Son usuarios altamente capacitados y experimentados, o novatos?
Sus objetivos - ¿qué están intentando hacer los usuarios con el producto? ¿Apoya lo que quieren hacer con él?
La situación de uso (o "contexto de uso") - ¿dónde y cómo se utiliza el producto?
Sin embargo, la usabilidad no debe confundirse con la "funcionalidad", ya que se trata únicamente de las funciones y características del producto y no tiene ninguna influencia sobre si los usuarios pueden usarlas o no. ¡El aumento de funcionalidad no significa una mejor usabilidad!
En la Figura 4 se muestra la relación entre Contexto de uso, Interfaz y Usabilidad en relación a la norma ISO 9241-11
Figura 4. Relación entre Contexto de uso, Interfaz y Usabilidad (ISO 9241-11)
En otras palabras, la usabilidad, incluso en el ojo de expertos en usabilidad tal como Nielsen, trasciende o algo que a menudo se llama experiencia de usuario.
La mayoría de los estudios de usabilidad y experiencia de usuario parecen centrarse en sitios web comerciales y / o sitios con estructura de contenido fácil. Los sitios web complejos (por ejemplo, grandes hipertextos o sofisticadas aplicaciones web, sitios académicos) necesitan ser aprendidos, ya que no todo puede ser "desactivado" para los usuarios que solo van una vez. El enfoque debe incluir la capacidad de aprendizaje, que a menudo se confunde con la familiaridad en las pruebas de usabilidad tradicionales.
Eficacia
Eficiencia
Libre de errores
Satisfacción
Usuario
Plataforma
Ambiente
Contexto de uso
Producto/ Interfaz
Objetivos/ Metas
La usabilidad es especifica de la meta que el usuario
desea alcanzar
Resultados de la interacción
Objetivos a lograr
Usos
Usabilidad
25
2.4. Definición ISO/IEC 25010
Es indudable que el termino de usabilidad está relacionado con "Calidad de la Interfaz Web", en ISO / IEC 25010 (ISO/IEC, ISO/IEC 25010 del 2011, Systems and software engineering – Systems and software Quality Requirements and Evalution (SQuaRe)- System and software quality models, 2011)(que ha reemplazado ISO/IEC 9126) han profundizado en este tema. Esa norma se refiere a la ingeniería de software y la calidad del producto y, entre otras cosas, se refiere a tres niveles diferentes de métricas de calidad:
Métricas internas, miden un conjunto de atributos estáticos (por ejemplo, relacionados con la arquitectura y la estructura del software).
Métricas externas, que se relacionan con el comportamiento de un sistema (es decir, se basan en la ejecución del software).
Métricas en uso, que implican usuarios reales en un contexto dado de uso.
ISO / IEC 25010 define la usabilidad como un subconjunto de calidad en uso, lo que tiene sentido ya que la "usabilidad" se deriva de la palabra "uso" y no puede aplicarse de manera significativa a productos que no se utilizan realmente. Sin embargo, es posible sacar inferencias sobre la usabilidad de los atributos estáticos y las medidas que dependen sólo de la ejecución del software. Por lo tanto, transferimos los tres tipos de métricas anteriores al contexto de la evaluación de la usabilidad. En analogía, esto nos da tres niveles de métricas de usabilidad:
Métricas internas de usabilidad
Métricas de usabilidad externas y
Métricas de usabilidad en uso
Esto significa que, si queremos evaluar la usabilidad, primero tenemos que indicar cuál de los niveles anteriores estamos investigando.
El primero (métricas internas de usabilidad) puede ser evaluado con un análisis de código estático, como por ejemplo llevado a cabo por herramientas de accesibilidad que, entre otras cosas, comprueban si los atributos alt1 de todas las imágenes se establecen en una página web.
La segunda (métrica de usabilidad externa) puede ser evaluada en términos de un experto que pasa por una interfaz que se renderiza sin utilizar el producto.
1 Según la recomendación del W3C el atributo alt es empleado para alguna representativa del tipo alternativa, lo que actuaría en reemplazo de la imagen, en casos, cuando se opta por no cargar imágenes de un sitio web –conexión lenta e imagen muy grane- (caso usabilidad), también se puede considerar que alguien no pueda ver las imágenes –problemas de visión- (caso accesibilidad).
26
ISO/IEC 25010 está compuesto por ocho características de calidad, Adecuación funcional, Eficiencia de Desempeño, Compatibilidad, Usabilidad, Fiabilidad, Seguridad, Mantenibilidad, Portabilidad, los cuales se muestran en la Figura 5. (iso25000, 2015)
Figura 5. Modelo de calidad del producto definido por la ISO/IEC 25010
Según la norma ISO/IEC 25010, usabilidad se define como la capacidad del producto de software para que se entienda, se aprenda, se use y que sea atractivo al usuario, cuando se usa bajo determinadas condiciones. Estas características se subdividen a su vez en: Figura 6 (iso25000, 2015)
Inteligibilidad. El producto habla y le dice si es lo que necesita o no.
Aprendizaje. No se requiere ser experto para aprender a usarlo
Operabilidad. Un producto fácil de usar, sin necesidad de guías en su parte más sencilla.
Protección contra errores de usuario. Un sistema a prueba de errores, por mas que el usuario quiera, no se puede producir el error.
Estética. El usuario es atraído por el producto, que en conjunto es fácil de usar.
Accesibilidad. El producto permite ser usado por usuarios con tipologías de discapacidad.
Figura 6. Usabilidad, atributo de la calidad del producto software ISO/IEC 2510
Por último, las métricas de usabilidad en uso se evalúan comúnmente con estudios de usuario, ya sea en un sitio web en vivo o en un entorno más controlado.
Cal
idad
del
pro
du
cto
So
ftw
are
Usabilidad
Inteligibilidad
Aprendizaje
Operabilidad
Protección frente a errore de usuario
Estética
Accesibilidad
27
2.5. Definición de Jakob Nielsen
Desde la definición de Jakob Nielsen (Nielsen & Loranger, Usabilidad. Prioridad en el diseño Web, 2006), la usabilidad es un atributo que indica facilidad de uso. Se refiere a la rapidez con que se puede aprender a utilizar algo involucrando la eficiencia al utilizarlo, cuán memorable es, cuál es su grado de propensión al error, y en definitiva cuánto les gusta a los usuarios. Teniendo en cuenta que, si una característica no se puede usar o no se usa, es como si no existiera.
Desde donde se percibe la usabilidad como un conjunto en cinco atributos: Aprendizaje, Eficiencia, Memorización, Prevención de error y Satisfacción subjetiva.
Aprendizaje, significa que nuevos usuarios deberían aprender fácilmente a usar el sistema.
Eficiencia, el sistema debería ser eficiente para uso cuando el usuario ha aprendido a usarlo.
Memorización, el sistema deberá ser fácil de recordar incluso después de algún periodo sin uso.
Prevención de error, el sistema deberá tener un bajo porcentaje de error y el usuario deberá fácilmente recuperarse de posibles errores.
Satisfacción, significa que el sistema debe ser agradable de usar. En el modelo de Nielsen, la usabilidad es
“Parte de la utilidad del sistema, la cual es parte de la aceptabilidad práctica y, finalmente parte de la aceptabilidad del sistema”, tal como muestra la Figura 7.
Figura 7. Definiendo usabilidad de acuerdo a Jakob Nielsen
2.6. Factores generales de usabilidad en sitios Web.
Al desarrollar un sitio web, se deben tener en cuenta lo siguientes factores, de esta forma nos aproximamos a que el usuario pueda llegar a su objetivo en la visita. Siento este el fin de la usabilidad.
Aceptabilidad del Sistema
Aceptabilidad Social
Aceptabilidad Prática
Utilidad
Utilidad Usabilidad
Fácil de Aprender
Eficiencia de Uso
Fácil de Recordar
Pocos errores
Subjetivamente Agradable
Costos compatibilidad Confiabilidad
28
Factor Descripción
Anticipación Las necesidades de los usuarios deben ser anticipadas.
Autonomía El usuario debe sentir que está en un entorno finito, y que puede recorrer todo sin miedo a perderse
Integralidad en los colores
El color no debe abrumar al usuario ni mucho menos confundirlo y antes que nada distraerlo de la su intención inicial.
Consistencia Lo que ofrece un sitio web es lo que usuario busca. Evitar las falsas expectativas.
Eficiencia del usuario El sitio web se debe centrar en la productividad del usuario. El usuario debe llegar a su meta con la mínima cantidad de pasos
Reversibilidad El sitio web debe permitir retroceder las acciones realizadas.
Cumplir con la Ley de Fitts
En donde el tiempo para alcanzar un objetivo con el ratón está en función de la distancia y el tamaño del objetivo. A menor distancia y mayor tamaño más facilidad para usar un mecanismo de interacción.
Cualquier interacción en el sitio web
Debe tener optimizado los tiempos de espera del usuario, y en caso de que los tiempos se prevean mayores, deben permitir al usuario la posibilidad de realizar otras tareas mientras se completa la carga completa, y debe mantener informado al usuario de los tiempos pendientes para la finalización.
Aprendizaje El lograr que el aprendizaje de los procesos para usar el sitio web en pro de la búsqueda de los objetivos, sea el mínimo posible, es uno de los factores que hacen la diferencia entre sitios web.
A prueba de pérdidas. El usuario debe lograr recuperar lo que estaba realizando en caso de que en el sitio web se produzca una falla.
Legibilidad la combinación de cada componente, en cuanto a color, tamaño y ubicación debe hacer que el sitio sea entendible
Seguimiento de las acciones del usuario.
Permitir al usuario la posibilidad de almacenar acciones que con frecuencia realice en el sitio web
Interfaz visible. Todo debe estar a la vista, en lo posible evitar elementos que deban ser inferidos, tales como menús desplegables.
Tabla 2. Factores generales de usabilidad en sitios Web
2.7. Finalidad al aplicar usabilidad
Alcance de resultado
El usuario debe alcanzar sus objetivos con un mínimo esfuerzo y resultados máximos.
Sitio Web amable
Un sitio web no ha de tratar al usuario como un enemigo. Cuando el usuario cometa un error el sitio web debe solucionar el problema, o sugerir soluciones posibles, y evitar respuestas que solo informen del error, culpando al usuario y confundiéndolo.
29
A prueba de errores
El sitio web debe mantenerse siempre en funcionamiento, evitando los resultados inesperados y mucho menos link (enlaces) rotos
A la medida del usuario
El sitio web debe ajustarse a necesidad de los usuarios. En cuanto mayor sea el número de tareas que un usuario pueda realizar, mayor es la probabilidad que cometa un error. Se debe limitar el número de acciones al usuario y de esta forma facilitar el uso del sitio web.
Evitar el exceso de información.
El usuario no debe sufrir un exceso de información, la idea es que cuando un usuario visite un sitio web sepa en donde debe comenzar a leer.
Consistente en diseño.
El sitio web debe ser consistente en todos los aspectos de presentación, color, línea de vida, línea de seguimiento, debe existir consistencia entre la información y el diseño.
Mantener al usuario informado.
El sitio web debe proveer información permanente al usuario, que apoye la consecución de sus objetivos.
Tabla 3. Factores generales de usabilidad en sitios Web
30
3. EVALUACIÓN DE LA USABILIDAD
Usabilidad es un término que define un aspecto de la interacción entre el humano y un sistema de cómputo o Interacción Humano – Computador HCI (Human computer Interaction), e indica la calidad de la interfaz de usuario, teniendo en cuenta el diseño, prueba e implementación de un sistema informático interactivo que se enfoque en como una persona usa un computador para desempeñar una tarea específica.
El factor clave al momento de identificar los requerimientos para aplicar usabilidad, es entender las necesidades del usuario al momento del desarrollo y uso del producto. Por lo anterior, se deben analizar y comparar, los distintos métodos de evaluación de la usabilidad, ya que desde hace más de veinte años se han realizado estudios de comparación, y aun se considera un campo poco explorado a nivel de investigación y de aplicación.
El método de evaluación heurístico HE (heuristic evaluation), busca determinar los problemas de usabilidad en las aplicaciones de aprendizaje electrónico basadas en la web, por lo que es importante hacer una revisión general de la usabilidad y sus principales métodos de evaluación, como las técnicas de consulta a usuarios o técnicas de consulta a expertos.
3.1. Interacción Humano – Computador (HCI)2
Debido a que HCI es un enfoque multidisciplinario para el diseño, evaluación e Implementación de sistemas informáticos interactivos para uso humano, es importante entender los modelos de interacción entre la computadora y el comportamiento humano, al momento de consumir un producto, y las formas de interacción.
Por ejemplo, existen algunos modelos que explican la interacción entre el humano y la computadora, como el modelo de ciclo de acción de norman (Norman’s Action Cycle Model) Tabla 4, el cual trabaja con dos fases repetitivas: Ejecución y evaluación.
En la etapa de ejecución, se observa el objetivo que tiene la persona al usar el producto y se traduce en intenciones más específicas, para ejecutar las acciones pertinentes, completando así la fase de ejecución. La fase de evaluación comienza cuando el usuario percibe e interpreta el estado resultante del sistema. Si el estado del sistema, refleja la meta del usuario, entonces la computadora ha hecho lo que se requiere y la interacción ha sido exitosa. Si el objetivo del usuario no se cumple, debe formular una nueva meta y repetir el ciclo. Este modelo muestra que si las acciones permitidas por el sistema corresponden a las previstas por el usuario, la interacción será efectiva. Sin embargo, uno de los inconvenientes de este modelo es que se concentra totalmente en la visión del usuario y de la interacción, pero no se preocupa por manejar la comunicación del sistema a través de la interfaz.
2 HUMAN COMPUTER INTERACTION
31
Tabla 4. Ciclo de acción de Norman (Norman, 2015)
El aspecto de la comunicación del sistema, en el modelo norman, se maneja en el marco de trabajo de interacción, el cual es una descripción de cómo interactúan: El sistema, la entrada y la salida y el usuario.
Figura 8. Interacción entre el Framework y el Usuario (Dix & Finlay, 2008)
La entrada y la salida pertenecen a la interfaz. En la Figura 8 se muestran los cuatro pasos en el ciclo de interacciones, que representa las transiciones entre un componente y otro. El usuario comienza la interacción con la formulación de una meta u objetivo y una tarea para lograrla, la cual debe considerarse como una entrada al sistema. El sistema se transforma ahora en un nuevo estado, la salida, que debe ser comunicada y presentada al usuario, el cual, debe observar la salida y evaluar los resultados de la interacción con respecto a la meta original, terminando así, el ciclo de interacción.
3.1.1. Estilos de interacción
Una interacción, se define como una comunicación o conversación entre la computadora y el usuario, cuya eficacia depende de cómo se escoge el estilo de interfaz. Por ejemplo, un estilo de interfaz muy usado es el menú, donde las opciones que le interesan al usuario, se muestran en pantalla, y se pueden elegir con los periféricos como el teclado o el ratón. Una forma básica de interactuar con el usuario es la interfaz de línea de comandos, donde se manejan las instrucciones básicas propias del computador. Otras formas de interacción se muestran a continuación:
Espacios de escritura libre: Se usa el lenguaje natural como entrada al computador
Preguntas y respuestas: Se plantea un conjunto de preguntas cerradas para que el usuario responda paso a paso
32
Formularios: El usuario tiene acceso a un tipo de formulario con ciertos espacios para ser llenados.
Apuntar y elegir: Objetos como botones, que permiten al usuario elegirlos y producir una acción.
Elementos propios de Windows: Elementos que componen una interfaz de Windows. WIMP.
Los entornos actuales más comunes para la computación interactiva se basan en WIMP, especialmente en los entornos de PC y estaciones de trabajo. Sin embargo, en muchas aplicaciones multimedia y en navegadores Web, la mayoría de las acciones se pueden implementar con un solo clic del botón del ratón. Este estilo de interfaz punto a clic está estrechamente relacionado con el estilo WIMP. La filosofía de apuntar y hacer clic es más simple que la de WIMP y está más estrechamente ligada a la idea de hipertexto. La elección del estilo de la interfaz y el contexto en el que se utiliza determina la naturaleza de la interacción entre el ser humano y la computadora (Dix & Finlay, 2008).
Los estilos interactivos más comunes se basan en WIMP, especialmente en los entornos de computadores personales y estaciones de trabajo. Sin embargo, en muchas aplicaciones multimedia y en navegadores Web, la mayoría de las acciones se pueden generar con periféricos como el ratón. Este estilo de relacionado con el estilo WIMP. La filosofía de apuntar y hacer clic es más simple que la de WIMP. La elección del estilo de la interfaz y el entorno en el que se utiliza determina la naturaleza de la interacción entre el ser humano y la computadora (Dix & Finlay, 2008).
Sin embargo (Preece, 1993) señalan que la tendencia reciente ha sido promover paradigmas de interacción más allá del escritorio, debido a los avances en las tecnologías inalámbricas, móviles y de mano. Algunos de los paradigmas propuestos por los investigadores para guiar el diseño futuro de la interacción y el desarrollo del sistema incluyen:
Computación ubicua: se trata de tecnología incorporada en el entorno, a menudo desapercibida por el usuario;
Computación penetrante: integración perfecta de tecnologías;
Computación portátil: tecnología que se puede llevar a cualquier parte.
3.1.2. Ergonomía
La ergonomía, es el estudio de las características físicas de la interacción, que incluyen factores propios del comportamiento humano cómo el diseño de los controles, el entorno físico en el que tiene lugar la interacción junto al diseño y cualidades físicas de la pantalla. (Dix & Finlay, 2008), (Lillo Jover, 2000):
El objetivo principal es la mejora del rendimiento del usuario y la forma en que la interfaz funciona a favor o en contra del rendimiento. La ergonomía incluye elementos de la sicología humana y sus limitaciones, por lo que se tienen en cuenta aspectos como los colores que se usan, el estado de salud del usuario, el entorno físico donde se encuentra y la disposición de los controles y la pantalla del producto. (Dix & Finlay, 2008):
33
3.1.3. Diseño de la Usabilidad
Shneiderman, Plaisan y otros autores (Shneiderman, Plaisant, & M, 2016) afirman que el diseño de la usabilidad debe basarse en la observación de los usuarios, mediante un análisis reflexivo de las frecuencias y secuencias de las tareas a realizar. Las metas para validar el diseño de la interfaz de usuario deben incluir los siguientes factores humanos medibles, para evaluar la usabilidad (Hoffer, George, & Valacich, 1999); (Shneiderman, Plaisant, & M, 2016):
Tiempo de aprendizaje;
Velocidad de rendimiento;
Tasa de errores de los usuarios;
Retención en el tiempo;
Satisfacción subjetiva.
3.1.3.1. Análisis del usuario
El análisis de los usuarios, según (Shneiderman, Plaisant, & M, 2016), requiere la comprensión de aspectos como la edad, el género, las capacidades físicas, la educación, la cultura, el entrenamiento, la motivación, los objetivos y la personalidad. Estos factores pueden ayudar al diseñador a saber si el usuario es principiante o experto. 3.1.3.2. Análisis de tareas
Preece (Preece, 1993) describe el análisis de tareas, como el proceso de obtener descripciones de lo que la gente hace, representarlas, predecir dificultades y evaluar sistemas con usabilidad o requisitos funcionales. El análisis de tareas se refiere a “lo que la gente hace para hacer las cosas”. 3.1.3.2.1. El entorno
El objetivo principal del diseño de la usabilidad en un sistema es su enfoque a los usuarios y las tareas que deben realizar, en el entorno escogido. Un buen diseño de usabilidad debe llegar a sistemas eficientes y efectivos, que satisfagan las necesidades de los usuarios.
3.1.4. Principios de usabilidad
Dix y Finlay (Dix & Finlay, 2008) afirman que los principios de interacción entre el ser humano y el ordenador son independientes de la tecnología utilizada, ya que, lo más importante, es la comprensión de la persona, es decir, del usuario.
Los principios de usabilidad pueden dividirse en tres categorías (Dix & Finlay, 2008), (Galitz, 2007):
Aprendizaje;
34
Flexibilidad;
Robustez.
3.1.4.1. Aprendizaje
La capacidad de aprendizaje es la facilidad con la que los nuevos usuarios pueden comenzar una interacción eficaz y lograr el máximo rendimiento. Los principios específicos que apoyan la capacidad de aprendizaje y sus correspondientes significados se dan en la Tabla 5
Principios Definiciones
Predictibilidad Soporte para que el usuario determine el efecto de una acción futura basada en el historia de interacciones anteriores
Síntesis Apoyo al usuario para evaluar el efecto de las operaciones pasadas sobre el estado actual.
Familiaridad Se puede considerar como la forma en que se mide el conocimiento y la experiencia de un usuario en entornos reales o informáticos versus nuevos entornos.
Generalización Se refiere a la capacidad que tiene un usuario para aplicar lo aprendido en un sitio en uno totalmente nuevo.
Coherencia Forma en que se comporta el usuario, cuando los productos son similares.
Tabla 5. Síntesis de los principios que pueden afectar el aprendizaje (Dix & Finlay, 2008)
3.1.4.2. Flexibilidad
La flexibilidad indica las distintas formas en que un usuario intercambia información con el sistema. Los principios específicos que apoyan la flexibilidad y sus correspondientes significados se dan en la Tabla 6.
Tabla 6. Síntesis de los principios que pueden afectar la flexibilidad (Dix & Finlay, 2008)
3.1.4.3. Robustez
La robustez es el nivel de apoyo proporcionado al usuario para determinar el logro exitoso y la evaluación de metas. Los principios específicos que soportan la robustez y sus correspondientes significados se dan en la Tabla 7.
Tabla 7. Síntesis de los principios que pueden afectar la robustez (Dix & Finlay, 2008)
Principios Definiciones
Dialogo inicial Le permite al usuario liberarse de restricciones artificiales en el dialogo impuesto por el Sistema
Multi-threading La habilidad que tienen los usuarios para poder pertenecer a más de una tarea
Migración de tareas Capacidad de pasar el control de la ejecución de una tarea determinada para que sea internalizada por el usuario o el sistema o compartida entre ellos.
Substitutividad Indica que los valores equivalentes de entrada y salida sean arbitrariamente sustituidos entre sí
Personalización Capacidad para que el usuario adapte la interfaz a su gusto.
Principios Definiciones
Observación Capacidad del usuario para evaluar el estado interno del sistema desde su percepción
Recuperación Capacidad de un usuario para tomar medidas correctivas una vez que se ha reconocido un error
Respuesta Percepción del usuario sobre la velocidad de comunicación con el sistema
Conformidad de tareas Soporte a tareas El grado en que los servicios del sistema soportan todas las tareas que el usuario desea realizar
y de la manera en que el usuario las entiende
percepción
35
3.2. Evaluación de Usabilidad y Clasificación de UEMs3
3.2.1. ¿Qué es la evaluación de la usabilidad?
La evaluación de la usabilidad se refiere a la recopilación de información sobre la posible usabilidad de un sistema para mejorar su interfaz o evaluarla. El objetivo es determinar posible eficacia de una interfaz en uso o proporcionar un medio para sugerir mejoras a la misma (Preece, 1993). Adicionalmente la evaluación permite (Dix & Finlay, 2008):
Evaluar el alcance de la funcionalidad del sistema;
Evaluar el efecto de la interfaz en el usuario;
Identificar los problemas específicos del sistema.
Es necesario evaluar el diseño y probar los sistemas para asegurar que se comporten adecuadamente y cumplan con los requisitos del usuario. Esto significa que la evaluación no debe considerarse como una fase única, ya que se llevará a cabo a lo largo del ciclo de vida del desarrollo de los sistemas (Dix & Finlay, 2008).
Existen varios métodos de evaluación de la usabilidad (UEMs). Mientras que algunos de ellos involucran a los usuarios directamente, otros llaman indirectamente a una comprensión de las necesidades de los usuarios y su psicología (Preece, 1993).
3.2.2. Definición formal de un método de evaluación de usabilidad
"Un método de evaluación de usabilidad es un procedimiento sistemático para registrar datos relacionados con la interacción del usuario final con un producto o sistema " (Fitzpatrick, 1998). Una vez registrados los datos, se pueden analizar y evaluar para determinar el nivel de usabilidad.
3.2.3. Enfoques de la evaluación
Según varios autores, los diferentes enfoques de la evaluación pueden clasificarse de acuerdo a la participación de los usuarios finales, la etapa del desarrollo del sistema y el lugar donde se llevará a cabo la evaluación.
3.2.3.1. Participación del usuario
En “task-centered user interface design” (Lewis & Rieman, 1993) Sugieren que la evaluación del sistema debe hacerse con usuarios y sin usuarios. (Preece, 1993) Señala que los métodos que no involucran a los usuarios finales pueden ser adecuados para la evaluación de ciertos sistemas. Sin embargo, otros enfoques de evaluación, como la investigación contextual, que involucra directamente a los usuarios, deberían ser utilizados, de ser posible, de forma independiente. Esto resulta en la recopilación de información, por parte de los usuarios, sobre los problemas de usabilidad de los sistemas en su entorno natural, colaborando para identificar problemas de usabilidad.
3 UEMs, métodos de evaluación de la usabilidad
36
3.2.3.2. Evaluación formativa y sumativa
En “Usability Engineering” (Faulkner, 2000) Describe dos tipos principales de evaluación: la evaluación formativa, que se lleva a cabo durante el desarrollo del sistema con el fin de formular y perfeccionar el diseño del sistema y la evaluación sumativa, evaluando el impacto, la usabilidad y la eficacia y el rendimiento general del usuario y del sistema. (Preece, 1993) Sostiene que la evaluación está estrechamente relacionada con el diseño y desarrollo de un sistema y que puede hacerse durante cualquiera de las fases de desarrollo del sistema, con una evaluación formativa realizada antes de la implementación, para influir en el producto que Y se realizará una evaluación sumativa después de la implementación con el objetivo de probar el buen funcionamiento del sistema final. En resumen, la evaluación formativa se utiliza para adaptar un sistema, mientras que la evaluación sumativa se utiliza a menudo antes de adoptar un sistema, o para la selección entre diferentes sistemas. Control de calidad, en el cual se revisa un sistema para determinar si cumple con sus especificaciones y pruebas, lo que se hace para determinar si un producto cumple con las normas nacionales o internacionales prescritas (tales como las Organización Internacional Normalizada), son también formas de evaluación sumativa.
3.2.3.3. Lugar de la evaluación
En “Human-Computer Interaction” (Dix & Finlay, 2008) distinguen los estilos de evaluación según su ubicación. Se realizan evaluaciones en el entorno del laboratorio, y las evaluaciones realizadas en el entorno natural. Para el modelo que se busca, se plantearon dos escenarios, sin embargo, los resultados no fueron distantes, por tal motivo no se tuvo en cuenta en el momento de la formulación.
Los estudios de evaluación llevados a cabo en el laboratorio a veces se realizan sin la participación del usuario, especialmente cuando el sistema aún no se ha implementado. Sin embargo, los usuarios también pueden ser participantes en tales estudios, por ejemplo, pruebas informales de usabilidad bajo condiciones controladas en laboratorios de usabilidad. Las evaluaciones realizadas en el lugar de trabajo llevan al diseñador o evaluador al entorno de trabajo del usuario para observar cómo el sistema es utilizado por los usuarios reales que realizan sus tareas diarias.
Aparte de los diferentes estilos o enfoques de evaluación que se han identificado, existen una serie de métodos. Estos se identifican en la siguiente sección.
3.2.4. Clasificación de los métodos de evaluación de la usabilidad.
Esta sección comienza con una visión general de las clasificaciones dadas por algunos de los principales investigadores y autores en el campo de HCI. La información se resume en la Tabla 8, constituye una base para una clasificación. Los autores cuyas clasificaciones se dan en la Tabla 8 son (Preece, 1993), (Shneiderman, Plaisant, & M, 2016), (Dix & Finlay, 2008) y (Nielsen, Designing Web Usability, 1999). Sus clasificaciones se resumen brevemente, cada columna de la tabla enumera los diferentes métodos identificados por un autor particular, secuenciado de tal manera que cada fila de la tabla presenta los métodos que son generalmente los mismos o similar, en la opinión del autor de la presente. Con referencia a la nomenclatura dada por los diferentes autores, a cada fila se le ha asignado un nombre por el autor actual bajo la clasificación resultante.
37
Clasificación resultante
(Preece, 1993) (Shneiderman, Plaisant, & M, 2016) Propuesta 2005
(Dix & Finlay, 2008). Propuesta 2004
(Nielsen, Designing Web Usability, 1999)
Evaluación empírica Experimental Controlado psicológicamente, orientado a experimentos
Métodos empíricos: Evaluaciones experimentales
Métodos empíricos: Heurística por usuarios
Métodos de evaluación basados en modelos
Métodos analíticos
Test de aceptación Modelo basado en evaluaciones
Interpretación natural
Métodos de evaluación por expertos
Experto Opinión de expertos
Evaluación heurística. Opiniones basadas en evaluaciones
Heurística por expertos
Métodos observacionales
Observacional Evaluaciones durante actividades de uso
Técnicas observacionales
Observación y monitoreo de usuarios durante las interacciones
Técnicas de consulta Encuestas Encuestas Técnicas de consulta
Agrupación de opinión de usuarios
Tabla 8. Síntesis de métodos
3.2.4.1. Método de evaluación de la usabilidad por Preece
Los métodos de evaluación se clasifican (Preece, 1993) de la siguiente manera:
Evaluación analítica: descripciones de interfaces formales o no formales para predecir el actuar del usuario
Evaluación de expertos: basada en la evaluación del sistema por expertos;
Evaluación observacional: observación o seguimiento del comportamiento de los usuarios en el uso del sistema;
Evaluación de la encuesta: Recopilar opiniones de los usuarios sobre la usabilidad del sistema;
Evaluación experimental: prácticas experimentales científicas para probar hipótesis sobre la usabilidad del sistema.
3.2.4.2. Método de evaluación de usabilidad por Shneiderman
Los métodos identificados más importantes (Shneiderman, Plaisant, & M, 2016), en la evaluación de usabilidad.
Pruebas de aceptación: Esta técnica utiliza unos parámetros de medición muy específicos, para la evaluación de la usabilidad. En lugar de utilizar criterios subjetivos como la "facilidad de uso", se usan criterios como el "número de errores cometidos por un usuario novato, la primera vez, durante las primeras dos horas de uso", para determinar si un sistema es Aceptable o no. Si no se cumple, el sistema se vuelve a trabajar hasta que se cumplan. El papel central de las pruebas de aceptación no es detectar fallas en el sistema, sino verificar que el sistema se adhiere a los requisitos (Shneiderman, Plaisant, & M, 2016).
38
Algunos de los criterios medibles que deben tenerse en cuenta durante la evaluación de la usabilidad según (Shneiderman, Plaisant, & M, 2016):
Tiempo para que los usuarios aprendan funciones específicas;
Velocidad de rendimiento de la tarea;
Tasa de errores cometidos por el usuario;
Evaluación durante el uso activo:
Entrevistas y discusiones de grupos focales;
Registro continuo de datos de rendimiento de usuario;
Uso de consultores telefónicos en línea;
Buzón de sugerencias físico o en línea;
Uso de tablones de anuncios o grupos de noticias en línea; y
Comentarios por boletines y conferencias.
Experimentos controlados psicológicamente orientados
Experimentación
3.2.4.3. Método de evaluación de (Dix & Finlay, 2008)
Se categorizan los métodos de evaluación de la siguiente manera (Dix & Finlay, 2008):
Recorrido cognitivo: Las tareas del sistema, son evaluadas por expertos, registrando problemas de usabilidad;
Evaluación heurística: lo mismo que la evaluación de expertos;
Evaluación basada en la revisión: utiliza los resultados de estudios previos en evaluación como evidencia para apoyar o refutar aspectos de una interfaz de usuario;
Evaluación basada en modelos: uso de modelos cognitivos y de diseño para evaluar interfaces.
Métodos empíricos: evaluación experimental;
Técnicas de consulta: cuestionarios y entrevistas con usuarios y partes interesadas;
Técnicas de observación: lo mismo que la evaluación observacional; y
Técnicas de monitoreo: evaluación a través del seguimiento de las respuestas fisiológicas de los usuarios, por ejemplo, mediante el seguimiento del movimiento
39
de los ojos para determinar qué áreas de una interfaz los usuarios encuentran fáciles o difíciles de entender.
3.2.4.4. Método de evaluación de usabilidad (Nielsen, Designing Web Usability, 1999)
Lo siguientes son los diez principios presentados por Nielsen, Jakob., adaptado de (Nielsen, 10 Usability Heuristics for User Interface Design, 1991)
Visibilidad del estado del sistema
El sistema siempre debe mantener a los usuarios informados sobre lo que está pasando, a través de una retroalimentación adecuada dentro de un tiempo razonable.
Correspondencia entre el sistema y el mundo real
El sistema debe hablar el idioma de los usuarios, con palabras, frases y conceptos familiares para el usuario, en lugar de términos orientados al sistema. Siga las convenciones del mundo real, haciendo que la información aparezca en un orden natural y lógico.
Control de usuario y libertad
Los usuarios a menudo eligen las funciones del sistema por error y necesitarán una "salida de emergencia" claramente marcada para salir del estado no deseado sin tener que pasar por un diálogo extendido. Soporte deshacer y rehacer.
Coherencia y estándares
Los usuarios no deben preguntarse si diferentes palabras, situaciones o acciones significan lo mismo. Siga las convenciones de la plataforma.
Prevención de errores
Incluso mejor que los buenos mensajes de error es un diseño cuidadoso que impide que se produzca un problema en primer lugar. Elimine las condiciones propensas a errores o compruébelo y presente a los usuarios una opción de confirmación antes de comprometerse con la acción.
Reconocimiento en lugar de recordar
Minimice la carga de memoria del usuario haciendo visibles los objetos, las acciones y las opciones. El usuario no debe tener que recordar la información de una parte del diálogo a otra. Las instrucciones de uso del sistema deben ser visibles o fácilmente recuperables cuando sea apropiado.
Flexibilidad y eficiencia de uso
Los aceleradores -no vistos por el usuario principiante- pueden a menudo acelerar la interacción para el usuario experto de manera que el sistema pueda atender a usuarios inexpertos y experimentados. Permite a los usuarios adaptar acciones frecuentes.
40
Diseño estético y minimalista
Los diálogos no deben contener información que sea irrelevante o raramente necesaria. Cada unidad extra de información en un diálogo compite con las unidades relevantes de información y disminuye su visibilidad relativa.
Ayudar a los usuarios a reconocer, diagnosticar y recuperar errores
Los mensajes de error deben expresarse en lenguaje sencillo (sin códigos), indicar con precisión el problema y sugerir constructivamente una solución.
Ayuda y documentación
A pesar de que es mejor si el sistema se puede utilizar sin documentación, puede ser necesario proporcionar ayuda y documentación. Cualquier información de este tipo debe ser fácil de buscar, centrada en la tarea del usuario, enumerar los pasos concretos que se deben llevar a cabo, y no ser demasiado grande.
Son llamados "heurísticas" porque son reglas generales amplias y no directrices de usabilidad específicas.
3.2.5. Consentimiento informado de los participantes
Los participantes de la evaluación como los usuarios o los evaluadores expertos - apoyan el proceso de evaluación. Sin embargo, el investigador no debe depender en gran porcentaje de este apoyo que ofrecen. En todas las formas de evaluación, es importante que se realicen de con ética, honestidad y que todos los derechos de los participantes estén protegidos (Preece, 1993).
Para asegurar que se cumplan estas políticas de honestidad, se deben cumplir los siguientes lineamientos (Preece, 1993), (Shneiderman, Plaisant, & M, 2016):
Los participantes deben ser informados de la finalidad del estudio, cómo deben participar y qué se espera al finalizar el proceso. Se deben manejar parámetros medibles como el tiempo de duración, el tipo de datos que se van a recopilar, el tipo de análisis, y el pago que se debe hacer, y deben comunicarse de forma clara y precisa a los participantes.
Se debe explicar claramente que la información es confidencial.
Los participantes deben conocer su derecho a detenerse durante cualquier etapa de la evaluación.
El evaluador debe solicitar su permiso por adelantado, asegurarles su anonimato y ofrecer una copia del informe antes de su distribución.
Los participantes deben recibir un formulario de consentimiento informado para leer y firmar. El formulario debe explicar el objetivo de la evaluación y cualquier otra cuestión pertinente, incluido el hecho de que los datos personales y el rendimiento de los participantes no se harán públicos y sólo se utilizarán para el propósito declarado.
41
3.3. Evaluación empírica
La evaluación empírica o experimental se basa en el uso de métodos científicos para probar hipótesis sobre la usabilidad de un sistema (Preece, 1993). Este enfoque se origina en los campos científicos y de ingeniería, donde los experimentos han sido utilizados, para la medición precisa de temas de interés. Investigadores académicos e industriales en la disciplina HCI han descubierto que los métodos experimentales tradicionales también pueden ser utilizados en el estudio de interfaces de sistemas informáticos (Shneiderman, Plaisant, & M, 2016). Aunque la experimentación científica suele ser demasiado costosa o no muy práctica, hay ciertos casos en los que es apropiado aplicarlos para la evaluación de la usabilidad (Preece, 1993).
A continuación, se abordan los principios de los experimentos,
3.3.1. ¿Cómo realizar un experimento?
Un experimento tiene como finalidad, responder a una pregunta o probar una hipótesis para generar conocimiento. Para este fin, se determina la relación entre dos o más variables. Esto se realiza, cuando se manipula una de las variables y se observa el efecto sobre la otra. La persona que hace el experimento, intenta reducir el efecto de otras variables que pueden influir en los resultados, ejerciendo un control sobre estas. (Johnson, 1991); (Preece, 1993). En la interacción entre humano y computador, el investigador manipula una serie de factores asociados con la interfaz del sistema y estudia su efecto en aspectos relacionados con el rendimiento al momento de ser usado.
Los principales aspectos importantes, para la confiabilidad de un experimento, es el grupo de usuarios o sujetos elegidos, las variables a tratar y las hipótesis probadas.
3.3.1.1. Cuáles son los sujetos de un experimento
Son los participantes del experimento. Existen casos en los que los participantes, son usuarios reales del sistema, aunque no siempre es posible. La elección de los temas es importante para el éxito del experimento, por lo que es vital que los temas elegidos coincidan con la población de usuarios típica en un alto porcentaje (Dix & Finlay, 2008). Por ejemplo, deben ser de edades y niveles educativos similares a los usuarios reales. Otro aspecto que se debe revisar, al elegir sujetos, es el número de personas que participan en el experimento, o el tamaño de la muestra, la cual debe lo suficientemente grande como para ser considerada representativa de la población. Se recomienda que al menos diez sujetos participen en un experimento controlado.
3.3.1.2. Variables
Los experimentos trabajan y se miden con dos tipos de variables en entornos controlados. Las variables independientes o manipulables, y las variables dependientes, las cuales serán las que se midan. Las variables independientes se manipulan para producir diferentes condiciones de comparación. Por ejemplo, en un experimento científico tradicional para determinar si la velocidad de búsqueda aumenta a medida que disminuye el número de iconos en la pantalla, el investigador puede considerar pantallas con cinco, diez o quince iconos.
42
La variable independiente sería el número de iconos y tendría tres niveles. Las variables dependientes serían la tasa de selección de iconos. Estas variables deben ser mensurables, deben ser afectadas por las variables independientes, y no deben ser afectadas por otros factores, siempre y cuando sea posible. Una interfaz gráfica de un sistema, tiene íconos, el tamaño de los iconos y su color deben permanecer constantes. Algunas de las variables dependientes comunes en los experimentos de evaluación de HCI son el tiempo necesario para realizar una tarea, el número de errores cometidos, la preferencia del usuario y la calidad del rendimiento del usuario. Las variables dependientes del objetivo, por ejemplo, el tiempo para realizar una tarea, son fáciles de medir, pero las subjetivas, como las preferencias de los usuarios, también deben medirse con una escala predeterminada (Dix & Finlay, 2008).
Supongamos que existe un sistema de carpetas, cuyos accesos directos se muestran en la pantalla. Se puede evaluar, la velocidad del usuario para encontrar un archivo o carpeta específica, teniendo en cuenta el número de carpetas como una variable independiente. La variable dependiente o medida, sería la velocidad de selección de carpetas hasta encontrar la correcta. No debe modificarse la resolución, el tamaño de las carpetas, ni su color. Algunas de las variables dependientes comunes en los experimentos de evaluación de HCI son el tiempo necesario para realizar una tarea, el número de errores cometidos, la preferencia del usuario y la calidad del rendimiento del usuario (Dix & Finlay, 2008). Las variables dependientes del objetivo, son fáciles de medir, pero las subjetivas, como las preferencias de los usuarios, deben medirse con una escala predeterminada.
3.3.1.3. Hipótesis
Una hipótesis es una declaración que predice el resultado del experimento, y está definida por las variables independientes y dependientes. A través de la hipótesis se puede entender la relación ente la variable independiente y la diferencia en la variable dependiente. En el caso del ejemplo de la búsqueda de carpetas, se puede plantear como hipótesis que la velocidad de búsqueda de una carpeta aumenta, si disminuye el número de iconos en la interfaz de un sistema.
El objetivo de cualquier experimento es probar que la hipótesis es correcta. Esto se hace refutando la hipótesis nula, es decir, afirmar que no hay diferencia o cambio en la variable dependiente, incluso a diferentes niveles de la variable independiente (Dix & Finlay, 2008).
Cuando se realiza una evaluación experimental, el evaluador debe apoyarse en un estadístico que tenga la información del experimento y las pruebas estadísticas pertinentes, de modo que los datos se recopilen y analizarse para llegar a una conclusión válida.
3.3.2. Experimentos en la interacción entre el sistema y el humano
Al realizar los experimentos de tipo HCI, se deben considerar los siguientes (Shneiderman, Plaisant, & M, 2016):
Elegir un problema práctico;
Establecer una hipótesis clara y que sea posible comprobar;
Identificar las variables independientes con las que se piensan trabajar;
43
Elegir las variables dependientes;
Seleccionar sujetos y asignarlos de manera cuidadosa y aleatoria;
Evitar la influencia de los factores de sesgo;
Aplicar métodos estadísticos para analizar los datos; y
Resolver el problema práctico, perfeccionar la teoría y asesorar a futuros investigadores.
Debido a que no siempre es posible seguir todos los procedimientos necesarios para un experimento, a veces se usan cuasi experimentos en las investigaciones de HCI, donde no se aplican todos los controles mencionados. Por ejemplo, en lugar de utilizar asignaciones aleatorias para los grupos, se pueden utilizar grupos naturales donde no se ejerce control específico en las características de los participantes.
3.4. Métodos de evaluación basados en modelos
Los métodos de evaluación con base en modelos, permiten analizar y predecir el desempeño de las operaciones físicas y cognitivas que debe realizar el sistema. Esto hace que los métodos sean adecuados para la evaluación de la usabilidad en una fase temprana del desarrollo (Preece, 1993). Éste tipo de evaluación define un modelo que permite predecir, como usarían el sistema propuesto, y así, obtener medidas de usabilidad predichas por cálculos o simulaciones previas ( (Kieras, 2002). Como ejemplo se describe el modelo predictivo GOMS4, ampliamente utilizado en HCI.
GOMS hace referencia a una familia de modelos que varían en aspectos como el rendimiento del usuario y para los cuales se hacen predicciones. Estos aspectos incluyen el tiempo necesario para realizar una tarea, y las estrategias más efectivas para llevarla a cabo. La técnica es útil para predecir la eficiencia y la eficacia de un sistema, en situaciones donde es difícil realizar pruebas de usuario. Esto puede ayudar a los diseñadores a comparar el rendimiento de diferentes interfaces, sin que los usuarios estén presentes, mucho antes de que el sistema real se construya. En resumen, GOMS consiste en descripciones de los métodos necesarios para lograr las metas especificadas.
3.4.1. Modelo GOMS
El modelo de GOMS describe los métodos que se necesitan para lograr las metas establecidas (Preece, 1993). GOMS es un acrónimo de objetivos, operaciones, métodos y selección, cada uno de los cuales se describe a continuación:
Metas: lo que el usuario desea lograr;
Operadores: los procesos cognitivos y las acciones físicas propias del usuario, que se aplican para alcanzar los objetivos;
4 GOMS, Goal, Operations, Methods, Selection. (objetivos, operaciones, métodos y selección)
44
Métodos: los procedimientos utilizados para lograr los objetivos, e indicar la secuencia exacta de los pasos requeridos;
Reglas de selección: estas reglas permiten elegir entre varios posibles métodos.
Los objetivos se definen como lo que el usuario está tratando de lograr. Los operadores se utilizan para lograr las metas, por ejemplo, realizar una acción con el ratón. Los operadores no se pueden descomponer y toman un tiempo medible para que el usuario los ejecute. Los métodos consisten en un número de operadores que ejecuta el usuario para alcanzar la meta. Un método es una secuencia de objetivos específicos y operadores que el usuario aplica para lograr una meta deseada.
Según Preece, para lograr un objetivo como el de suprimir una palabra en un editor de texto se requieren los siguientes pasos:
Paso 1. Resaltar la palabra que se va a borrar;
Paso 2. Usar el comando ‘cortar';
Paso 3. Lograr el objetivo de seleccionar y ejecutar el comando 'cortar';
Paso 4. Se logra el objetivo.
Los operadores a utilizar en este método serían:
Haga clic en el ratón;
Arrastre el cursor sobre el texto;
Mueva el cursor al comando.
Si hay más de un método para lograr un objetivo, entonces las reglas de selección determinan el método apropiado dependiendo del contexto.
3.4.2. Modelo de nivel de pulsación de teclas (KML)5
El modelo de nivel de pulsación de teclas es una variación del modelo GOMS. Su principal diferencia es que proporciona predicciones reales del rendimiento del usuario en términos de tiempo, requerido para realizar diferentes tareas bajo múltiples circunstancias para ser medido y comparado. Esto hace posible determinar cuáles características son las más efectivas para realizar las tareas, usando datos cuantitativos.
El KLM se basa en los resultados de una serie de estudios empíricos sobre el rendimiento real de los usuarios, cuyos resultados sirvieron para caracterizar un conjunto de tiempos aproximados para los principales tipos de operadores utilizados durante una tarea específica, lo que permitió determinar un tiempo promedio en que se pueden llevar a cabo tareas, como el uso del ratón en una interfaz entre el usuario y el ordenador, como el tiempo que tarda una persona en decidir qué hacer o el tiempo que tarda el sistema informático en
5 KML, Key stroke Level Model
45
responder. Esto hace posible calcular el total de tiempo requerido para los operadores, para realizar una tarea (Preece, 1993).
3.4.2.1. Beneficios de GOMS
GOMS es una de las técnicas de evaluación predictiva más usadas y reconocidas, ya que da una medida cuantitativa del rendimiento del usuario, permitiendo realizar análisis comparativos de diferentes sistemas informáticos, por lo que puede considerarse una teoría verificable y un modelo robusto.
Puede utilizarse de forma cuantitativa y cualitativa. Cuantitativamente, puede proporcionar una buena predicción de los tiempos de ejecución y del tiempo de aprendizaje, para usarse en la toma de decisiones o la comparación de los tiempos entre dos sistemas diferentes. Se ha usado de forma cualitativa, para diseñar programas de capacitación y sistemas de ayuda, ya que el modelo describe los pasos necesarios para realizar cada una de las diferentes tareas (John & Kieras, 1996).
3.4.2.2. Limitaciones de GOMS
GOMS hace predicciones que son válidas solo para un experto que no cometa errores. Lo anterior se considera una limitación, debido a que, hasta los usuarios expertos, cometen errores al utilizar un sistema informático. Por otra parte, GOMS no tiene en cuenta a los usuarios principiantes o intermedios, que apenas se encuentran aprendiendo el sistema. La otra limitación de GOMS es que sólo modela las tareas que implican un pequeño conjunto de tareas rutinarias de tipo entrada de datos. Esto hace que sea difícil predecir cómo un usuario llevará a cabo sus tareas en sistemas complejos. Finalmente, el GOMS no toma en consideración factores humanos que puedan influir en el rendimiento, tales como diferencias individuales, fatiga, carga de trabajo mental y factores sociales y organizacionales.
GOMS, no indica que tan agradable es el sistema para el usuario, porque no se tiene en cuenta ningún factor distinto a la velocidad de ejecución. GOMS supone que los seres humanos realizan una tarea a la vez hasta que la serie se completa.
Además, las predicciones que realiza, están basadas en comportamientos predecibles, sabiendo que la mayoría de las personas son impredecibles, por lo que se dificulta evaluar el uso de los sistemas en un contexto real (Preece, 1993).
3.5. Métodos de observación
Estos métodos se realizan a través de la observación de los usuarios reales, en su entorno natural o exigiéndoles que realicen un conjunto de tareas predeterminadas en condiciones similares a las de un laboratorio, interactuando con el sistema. La observación puede realizarse en un lugar seleccionado para el experimento, como un laboratorio de usabilidad, o en un ambiente de trabajo. Este método tiene la ventaja de identificar directamente los problemas de usabilidad para el usuario real.
El análisis del pensamiento en voz alta y el análisis de protocolo son las dos principales técnicas de observación utilizadas en la evaluación de la usabilidad de los sistemas informáticos, las cuales se describen a continuación:
46
3.5.1. Evaluación piensa en voz alta.
Aunque los evaluadores pueden identificar algunos de los problemas que los usuarios experimentan con un sistema, aplicando el método de observación, puede ser insuficiente para determinar todos los problemas, debido que el enfoque no ofrece una idea clara de los procesos o actitudes de las decisiones del usuario. En la técnica de evaluación de pensamiento, los usuarios no sólo son observados, sino que también se les pide que elaboren verbalmente sus acciones describiendo lo que creen que está sucediendo, el por qué eligieron una acción en particular y qué están tratando de hacer.
Es importante que el evaluador apoye al participante pidiendo y escuchando pistas sobre la usabilidad del sistema. El evaluador debe evitar dar instrucciones o causar distracción durante el proceso. Después de la sesión, el participante puede ser invitado a comentar, hacer sugerencias o responder preguntas sobre la sesión. Dado que la atmósfera en torno a la técnica “piensa en voz alta” es informal, normalmente alienta a los usuarios a dar retroalimentación espontánea sobre el sistema que puede conducir a la localización de sus problemas de usabilidad.
Una variación la evaluación en voz alta, es la técnica de evaluación cooperativa en la que el evaluador no sólo observa al usuario, sino que es libre de hacerle preguntas. El usuario no sólo piensa en voz alta y responde preguntas, sino que también puede hacer preguntas al evaluador cuando surge un problema.
Esta técnica hace que el usuario sea más un colaborador que un sujeto experimental y tiene las siguientes ventajas:
El proceso es más fácil de aprender para el evaluador, ya que está menos restringido;
Se anima al usuario a criticar el sistema;
Los puntos que no están claros pueden ser clarificados inmediatamente por el evaluador.
Una de las principales preocupaciones con estas técnicas es que los usuarios pueden cambiar su comportamiento cuando son conscientes que están siendo observados. Otra preocupación es que el proceso de verbalizar distraerá a los usuarios de que actúen de la manera que normalmente lo hacen. Además, es fácil para el sujeto concentrarse en la tarea en la mano y olvidar pensar en voz alta. En tales casos, el evaluador puede recordar al sujeto que verbalice (Masemola & De Villiers, 2006).
A pesar de las críticas, estas técnicas tienen una serie de ventajas:
Son fáciles de usar ya que se requiere poca experiencia;
Pueden proporcionar información útil sobre problemas con la interfaz del sistema y una buena comprensión del modelo mental del usuario y la interacción con el sistema;
3.5.2. Análisis del protocolo
Los métodos de observación, como el de pensar en voz alta, sólo pueden tener éxito si se realiza un registro adecuado de los acontecimientos. Esto se debe a que el análisis que tiene lugar después de la observación depende en gran medida de este registro o protocolo. Los diferentes métodos de registro de las acciones del usuario incluyen papel y lápiz;
47
grabación de audio; grabación de vídeo; Y el registro informático. Estos se describen en las subsecciones siguientes.
3.5.3. Papel y lápiz
En este método, el evaluador toma nota de las interpretaciones y eventos especiales que ocurren durante la observación. Aunque es primitivo, tiene la ventaja de ser barato. Su debilidad es que lo que se registra, depende de la velocidad de la escritura. Para mejorar esto, algunos investigadores usan un esquema de codificación para representar información, una habilidad que requiere experiencia o entrenamiento previo. También se puede utilizar un computador portátil para registrar información. Esta variación del método de papel y lápiz tiene el inconveniente de que está limitado a la velocidad de escritura del evaluador y pierde la flexibilidad del papel para los estilos de escritura, diagramas rápidos y disposición espacial (Dix & Finlay, 2008).
3.5.4. Grabación de audio
Este es un buen método para registrar la información verbal. Sin embargo, puede ser difícil el análisis, al sincronizar el audio grabado con las acciones reales del usuario o con otros protocolos, como, por ejemplo, los realizados con papel y lápiz.
3.5.5. Grabación de video / grabación de video
Con este método, el participante se registra utilizando una cámara de video mientras realiza tareas. Debido a que puede ser difícil para una cámara para grabar tanto los detalles de la pantalla y el usuario, dos cámaras se pueden utilizar para que uno se centra en la pantalla y el otro tiene un enfoque más amplio, incluyendo la cara del usuario y las manos. En algunos casos, se puede registrar una computadora para registrar detalles de las tareas realizadas (Dix & Finlay, 2008). (Shneiderman, Plaisant, & M, 2016) Señalan que, aunque muchos participantes pueden ser distraídos inicialmente por la presencia de una cámara de video, en cuestión de minutos ellos la ignoran y se enfocan en la tarea en la mano.
3.5.6. Registro de computadoras
El registro de la computadora se realiza cuando existen estadísticas sobre el uso y de cómo ocurren los acontecimientos, por ejemplo, el número de mensajes de error, la velocidad del rendimiento del usuario o los patrones de uso del sistema añade que los logs computarizados o registros de software registran el diálogo entre el usuario y el sistema, y usualmente consisten en registros temporales de las acciones del usuario y las respuestas del sistema.
Sin embargo, en algunos casos este método puede usarse en combinación con otros métodos tales como pensar en voz alta y, en tales casos, puede haber alguna distracción.
El registro de la computadora es fácil de usar, pero tiene el problema de calificar eventos (por ejemplo, el número de errores cometidos) sin comunicar por qué ocurrieron. Otra preocupación está relacionada con los problemas técnicos encontrados en el análisis de enormes volúmenes de datos registrados.
48
3.5.7. Cuadernos de usuario
Una variante del registro de computadoras es el método del ordenador portátil del usuario, en el que se pide a los usuarios que mantengan registros, a intervalos de tiempo determinados, de sus actividades o problemas. Este enfoque tiene la ventaja de dar resultados como interpretado por el usuario. Sin embargo, existe la preocupación de que la interpretación puede no ser exacta, por ejemplo, en los casos en que un usuario encuentra difícil expresar sus pensamientos con palabras.
3.5.7.1. Precauciones a tomar que protocolo usar
En muchos casos, el evaluador utiliza una mezcla de protocolos para registrar una sesión. Por ejemplo, uno puede guardar notas en papel de algunos de los eventos, pero al mismo tiempo utilizar la grabación audiovisual.
Cuando se usan varios protocolos, es muy difícil sincronizarlos durante la reproducción. La otra dificultad es la transcripción. No es fácil escribir una transcripción de un protocolo grabado. Por ejemplo, una cinta de una conversación normalmente consiste en frases rotas, palabras murmuradas y voces y ruidos externos de interrupción, como sonidos de teléfonos y ruidos del equipo. Además de esto, los mecanógrafos profesionales pueden ser requeridos para las transcripciones video puesto que la velocidad y las anotaciones especiales son necesarias. Esto toma mucho tiempo y puede dar lugar a que un analista tenga decenas o cientos de horas de grabación de vídeo con sólo una pequeña fracción de ella analizada en detalle.
3.5.8. Pruebas de usabilidad
Según (Preece, 1993), la prueba de usabilidad es la medición del rendimiento de los usuarios comunes en tareas cotidianas. Existen diferentes formas de pruebas de usabilidad, como las observaciones empíricas y los juicios subjetivos; Sin embargo, uno de las formas de prueba de usabilidad, es la observación sistemática y el registro de los usuarios. (Dumas, 1989).
Las pruebas de usabilidad tienen las siguientes características (Dumas, 1989):
• Se centran en la usabilidad;
• Los participantes son los usuarios finales;
• Existe un objeto de evaluación, como un prototipo, un diseño o un sistema operativo;
• Los participantes piensan en voz alta mientras hacen las tareas;
• Los datos se registran y se analizan para obtener resultados.
Existen varios aspectos prácticos que deben tenerse en cuenta, si el evaluador debe recopilar y analizar los datos en video, cintas de audio o notas hechas observando a los usuarios durante la prueba e usabilidad. (Preece, 1993):
49
La Ubicación
Aspecto importante en la prueba de usabilidad, debido a que es precisamente, el lugar donde se realizarán las pruebas, y donde se encuentran los equipos que maneja el usuario. Si se realizan grabaciones en laboratorios de usabilidad, generalmente se instalan varias cámaras. Una grabación puede registrar las expresiones faciales, el uso del ratón y las actividades de teclado, y otra grabación que ofrece una visión amplia del participante y la captura del lenguaje corporal. La información de estas cámaras se introduce en un programa de edición de vídeo, donde se edita parcialmente. Este tipo de grabación no es fácil si se realiza fuera del laboratorio, por ejemplo, en el entorno de trabajo del usuario.
Los equipos que se utilizan
Los equipos y la tecnología que se usa en la prueba de usabilidad, debe prepararse con anterioridad, con el fin de asegurarse de que funciona como se espera y para que se obtengan resultados al momento de registrar todos los parámetros y comportamientos de los usuarios.
Consentimiento de los participantes
Los participantes deben leer y firmar el consentimiento informado antes de realizar cualquier grabación. Los usuarios deben ser informados acerca de los fines específicos del estudio, el tiempo que tomará y sus derechos. Si se deben realizar preguntas a los usuarios, éstos deberán tener una idea del tipo de pregunta. El consentimiento informado es un requisito para toda evaluación de usabilidad.
3.5.9. Técnicas de evaluación observacional para aplicaciones de aprendizaje basadas en la web
Las técnicas de observación tienen la ventaja de identificar directamente los problemas reales de usabilidad del participante. Sin embargo, para entornos de aprendizaje basados en la web, se tienen las siguientes deficiencias:
La mayoría de las técnicas, requieren equipos costosos, como los de audio y vídeo
Los altos volúmenes de información registrados, pueden tardar mucho tiempo en transcribirse.
Los usuarios pueden cambiar su comportamiento cuando están conscientes de que están siendo observados.
3.6. Técnicas de consulta
Las técnicas de consulta se basan en el hecho de identificar problemas de usabilidad de un sistema, preguntando directamente al usuario. Éstas técnicas, obtienen el punto de vista del usuario, y a su vez, son relativamente simples y económicos de gestionar (Dix & Finlay, 2008) y (Ardito & Costabile, 2006). Las entrevistas y los cuestionarios son dos técnicas de consulta, muy usadas en las ciencias sociales, la investigación de mercado y la investigación de la Interacción Humano computador. Son considerados métodos eficaces para determinar lo que a los usuarios les gusta o no les gusta, debido a que se les pregunta de forma directa (Preece, 1993).
50
Las dos principales técnicas de evaluación de consultas - entrevistas y cuestionarios - se discuten en las dos secciones siguientes.
3.6.1. Entrevistas
Una técnica de consulta directa es la entrevista. Es un método de obtener y recopilar información directamente de los usuarios, de manera individual, consultándolos sobre la usabilidad del sistema. El entrevistador puede abordar temas específicos de interés que pueden conducir a sugerencias específicas y constructivas (Shneiderman, Plaisant, & M, 2016). La principal ventaja de las entrevistas es su nivel de cuestionamiento, el cual, puede variar según el contexto por lo que el evaluador puede indagar al usuario acerca de aspectos específicos a medida que van apareciendo. Lo anterior se puede realizar, utilizando un enfoque de nivel superior a nivel inferior, en el cual, el entrevistador comienza con una pregunta general y avanza a preguntas específicas sobre una tarea. Las entrevistas deben prepararse con anterioridad, mediante la definición de un conjunto de preguntas clave para la prueba, lo que ayuda a asegurar la coherencia entre las entrevistas realizadas con diferentes usuarios y a enfocarse en el propósito de la entrevista (Dix & Finlay, 2008).
Para la planificación y desarrollo de las preguntas para entrevistas, deben seguirse las siguientes parámetros (Preece, 1993):
• Evitar las preguntas largas, ya que el participante no recordará todos los aspectos de las mismas;
• Dividir las preguntas compuestas en preguntas sencillas y cortas, fáciles de responder;
• Evitar el uso de lenguaje que el participante no entienda;
• Evite dirigir preguntas, ya que los participantes pueden tener miedo de dar una respuesta que es opuesta a lo que las preguntas sugieren;
Dependiendo de los objetivos de la evaluación, las entrevistas pueden ser no estructuradas, estructuradas, semiestructuradas o entrevistas grupales (Preece, 1993):
3.6.1.1.1. Entrevistas no estructuradas
Una entrevista no estructurada o abierta está compuesta de preguntas abiertas, donde el entrevistado puede expresar su propia opinión libremente.
La entrevista es depende tanto del entrevistado como del entrevistador, ya que su progreso no está predeterminado, aunque el entrevistador debe asegurarse de que la entrevista está dentro del alcance de los objetivos definidos previamente. Las entrevistas son similares a las conversaciones, porque se centran en un tema en particular y lo analizan con detalle. Es importante tener un plan o una agenda para lograr el objetivo de la entrevista, aunque esto no significa tener que evitar el manejo de nueva información e ideas a medida que surgen (Preece, 1993).
Es importante recordar los siguientes aspectos sobre la realización de las entrevistas:
51
Asegúrese de que hay una agenda de entrevistas que apoye las metas y preguntas del estudio;
Estar preparado para seguir nuevas líneas de investigación de beneficio para la agenda;
La ética es muy importante, especialmente al obtener el consentimiento informado del participante;
Asegúrese que el entrevistado esté cómodo. La forma en que se viste el entrevistador, por ejemplo, influye en la forma en que se va a manejar la entrevista, dependiendo de la aceptación que reciba;
Especificar e informar, el tiempo de duración de la entrevista
Estructurar y analizar los datos inmediatamente después de terminada la entrevista.
El principal beneficio de la entrevista no estructurada es la riqueza de los datos generados. Esto se debe a que, en el transcurso de la misma, los entrevistados mencionan cosas no anticipadas por el entrevistador y éstas pueden ser investigadas más a fondo. Sin embargo, se debe tener precaución, ya que las entrevistas pueden generar muchos datos no estructurados que pueden ser lentos y difíciles de analizar
3.6.1.2. Entrevistas estructuradas
En este tipo de consulta, se genera un conjunto de preguntas predeterminadas, eliminando la posibilidad al usuario, de expresar sus actitudes individuales. Esta entrevista tiende a ser más fácil de conducir y analizar, que una no estructurada. Las entrevistas estructuradas se deben usar, en los casos en que los objetivos del estudio se entiendan claramente y se puedan identificar preguntas específicas. Para lograr esto, las preguntas deben ser breves y bien redactadas, y las respuestas se agrupan en un conjunto de opciones leídas o presentadas en físico. En la mayoría de los casos, estas preguntas están cerradas, que requieren respuestas precisas. Esta configuración hace posible estandarizar el estudio ya que se hacen las mismas preguntas a todos los participantes.
3.6.1.3. Entrevistas semiestructuradas
Tienen las características de las entrevistas estructuradas y no estructuradas, usando, preguntas cerradas y preguntas abiertas. El entrevistador debe tener un guion básico para la orientación, de modo que se cubren los mismos temas, con cada entrevistado. Normalmente, la sesión comienza con un conjunto de preguntas previamente diseñadas, para luego dar una oportunidad al entrevistado de elaborar o proporcionar información más importante.
3.6.1.4. Entrevistas de grupo
Después de realizar entrevistas individuales, se pueden organizar discusiones en grupos de enfoque o entrevistas grupales, para explorar los comentarios de los diferentes individuos (Shneiderman, Plaisant, & M, 2016). Con base en una muestra de las personas entrevistadas, el evaluador trabaja como moderador, haciendo preguntas simples y coordinando las respuestas del grupo. El principal beneficio de las entrevistas grupales es
52
detectar aspectos puntuales, o delicados que pudieron haberse perdido en las entrevistas individuales, debido a que los individuos desarrollan opiniones distintas en un contexto social al interactuar con otros integrantes. En un grupo, las personas desarrollan y expresan ideas que no habrían pensado por sí mismas en la entrevista individual. (Preece, 1993).
3.6.1.5. Ventajas y desventajas de las entrevistas
El principal inconveniente de las entrevistas no estructuradas, es su costo, y requieren mucho tiempo. Sin embargo, el contacto directo con los usuarios a menudo conduce a sugerencias específicas y constructivas. Además de esto, las entrevistas tienen las siguientes ventajas:
Obtienen información detallada;
Son necesarios pocos participantes;
Las entrevistas sirven cuando se realizan después de algún otro método de evaluación, para realizar seguimiento a los nuevos aspectos.
3.6.2. Cuestionarios
Los cuestionarios hacen parte de las técnicas más usadas para recoger datos demográficos y opiniones de usuarios de sistemas. Se componen de preguntas cerradas o abiertas. Las preguntas abiertas son aquellas en las que el encuestado puede expresar su propia respuesta, mientras que las preguntas cerradas requieren seleccionar una respuesta a partir de un conjunto de opciones definidas previamente. Aunque las preguntas abiertas proporcionan una buena fuente de datos, son más difíciles de analizar que las preguntas cerradas (Preece, 1993).
Los cuestionarios deben prepararse, para ser evaluados y probados por personas que conozcan la práctica, usando una pequeña muestra de usuarios. La forma en que se analizan y presentan los datos, debe evaluarse por una persona experta en el área de la estadística. (Shneiderman, Plaisant, & M, 2016).
Las encuestas se pueden realizar a través de la Internet, o en papel. Las encuestas en línea deben ser cortas y breves, porque los encuestados en línea rara vez tienen tiempo y paciencia para completarlos. La ventaja de éste tipo de cuestionario, es su bajo costo respecto a los hechos en papel, evitando el esfuerzo de imprimirlos, distribuirlos y recolectarlos.
En general, se deben utilizar las siguientes pautas para diseñar cuestionarios (Preece, 1993):
Hacer preguntas claras y específicas;
Formular preguntas cerradas, donde sea posible, con varias respuestas para elegir;
Para preguntas de opinión, incluir una opción para una respuesta neutral;
Considerar la forma en que se ordenan las preguntas porque la respuesta a las preguntas puede verse influida por su orden;
53
Las instrucciones para completar el cuestionario deben ser claras;
Debido a que los encuestados pueden dispersarse por cuestionarios extensos, debe hacerse un balance entre el uso de grandes espacios en blanco y la necesidad de mantener el cuestionario lo más compacto posible;
Si se utilizan escalas, asegúrese de que su orden sea consistente e intuitivo. Por ejemplo, en una escala de 1 a 5, 1 debe indicar un acuerdo bajo y 5 indicar un acuerdo muy alto.
Aunque los cuestionarios son un buen método de consulta para obtener información, con el fin de evaluar un sistema, tienen la desventaja de ser menos flexibles en comparación con otros métodos. Esto se debe a que las preguntas son predeterminadas y fijas para todos los usuarios. Sin embargo, los cuestionarios tienen la ventaja de llegar a un grupo de usuarios más amplio en comparación con las entrevistas, son más baratos y fáciles de usar (Dix & Finlay, 2008) y (Shneiderman, Plaisant, & M, 2016).
3.7. Métodos de evaluación de expertos
Las evaluaciones o revisiones de expertos inspeccionan la interfaz hombre-computadora para predecir los problemas que los usuarios tendrían que enfrentar al interactuar con él. El problema de trabajar con los usuarios, está en su falta de compromiso, y la dificultad en convencerlos de participar. Algunas veces, su participación hace que el proceso de evaluación sea costoso y demorado. Lo anterior, permite considerar las evaluaciones de expertos, las cuales incluyen técnicas como la evaluación heurística y los tutoriales. Estas técnicas son fáciles de aprender y son eficaces para identificar problemas de usabilidad.
Las evaluaciones de expertos también se conocen como inspecciones de usabilidad o métodos de desarrollo de interfaces, ya que depende de un evaluador que inspecciona las características relacionadas con la usabilidad de una interfaz de (Hix, Swan, & otros, 2004), (Sears & Jacko, 2007), (Nielsen & Robert, Usability Inspection Methods, 1994)
3.7.1. Evaluación Heurística
3.7.1.1. ¿Qué es la evaluación heurística?
La evaluación heurística es una técnica de inspección de usabilidad informal, donde los expertos, guiados por un conjunto de principios o criterios de usabilidad, denominados heurísticos, evalúan si una interfaz de usuario cumple con estos principios (Nielsen & Robert, Usability Inspection Methods, 1994), (Preece, 1993). La heurística se define como una directriz, principio o regla general, que puede guiar una decisión de diseño o criticar una decisión ya tomada. La evaluación heurística es una de las técnicas más estable y rentable para la evaluación de la usabilidad de los sistemas ( (Paddison & Englefield, 2002)
La evaluación heurística implica tener un pequeño grupo de evaluadores expertos, que examinen la interfaz del sistema y evalúen la coincidencia con los principios de la heurística. Generalmente no es posible que un solo evaluador identifique todos los problemas de usabilidad en un sistema. Sin embargo, se espera que diferentes evaluadores o expertos encuentren diferentes problemas de usabilidad. Lo anterior sugiere, que entre más expertos están involucrados en la evaluación de un sistema en particular, más problemas se pueden encontrar. Se recomienda utilizar de tres a cinco evaluadores, ya que no se obtiene mucha información adicional usando un número mayor (Nielsen, Usability inspection methods,
54
1994). La Figura 4.3 muestra la relación entre la proporción de problemas de usabilidad encontrados en una interfaz y el número de evaluadores.
Figura 9. Relación de problemas encontrados Vs cantidad de evaluadores, (Nielsen & Robert, Usability Inspection Methods, 1994)
La curva muestra que un solo evaluador heurístico descubre aproximadamente el 29% de los problemas de usabilidad. Este porcentaje aumenta a medida que se utilizan más evaluadores, lo que significa que se identifica una mayor proporción de problemas de usabilidad a medida que aumenta el número de expertos. El gráfico confirma que es razonable recomendar el uso de cinco evaluadores, ciertamente al menos tres, para identificar el 65% al 75% de los problemas de usabilidad (Nielsen, Usability inspection methods, 1994), teniendo en cuenta que el objetivo principal de la evaluación de heurística, es identificar problemas de usabilidad en un sistema.
3.7.1.2. Ejemplos de heurística
Existen nueve heurísticas de usabilidad para interfaces de sistemas, que pueden ayudar a un evaluador a identificar problemas de usabilidad:
1. Usar un diálogo simple y natural;
2. Hablar el idioma del usuario;
3. Minimizar la carga de memoria del usuario;
4. Ser consistente;
5. Proporcionar retroalimentación;
6. Proporcionar salidas claramente marcadas;
7. Proporcionar atajos;
0
10
20
30
40
50
60
70
80
90
100
0 2 4 6 8 10 12Pro
po
rció
n d
e p
rob
lem
as d
e u
sab
ilid
ad
enco
ntr
ado
s en
un
a in
terf
az
Número de evaluadores
Problemas encontrados Vs Cantidad de Evaluadores
55
8. Buenos mensajes de erro;
9. Evitar errores.
Existe una lista ampliada y adaptada de heurística, ampliamente usadas para determinar la usabilidad de diferentes sistemas:
Visibilidad del estado del sistema: Los usuarios deben saber dónde están dentro del sistema.
Correspondencia entre el sistema y el mundo real: El sistema debe hablar el idioma del usuario utilizando términos, frases, símbolos y conceptos familiares.
Control y libertad del usuario: Los usuarios deben poder salir del sistema en cualquier momento. Incluso cuando han cometido errores, deben existir "salidas de emergencia" para abandonar un estado no deseado sin tener que pasar por un proceso extendido.
Coherencia y estándares: El sistema debe ser consistente, es decir, que las palabras, situaciones o acciones se refieran al mismo tema. Es aconsejable utilizar las convenciones de la plataforma estándar.
Prevención de errores: El sistema debe estar diseñado para evitar que se produzcan errores, o proporcionar mensajes de error adecuados.
Reconocimiento: Los objetos, acciones y opciones deben ser visibles, de modo que el usuario no necesite recordar información. Las instrucciones de uso del sistema deben ser visibles o fácilmente recuperables cuando sea apropiado.
Flexibilidad y eficiencia de uso: El sistema debe atender al usuario, novato o experto. Por ejemplo, se pueden proporcionar accesos directos, no vistos por los usuarios principiantes, para acelerar la interacción de los usuarios expertos.
Diseño estético y minimalista: el diálogo del sistema debe contener sólo la información relevante para la tarea a realizar por el sistema. La información irrelevante puede disminuir la visibilidad de los aspectos relevantes.
Ayuda a los usuarios a reconocer, diagnosticar y recuperar errores: el sistema debe dar mensajes de error expresados en lenguaje sencillo. Los mensajes deben indicar con precisión cuál es el problema y sugerir soluciones constructivas.
Ayuda y documentación: cada sistema debe ir acompañado de ayuda y otra documentación. La información proporcionada debe ser fácil de buscar, centrarse en la tarea del usuario, y debe enumerar los pasos concretos que debe llevar a cabo el usuario del sistema.
Complementariamente a la heurística dada, (Shneiderman, Plaisant, & M, 2016) sugieren que la usabilidad del sistema debe ser evaluada en relación con las siguientes ocho pautas 'de oro':
Esforzarse por la consistencia: Debe haber consistencia en las secuencias de acciones tomadas en situaciones similares, así como la consistencia en el despliegue de artefactos
56
de interfaz de usuario u objetos tales como avisos, pantallas, menús, colores, fuentes y diseño utilizado en todo el sistema.
Permitir que los usuarios frecuentes utilicen atajos: Cuando los usuarios se vuelven más experimentados, desean reducir el número de interacciones y desean aumentar la velocidad de realización de tareas
El sistema debe tener opciones, como abreviaturas, teclas especiales, comandos ocultos y macros que los usuarios frecuentes deben usar.
Reacción de la información de la oferta: Para cada acción tomada por el usuario, debe haber una regeneración del sistema para que el usuario entienda el resultado de esa acción. Si esto no se hace, el usuario puede no saber si la acción ha logrado la intención con éxito o no.
Por ejemplo, si un usuario utiliza teclas de método abreviado para guardar un documento en un entorno de Windows y si no hay respuesta visible o de audio del sistema, el usuario no sabrá si el documento se ha guardado o no.
Diálogos de diseño para producir el cierre: Las secuencias de acciones deben organizarse en grupos de principio, medio y final para que el usuario sepa dónde está en un momento dado.
Ofrecer prevención de errores y manejo sencillo de errores: Aunque puede ser imposible diseñar un sistema en el que los usuarios no puedan cometer errores, el sistema debe diseñarse de manera que no puedan cometer errores graves. Si se produce un error, el sistema debe detectarlo y ofrecer instrucciones sencillas, constructivas y específicas para la recuperación. Por ejemplo, las interfaces de menú o de iconos deben ser empleadas en lugar de una unidad de comandos, y si un comando escrito da como resultado un error, el usuario no debería tener que volver a escribir el comando completo de la parte defectuosa.
Permitir la reversión fácil de las acciones: las acciones realizadas por los usuarios deben ser reversibles siempre que sea posible. El sistema debe proporcionar "deshacer" y "rehacer" para reducir la ansiedad del usuario, ya que podría volver al estado anterior, el estado en el que se encontraba el sistema antes de su acción. Esto le da confianza al usuario al usar y explorar el sistema.
Soporte interno de control: Los usuarios deben tener control del uso del sistema, el cual debe responder a las acciones iniciadas por el usuario. Un sistema con, por ejemplo, acciones sorprendentes o una secuencia tediosa de entradas de datos, generará ansiedad, frustración e insatisfacción.
Minimización de la carga de memoria a corto plazo: Debido a la limitación del procesamiento de la información, en la memoria a corto plazo del ser humano, las pantallas deben mantenerse simples y minimizar las pantallas de varias páginas, para que el usuario no tenga que memorizar lo que hizo Antes para realizar la siguiente tarea.
3.7.1.3. Heurística específica del dominio
Las heurísticas se derivan normalmente de estudios de investigación académicos y profesionales, listas de criterios existentes, u observaciones de campo y experiencia previa.
57
Las heurísticas generales, son el resultado de reglas generales para aplicarse en las interfaces de usuario. Además de estas heurísticas, el evaluador puede agregar otras heurísticas de usabilidad pertenecientes al dominio específico en el que se utiliza el sistema. Algunas de las heurísticas son demasiado generales, por lo que es necesario desarrollar heurísticas para nuevos productos o aplicaciones específicas. Estas heurísticas podrían ser nuevas o una modificación de las generales.
Por ejemplo, Barber en su sitio proponía cuatro heurísticas adicionales a los diez principios generales de Nielsen, para hacer un total de catorce heurísticas de sitios web. Los cuatro adicionales son:
1. Navegación: El sistema debe proporcionar una realimentación de la navegación, para que el usuario conozca dónde ha estado, su ubicación y las opciones de enlace hacia nuevos destinos. En ésta heurística, es importante tener ayudas en la navegación.
2. Estructura de la información: La información debe organizarse de forma jerárquica. El tamaño de cada página debe ser adecuado para el dispositivo de visualización con el fin de minimizar el desplazamiento y facilitar la digitalización del contenido.
3. Limitaciones físicas: Las distancias entre objetos, como los iconos y sus tamaños, deben ser apropiados para que cada objetivo pueda ser accesible y manipulado.
4. Usuarios extraordinarios: El sitio debe atender a personas con discapacidades, por ejemplo, los usuarios mayores o en estado de discapacidad. Deben considerarse y atenderse necesidades particulares, como las sociales y culturales del grupo.
Se pueden desarrollar heurísticas para diferentes productos, como juguetes, teléfonos móviles, comunidades en línea y dispositivos de computación portátiles, adaptando heurísticas básicas, como las de Nielsen, y haciendo referencia a las directrices de diseño, la investigación de mercado y los documentos de requisitos. La naturaleza y el número de heurísticas requeridas son todavía discutibles, pero no deben ser demasiados en número.
58
4. ESTADO DEL ARTE, ESTÁNDARES PARA EVALUACIÓN DE USABILIDAD
La Organización Internacional de estándares (ISO) ha desarrollado modelos para especificar y medir la usabilidad del software, especialmente, los de calidad. El uso de estos estándares posee ventajas, como el hecho de que los métodos de evaluación de usabilidad puedan ser uniformes en sus definiciones de conceptos, ya que han sido acordados entre los diferentes grupos involucrados en el desarrollo de la norma. También proporcionan una base para realizar inspecciones de usabilidad.
4.1. Estándares existentes para la evaluación de la usabilidad
Las normas existentes relacionadas con la evaluación de la usabilidad se han clasificado en dos grupos: estándares orientados al proceso (ISO/IEC 9241 e ISO/IEC 13407) y estándares orientados a productos (ISO/IEC 9126 e ISO/IEC 14598). También presentamos la nueva serie de estándares (ISO/IEC 25000, también llamada SQuaRE) cuyo objetivo es mejorar y unificar aquellos que ya existen.
4.2. Estándares orientados al proceso: ISO/IEC 9241 y 13407
Es un conjunto de normas internacionales relacionadas con los requisitos ergonómicos para el trabajo de oficina, realizado con terminales visual. Proporciona requisitos y recomendaciones sobre hardware y software, y sus principios ergonómicos subyacentes.
El estándar se divide en 17 partes. Las secciones 1 y 2 muestran la visión general del estándar y ofrecen pautas para su empleo. Las secciones 3 a 9 mencionan los requisitos y directrices de diseño de hardware, que pueden tener implicaciones para el software. Finalmente, las partes 10 a 17 tratan con atributos de software.
Con respecto al concepto de usabilidad, la sección 11 de esta norma explica cómo identificar la información que debe tenerse en cuenta al especificar o evaluar la usabilidad en términos de medidas de rendimiento y satisfacción del usuario. Se proporciona orientación explícita sobre cómo describir el contexto de uso del producto y las medidas de usabilidad (Bevan & Shoeffel, A proposed standard for consumer product usability, 2001). Las definiciones de la sección 11 son aplicables a otras situaciones en las que un usuario interactúa con un producto para lograr ciertos objetivos. Esta extensión hace que la usabilidad sea un concepto que puede aplicarse en aspectos no convencionales en tecnología de la información.
Por lo tanto, la ISO/IEC 9241 (1998) define la usabilidad de la siguiente manera: "el software es utilizable cuando permite al usuario ejecutar su tarea de manera eficaz, eficiente y satisfactoria en el contexto de uso". De acuerdo con esta norma, la medición de la usabilidad en las aplicaciones Web consiste en tres atributos de usabilidad:
Eficacia: ¿Qué tan bien logran los usuarios sus objetivos al usar la aplicación web?
Eficiencia: ¿Qué recursos se consumen para lograr estos objetivos?
Satisfacción: ¿Cómo se sienten los usuarios sobre el uso de la aplicación Web?
Esta norma presenta un conjunto de pautas de usabilidad, y sirve para evaluar la usabilidad según el contexto de uso del software. También recomienda un enfoque
59
orientado al proceso de la usabilidad, permitiendo que el sistema interactivo sea creado a través de un proceso de diseño centrado en el ser humano. Por lo tanto, esta norma se aplica conjuntamente con el estándar ISO/IEC 13407.
La norma ISO/IEC 13407 (1999) proporciona orientación sobre las actividades relacionadas con el ciclo de vida del diseño centrado en el usuario y lo describe como una actividad multidisciplinaria, que incorpora factores humanos y conocimientos ergonómicos para mejorar la eficacia, la eficiencia, las condiciones de trabajo y contrarrestar los posibles efectos adversos del uso relacionado con la salud, la seguridad y el rendimiento. La Figura 1Figura 10 muestra las actividades realizadas en un Diseño Centrado en el Usuario.
Figura 10. Proceso de diseño centrado en el usuario
Según la norma ISO/IEC 9241 (ISO, Stage 2013) se tienen las siguientes ventajas:
El modelo ISO/IEC 9241-11 identifica los aspectos de usabilidad y los componentes que se deben tener en cuenta durante la especificación, el diseño y la evaluación de la usabilidad.
El rendimiento y la satisfacción del usuario proporcionan mediciones directas de la usabilidad en un contexto particular.
Las mediciones de rendimiento y satisfacción del usuario proporcionan una base para comparar la facilidad de uso con otras características de diseño en el mismo contexto.
La usabilidad puede ser definida y verificada dentro de los sistemas de calidad conformes a ISO/IEC 9001.
Sin embargo, esta norma también tiene algunas debilidades:
60
Se refiere a la usabilidad estrictamente desde una perspectiva de proceso, es decir, que solo se puede abordar un solo punto de vista único.
La norma ISO/IEC 9241-11 no aborda la característica de aprendizaje como recomiendan la mayoría de las normas y los expertos en usabilidad.
No aborda los aspectos de seguridad, que son considerados muy significativos por los expertos del dominio.
4.2.1. Normas orientadas a los productos: ISO/IEC 9126 y 14598
La norma ISO/IEC 9126 es un conjunto de directrices internacionales que describen la calidad del software desde la perspectiva del producto. Este conjunto tiene uno de los modelos de calidad más extensos que se haya desarrollado, y está basado en el modelo McCall (McCall, Richards, & Walters, 1977). Una primera versión del modelo de calidad se publicó por primera vez en 1991 (ISO/IEC, (ISO/IEC 9126:1991, 1991), y posteriormente se mejoró en los siguientes diez años (ISO/IEC, (ISO/IEC 9126:1991, 1991). Esta norma internacional divide la calidad del software en seis categorías generales: funcionalidad, fiabilidad, facilidad de uso, eficacia, facilidad de mantenimiento y portabilidad, para la fecha de este trabajo se encuentra descontinuada esta norma.
El objetivo de la ISO/IEC 9126 era proporcionar un marco para la evaluación de la calidad del software. ISO/IEC 9126 define un modelo de calidad que puede aplicarse a todo tipo de software. La última versión (ISO/IEC 9126 del 2001) incluia la perspectiva del usuario e introduce el concepto de calidad, como la capacidad del producto de software para permitir a los usuarios alcanzar sus objetivos específicos con eficacia, productividad, satisfacción y seguridad. Estas características proporcionan una definición más precisa del término "usabilidad" que aparece en ISO/IEC 9241-11.
La ISO/IEC 91269126 (2001) se divide en cuatro partes:
ISO/IEC 9126-1: Esta norma específica dos perspectivas distintas de los modelos para el ciclo de vida de la calidad del software Figura 11:
Figura 11. Se presenta el ciclo de vida en el proceso de calidad del software, según ISO/CI 9126
61
La calidad interna y externa se modela con el mismo conjunto de seis características: funcionalidad, fiabilidad, eficacia, facilidad de uso, facilidad de mantenimiento y portabilidad. Las características de calidad en uso se modelan con otras cuatro características: efectividad, productividad, seguridad y satisfacción.
ISO/IEC 9126-2: En esta parte se describen las medidas que pueden utilizarse para especificar o evaluar el comportamiento del software cuando es operado por el usuario.
ISO/IEC 9126-3: En esta tercera parte se describen las medidas que pueden utilizarse para crear los requisitos que describen las propiedades de la interfaz, que pueden evaluarse mediante inspección sin necesidad de utilizar el software.
ISO/IEC 9126-4: Se describen las medidas que pueden utilizarse para especificar o evaluar el impacto del uso del software cuando es usado por el usuario.
En la versión ISO/IEC 9126, de 1991, el concepto de usabilidad está más orientado al producto. La usabilidad fue vista como un factor independiente de calidad de software y se centró en atributos de software, como la interfaz. Sin embargo, los atributos que un producto requiere para usabilidad dependen de la naturaleza del usuario, la tarea y el entorno. En un enfoque orientado al producto, la usabilidad es vista como una contribución independiente a la calidad del software, tal y como se define en la edición de 2000 de ISO/IEC 9126-1: "La capacidad del producto de software de ser comprendido, aprendido, usado y atractivo Al usuario, cuando se utiliza bajo condiciones especificadas ". Siguiendo esta definición, la usabilidad se desglosó en las siguientes sub-características:
Comprensibilidad: La capacidad del producto de software de permitir al usuario entender si el software es adecuado para utilizarlo en tareas y condiciones de uso específicas.
Aprendizaje: La capacidad del producto de software de permitir al usuario aprender su aplicación.
Operabilidad: La capacidad del producto de software de permitir al usuario operar y controlarlo.
Atractivo: La capacidad del producto de software para ser atractivo para el usuario.
Cumplimiento: La capacidad del producto de software de cumplir con estándares, convenciones, guías de estilo o regulaciones relacionadas con la usabilidad.
Por lo tanto, los productos utilizables pueden diseñarse incorporando características y atributos del producto, que son beneficiosos para los usuarios en contextos particulares de uso. Los usuarios son interpretados directamente como interactivos del sistema. Pueden incluir operadores y usuarios directos o indirectos que están influenciados por el uso del software.
Dado que la ISO/IEC 9126 se limita a especificar un modelo de calidad general, debe aplicarse junto a ISO/IEC 14598. Esta última norma proporciona un marco con el que se evalúa la calidad de cualquier producto de software e indica los requisitos que deben
62
cumplirse en la medición Métodos y procesos de evaluación. ISO/IEC 14598 consta así de seis partes:
ISO/IEC 14598-1: Esta parte ofrece una visión general de las otras cinco partes y explica la relación entre la evaluación del producto de software y el modelo de calidad definido en la ISO/IEC 9126.
ISO/IEC 14598-2: Esta parte contiene requisitos y directrices para funciones de soporte, tales como la planificación y gestión de la evaluación de productos de software.
ISO / IEC 14598-3: Esta parte proporciona requisitos y directrices para la evaluación de productos de software cuando la evaluación se lleva a cabo en paralelo con el desarrollo de los mismos desarrolladores.
ISO/IEC 14598-4: Esta parte proporciona requisitos y directrices para la evaluación de productos de software y se lleva a cabo de acuerdo con los adquirentes que planean comprar un producto o reutilizar software existente o pre-desarrollado.
ISO/IEC 14598-5: Esta parte proporciona los requisitos y directrices para la evaluación de productos de software cuando la evaluación es llevada a cabo por evaluadores independientes.
ISO/IEC 14598-6: Esta parte proporciona directrices para la documentación del módulo de evaluación.
Las ventajas de utilizar la definición de usabilidad para este conjunto de estándares son:
Existe un modelo definido, apoyado por medidas, que aclara la definición de usabilidad y propone medidas para proporcionar evidenciar el logro
Puede ser utilizado como referencia para acuerdos contractuales entre un adquirente y un proveedor de software y también puede usarse para evitar ciertos malentendidos entre ellos.
Propone un proceso de evaluación que puede adaptarse a los desarrolladores y evaluadores externos.
Figura 12. Visión del proceso de evaluación según ISO /IEC 14598-1
63
4.2.2. Norma ISO/IEC 25000 SQuaRE
La norma ISO/IEC 25000 (ISO/IEC, ISO/IEC 25000:2014, 2014)conocida como SQuaRE (evaluación de requisitos de calidad de software), tiene como objetivo proporcionar un conjunto de normas que se organicen de forma lógica, se enriquezcan con nuevas contribuciones y se unan con las normas anteriores para poder cubrir los dos procesos principales: la especificación de los Requisitos de calidad de software y la evaluación de calidad de software, apoyados por un proceso de medición. SQuaRE se centra en el establecimiento de criterios para la especificación de productos de software. Por lo tanto, SQuaRE es una consolidación y revisión de las normas ISO/IEC 9126 e ISO/IEC 14598.
Las divisiones dentro de la serie SQuaRE son:
ISO/IEC 2500n - División de Gestión de Calidad: Esta división define todos los modelos, términos y definiciones comunes a los que se refieren todas las demás Normas Internacionales de la serie SQuaRE.
ISO/IEC 2501n - División de Modelos de Calidad. Esta división contiene modelos detallados de calidad para sistemas informáticos y productos de software. También se proporciona orientación práctica sobre el uso de los modelos de calidad.
ISO/IEC 2502n - División de Medición de Calidad. Esta división incluye un modelo de referencia de medición de la calidad del producto de software, definiciones matemáticas de las medidas de calidad y orientación práctica para su aplicación.
Figura 13. Modelo de referencia de calidad de producto de software según SQuaRE
ISO/IEC 2503n - División de requisitos de calidad. Esta división ayuda a especificar requisitos de calidad, basados en modelos de calidad y medidas de calidad. Estos requisitos de calidad pueden utilizarse en el proceso de obtención de requisitos de calidad para un producto de software que se va a desarrollar o como insumo para un proceso de evaluación.
ISO/IEC 2504n - División de Evaluación de Calidad. Esta división proporciona requisitos, recomendaciones y directrices para la evaluación de productos de software, ya sea realizada por evaluadores, adquirentes o desarrolladores.
Las principales ventajas con respecto a sus predecesores, ISO/IEC 9126 e ISO/IEC 14598 son:
64
Mejora la coordinación de las guías utilizadas para medir y evaluar la calidad de los productos de software.
Mejora de la orientación para especificar los requisitos de calidad de los productos de software.
Diferenciación entre las partes interesadas que se benefician del producto de software y sus necesidades (usuario final, organización y equipo de soporte técnico).
Mejor integración entre las definiciones existentes de usabilidad gracias a las perspectivas del modelo de calidad.
Las principales diferencias entre ellos son:
La introducción de una referencia general.
La introducción de lineamientos detallados dedicados a cada división.
La introducción de elementos de medición de la calidad dentro de la división de la medición de la calidad.
La adición y revisión de un modelo de calidad de datos.
La adición y revisión del proceso de evaluación.
La coordinación y armonización del contenido de la norma ISO/IEC15939 (ISO/IEC, ISO/IEC 15939:2007, 2007).
La introducción de directrices para el uso práctico como ejemplos.
El cambio de nombre de algunas sub-características para evitar ambigüedad.
La adición de nuevas sub-características.
Con respecto al modelo de calidad propuesto, existen tres perspectivas en el que se aplica Modelo de Calidad de Producto, que se emplea para evaluar un producto de software particular, Modelo de Calidad de Datos, que se emplea para evaluar La calidad de la información gestionada por el software; Y el modelo de calidad en uso, que se emplea para evaluar cómo las partes interesadas se benefician del producto de software para lograr sus objetivos en un contexto específico de uso
Con respecto al concepto de usabilidad, el estándar SQuaRE armoniza entre las diferentes definiciones de usabilidad propuestas por las normas anteriores (ISO/IEC 9241 e ISO/IEC 9126), debido a que se diferencia entre las partes interesadas beneficiadas del producto de software: El usuario final, la organización y el soporte técnico. Por lo tanto, tal como se presenta en la Tabla 1, la calidad de uso puede tener diferentes perspectivas dependiendo de la parte interesada a considerar (Bevan & Macleod, Usability measurement in context, 2010), ya que si sólo se considerara la perspectiva del usuario final se obtendría una definición de usabilidad más cercana a esa propuesta.
65
Tabla 9. Opiniones de las partes interesadas sobre la calidad en uso
Es importante señalar que SQuaRE se basa en el concepto de que la usabilidad puede ser especificada o medida como una característica de calidad del producto en términos de sus sub-características, o especificada o medida directamente por medidas que son un subconjunto de calidad en uso". Este es un aspecto positivo ya que puede ser interpretado como un primer paso hacia la armonía entre las diferentes definiciones del término usabilidad. Gracias a esta afirmación, la usabilidad puede considerarse tanto en las primeras etapas de desarrollo como en contextos específicos del usuario final
4.3. Métodos de evaluación de la usabilidad web basados en estándares
Existe una gran variedad de métodos de evaluación de usabilidad que se proponen de acuerdo con las pautas presentadas en los estándares de evaluación de calidad mencionados. Aunque el objetivo de esta sección es analizar los enfoques de evaluación de la usabilidad que se han diseñado específicamente para aplicaciones Web, vale la pena mencionar brevemente contribuciones anteriores hechas al campo de Ingeniería de Software por autores como McCall ( (McCall, Richards, & Walters, 1977), Nielsen (Nielsen, Usability inspection methods, 1994) y Dromey (Dromey, 1998). Estas contribuciones, basadas principalmente en modelos de calidad / usabilidad, fueron útiles para consolidar las definiciones de usabilidad actuales y han sido la base para los estándares de evaluación de calidad.
McCall (McCall, Richards, & Walters, 1977) presentan un modelo de calidad, en el que los atributos importantes de un producto de software final se conocen factores de calidad desde el punto de vista del usuario. Estos factores se clasificaron en tres grupos principales: revisión del producto, transición del producto y operación del producto. El concepto de usabilidad comienza a estar relacionado con la forma en que los usuarios pueden operar el producto con el mayor éxito posible.
Nielsen (Nielsen, Usability inspection methods, 1994), es uno de los autores más referenciados en el campo de la Ingeniería de Usabilidad. Su trabajo proporciona un modelo bastante detallado en los conceptos de aceptabilidad social y aceptabilidad práctica. Define la usabilidad como una subcaracterística de la utilidad, que es, a su vez, una subcaracterística de la aceptabilidad práctica. La dimensión de usabilidad del modelo incorpora los siguientes atributos: fácil de aprender, eficiente de usar, fácil de recordar y menos errores. Los tres primeros atributos representan las características de calidad de un
66
producto de software, mientras que el último atributo representa las evaluaciones subjetivas de los usuarios finales de un sistema de software.
Dromey (Dromey, 1998) utiliza una estrategia constructiva para caracterizar comportamientos y usos. El comportamiento es algo que el software exhibe cuando se ejecuta bajo la influencia de un conjunto de entradas (por ejemplo, usabilidad). El uso es algo que los usuarios diferentes hacen con o al software. El modelo de Dromey enumera las propiedades específicas y las clasifica como pertenecientes a ciertas características del software, y enumera las características del software que caracterizan cada comportamiento y uso.
Aunque las aplicaciones Web, son un tipo particular de producto de software, tienen características específicas que afectan la forma de abordar la evaluación de la usabilidad Web. Ésta, puede ser evaluada usando los estándares descritos anteriormente. Aunque estas normas son útiles para orientar acerca de los aspectos de la usabilidad que se pueden evaluar (modelo de usabilidad), y la forma en que se pueden evaluar (proceso de evaluación), las recomendaciones que ofrecen, son demasiado genéricas. Se propone un subconjunto de características de usabilidad bastante abstractas para ser medidas directamente, sin directrices sobre la integración del proceso de evaluación en diferentes procesos de desarrollo. Por lo tanto, era necesario ampliar o adaptar los modelos de usabilidad y calidad, con estas normas, para tener en cuenta las características específicas de las aplicaciones Web. Esto ha motivado la aparición de varias propuestas para abordar la evaluación de la usabilidad Web.
En “The state of the art in automating usability evaluation of user interfaces “ (Ivory & Hearst, 2001) presentaron una metodología para evaluar los sitios Web centrados en la información. La metodología que propuso se compone de cinco etapas: 1) Identificar un conjunto de medidas cuantitativas para la interfaz de usuario, por ejemplo, la cantidad de texto en una página, el uso del color y la consistencia; 2) Medidas de cálculo para una muestra significativa de interfaces clasificadas; 3) Obtención de modelos estadísticos a partir de las medidas y clasificaciones; 4) utilizar los modelos para predecir clasificaciones para nuevas interfaces; Y 5) Validar la predicción del modelo.
Olsina y Rossi (Olsina & Rossi, 2002) presentaron la metodología denominada Modelo Web de Evaluación de la Calidad (WebQEM), cuyo objetivo es definir una evaluación cuantitativa de la calidad del proceso para aplicaciones Web. WebQEM consta de cuatro fases principales: 1) Definición y especificación de requisitos de calidad que especifican subconjuntos de características y atributos, basados en la norma ISO / IEC 9126-1, considerando también las necesidades explícitas de los usuarios de la Web ; 2) Evaluación básica aplicando métricas para cuantificar los atributos; 3) Evaluación general seleccionando los criterios de agregación y Modelo de puntuación; 4) Generar conclusiones que ofrecen recomendaciones para mejorar la calidad de la aplicación web. Está definido, que la mayoría de las evaluaciones propuestas se llevaron a cabo con aplicaciones Web operativas más que durante las primeras etapas del proceso de desarrollo Web.
Granollers (Granollers i Saltiveri, 2004) propuso la metodología MPIu +, la cual permite llevar a cabo un trabajo efectivo en el desarrollo de sistemas interactivos utilizables y accesibles, permitiendo una convergencia de personas que pertenecen a distintas áreas del conocimiento. El modelo proporciona un mapeo entre los principios básicos de ingeniería de usabilidad, accesibilidad e Ingeniería de Software. También considera las
67
normas ISO/IEC 9126 y ISO / IEC 9241, junto a las pautas de accesibilidad propuestas por el World Wide Web Consortium (W3C).
En “Classifying web metrics using the web quality model” (Calero & Piattini, 2005) presentaron un modelo de calidad específicamente para aplicaciones Web, denominado modelo de Calidad Web (WQM). Este modelo se define considerando tres dimensiones: Las características de la Web (contenido, presentación y navegación), las características de calidad basadas en ISO / IEC 9126-1 (funcionalidad, confiabilidad, usabilidad, eficiencia, portabilidad y mantenibilidad) y los procesos de ciclo de vida basados en ISO/IEC 12207 (desarrollo, operación, mantenimiento). WQM incorpora un total de 326 métricas específicas para productos Web, que se han clasificado en función de estas tres dimensiones. Una de sus fortalezas, es la información que proporciona sobre el número de métricas web que han sido validadas, empíricamente y sobre que cálculos son más fáciles de automatizar. Se puede definir un proceso de evaluación, seleccionando un conjunto de métricas y utilizando los valores obtenidos para construir una expresión ponderada para la "calidad global de la Web". Esta expresión podría emplearse para cuantificar la calidad de una aplicación Web.
En “Usability measurement and metrics: A consolidated model” (Seffah, Donyaee, Kline, & Padda, 2006) presentaron la medición de la calidad en uso (QUIM) como un modelo para la medición de la usabilidad en aplicaciones Web. QUIM combina los modelos existentes de ISO / IEC 9126-1 e ISO / IEC 9241-11, Y define un primer nivel que incluye un subconjunto de 10 características que definen la usabilidad: Eficiencia, efectividad, productividad, satisfacción, aprendizaje, seguridad, confiabilidad, accesibilidad, universalidad y utilidad. En el segundo nivel, las sub-características se desglosan en 26 criterios medibles (por ejemplo, privacidad, familiaridad). En el tercer nivel, 127 métricas de usabilidad están asociadas con estos criterios. Por lo anterior, se presenta una herramienta de edición para definir planes de medición que obtienen datos de diferentes combinaciones de métricas propuestas en el modelo y poder acceder al modelo de usabilidad con todas sus métricas de usabilidad categorizadas, incluyendo una orientación de cómo aplicarlas. Sin embargo, el proceso de evaluación está relegado únicamente a la aplicación de métricas, y no se define ninguna guía detallada para establecer los requisitos, la especificación y el diseño de la evaluación.
En “Improving a portlet usability model” (Moraga, Calero, Piattini, & Díaz, 2007) presentaron un modelo de usabilidad orientado hacia la evaluación de componentes de software para interfaz de usuario modular que se muestran en un portal Web (Portlets6). El modelo se basa en la norma ISO / IEC 9126, aunque la sub-característica de operabilidad fue reemplazada por la de personalización, ya que está más cerca del contexto de los portlets. El proceso de evaluación de la usabilidad propuesto, se basa en una serie de clasificaciones con umbrales de aceptación para cuantificar las sub-características de los modelos. Sin embargo, el propósito de estas medidas está orientado a establecer una clasificación de las puntuaciones que determinan los umbrales de aceptación para cada atributo en los informes de usabilidad.
En “UWIS: An assessment methodology for usability of web-based information systems“ (Oztekin, Nikov, & Zaim, 2009) propusieron la metodología UWIS para la evaluación de la usabilidad y el diseño de sistemas de información basados en la Web. UWIS es una lista de verificación cuyo objetivo es proporcionar índices de usabilidad. Estos
6 http://archive.oreilly.com/pub/a/java/archive/what-is-a-portlet.html
68
índices de usabilidad se definen, considerando, el subconjunto de-características de usabilidad propuestas en ISO/IEC 9241-11, es decir, eficacia, eficiencia y satisfacción, los principios de diálogo para el diseño de la interfaz de usuario de acuerdo con la norma ISO/IEC 9241-10, y finalmente, la heurística de usabilidad propuesta por Nielsen. Una de las fortalezas de este enfoque es proporcionar un método de inspección fácil de usar para la evaluación de aplicaciones Web. Sin embargo, el proceso de evaluación es una simple lista de verificación subjetiva de problemas que deben tratarse en la aplicación Web final.
69
5. MODELO DE MEDICIÓN Y EVALUACIÓN DE LA USABILIDAD
A través del documento se ha analizado los conceptos de usabilidad y viendo con ellos las necesidades de disponer de un modelo, que permita a los web masters, a los coordinadores y responsables del sitio web de una institución del orden superior en Colombia, la evaluación de la usabilidad Web.
Es por esto que se plantea un modelo de evaluación de la usabilidad Web para entidades de educación superior en Colombia, el cual se cimienta en la evaluación heurística apoyada en los principios de Jakob Nielsen (Nielsen & Loranger, Usabilidad. Prioridad en el diseño Web, 2006) y en la herramienta Sirius (Suárez, 2011).
Se ha seleccionado este principio, con base a su simplicidad, menor costo al momento de implementarlo, su practicidad, y a que, a juicio del autor de este documento, luego de haber estado en contacto con web master, usuarios y responsables de los sitios web, fue el que mayor nivel de apropiación.
5.1. Pretensiones del modelo de evaluación
Al ser un modelo que permite evaluar la usabilidad web, se espera que:
Genere una medida cuantitativa entre 0 y 15, la cual cuantifique los niveles de usabilidad de un sitio web de una entidad de Educación Superior. Con el fin de ajustar el sitio a las necesidades del usuario
Los resultados de la evaluación, permitan tomar decisiones en el proceso de mejora continua, con el fin de que el sitio Web cumpla con su objetivo.
Presentar a los que intervienen en el desarrollo del sitio Web, suficientes juicios de valor para influenciar en el desarrollo, contenido y actualización del mismo.
Permitir encontrar a tiempo y de forma sencilla posibles fallas en los puntos neurálgicos del sitio Web.
Relacionar los principios de usabilidad intrínsecos en los sitios Web de entidades de Educación Superior, con el fin de que se dé un soporte al desarrollo Web.
5.2. Definición de sitio Web de Educación Superior
Se puede definir con base a los siguientes aspectos
Contenido general
Proveedores de servicios, público en general desea conocer las ofertas de programa educativos, costos, noticias actualizadas, reconocimientos, contactarse específicamente, temas de inscripción, oportunidades laborales, en definitiva ¿cómo se desenvuelve la vida en esa institución?
Contenido particular
Estudiantes
70
Los estudiantes deben acceder a su sistema de notas, a contactar al docente, al correo electrónicos, a la biblioteca, base de datos de consulta, ingresar conocer sus grupos de investigación, culturales, deportivos, convocatorias, programas de extensión, ofertas académicas, calendario académico, evaluación de docentes y trámites administrativos
Administrativos
El administrativo, deseara poder descargar certificado laboral, ingresar al correo, estar informado de la vida universitaria, actividades de bienestar universitario, académicas, investigativas y de extensión, al igual que las actividades propias de su perfil
Docentes
Igual que los estudiantes y los administrativos, haciendo énfasis en la carga de notas, observaciones a los estudiantes, administración de sus procesos de investigación y demás actividades sustantivas de la Institución.
Un sitio Web de educación superior se define en el contenido, en donde se enfatiza en la calidad de sus programas, en la duración y titulaciones ofertadas, a través de Estudiantes, Docentes, Administrativos, Egresados y los aspirantes a pertenecer a la Institución, en todo lo referente que el gobierno nacional exige, (Ministerio de Educación Nacional, 2016), en cuanto a contenido para publicidad entre otros.
5.2.1. Información que se provee
Entre otras de acuerdo a lo emanado y requerido en Resolución 12220 del 20 de Junio de 2016 (Ministerio de Educación Nacional, 2016):
Nombre de la institución de educación superior. el cual debe corresponder al registrado en el Sistema Nacional de Información de la Educación Superior (SNIES).
Resolución del Ministerio de Educación Nacional que otorga la personería jurídica a la institución de educación superior, en tratándose de aquellas de naturaleza privada. o la ley. ordenanza o acuerdo municipal mediante el cual se haya creado la institución de educación superior de carácter oficial.
Carácter académico de la institución (institución técnica profesional, institución tecnológica, institución universitaria, escuela tecnológica o. universidad).
Lugar de desarrollo de los programas académicos.
Nombre completo de los programas académicos ofertados.
Código SNIES de los programas académicos ofertados.
Tipo de formación académica ofertada (técnico profesional. tecnológica o profesional universitaria), y si se trata de programas de pregrado o posgrado.
Modalidad de los programas académicos (presencial. a distancia o virtual).
71
Demás información detallada y relevante de los programas académicos que oferte y desarrolle.
También debe dar soporte específico a la comunidad universitaria, de Estudiantes, Docentes, Administrativos, Egresados y los aspirantes, manteniendo información de interés actualizada.
5.2.1.1. Usuarios que se esperan
De acuerdo a las necesidades que los usuarios tienen al visitar un sitio web de una Institución de Educación Superior, se pudo constatar que los usuarios habituales están entre los 16 y 28 años, para este estudio no se tuvo en cuenta a los usuarios por encima de estas edades ya que este tipo de usuario usa el sitio web de la institución de forma mecánica y por tareas muy específicas.
Los resultados que apoyan lo anterior se pueden visualizar en la Figura 14
Figura 14. Actividades realizadas de mayor relevancia por tipo de usuario
En la Tabla 10 se puede ver la relación entre usuarios visitantes y actividades de mayor relevancia realizadas en el sitio Web.
Tipo Usuario Actividades realizadas de mayor relevancia
Aspirante pregrado Información de programas académicos
Estudiante Notas, contacto a docentes y estudiantes
Egresados Información actualizada sobre la vida universitaria
Administrativos, Egresados Información actualizada sobre la vida universitaria, procesos administrativos
Tabla 10. Actividades realizadas de mayor relevancia por tipo de usuario
De acuerdo a estos resultados, en las pruebas para definir el modelo de la presente se tuvo en cuenta solo a usuario que comprenden las edades entre 16 y 28 años. (Bevan & Macleod, Usability measurement in context, 2010), debido a que en la evaluación basada en el usuario, solo se puede tener en cuenta un subconjunto de las actividades soportadas
010203040
Actividades realizadas de mayor relevancia por tipo de usuario
16 Aspirante 16 - 20 Estudiantes 21 - 28 Egresados > 28 Administrativos, docentes
72
en el sistema, por tanto la evaluación se debe basar en las actividades de mayor relevancia o críticas para el usuario.
Adicionalmente caracterizar a los usuarios es importante en la evaluación de la usabilidad, ya que es primordial obtener un conjunto de usuarios que representen al total y no solo por el equipo desarrollador.
5.2.1.2. Elementos a tener en cuenta en la evaluación heurística.
Con el fin de evitarse los inconvenientes propios de la falta de normalización de criterios, en este trabajo se han establecido una relación única entre criterios seleccionados y los aspectos que serán usados en el transcurso de la evaluación
Teniendo en cuenta los criterios aportados desde (Hassan Montero & Martín Fernández, 2003) y (Suárez, 2011) se identificaron los que a continuación se esbozan.
5.2.1.3. Aspectos que se relacionan en la evaluación
Generalidades (Suárez, 2011), Se tiene en cuenta los objetivos del sitio, look and feel, su actualización y la relación entre información y diseño.
Identidad e Información (Suárez, 2011), en este aspecto lo importante es que el sitio este plenamente identificado, incluyendo el contenido y sus autores
Estructura y navegación (Suárez, 2011), el diseño debe proveer una estrecha relación con el contenido y la forma de navegación.
Marcado (Suárez, 2011), es importante que la semántica de los elementos, lo que dice es lo que contiene.
Disposición de la página, la navegación y sus elementos deben estar distribuidos de tal forma que la interfaz sea reconocida y de fácil acceso.
Interacción y entendible, la relación semántica entre iconos, controles y contenido, debe ser integral.
Control y retroalimentación (Hassan Montero & Martín Fernández, 2003), las pop-up, ventanas tipo panel, información concisa de lo que está sucediendo en ese instante de tiempo, y los errores, permiten al usuario mantener su navegación.
Multimedia, Video, gifs, sonido, streaming, están relacionados integralmente entre contenido y pertinencia
Búsqueda (Hassan Montero & Martín Fernández, 2003), debe ser un elemento adecuado en cuanto a uso y calidad de la información entregada.
Ayuda (Hassan Montero & Martín Fernández, 2003), debe responder a las preguntas, ¿Es necesaria?, la que ofrece es ¿relevante?, ¿es controlable?
Accesibilidad (Hassan Montero & Martín Fernández, 2003), no es al alcance de esta investigación sin embargo tiene que ver con aspectos como tamaño, facilidad de comprensión, contraste, JScript, CSS, impresión de la página.
73
5.2.2. Criterios a tener en cuenta en la Evaluación
Es evidente que los criterios deben estar unificados, cada conjunto heurístico o principios deben ser entendidos de igual forma por cada uno de los evaluadores.
Desde esta perspectiva se han definidos criterios que dependen de los aspectos a los que se llaman heurística, para que cada uno de los evaluadores los utilice de igual forma, estos están relacionados con un único ítem a evaluar. De esta forma se espera la unificación de los criterios al realizar la evaluación heurística en los sitios web en estudio.
En la búsqueda de los aspectos y criterios para ser usados en este modelo, se ha tenido en cuenta el método para la definición de métricas de software propuesto por Manuel Serrano y otros (Serrano, Piattini, Calero, & otros, 2013), adicionalmente lo propuesta en la guía de evaluación heurística de Sitios web (Hassan Montero & Martín Fernández, 2003) y lo estudiado en capítulos anteriores.
Sin embargo, aún faltaban algunos criterios, tales como la posibilidad de cambiar de idioma o un manejo adecuado de los elementos multimedia, porque si bien lo podrían tener, hasta que nivel era una buena traducción o tenía un manejo controlado de la multimedia.
Luego de algunas pruebas los usuarios estaban más interesados en los elementos de multimedia que en la posibilidad de tener la posibilidad de varios idiomas. Eran muchos los criterios a tener por cada uno de los aspectos, sin embargo, luego de una ardua tarea de perfeccionamiento, se destacaron los criterios que en el siguiente apartado se listan.
5.2.2.1. Lista de los aspectos (Heurísticos)
Se lista los aspectos (Tabla 1) y su equivalencia aproximada con los principios establecidos por Nielsen Jakob.
Aspectos seleccionados Descripción Principios Nielsen Jakob
Generalidades
Se tienen en cuenta, los objetivos del sitio, interfaz gráfica del usuario, coherencia entre contenido y diseño, el nivel de actualización de contenidos.
Visibilidad del estado del sistema
Identidad, Información
El sitio debe su propia identidad, en cada momento de navegación dentro de él, al igual que la información y su correspondientes autores.
Correspondencia entre el sistema y el mundo real
Estructura, navegación El diseño de navegación debe coincidir con los aspectos estructurales.
Control de usuario y libertad
Etiquedado
Lo que dice es lo que significa es lo que contiene. El marcado de cada elemento debe tener coherencia y pertenecer a algún estándar. Coherencia y estándares
Disposición de elementos
La distribución y la forma en que los elementos se distribuyen en el sitio web es fundamental para la navegación.
Diseño estético y minimalista
74
Simplicidad en la Interacción
Semántica, correspondencia entre elementos y una buena estructura
Reconocimiento en lugar de recordar
Búsqueda
Tener un buscador en el sitio web, puede ayudarnos tener control sobre la información que se requiere y de alguna forma evitar los errores.
Ayuda a reconocer y recuperar errores
Prevención de errores
Control, Retroalimentación
Autonomía del usuario en el recorrido, el feedback y toda información que el sistema este por bien dar para que el usuario mantenga control sobre su vista
Multimedia
Los elementos multimedia estimula la navegación, siempre y cuando el usuario tenga control sobre ellos
Flexibilidad y eficiencia de uso
Ayuda
Se evidencia que este elemento es muy importante para el usuario, ya que se siente apoyado y escuchado. Ayuda y documentación
Tabla 11. Lista de los aspectos en relación con los principios heurísticos propuestos por Nielsen Jakop
5.2.2.2. Aspectos y sus criterios
Generalidades
Cuenta con objetivos bien definidos
El contenido y los servicios son precisos.
Es fácil de entender la estructura general, orientada a cualquier usuario
El diseño de la interfaz gráfica es apta con los objetivos, contenidos y servicios
El diseño del sitio web es fácilmente reconocible
El Diseño del sitio web corresponde con su contenido
Se adapta al idioma del usuario
Es perceptible su actualización periódica.
Identidad, información
Identidad en todas las páginas (logos, lemas, color, sonido)
Es reconocible en cualquier parte del sitio web en que Institución está
Se encuentra forma de contacto y/o formularios de contacto
Las políticas sobre protección de información personal y/o derechos de autor están visibles
Es visible información sobre las fuentes, fecha de creación, revisión, autor(es)
75
Estructura de navegación
La forma en que está organizada la estructura es práctica
Los menús y submenús tienen una cantidad razonable de elementos
Los links son reconocibles
Los links visitados tienen caracterización para cuando son visitados, o están activos
Los links no se repiten
No hay links rotos o que lleven a una página inexistente
Los iconos del link hablan por sí solos sobre el contenido.
En cada página del sito existe un link para volver al inicio
Durante la navegación existe formas de saber en dónde está con respecto a la página inicial, formas de devolverse
En caso de no querer navegar por todo el sitio, es explicito el mapa del sitio.
Etiquetado
La dirección del sitio web (URL) es fácil de recordar y entendible
Las direcciones (URL) internas son entendibles (aporta información)
Disposición de elementos
No existe sobrecarga de información
La interfaz no contiene ruido visual, es agradable
Existen espacios para descansar la vista (espacios blancos entre elementos)
Es clara la jerarquía de elementos, para indicar que un elemento es parte de uno mayor.
El ancho de la página no sobrepasa los límites del navegador.
Cuando se imprime la página, se ve bien
La fuente (texto) de la página es fácil de leer, es acorde con el contenido.
Simplicidad en la interacción
El lenguaje usado es sencillo, claro y concreto
Se usa un lenguaje fácil de entender y que lo acerca al contenido
76
Cada párrafo es una idea
Los controles (leer más, botones, cuados de ingreso de texto) en la página hablan por sí solos.
Los iconos-link son fácilmente reconocibles y son entendibles por cualquier usuario
En los menús desplegables, se usa orden alfabético o relaciona claramente sus elementos.
Cuando se debe llenar campos, están disponibles las opciones para seleccionar, sin escribirlas
Control, Retroalimentación
Se puede validar la información ingresada, para evitar generar un error
Al producirse un error, es clara la forma en que se informa, y no la impresión de haber dañado el sitio web o el computador, y le informa como se podría solucionar.
Al desplegarse ventanas, estas no se superponen y no evitan que se pueda seguir navegando
No se van abriendo ventanas mientras que se navega
Al navegar por elementos jerárquicos (un elemento lleva a otro), existen indicadores para el usuario
Multimedia
Las fotografías tienen relación con el contenido
Las fotografías son fáciles de leer, tiene una resolución adecuada
Al proveer imágenes, gifs, elementos flash (animaciones), están apoyan el contenido aportando valor.
No se encuentra banners o animaciones que repitan
Búsqueda
La búsqueda se encuentra disponibles en todo el sitio
Se encuentra fácil de reconocer
Se puede acceder de forma fácil
El espacio para escribir el texto tiene un tamaño razonable
Es fácil de usar
77
En caso de no encontrar lo que se busca, ofrece opciones avanzadas de búsqueda
Los resultados de la búsqueda se comprenden
Colabora al usuario, en caso de que no haya sido una búsqueda éxitos.
Ayuda
Existe un enlace de ayuda y está en un lugar de fácil acceso
Se puede ingresar y salir de forma intuitiva del sistema de ayuda
La ayuda contextual es ofrecida en elementos complejo
Las FAQs (Frequently asked questions - preguntas frecuentes) están bien elaboradas en cuanto a su selección
Las FAQs (Frequently asked questions - preguntas frecuentes) están bien elaboradas en cuanto a su respuesta
5.2.2.3. Valoración de los criterios y aspectos desde el punto del usuario
La valoración se relaciona con criterios y los objetivos que se hayan trazado para la evaluación. Se realizó una valoración donde se indica los niveles de prioridad (Jakob, 1990) tanto de los aspectos ver Tabla 12 y de los criterios en la Tabla 14
5.2.2.3.1. Nivel de Importancia de los aspectos
Se valoró cada uno de los aspectos analizando las respuestas de 30 usuarios, a través de un cuestionario sencillo donde se evalúa Muy importante si el usuario considera que es un aspecto de transcendencia durante la navegación, de la misma forma se evalúa Medianamente Importante, si considera que su importancia es necesaria pero no vital, y de Baja importancia cuando el usuario considera que sin ese aspecto el sitio podría ser navegable. En la Tabla 12, se puede visualizar los resultados para cada aspecto.
Aspectos Sitios web de educación superior
Generalidades Muy Importante
Identidad, Información Medianamente Importante
Estructura, navegación Muy Importante
Etiquetado Baja Importancia
Disposición de elementos Medianamente Importante
Simplicidad en la Interacción Medianamente Importante
Búsqueda Muy Importante
Control, Retroalimentación Baja Importancia
Multimedia Medianamente Importante
Ayuda Baja Importancia Tabla 12. Valoración de los aspectos
78
5.2.2.3.2. Nivel de Importancia de los aspectos
Se valoró cada uno de los criterios analizando las respuestas de 30 usuarios, a través de un cuestionario sencillo donde se evalúa la importancia en relación a lo expuesto en la Tabla 14
Valor contextual
Descripción
CR El incumplimiento del criterio hace que el usuario no desee volver al sitio web o que solo lo visite por absoluta necesidad
MA Al incumplir este criterio, las actividades se realizarán con dificultad, con muchos pasos, para aprender, debe ser ayudado por alguien.
ME Este criterio no tiene mayor relevancia, puede ser molesto, pero el usuario lo puede superar
Tabla 13. Tabla de valoración de importancia de los criterios.
De la aplicación de las encuestas se obtuvieron los siguientes resultados Tabla 14
Aspectos Codificación Criterios Importancia
1.
Gen
era
lidad
es
G1 Cuenta con objetivos bien definidos MA
G2 El contenido y los servicios son precisos. CR
G3 Es fácil de entender la estructura general, orientada a cualquier usuario
MA
G4 El diseño de la interfaz gráfica es apta con los objetivos, contenidos y servicios
ME
G5 El diseño del sitio web es fácilmente reconocible ME
G6 El Diseño del sitio web corresponde con su contenido
MA
G7 Se adapta al idioma del usuario ME
G8 Es perceptible su actualización periódica. ME
2.
Iden
tid
ad, i
nfo
rmac
ión
I1 Identidad en todas las páginas (logos, lemas, color, sonido)
ME
I2 Es reconocible en cualquier parte del sitio web en que Institución está
ME
I3 Se encuentra forma de contacto y/o formularios de contacto
ME
I4 Las políticas sobre protección de información personal y/o derechos de autor están visibles
ME
I5 Es visible información sobre las fuentes, fecha de creación, revisión, autor(es)
MA
3.
Estr
uct
ur
a,
nav
egac
i
ón
E1 La forma en que está organizada la estructura es práctica
MA
E2 Los menús y submenús tienen una cantidad razonable de elementos
MA
79
E3 Los links son reconocibles MA
E4 Los links visitados tienen caracterización para cuando son visitados, o están activos
MA
E5 Los links no se repiten MA
E6 No hay links rotos o que lleven a una página inexistente
MA
E7 Los iconos del link hablan por sí solos sobre el contenido.
ME
E8 En cada página del sito existe un link para volver al inicio
ME
E9
Durante la navegación existe formas de saber en dónde está con respecto a la página inicial, formas de devolverse
MA
E10 En caso de no querer navegar por todo el sitio, es explicito el mapa del sitio.
ME
4.
Etiq
uet
ado
L1 La dirección del sitio web (URL) es fácil de recordar y entendible ME
L2 Las direcciones (URL) internas son entendibles (aporta información) ME
5.
Dis
po
sici
ón
de
ele
men
tos
D1 No existe sobrecarga de información ME
D2 La interfaz no contiene ruido visual, es agradable ME
D3 Existen espacios para descansar la vista (espacios blancos entre elementos) ME
D4 Es clara la jerarquía de elementos, para indicar que un elemento es parte de uno mayor. ME
D5 El ancho de la página no sobrepasa los límites del navegador. ME
D6 Cuando se imprime la página, se ve bien MA
D7 La fuente (texto) de la página es fácil de leer, es acorde con el contenido. MA
6.
Sim
plic
idad
en
la in
tera
cció
n
S1 El lenguaje usado es sencillo, claro y concreto MA
S2 Se usa un lenguaje fácil de entender y que lo acerca al contenido ME
S3 Cada párrafo es una idea ME
S4
Los controles (leer más, botones, cuados de ingreso de texto) en la página hablan por sí solos. ME
S5 Los iconos-link son fácilmente reconocibles y son entendibles por cualquier usuario ME
S6
En los menús desplegables, se usa orden alfabético o relaciona claramente sus elementos. ME
80
S7
Cuando se debe llenar campos, están disponibles las opciones para seleccionar, sin escribirlas ME
7.
Co
ntr
ol,
Ret
roal
imen
taci
ón
C1 Se puede validar la información ingresada, para evitar generar un error ME
C2
Al producirse un error, es clara la forma en que se informa, y no la impresión de haber dañado el sitio web o el computador, y le informa como se podría solucionar. ME
C3
Al desplegarse ventanas, estas no se superponen y no evitan que se pueda seguir navegando ME
C4 No se van abriendo ventanas mientras que se navega ME
C5
Al navegar por elementos jerárquicos (un elemento lleva a otro), existen indicadores para el usuario ME
8.
Mu
ltim
edia
M1 Las fotografías tienen relación con el contenido MA
M2 Las fotografías son fáciles de leer, tiene una resolución adecuada ME
M3
Al proveer imágenes, gifs, elementos flash (animaciones), están apoyan el contenido aportando valor. ME
M4 No se encuentra banners o animaciones que repitan ME
9.
Bú
squ
eda
B1 La búsqueda se encuentra disponibles en todo el sitio MA
B2 Se encuentra fácil de reconocer ME
B3 Se puede acceder de forma fácil ME
B4 El espacio para escribir el texto tiene un tamaño razonable MA
B5 Es fácil de usar CR
B6 En caso de no encontrar lo que se busca, ofrece opciones avanzadas de búsqueda ME
B7 Los resultados de la búsqueda se comprenden MA
B8 Colabora al usuario, en caso de que no haya sido una búsqueda éxitos. MA
10
. Ayu
da.
H1 Existe un enlace de ayuda y está en un lugar de fácil acceso ME
H2 Se puede ingresar y salir de forma intuitiva del sistema de ayuda ME
H3 La ayuda contextual es ofrecida en elementos complejo ME
81
H4
Las FAQs (Frequently asked questions - preguntas frecuentes) están bien elaboradas en cuanto a su selección ME
H5
Las FAQs (Frequently asked questions - preguntas frecuentes) están bien elaboradas en cuanto a su respuesta ME
Tabla 14. Valoración de los criterios
5.2.3. Especificación del Modelo
Luego de establecer valores y niveles de importancia entre los aspectos y los criterios en relación a los sitios web de instituciones de educación superior en Colombia, ya estamos preparados para formular la métrica del modelo de evaluación
5.2.3.1. Formulación de la métrica del modelo de evaluación de Sitios web de Educación Superior
La primera fase fue crear un cuestionario para aplicar de forma heurística la evaluación de cada criterio, de acuerdo a la siguiente Tabla 15.
Valor número Valoración Descripción
0 No se cumple en todo sitio
El criterio no se aplicado en el sitio web
1 Se cumple en algunas partes del sitio
Aunque el criterio esta aplicado, no se ve en todo el sitio web
2 Se cumple el criterio El criterio es aplicado en todo el sitio web
3 NA El criterio no se aplica por el mismo diseño del sitio web
Tabla 15. Valores para evaluar los criterios.
Este sistema de valoración permitió evaluar de una manera más acertada los criterios, sin necesidad de tener un sistema de valoración para cada aspecto y de esta forma se logra que el usuario evaluador se concentre más en el criterio que en el valor
5.2.3.2. Ponderación de elementos en cada criterio en relación a los aspectos
Es vital para poder especificar su grado de usabilidad en cada criterio, que estuvieran ponderados de forma proporcional a su valor contextual.
Valor contextual Valor numérico de Importancia
CR 8
MA 4
ME 2 Tabla 16. Tabla de equivalencias entre Valor contextual y Valor de imortancia
5.2.3.3. Calculo de usabilidad desde el modelo
Análisis estadístico de la información
Breve descripción del análisis de la información
82
Paso 1: Ponderaciones
Tal como se expresó en 5.2.3.2
ME: 2 Puntos
MA: 4 Puntos
CR: 8 Puntos
Paso 2: Agregaciones por principio
Agregar por principio, se obtiene la suma de los puntajes obtenidos en cada principio:
Por ejemplo, para un evaluador que tiene las siguientes calificaciones en el primer principio Generalidades.
A1 A2 A3 A4 A5 A6 A7
0 1 0 0 1 2 1
Y Basado en las ponderaciones descritas en el paso 1.
MA CR MA ME ME MA ME
4 8 4 2 2 4 2
El total obtenido es en principio 1 es de 20 puntos.
El mismo proceso se repite para todos los evaluadores y todos los principios.
Paso 3: Selección de principios
Con los totales obtenidos en el paso 2 se procede a realizar un análisis de componentes principales. Este análisis busca resumir la información creando un conjunto de nuevas variables formadas como combinaciones lineales de los 10 originales (los totales de los 10 principios).
En este proceso, se asigna un peso a cada principio de acuerdo a la diferenciación que pueda lograr en las páginas evaluadas, así, recibirá un peso mayor el principio que logra una mayor diferenciación en los resultados de las páginas, esto en estadística se conoce como maximizar la varianza.
Con los resultados obtenidos, se obtiene la matriz de correlación, Tabla 17., con la cual se espera ver la interdependencia relacionadas con cada pareja de variables, todas al mismo tiempo.
83
Tabla 17. Esta es la matriz de coeficientes de correlación entre los 10 principios
Analizado estos resultados, logramos general el circulo de correlación (. Gráfico muy frecuente en un análisis de componentes principales) ilustra la idea anterior la Figura 15.
Figura 15. Circulo de correlación
Dentro de este análisis se encuentra un resultado muy importante, los 10 principios utilizados no apuntan a la medición de un mismo concepto, es decir, los 10 principios utilizados para medir usabilidad en realidad están midiendo dos conceptos diferentes.
El primer concepto “Imagen” (diseño) está enfocado en la imagen, en lo que el individuo percibe, ya sea por su experiencia con otros sistemas, o su apreciación intuitiva.
El segundo concepto “Funcionalidad” fluye a través de la capacidad de respuesta funcional que el sistema le otorgue al usuario, esto hace que la experiencia del usuario en el sistema sea agradable.
Aquí se observa como los principios 1,2,3 y 5 están orientados a la medición “Imagen” (Tabla 18) mientras que los principios 6,7,8,9, y 10 están orientados a la medición de la “Funcionalidad” (Tabla 19).
Imagen (Diseño)
P1 Generalidades
84
P2 Identidad, información
P3 Estructura, navegación
P5 Disposición de elementos
Tabla 18. Principios orientados a la imagen (Diseño)
Funcionalidad
P6 Simplicidad en la interacción
P7 Control, Retroalimentación
P8 Multimedia
P9 Búsqueda
P10 Ayuda
Tabla 19. Principios orientados a la funcionalidad
Así mismo el principio 4 no está orientado a la medición de ninguno de estos dos conceptos y por eso no será tenido en cuenta para la medición de usabilidad.
Los siguientes resultados ilustran de mejor manera lo que ocurre con el principio 4.
La primera tabla corresponde a los promedios de los 10 principios para cada página evaluada y la segunda corresponde a los mismos datos, pero organizados como porcentajes, donde al promedio más alto se le asigna un 100% y a los demás un porcentaje menor basado en una regla de 3.
Web P1 P2 P3 P4 P5 P6 P7 P8 P9 P10
Javeriana 47.7 16.4 45.7 5.9 28.9 22.8 13.2 15.9 35.5 6.4
Udea 52.0 23.3 61.8 4.2 31.5 28.0 17.1 18.0 52.7 9.4
Usabana 45.7 21.0 56.3 6.9 26.2 25.3 12.0 16.6 36.3 1.1
Andes 26.2 14.0 38.0 6.8 11.5 29.8 14.7 16.9 38.2 15.0
Univalle 46.8 17.7 54.4 2.2 23.0 23.7 16.9 16.1 55.1 2.8
UD 42.5 20.8 51.0 5.7 22.0 18.3 11.9 15.3 40.3 15.0
UNAL 49.1 13.7 52.2 4.0 30.1 27.8 14.1 17.1 58.0 8.8
UNALMED 36.1 17.5 45.9 6.9 22.6 20.9 10.3 16.8 36.1 6.0
USTA 40.0 17.7 41.4 4.9 21.7 22.5 6.9 15.3 21.6 1.2
UTP 38.8 13.2 59.5 7.0 23.1 23.3 8.6 17.0 39.2 7.3
Tabla 20. Promedios de los 10 principios para cada página evaluada
85
web P1 P2 P3 P4 P5 P6 P7 P8 P9 P10
Javeriana 92% 71% 74% 84% 92% 77% 77% 89% 61% 43%
Udea 100% 100% 100% 60% 100% 94% 100% 100% 91% 63%
Usabana 88% 90% 91% 99% 83% 85% 71% 92% 63% 7%
Andes 50% 60% 62% 97% 37% 100% 86% 94% 66% 100%
Univalle 90% 76% 88% 32% 73% 80% 99% 89% 95% 19%
UD 82% 90% 83% 82% 70% 61% 70% 85% 70% 100%
UNAL 94% 59% 85% 57% 96% 93% 82% 95% 100% 59%
UNALMED 69% 75% 74% 99% 72% 70% 60% 93% 62% 40%
USTA 77% 76% 67% 71% 69% 76% 40% 85% 37% 8%
UTP 75% 57% 96% 100% 73% 78% 51% 95% 68% 49%
Tabla 21. Promedios de los 10 principios para cada página evaluada
Aquí se puede observar la disparidad en los resultados del principio 4, si se observa la UNAL, dado que obtiene resultados altos en casi todos los principios evaluados, pero muy bajo particularmente en el 4.
El mismo comportamiento ocurre con la UDEA, que alcanza calificaciones muy altas en casi todos los principios salvo P4. Caso contrario para la UTP que NO tiene resultados buenos en los demás principios, pero si alcanza el mayor resultado en el principio 4.
Por esta razón, se concluye a partir de la valoración estadística que el principio “Etiquetado” está orientado a medir un aspecto diferente al concepto de usabilidad lo cual puede estar motivado por la interpretación errónea del principio en el momento de la evaluación.
Paso 4: Pesos para cada principio en cada concepto
Se realizan los análisis de componentes principales sobre los conceptos definidos Imagen (Diseño) y Funcionalidad. En cada caso, se genera un conjunto de ponderaciones para cada principio basado en la máxima diferenciación mencionada.
Principio Peso %
P1 0.5794615 29%
P2 0.3415493 17%
P3 0.4964571 25%
P5 0.5487247 28%
Tabla 22. Pesos para cada principio en cada concepto
Es decir que este primer concepto se forma como una combinación lineal de los 4 principios incluidos, donde P1 importa un 29%, el 5 un 28%, el 3 un 25% y el 2 un 17%.
86
La formalización de la usabilidad, está dada en
𝑈𝑠𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 =∑ 𝑊𝑖𝑃𝑖
10𝑖=1
∑ 𝑤𝑖
𝑃𝑖 = ∑ 𝐼𝑚𝑝𝑜𝑟𝑡𝑎𝑛𝑐𝑖𝑎𝑖𝐸𝑣𝑎𝑙𝑢𝑎𝑐𝑖𝑜𝑛𝑖
Importancia, son valores 2 para ME, 4 para MA, 8 para CR, de acuerdo a la Tabla 16.
Evaluacion, están entre 0,1,2,3
Con las anteriores ponderaciones y aplicando la ecuación de usabilidad, se cuantifican el primer concepto como:
𝐼𝑚𝑎𝑔𝑒𝑛∗ = [0.579𝑃1 + 0.342 𝑃2 + 0.496𝑃3 + 0.549𝑃5
0.579 + 0.342 + 0.496 + 0.549]
Y estandarizarlo entre 0 y 10 como:
[10(𝐼𝑚𝑎𝑔𝑒𝑛∗ − 𝑀𝑎𝑥(𝐼𝑚𝑎𝑔𝑒𝑛∗))
𝑀𝑎𝑥(𝐼𝑚𝑎𝑔𝑒𝑛∗) − 𝑀𝑖𝑛(𝐼𝑚𝑎𝑔𝑒𝑛∗)]
Basado en este primer concepto “Imagen”, el ranking de las universidades es el siguiente:
Web Imagen
Universidad de Antioquia 8.91
Universidad de la Sabana 7.12
Universidad Nacional de Colombia 6.77
Universidad del Valle 6.39
Pontificia Universidad Javeriana 6.33
Universidad Distrital Francisco José de Caldas 5.98
Universidad Tecnológica de Pereira 5.58
87
Universidad Nacional de Colombia Medellín 4.74
Universidad Santo Tomás 4.68
Universidad de los Andes 1.70
Los resultados para funcionalidad son los siguientes:
Principio Peso %
P6 0.407554 19%
P7 0.5768873 27%
P8 0.3135114 15%
P9 0.5576719 26%
P10 0.3030073 14%
Con estas ponderaciones se cuantifican el segundo concepto como:
𝐹𝑢𝑛𝑐𝑖𝑜𝑛𝑎𝑙𝑖𝑑𝑎𝑑∗ = [0.408𝑃6 + 0.5769𝑃7 + 0.314𝑃8 + 0.558𝑃9 + 0.303𝑃10
0.408 + 0.5769 + 0.314 + 0.558 + 0.303]
Y estandarizarlo como:
[10(𝐹𝑢𝑛𝑐𝑖𝑜𝑛𝑎𝑙𝑖𝑑𝑎𝑑∗ − 𝑀𝑎𝑥(𝐹𝑢𝑛𝑐𝑖𝑜𝑛𝑎𝑙𝑖𝑑𝑎𝑑∗))
𝑀𝑎𝑥(𝐹𝑢𝑛𝑐𝑖𝑜𝑛𝑎𝑙𝑖𝑑𝑎𝑑∗) − 𝑀𝑖𝑛(𝐹𝑢𝑛𝑐𝑖𝑜𝑛𝑎𝑙𝑖𝑑𝑎𝑑∗)]
88
Web Funcionalidad
Universidad de Antioquia 8.67
Universidad de la Sabana 8.00
Universidad Nacional de Colombia Medellín 7.52
Universidad Nacional de Colombia 7.09
Universidad Distrital Francisco José de Caldas 5.00
Pontificia Universidad Javeriana 4.95
Universidad del Valle 4.77
Universidad Tecnológica de Pereira 4.56
Universidad Santo Tomás 4.22
Universidad de los Andes 1.73
La lectura de los resultados es análoga a la tabla anterior.
5.2.4. Análisis de los resultados luego de la aplicación del modelo.
Es así que la usabilidad se genera a partir de un promedio entre los dos conceptos (Imagen y Funcionalidad) definidos anteriormente
𝑈𝑠𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 = 0.5[𝐼𝑚𝑎𝑔𝑒𝑛 + 𝐹𝑢𝑛𝑐𝑖𝑜𝑛𝑎𝑙𝑖𝑑𝑎𝑑]
De tal manera que los pesos de cada principio en la medición de la usabilidad pueden ser obtenidos como:
P1 0.2897 14.0%
P2 0.1708 8.3%
P3 0.2482 12.0%
P5 0.2744 13.3%
P6 0.2038 9.9%
P7 0.2884 14.0%
89
P8 0.1568 7.6%
P9 0.2788 13.5%
P10 0.1515 7.3%
Tabla 23. Pesos de cada principio en la medición de la usabilidad
Una distribución de frecuencias de los valores de la usabilidad da como resultado, la gráfica de distribución de usabilidad. Figura 16
Figura 16. Distribución de la usabilidad resultante.
Donde se puede observar que la mayoría de los evaluadores otorgó calificaciones entre 4 y 7. Además el ranking de las páginas de las universidades de acuerdo a la usabilidad es el siguiente:
Ranking Web Usabilidad
1 Universidad de Antioquia 8.79
2 Universidad de la Sabana 7.39
3 Universidad Nacional de Colombia Medellín 6.74
4 Universidad Nacional de Colombia 5.95
5 Universidad Distrital Francisco José de Caldas 5.64
6 Pontificia Universidad Javeriana 5.49
7 Universidad del Valle 5.07
8 Universidad Tecnológica de Pereira 4.61
9 Universidad Santo Tomás 4.48
10 Universidad de los Andes 3.20 Tabla 24. Ranking de las páginas de las universidades
90
5.2.5. Comparativa con paginas Ranking
No existe evidencia alguna de ranking de usabilidad para páginas web de educación superior, sin embargo, es interesante ver que no por ser más usable es la más visitada.
Figura 17. Ranking web de universidades, (Webometrics, 2016).
En los objetivos de este sitio web, dice que la intención es la de motivar a las instituciones académicos a tener una presencia en la web que reflejen con precisión sus actividades. Si el desempeño web de una institución está por debajo de la posición esperada según su excelencia académica, las autoridades universitarias deben reconsiderar su política web, promoviendo aumentos sustanciales del volumen y calidad de sus publicaciones electrónicas.
5.2.6. Calculo de usabilidad para un usuario
Con base en lo anterior, se quiso realizar una aproximación, para evaluar la usabilidad por un usuario, sometiendo los resultados a una serie de transformaciones, se logró detectar que los aspectos se debían trabajar desde los criterios, con el mismo principio con el que se logró la métrica para un gran número de evaluaciones.
Es importante tener en cuenta, que la valoración individual, carece de la precisión de múltiples evaluaciones.
Se estandariza cada aspecto, debido a que son criterios diferentes, se intenta normalizar los aspectos, a partir de la siguiente ecuación.
𝐴𝑠𝑝𝑒𝑐𝑡𝑜 𝑗 =(∑ 𝑉𝑛𝑖 ∗ 𝑉𝑢𝑖
𝑛𝑖=1 ) − 𝑃𝑟𝑗
𝐷𝑒𝑗
91
Vni: Valor numérico i, perteneciente a un aspecto j
Vui: Valoración del usuario
Prj: Constante propia del aspecto j
Dej: Constante propia del aspecto j
Luego de estandarizar, se entiende que los aspectos son tratados de forma diferente, es por esto que se multiplica por un peso que pertenece a cada aspecto.
𝐴𝑠𝑝𝑒𝑐𝑡𝑜 𝑝𝑒𝑠𝑜 𝑗 ⌊(∑ 𝑉𝑛𝑖 ∗ 𝑉𝑢𝑖
𝑛𝑖=1 ) − 𝑃𝑟𝑗
𝐷𝑒𝑗∗ 𝑃𝑒𝑠𝑜𝑗⌋
Peso j: peso del aspecto j.
Se agrupan los conceptos.
𝑆𝑢𝑚 𝐶𝑜𝑛𝑐𝑒𝑝𝑡𝑜 𝑘 = ∑(𝐴𝑠𝑝𝑒𝑐𝑡𝑜 𝑝𝑒𝑠𝑜 𝑗)𝑘
𝑚
𝑘=1
Al igual que en la ecuación de la usabilidad, se estandariza, usando el mismo principio.
𝑈𝑠𝐶𝑘 =10 ∗ 𝑆𝑢𝑚 𝐶𝑜𝑛𝑐𝑒𝑝𝑡𝑜 𝑘 − 𝑚𝑖𝑛𝐶𝑜𝑛𝑐𝑒𝑝𝑡𝑜𝑘
𝑚𝑎𝑥𝐶𝑜𝑛𝑐𝑒𝑝𝑡𝑜𝑘 − 𝑚𝑖𝑛𝐶𝑜𝑛𝑐𝑒𝑝𝑡𝑜𝑘
La usabilidad total, se consigue al promediar los resultados de los conceptos
𝑈𝑠𝐶𝐺𝑒𝑛𝑒𝑟𝑎𝑙 =𝑈𝑠𝐶𝐼 + 𝑈𝑠𝐶𝐹
2
5.2.6.1. Resultados cualitativos
Al aplicar la métrica, los resultados provistos, indicarán los niveles de usabilidad de acuerdo a las siguientes tablas.
Eval.Usabil
Valor
UsCI
11.1 a 17.0 Usabilidad alta en Diseño
92
5.1 a 11.0 Usabilidad media en Diseño
0.0 a 5.0 Usabilidad muy baja en Diseño
Eval.Usabil
Valor
UsCF
6.1 a 11.0 Usabilidad alta en Diseño
4.10 a 6.00 Usabilidad media en Diseño
4.00 a 0.0 Usabilidad muy baja en Diseño
Eval.Usabil
Valor
Usabilidad
6.1 a 14.0 Nivel de usabilidad Alto
4.10 a 6.00 Nivel de usabilidad Medio
4.00 a 0.0 Nivel de usabilidad Bajo
93
6. CONCLUSIONES
Al iniciar el presente trabajo se esperaba tener un modelo de evaluación para sitios web de educación superior en Colombia, el cual luego de extenuantes jornadas de recolección de datos a través de encuestas, entrevistas, conversaciones sueltas, análisis de las mismas, se logró obtener.
Se logró tener un sistema de evaluación sencillo y practico, el cual, desde una hoja de cálculo, o en un formulario a lápiz y papel, logra medir la usabilidad a través de 10 aspectos que de alguna manera coinciden con los principios esbozados por Jakob Nielsen y lo más importante se logró reducir a 61 los criterios, con esto obtuvimos un menor estrés y un mayor nivel objetividad en las respuestas.
El sistema propuesto se basa en la heurística, y como tal, es difícil medirla, pero al incorporar elementos como valoración de los Aspectos de forma que obtuvieran un valor de acuerdo a su nivel de importancia, los criterios adicional al valor obtenido por el usuario se relacionan con un valor de acuerdo a grado de inferencia, el cual también se pondero, se logró obtener un producto que incluso se podría aplicar en las diferentes fases de creación de todos los sitios web de educación en Colombia.
A través de la aplicación de esta metodología se pude evidenciar que no por ser un sitio muy visitados, son sitios más usables, es claro que la usabilidad no solo mide contenido, intenta medir la experiencia del usuario, el cual tiene tres aspectos involucrados, Imagen (diseño) agradable, buen contenido, y obtener respuestas acertadas en cada movimiento (las del sistema). Un conjunto integro que hace de la experiencia del usuario una experiencia con menos traumatismos.
Entre los aspectos a destacar como resultado de este trabajo, el usuario colombiano, prefiere una página, con un diseño agradable, involucrando en este aspecto, disposición de los elementos, sin sobrecarga de imágenes ni de información, que la búsqueda de resultados apropiados o que permita búsquedas más precisas, y durante el recorrido los niveles de acceso sean sencillos y fáciles de recordar. En conjunto con los estándares internacionales, le estresan los enlaces rotos con y sin advertencia, el uso de etiquetas no está al orden del día, prefieren comunicarse a través de metáforas, y al respecto de la información está debe estar actualizada y referenciada.
6.1. Cumplimiento de objetivos
En la fase exploratoria, se inició buscando elementos representativos, iniciando con más de 80 criterios a nivel de los estándares internacionales, y al finalizar la propuesta del presente trabajo se concluyeron con 61, enmarcados en los diez principios de Jakob Nielsen. Estos resultados están íntimamente ligados a las diversas metodologías presentadas en el capítulo EVALUACIÓN DE LA USABILIDAD donde se presentan la formas de aplicación, criterios y aspectos a tener en cuenta, entre otras; rasgos de los cuales se logró extraer su espíritu y aplicarlo, para conseguir un muy buen resultado.
En el item de Especificación del Modelo se realiza la Formulación de la métrica del modelo de evaluación de Sitios web de Educación Superior, como resultado de este trabajo, se presenta el desarrollo de la métrica y la forma de aplicarla, con el análisis que conllevo a su aplicación.
94
Se pone a disposición de los jurados, la posibilidad de contactarnos con las Universidades objetos de este estudio al principio del 2017, ya que, en estos momentos, por ser final de semestre se podría estar perdiendo el esfuerzo.
6.2. Aportes de la Investigación
A través del estudio realizado se encontró que el modelo propuesto logra evaluar dos conceptos, el primer concepto “Imagen” (diseño), y el segundo concepto “Funcionalidad”, esto indica que los criterios seleccionados lo permiten.
Se desarrolló un software de uso libre que permite evaluar la usabilidad, a partir del abordaje de la metodología propuesta y su aplicación en la métrica. Anexo, Diagrama de clases y modelo relacional, apartes del código.
Lograr reconocer las necesidades y gusto del usuario, a través de la evaluación de usabilidad aplicada desde la metodología propuesta, en sitios web de instituciones de educación superior colombiana.
Lograr impactar adicional a las universidades del estudio, otros centros de educación, con el fin de ir fortaleciendo en Colombia un ranking de universidades con mayor usabilidad.
6.3. Nuevas áreas de Investigación
Se espera poder validar este modelo en más centros universitarios de educación superior colombianos y luego en otros países, es de resaltar que factores culturales, académicos, costumbres, podrían revalidar los criterios e incluso los aspectos, sin embargo, el modelo debería al probarse actualizar los criterios y sus ponderaciones.
En futuros trabajos se propone un sistema inteligente para la evaluación de la usabilidad en sitios web que se adapte al tipo de usuario, para que la evaluación sea aún más objetiva, que logre tomar factores como tiempos de respuestas y en relación a los datos su visualización, técnicas de análisis y transferencia
Se ve la necesidad de tener en Colombia, un centro de experiencia del usuario, que adicional a los sitios web de instituciones de educación pueda dar soporte, a otros tipos de web, y al desarrollo de software.
Debería apoyar un grupo de investigación dedicado a trabajar sobre la experiencia del usuario tanto en la web como en las aplicaciones, enfocados a los elementos de usabilidad.
95
BIBLIOGRAFÍA
Åborg, C., Sandblad, B., Gulliksen, J., & Magnus, L. (2003). Integrating work environment considerations into usability evaluation methods. Oxford : Oxford University Press.
Ardito, C., & Costabile, M. F. (2006). An approach to usability evaluation of e-learning applications. Universal Access in the Information Society, 270 a 283.
Bevan, N., & Macleod, M. (2010). Usability measurement in context. Behaviour & Information Technology, 132 a 145.
Bevan, N., & Shoeffel, R. (2001). A proposed standard for consumer product usability. the 9th International Conference on Human-Computer Interaction, (p. Volume 3). New Orleans, USA,.
Calero, C., & Piattini, M. (2005). Classifying web metrics using the web quality model. Ciudad Real, Espña.
Chapanis, A. (1991). Evaluating usability. ACM, 359-395.
Colombia, M. (2015). Boletín trimestral de las TIC - Cifras segundo trimestre de 2015. Retrieved from http://colombiatic.mintic.gov.co/602/w3-article-14228.html
Costabile, M. F., De Marsico, M., Lanzilotti, R., Plantamura, V. L., & Roselli, T. (2005). On the usability evaluation of e-learning applications. IEEE.
Dix, A., & Finlay, J. E. (2008). Human-Computer Interaction (3rd Edition) . Pearson.
Dromey, R. G. (1998). Software product quality: Theory, model and practice.
Dumas, J. (1989). Stimulating change through usability testing. ACM SIGCHI Bulletin.
Faulkner, X. (2000). Usability Engineering. UK.
Fitzpatrick, R. (1998, 1 1). Strategies for Evaluating Software Usability. Retrieved from http://arrow.dit.ie/cgi/viewcontent.cgi?article=1000&context=scschcomart
Galitz, W. O. (2007). The Essential Guide to User Interface Design: An Introduction to GUI Design Principles and Techniques. Wiley.
Granollers i Saltiveri, T. (2004). MPIu+a. Una metodología que integra la ingeniería del software, la interacción persona-ordenador y la accesibilidad en el contexto de equipos de desarrollo multidisciplinares. Lleida: Universitat de Lleida. Departament d'Informàtica i Enginyeria Industrial .
Hassan Montero, Y., & Martín Fernández, F. J. (2003). Guía de Evaluación Heurística de Sitios Web. Retrieved from http://www.nosolousabilidad.com/articulos/heuristica.htm
96
Hix, D., Swan, J. E., & otros, y. (2004, Enero). http://www.cs.ucsb.edu. Retrieved from http://www.cs.ucsb.edu/~holl/pubs/hix-2004-hicss.pdf
Hoffer, J. A., George, J. F., & Valacich, J. S. (1999). Modern Systems Analysis and Design. Addison Wesley.
Holzinger, G. A. (2005). Usability engineering methods for software developers. ACM, 71-74.
ISO. (Stage 2013). ISO 9241-11 Guidance on Usability. ISO.
ISO/IEC. (1991). (ISO/IEC 9126:1991. NORMAS ISO.
ISO/IEC. (2007). ISO/IEC 15939:2007. ISO.
ISO/IEC. (2011). ISO/IEC 25010 del 2011, Systems and software engineering – Systems and software Quality Requirements and Evalution (SQuaRe)- System and software quality models. Retrieved from http://www.iso.org/iso/catalogue_detail.htm?csnumber=35733
ISO/IEC. (2014). ISO/IEC 25000:2014. ISO.
iso25000. (2015). ISO 25000. Retrieved from http://iso25000.com/index.php/normas-iso-25000/iso-25010
Ivory, M., & Hearst, M. (2001). The state of the art in automating usability evaluation of user interfaces. ACM Computing Surveys (CSUR), 470 a 516.
Jakob, N. (1990). Big Paybacks from 'Discount' Usability Engineering. IEEE, 107 a108.
John, B. E., & Kieras, D. E. (1996). Using GOMS for user interface design and evaluation: which technique? ACM Transactions on Computer-Human Interaction (TOCHI), 287 a 319.
Johnson, P. (1991). Human Computer Interaction: Psychology, Task Analysis and Software Engineering. McGraw-Hill .
Jones, G. M. (2000). Usability services at the University of Maryland: who, what and how. Richmond, Virginia, USA: ACM.
Karoulis, A. (., & Pombortsis, A. (. (2003). Heuristic Evaluation of Web-Based ODL Programs. Greece: Information Science Publishing.
Kieras, D. (2002). Model-based evaluation. ACM, The huma-computer interaction hadbook, 1139 a 1151.
Lewis, C., & Rieman, J. (1993). TASK-CENTERED USER INTERFACE DESIGN. Retrieved from http://hcibib.org/tcuid/tcuid.pdf
Lillo Jover, J. (2000). Ergonomía. Evaluación y diseño del entorno visual. Madrid: Alianza Editorial, S.A.
97
Masemola, S., & De Villiers, M. R. (2006). Towards a framework for usability testing of interactive e-learning applications in cognitive domains, illustrated by a case study. SAICSIT '06 Proceedings of the 2006 annual research conference of the South African institute of computer scientists and information technologists on IT research in developing countries , 187 a 197.
McCall, J. A., Richards, P. K., & Walters, G. F. (1977). Factors in Software Quality. In G. E. Company, Final Tecnichal Report. New York: Rome Air Develepment Center.
Ministerio de Educación Nacional, C. (2016, junio 20). mineducacion. Retrieved from http://www.mineducacion.gov.co/1759/w3-article-357678.html
Moraga, M. Á., Calero, C., Piattini, M., & Díaz, O. (2007). Improving a portlet usability model. Software Quality Journal, Springer.
Nielsen, J. (1991, Enero 1). 10 Usability Heuristics for User Interface Design. Retrieved from https://www.nngroup.com/articles/ten-usability-heuristics/
Nielsen, J. (1994). Usability inspection methods. CHI '94 Conference Companion on Human Factors in Computing, 413 a414.
Nielsen, J. (1999). Designing Web Usability. New Riders.
Nielsen, J., & Loranger, H. (2006). Usabilidad. Prioridad en el diseño Web. In J. Nielsen, & H. Loranger, Usabilidad. Prioridad en el diseño Web. Anaya.
Nielsen, J., & Robert, M. (1994). Usability Inspection Methods. Wiley.
Norman, D. (2015). The Design of Everyday Things. New York: Basic Books.
Olsina, L., & Rossi, G. (2002). Measuring Web Application Quality with WebQEM. IEEE MultiMedia, 20 a 29.
Oztekin, A., Nikov, A., & Zaim, S. (2009). UWIS: An assessment methodology for usability of web-based information systems. Journal of System and Software.
Paddison, C., & Englefield, P. (2002). Applying heuristics to perform a rigorous accessibility inspection in a commercial context. ACM SIGCAPH Computers and the Physically Handicapped , 126 a 133.
Preece, J. (1993). A Guide to Usability: Human Factors in Computing. Allyn and Bacon.
Sears, A., & Jacko, J. A. (2007). The Human-Computer Interaction Handbook. Human Factors and Ergonomics.
Seffah, A., Donyaee, M., Kline, R. B., & Padda, H. K. (2006). Usability measurement and metrics: A consolidated model. Springer Science, 159 a 177.
Serrano, M., Piattini, M., Calero, C., & otros, y. (2013). Un método para la definición de métricas de software. ACM Digital Library.
98
Shackel, B. (2009). Usability - Context, framework, definition, design and evaluation. New York, NY, USA: Elsevier Science Inc. .
Shneiderman, B., Plaisant, C., & M, C. (2016). Designing the User Interface: Technques for Effective Human-Computer Interaction. Pearson.
Suárez Torrente, M. d. (2011). SIRIUS: Sistema de Evaluación de la Usabilidad Web. Oviedo: Universidad de Oviedo.
Suárez, T. M. (2011). SIRIUS: Sistema de Evaluación de la Usabilidad Web Orientada al Usuario y basado en la determinación de las Tareas Crítias. Oviedo: Universidad de Oviedo.
Webometrics. (2016, julio). Ranking Web of Universities. Retrieved from http://www.webometrics.info/en/Latin_America/Colombia
Zetie, C. (1995). Practical User Interface Design: Making GUIs Work. McGraw-Hill Book Company.
99
Anexos
100
Diagrama de clases y modelo relacional
101
102
Apartes del Código de la aplicación
//Atributo Dao package com.usabilidad.dao; import com.usabilidad.model.Atributo; import javax.ejb.Stateless; import javax.persistence.EntityManager; import javax.persistence.PersistenceContext; /** * * @author Chucho */ @Stateless public class AtributoDao extends AbstractDao<Atributo> { @PersistenceContext(unitName = "TestUsabilidadPU") private EntityManager em; @Override protected EntityManager getEntityManager() { return em; } public AtributoDao() { super(Atributo.class); } }
//EvaluaciónAtributoDao
package com.usabilidad.dao;
import com.usabilidad.model.EvaluacionAtributo;
import javax.ejb.Stateless;
import javax.persistence.EntityManager;
import javax.persistence.PersistenceContext;
/**
*
* @author Chucho
*/
@Stateless
public class EvaluacionAtributoDao extends AbstractDao<EvaluacionAtributo> {
@PersistenceContext(unitName = "TestUsabilidadPU")
private EntityManager em;
@Override
protected EntityManager getEntityManager() {
return em;
}
public EvaluacionAtributoDao() {
super(EvaluacionAtributo.class);
}
103
}
//RegistroCaracteristic
package com.usabilidad.model;
import java.io.Serializable;
import javax.persistence.Basic;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.GeneratedValue;
import javax.persistence.GenerationType;
import javax.persistence.Id;
import javax.persistence.JoinColumn;
import javax.persistence.ManyToOne;
import javax.persistence.NamedQueries;
import javax.persistence.NamedQuery;
import javax.persistence.Table;
import javax.xml.bind.annotation.XmlRootElement;
/**
*
* @author Chucho
*/
@Entity
@Table(name = "evaluacion_atributo")
@XmlRootElement
@NamedQueries({
@NamedQuery(name = "EvaluacionAtributo.findAll", query = "SELECT e FROM EvaluacionAtributo e"),
@NamedQuery(name = "EvaluacionAtributo.findById", query = "SELECT e FROM EvaluacionAtributo e
WHERE e.id = :id"),
@NamedQuery(name = "EvaluacionAtributo.findByCalificacion", query = "SELECT e FROM
EvaluacionAtributo e WHERE e.calificacion = :calificacion")})
public class EvaluacionAtributo implements Serializable {
private static final long serialVersionUID = 1L;
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
@Basic(optional = false)
@Column(name = "id")
private Integer id;
@Column(name = "calificacion")
private Integer calificacion;
@JoinColumn(name = "id_atributo", referencedColumnName = "id")
@ManyToOne(optional = false)
private Atributo idAtributo;
@JoinColumn(name = "id_registro_caracteristica", referencedColumnName = "id")
@ManyToOne(optional = false)
private RegistroCaracteristica idRegistroCaracteristica;
public EvaluacionAtributo() {
}
public EvaluacionAtributo(Integer id) {
this.id = id;
}
public Integer getId() {
104
return id;
}
public void setId(Integer id) {
this.id = id;
}
public Integer getCalificacion() {
return calificacion;
}
public void setCalificacion(Integer calificacion) {
this.calificacion = calificacion;
}
public Atributo getIdAtributo() {
return idAtributo;
}
public void setIdAtributo(Atributo idAtributo) {
this.idAtributo = idAtributo;
}
public RegistroCaracteristica getIdRegistroCaracteristica() {
return idRegistroCaracteristica;
}
public void setIdRegistroCaracteristica(RegistroCaracteristica idRegistroCaracteristica) {
this.idRegistroCaracteristica = idRegistroCaracteristica;
}
@Override
public int hashCode() {
int hash = 0;
hash += (id != null ? id.hashCode() : 0);
return hash;
}
@Override
public boolean equals(Object object) {
// TODO: Warning - this method won't work in the case the id fields are not set
if (!(object instanceof EvaluacionAtributo)) {
return false;
}
EvaluacionAtributo other = (EvaluacionAtributo) object;
if ((this.id == null && other.id != null) || (this.id != null && !this.id.equals(other.id))) {
return false;
}
return true;
}
@Override
public String toString() {
return "com.usabilidad.model.EvaluacionAtributo[ id=" + id + " ]";
}
}
105
Herramientas de recolección de información
Esta plantilla, fue la última actualización.
Correo usuario Edad Web url Area G1 G2 G3 G4 G5 G6 G7 G8 I1 I2 I3 I4 I5 E1 E2 E3 E4 E5 E6 E7 E8 E9 E10 L1 L2 D1 D2 D3 D4 D5 D6 D7 S1 S2 S3 S4 S5 S6 S7 C1 C2 C3 C4 C5 M1 M2 M3 M4 B1 B2 B3 B4 B5 B6 B7 B8 H1 H2 H3 H4 H5
Universidad de los Andes (www.uniandes.edu.co)
Universidad Nacional de Colombia (www.unal.edu.co)
Universidad de Antioquia (www.udea.edu.co)
Universidad del Valle (www.univalle.edu.co)
Pontificia Universidad Javeriana (www.javeriana.edu.co)
Universidad Nacional de Colombia Medellín (www.unalmed.edu.co)
Universidad Tecnológica de Pereira (www.utp.edu.co)
Universidad Distrital Francisco José de Caldas (www.udistrital.edu.co)
Universidad Santo Tomás (www.usta.edu.co)
Universidad de la Sabana (www.unisabana.edu.co)
MA CR MA ME ME MA ME ME ME ME ME ME MA MA MA MA MA MA MA ME ME MA ME ME ME ME ME ME ME ME MA MA MA ME ME ME ME ME ME ME MO ME ME MO MA ME ME ME MA ME ME MA CR ME MA MA ME ME ME ME ME
106
Esta plantilla, fue el primer modelo usado.
DATOS GENERALES DE LA EVALUACIÓN
Edad Evaluador
Fecha de evaluación
Nombre del sitio evaluado
URL del sitio evaluado
Navegador con el que se revisa
Sitio desde donde Visita
Aspectos Criterios Evaluacion
Generailiades Evaluación
G1 Cuenta con objetivos bien definidos
G2 El contenido y los servicios son precisos.
G3Es fácil de entender la estructura general, orientada a
cualquier usuario
G4El diseño de la interfaz gráfica es apta con los
objetivos, contenidos y servicios
G5 El diseño del sitio web es fácilmente reconocible
G6 El Diseño del sitio web corresponde con su contenido
G7 Se adapta al idioma del usuario
G8 Es perceptible su actualización periódica.
Identidad, información
I1Identidad en todas las páginas (logos, lemas, color,
sonido)
I2Es reconocible en cualquier parte del sitio web en que
Institución está
I3Se encuentra forma de contacto y/o formularios de
contacto
I4Las políticas sobre protección de información personal
y/o derechos de autor están visibles
I5Es visible información sobre las fuentes, fecha de
creación, revisión, autor(es)
Estructura, navegación
E1La forma en que está organizada la estructura es
práctica
E2Los menús y submenús tienen una cantidad razonable
de elementos
E3 Los links son reconocibles
E4Los links visitados tienen caracterización para cuando
son visitados, o están activos
E5 Los links no se repiten
E6No hay links rotos o que lleven a una página inexistente
E7Los iconos del link hablan por sí solos sobre el
contenido.
E8En cada página del sito existe un link para volver al
inicio
E9
Durante la navegación existe formas de saber en
dónde está con respecto a la página inicial, formas de
devolverse
E10En caso de no querer navegar por todo el sitio, es
explicito el mapa del sitio.
Etiquetado
L1La dirección del sitio web (URL) es fácil de recordar y
entendible
L2Las direcciones (URL) internas son entendibles (aporta
información)
Disposicíón de elementos
D1 No existe sobrecarga de información
D2 La interfaz no contiene ruido visual, es agradable
D3Existen espacios para descansar la vista (espacios
blancos entre elementos)
D4Es clara la jerarquía de elementos, para indicar que un
elemento es parte de uno mayor.
D5El ancho de la página no sobrepasa los límites del
navegador.
D6 Cuando se imprime la página, se ve bien
D7La fuente (texto) de la página es fácil de leer, es acorde
con el contenido.
Simplicidad en la interacción
S1 El lenguaje usado es sencillo, claro y concreto
S2Se usa un lenguaje fácil de entender y que lo acerca al
contenido
S3 Cada párrafo es una idea
S4Los controles (leer más, botones, cuados de ingreso
de texto) en la página hablan por sí solos.
S5Los iconos-link son fácilmente reconocibles y son
entendibles por cualquier usuario
S6En los menús desplegables, se usa orden alfabético o
relaciona claramente sus elementos.
S7Cuando se debe llenar campos, están disponibles las
opciones para seleccionar, sin escribirlas
Control, Retroalimentación
C1Se puede validar la información ingresada, para evitar
generar un error
C2
Al producirse un error, es clara la forma en que se
informa, y no la impresión de haber dañado el sitio web
o el computador, y le informa como se podría
solucionar.
C3Al desplegarse ventanas, estas no se superponen y no
evitan que se pueda seguir navegando
C4 No se van abriendo ventanas mientras que se navega
C5Al navegar por elementos jerárquicos (un elemento
lleva a otro), existen indicadores para el usuario
Multimedia
M1 Las fotografías tienen relación con el contenido
M2Las fotografías son fáciles de leer, tiene una resolución
adecuada
M3
Al proveer imágenes, gifs, elementos flash
(animaciones), están apoyan el contenido aportando
valor.
M4 No se encuentra banners o animaciones que repitan
Busqueda
B1 La búsqueda se encuentra disponibles en todo el sitio
B2 Se encuentra fácil de reconocer
B3 Se puede acceder de forma fácil
B4El espacio para escribir el texto tiene un tamaño
razonable
B5 Es fácil de usar
B6En caso de no encontrar lo que se busca, ofrece
opciones avanzadas de búsqueda
B7 Los resultados de la búsqueda se comprenden
B8Colabora al usuario, en caso de que no haya sido una
búsqueda éxitos.
Ayuda
H1Existe un enlace de ayuda y está en un lugar de fácil
acceso
H2Se puede ingresar y salir de forma intuitiva del sistema
de ayuda
H3La ayuda contextual es ofrecida en elementos
complejo
H4
Las FAQs (Frequently asked questions - preguntas
frecuentes) están bien elaboradas en cuanto a su
selección
H5
Las FAQs (Frequently asked questions - preguntas
frecuentes) están bien elaboradas en cuanto a su
respuesta
107
Plantillas usadas en otros modelos
PROPUESTA PARA INCORPORAR EVALUACIÓN Y PRUEBAS DE USABILIDAD DENTRO DE UN PROCESO DE DESARROLLO DE SOFTWARE
Sirius