modelo de evaluaciÓn de usabilidad y … · 6.2.instrumento cuseoa (cuestionario de satisfacciÓn...

MODELO DE EVALUACIÓN DE USABILIDAD Y CORRESPONDENCIA DIDÁCTICA DE UN SOFTWARE LÚDICO

PAOLA ALEXANDRA GUTIÉRREZ BOBADILLA SANDY VIVIANA HERRERA MORENO

UNIVERSIDAD CATÓLICA DE COLOMBIA FACULTAD DE INGENIERÍA

PROGRAMA DE INGENIERÍA DE SISTEMAS BOGOTÁ D.C.

2013

MODELO DE EVALUACIÓN DE USABILIDAD Y CORRESPONDENCIA DIDÁCTICA DE UN SOFTWARE LÚDICO

PAOLA ALEXANDRA GUTIÉRREZ BOBADILLA SANDY VIVIANA HERRERA MORENO

Trabajo de Grado

Director Holman Diego Bolívar Barón

Ingeniero de Sistemas

UNIVERSIDAD CATÓLICA DE COLOMBIA FACULTAD DE INGENIERÍA

PROGRAMA DE INGENIERÍA DE SISTEMAS BOGOTÁ D.C.

2013

Nota de aceptación

Aprobado por el comité de grado en cumplimiento de los requisitos exigidos por la Facultad de Ingeniería y la Universidad Católica de Colombia para optar al título de Ingenieros de Sistemas.

________________________________

Ingeniero Holman Diego Bolívar Director.

________________________________ Ingeniero Carlos Alberto Pulido

Revisor Metodológico.

Bogotá D. C. 28 de mayo del 2013

De Paola:

A mis padres,

a mi esposo, Jaime.

a mis hijas, Isabella y Mariana

De Sandy:

A mi abuela, Margoth

por su incondicional apoyo

AGRADECIMIENTOS

A mi familia por su paciencia y apoyo. A Holman Bolívar, director de tesis, por su

apoyo, guía y consejos.

Paola Gutiérrez

Doy gracias a Dios por permitirme vivir esta etapa de mi vida, a mi abuelita

Margoth Hernández, quien me apoyo a lo largo de esta etapa y confió en mi como

una madre, a mi padres Miguel Herrera y Mary García, por sus buenos deseos en

mi vida, a mi prima Lina Gil por brindarme sus conocimientos y concejos, a mi

ahijada María José Gutiérrez y a mis amigos más cercanos por su apoyo

incondicional, a los docentes que me acompañaron en el tiempo que estuve en la

Universidad, a mi director de proyecto Holman Bolívar por brindarme su apoyo y

dedicación, finalmente agradezco a la Universidad Católica de Colombia por

darme la oportunidad de crecer como persona y profesionalmente.

Sandy Herrera

CONTENIDO

Pág.

INTRODUCCIÓN 19 1. PLANTEAMIENTO DEL PROBLEMA 20 2. OBJETIVOS DEL PROYECTO 22 2.1. OBJETIVO GENERAL 22 2.2. OBJETIVOS ESPECÍFICOS 22 3. MARCO REFERENCIAL 23 3.1.MARCO CONCEPTUAL 23

3.1.1 Proceso de enseñanza y aprendizaje 23 3.1.2. Educación 26 3.1.3. Pedagogía 27 3.1.4. La didáctica 29 3.1.5. Software lúdico 31 3.1.6. Ingeniería de software 36 3.1.9. Usabilidad 44 3.1.10. Evaluación de la usabilidad 45 3.1.11. Métodos de evaluación de usabilidad 46 3.1.12. Clasificación de los métodos 46 3.1.13. Descripción de modelos de evaluación de usabilidad 48

3.2.MARCO TEÓRICO 50 4. METODOLOGÍA PROPUESTA 52 4.1.PROCESO DE REVISIÓN SISTEMÁTICA 52

4.1.2. Revisión sistemática 52 4.1.3. Utilización de una revisión sistemática 52 4.1.4. Importancia de una revisión sistemática 52 4.1.5. Ventajas y desventajas 52 4.1.6. Características de una revisión sistemática 53 4.1.7. Revisión sistemática para el desarrollo del proyecto 53

5. IDENTIFICACIÓN DE FUENTES DE REFERENCIA 56 5.1.COMPONENTES DE PROTOCOLO DE BÚSQUEDA 56

5.1.1. Preguntas de investigación 56 5.1.2. Diseño de la estrategia de búsqueda 56 5.1.3. Selección de artículos referentes 59

6. REVISIÓN DE MODELOS DE USABILIDAD 61 6.1.MUSA UN MODELO DE EVALUACIÓN DE ENTORNOS VIRTUALES DE ENSEÑANZA Y APRENDIZAJE. APLICACIÓN A UN CASO DE ESTUDIO 61

6.1.1. Características 61 6.1.2. Objetivos 61 6.1.3. Estructura del modelo MUsa 61 6.1.4. Ajuste de MUsa a diferentes contextos 65

6.2.INSTRUMENTO CUSEOA (CUESTIONARIO DE SATISFACCIÓN DE ESTUDIANTES DE UN OBJETO DE APRENDIZAJE) 66

6.2.1. Objetivos 66 6.2.2. Estructura de CUSEOA 66 6.2.3. Indicadores 68

6.3.MODELO DE EVALUACIÓN DE SOFTWARE EDUCATIVO BAJO UN ENFOQUE SISTEMÁTICO 69

6.3.1. Objetivos 69 6.3.2. Etapas del modelo 69

6.4.METODOLOGÍA PARA LA EVALUACIÓN DE LA USABILIDAD EN SITIOS WEB. EXPERIENCIA COLOMBIANA 73

6.4.1. Etapas de la Metodología 74 6.4.2. Roles y perfiles 77

6.5.METODOLOGÍA PARA LA EVALUACIÓN DE OBJETOS DE APRENDIZAJE 78 6.5.1. Objetivos 78 6.5.2. Etapas de la metodología 79 6.5.3. Instrumentos e indicadores 80

6.6.UNA APROXIMACIÓN A LA EVALUACIÓN DE LA USABILIDAD DE LAS APLICACIONES DE APRENDIZAJE 81

6.6.1. Objetivo de la metodología 81 6.6.2. Características de la metodología SUE 81 6.6.3. Fases de la metodología 82 6.6.4. Componentes 82 6.6.5. Etapas de la Metodología 82

6.7.LA INVESTIGACIÓN SOBRE LA EVALUACIÓN DE LA USABILIDAD DE LOS SISTEMAS DE APRENDIZAJES 84

6.7.1. Objetivo de la Investigación 84 6.7.2. Etapas de la metodología 84 6.7.3. La aplicación de técnicas en la evaluación de la usabilidad 85

6.8.LA EVALUACIÓN DE LA USABILIDAD Y LA ACEPTACIÓN DE LA EDUCACIÓN MULTIMEDIA BASADA EN LA WEB EN LOS NIÑOS 86

6.8.1. Técnicas de evaluación 87 6.8.2. Métodos de evaluación 88 6.8.3. Elementos de prueba de aceptación 88 6.9.1. Tipos de Uso del enfoque de aprendizaje 90 6.9.2. Metodología 90

6.10.HEURÍSTICAS DE USABILIDAD PARA APRENDIZAJE 91

6.10.1. Etapas 91 6.10.2. Instrumentos de evaluación 93

7. REVISIÓN DE MODELOS DE CORRESPONDENCIA DIDÁCTICA 95 7.1.MODELO PARA LA EVALUACIÓN DEL IMPACTO DEL SOFTWARE

EDUCATIVO 95 7.1.1. Objetivos 95 7.1.2. Estructura del modelo 95 7.1.3. Fases del modelo 96 7.1.4. Evaluación del impacto pedagógico del software educativo 97 7.1.5. Niveles de evaluación 98 7.1.6. Instrumentos de evaluación 99

7.2.GRILLA DE EVALUACIÓN DE SOFTWARE EDUCATIVO (GRIESE) 99 7.2.1. Características de la Grilla 99 7.2.2. Objetivos de la grilla GrieSE 100 7.2.3. Etapas de la grilla Grítese 100

7.3.FACTORES DE EVALUACIÓN DE SOFTWARE EDUCATIVO 107 7.2.1. Sectores 108

7.4.TÉCNICAS Y MÉTRICAS PARA LA EVALUACIÓN DE LA USABILIDAD 111 7.4.1. Etapas 111 7.4.1. Objetivo de la metodología extendida 113 7.4.2. Etapas de la metodología extendida 113

8. REVISIÓN DE MODELOS DE USABILIDAD Y CORRESPONDENCIA DIDÁCTICA 115 8.1.MODELO TUP (TECNOLOGÍA, CAPACIDAD DE USO, LA PEDAGOGÍA) 115

8.1.1. Objetivos 115 8.1.2. Etapas 115

8.2.MODELO DE CALIDAD DE SOFTWARE EDUCATIVO 118 8.2.1. Etapas del modelo 118

8.3.MODELO EMPI (EVALUACIÓN DE SOFTWARE INTERACTIVO, PEDAGÓGICA Y MULTIMEDIA) 119

8.3.1. Objetivos 120 8.3.2. Fases 120 8.3.3. Instrumento de evaluación 122

8.4.EVALUACIÓN DE AMBIENTES DE SOFTWARE EDUCATIVOS 122 8.4.1. Propósito 123 8.4.1. Listas de Verificación 123 8.4.2. Criterios de acuerdo al aspecto 123

8.5.FACILIDAD DE USO Y APRENDIZAJE: EVALUACIÓN DEL POTENCIAL DE SOFTWARE EDUCATIVO 124

8.5.1. Etapas. 124 8.5.2. Tareas. 125

9. MODELO PROPUESTO DE EVALUACIÓN DE SOFTWARE LÚDICO USCODI (USABILIDAD Y CORRESPONDENCIA DIDÁCTICA) 127 9.1.ANÁLISIS DE REVISIÓN DE MODELOS 127

9.1.1. Análisis de modelos preexistentes 127 9.1.2. Correlación de modelos preexistentes 129

9.2.DESCRIPCIÓN DE MODELO PROPUESTO USCODI (USABILIDAD Y CORRESPONDENCIA DIDÁCTICA) 132

9.2.1. Objetivos perseguidos por el modelo USCODI 133 9.2.2. Etapas del modelo. 134

CONCLUSIONES 140 BIBLIOGRAFÍA 141

LISTA DE TABLAS

Pág.

Tabla 1. Técnicas de evaluación de aprendizaje – enseñanza. 26 Tabla 2. Instrumentos relacionados a las técnicas de evaluación. 26 Tabla 3. Técnicas didácticas. 30 Tabla 4. Técnicas didácticas (continuación). 31 Tabla 5. Estas son las funciones de un software lúdico. 35 Tabla 6. Características de un software. 37 Tabla 7.Tipos de software existentes. 38 Tabla 8. Método de evaluación de Nielsen y Molich. 46 Tabla 9. Método de evaluación de Wixon y Wilson. 47 Tabla 10. Método de evaluación de Preece. 47 Tabla 11. Método de Scriven. 47 Tabla 12. Las diez principales heurísticas según Nielsen. 48 Tabla 13. Tipo de inspecciones. 49 Tabla 14. Tipo de guías de estilo. 49 Tabla 15. Descripción de ventajas y desventajas 53 Tabla 16. Identificación de las preguntas de protocolo de búsqueda. 56 Tabla 17. Palabras claves para la realizar la revisión. 57 Tabla 18. Bases de datos de búsqueda. 57 Tabla 19. Ecuaciones de búsqueda seleccionadas. 58 Tabla 20. Lista de artículos encontrados según ecuaciones de búsqueda. 58 Tabla 21. Lista de artículos encontrados según ecuaciones de búsqueda (continuación). 59 Tabla 22. Ecuaciones de búsqueda seleccionada por la media aritmética. 59 Tabla 23. Artículos que responden las preguntas de protocolo de búsqueda. 59 Tabla 24. Artículos que responden las preguntas de protocolo de búsqueda (continuación). 60 Tabla 25. Heurísticas para la evaluación de alto nivel orientada a la tarea. 64 Tabla 26. Heurísticas para la evaluación de alto nivel orientada a la tarea. 64 Tabla 27. Heurísticas para la evaluación de alto nivel orientada a la tarea. 65 Tabla 28. Métricas de usabilidad. 65 Tabla 29. Escala de Diferencial Semántico. 67 Tabla 30. Categorías y criterios heurísticos (dimensión pedagógica y usabilidad) 68 Tabla 31. Peso de cada categoría. 68 Tabla 32. Selección de características y subcaracterísticas. 71 Tabla 33. Características mínimas que deben ser satisfechas para la categoría de usabilidad. 72 Tabla 34. Normalización de las métricas para la evaluación del producto. 72 Tabla 35. Listado de criterios, métrica y atributos. 75 Tabla 36. Diseño de plantilla para la recolección de información. 76 Tabla 37. Diseño de platilla para la recolección de informaciones de roles. 77 Tabla 38. Diseño de platilla para la recolección de informaciones de perfiles. 78 Tabla 39. Categorías y criterios heurísticos. 80

Tabla 40. Peso de cada categoría y sub-heurísticas 80 Tabla 41. Criterios de aprendizaje. 92 Tabla 42. Criterios de usabilidad. 92 Tabla 43. Descripción de criterios de usabilidad y aprendizaje. 94 Tabla 44. Relación de peso por aspecto. 99 Tabla 45. Aspectos seleccionados y su descripción. 101 Tabla 46. Criterios, subcriterios e ítem del aspecto funcionales. 102 Tabla 47. Criterios, subcriterios e ítem del aspecto pedagógico. 103 Tabla 48. Criterios, subcriterios e ítem del aspecto pedagógico (continuación). 104 Tabla 49. Criterios, subcriterios e ítem del aspecto pedagógico (continuación). 105 Tabla 50. Escala de valoración. 105 Tabla 51. Ficha de evaluación del software. 107 Tabla 52. Tipo de preguntas. 116 Tabla 53. Subcriterios y preguntas para el aspecto de usabilidad. 117 Tabla 54. Subcriterios y preguntas para el aspecto de pedagogía. 117 Tabla 55. Temas seleccionados para el modelo EMPI. 120 Tabla 56. Criterios determinados para el modelo EMPI. 121 Tabla 57. Subcriterios determinados para el modelo EMPI. 121 Tabla 58. Relación de atributo usabilidad vs métricas de modelos. 129 Tabla 59. Relación de atributo usabilidad vs métricas de modelos (continuación). 130 Tabla 60. Relación de atributo correspondencia didáctica vs métricas de modelos. 130 Tabla 61. Meticas y Criterios generales de usabilidad. 131 Tabla 62. Meticas y Criterios generales de correspondencia didáctica. 131 Tabla 63. Selección de métricas, criterios e ítems de usabilidad. 134 Tabla 64. Selección de métricas, criterios e ítems de usabilidad (continuación). 135 Tabla 65. Selección de métricas, criterios e ítems de correspondencia didáctica. 135 Tabla 66. Selección de métricas, criterios e ítems de correspondencia didáctica (continuación). 136

LISTA DE FIGURAS

Pág.

Figura 1. Proceso de aprendizaje. 23 Figura 2. Elementos del proceso de aprendizaje – enseñanza. 24 Figura 3. Modelo de aprendizaje basado en proyectos. 25 Figura 4. Modelo de aprendizaje basado en problemas. 25 Figura 5. Parámetro de los modelos pedagógicos. 27 Figura 6. Aspectos que componen la ingeniería de software. 36 Figura 7. Razones de la importancia del software. 36 Figura 8. Que es un producto de software. 37 Figura 9. Enfoques para realizar el desarrollo de un software. 38 Figura 10. Fases del proceso de ingeniería de software. 39 Figura 11. Actividades del modelo lineal secuencial. 40 Figura 12. Modelo incremental. 41 Figura 13. Medida de la corrección. 42 Figura 14.Medida de la facilidad de mantenimiento. 42 Figura 15. Medida de la integridad. 42 Figura 16.Tipos de calidad en el software. 43 Figura 17. Lista de presentación del aseguramiento de calidad. 44 Figura 18. Marco de referencia de usabilidad (ISO 9241-11). 44 Figura 19. Marco de usabilidad según Nielsen. 45 Figura 20. Características de la revisión sistemática. 53 Figura 21. Método para la realización de revisiones sistemáticas. 54 Figura 22. Diagrama de componentes del modelo MUSA. 62 Figura 23. Diagrama de componentes del instrumento CUSEOA. 69 Figura 24. Método para la selección de software 70 Figura 25. Modelo de Medición de Usabilidad basada en Jerarquía de tres. 74 Figura 26. Diagrama de componentes de la metodología de evaluación de OAs. 79 Figura 27. Diagrama de componentes de la Metodología SUE. 81 Figura 28. Diagrama de Componentes de Evaluación de Usabilidad en Sistemas de Aprendizaje. 85 Figura 29. Diagrama de componentes para los método de evaluación de la educación multimedia. 87 Figura 30. Diagrama de componentes para Heurísticas de usabilidad para el aprendizaje. 91 Figura 31. Diagrama de componentes del modelo de evaluación del impacto pedagógico. 97 Figura 32. Descripción de niveles de evaluación. 98 Figura 33. Diagrama de componentes de la grilla GrieESE. 100 Figura 34. Estructura de los niveles usados en GriESE. 101 Figura 35. Ficha de datos generales de identificación del software. 106 Figura 36. Ficha de observaciones generales del software. 107

Figura 37. Diagrama de componentes de Factores de evaluación de software educativo. 108 Figura 38. Diagrama de componentes para metodología de evaluación de usabilidad. 112 Figura 39. Diagrama de Componente para la metodología extendida. 114 Figura 40. Diagrama de componentes del modelo TUP. 115 Figura 41. Diagrama de componentes del modelo. 119 Figura 42. Diagrama de componentes del modelo EMPI. 119 Figura 43. Etapas de la Fase de Estructura. 120 Figura 44. Etapas de la Fase de Estructura. 122 Figura 45. Diagrama de componentes del Método de Evaluación de Ambientes de Software educativo. 123 Figura 46. Diagrama de componentes para el modelo Jigsaw. 125 Figura 47. Modelo entidad relación de información artículos. 127 Figura 48. Diagrama de componentes para el modelo propuesto USCODI. 133 Figura 49. Diagrama de las actividades realizadas en el modelo USCODI 139

LISTA DE ANEXOS

Pág. ANEXO A. Plantilla de recolección de información. 145 ANEXO B. Checklist de evaluación de usabilidad. 146 ANEXO C. Checklist de evaluación de correspondencia didáctica 149 ANEXO D. Casos de prueba de escenarios. 152 ANEXO E. Cuestionario de cuestionario de usuario real. 153 ANEXO F. Casos de prueba de escenarios simulados. 154

GLOSARIO

PEDAGOGÍA: Se entiende como la disciplina que organiza el proceso de educación de una persona, esta permite trasmitir experiencias, conocimientos, valores, con los recursos que se tiene al alcance como materiales, tecnología, el lenguaje hablado ya se escrito o corporal. DIDÁCTICA: Se enfoca en los procesos como técnicas y métodos para la trasmisión de enseñanza y aprendizaje del conocimiento. LÚDICO: Es un método el cual contiene una seria de estrategias diseñadas para crear un proceso de enseñanza, donde se utilizan juegos. SOFTWARE: Hace referencia a un conjunto de programas y datos que tiene un computador. MODELO: Es la representación que tiene un objeto, idea o sistema, de forma diferente. Los modelos ayudan a entender de una forma gráfica, donde puede ser una réplica exacta de un objeto o la abstracción de características del objeto. USABILIDAD: Se entiende por la facilidad de uso, aprendizaje y satisfacción que tiene un usuario al interactuar sobre un software. MULTIMEDIA: Es la combinación que se presenta entre texto, arte gráfico, animación, sonido y video, que se puede observar a través de medios electrónicos como el computador, celulares, tabletas. CORRESPONDENCIA: Es la relación de una dependencia y la unión que existe entre varias cosas. PROCESO: Se define como el conjunto de actividades que son organizadas, donde existe la implicación de varios recursos coordinados para lograr un objetivo identificado. TECNOLOGÍA: Es un conjunto de conocimientos de técnicas ordenadas, las cuales permiten diseñar bienes y servicios, donde el objetivo es facilitar la adaptación a un medio ambiente y satisfacer las necesidades que tiene los seres humanos. TECNOLOGÍAS DE LA INFORMACIÓN Y LA COMUNICACIÓN (TICS): Agrupan los elementos y técnicas para manejar el tratamiento y la transmisión de las informaciones, principalmente la informática, internet y telecomunicaciones.

17

RESUMEN

La evaluación de un software lúdico es un proceso complejo por la participación de distintas áreas interdisciplinares, razón por la cual se hace indispensable valorar, apreciar y estimar los criterios de las diferentes áreas que participan en el desarrollo del mismo, por lo anterior surge la necesidad de encontrar una herramienta que permita hacer una evaluación completa a este tipo de software de allí que el propósito de esta investigación sea formular un modelo de evaluación donde los atributos de usabilidad y correspondencia didáctica de un software lúdico reúnen los criterios más importantes que se deben evaluar dentro de un software que tenga como finalidad trasmitir un conocimiento. Para ello, ha sido necesario recurrir a conceptos teóricos de usabilidad, aprendizaje, software lúdico e ingeniería de software, así mismo investigar sobre los modelos, técnicas e instrumentos de evaluación de aplicaciones de aprendizaje por diferentes autores. Las actividades principales que se realizaron son la revisión y análisis de los aspectos que se debe tener en cuenta para efectuar la evaluación de un software lúdico, así mismo determinar cuáles son las métricas con sus respectivos criterios que permiten medir su calidad. El modelo que se propone tiene como enfoque principal la evaluación desde la perspectiva de evaluadores expertos y reales, con la aplicación de diferentes métodos e instrumentos que permiten realizar una evaluación orientada a escenarios que evalúan los atributos de usabilidad y correspondencia didáctica. Palabras claves: Usabilidad, correspondencia didáctica, software lúdico y evaluación.

18

ABSTRACT Evaluation of a playful software is a complex process for the participation of interdisciplinary areas, reason why is indispensable value, appreciate and estimate the criteria of the different areas involved in the development of the same, therefore there is a need to find a tool that allows you to do a complete evaluation to this type of software from there that the purpose of this degree is to formulate a model of evaluation where the attributes of usability and didactic correspondence of a playful software meet the most important criteria that must be evaluated within a software that is intended to transmit a knowledge. For this reason, it has been necessary to resort to theoretical concepts of usability, learning, leisure software, and software engineering, likewise inquire about models, techniques and instruments of evaluation of applications of learning by different authors. The main activities are conducted the review and analysis of the aspects that should be taken into account to make the assessment of leisure software, also identify metrics with their respective criteria for measuring quality. The proposed model has as its main focus the evaluation from the perspective of expert evaluators and real, with the application of different methods and tools that allow scenarios based assessment evaluating usability attributes and correspondence teaching. Keywords: Usability, correspondence teaching, playful software and evaluation

19

INTRODUCCIÓN Este proyecto de grado tiene como finalidad proponer un modelo de evaluación de usabilidad y correspondencia didáctica, a través de una revisión de 20 artículos, donde se proponían modelos y metodologías, para realizar una evaluación de entornos de aprendizaje. A través de la revisión documental se elaboró una base de datos por medio de tablas técnicas del protocolo de búsqueda donde se hizo la revisión de los artículos seleccionados, donde se identificó las métricas y criterios más importantes para evaluar un entorno de aprendizaje. Así mismo se extrajo la información de las metodologías y modelos propuestos para realizar la evaluación por medio de gráficos. Este proyecto de investigación surgió debido a que en la actualidad la tecnología juega un papel importante en el proceso de aprendizaje.1 Para las Tecnologías de información y la Comunicación (TIC) el software es uno de sus principales componentes, su utilización es muy común en muchas de las actividades de la vida diaria, y en el campo de la educación no es la excepción. Por ellos es importante realizar una evaluación para saber cuáles son sus efectos, en cuanto a su facilidad de uso, si es positiva o negativa, así mismo como en la programación didáctica.2 Con la información que se extrajo de cada artículo se llevó a cabo un análisis de los modelo preexistentes para realizar el un cruce de información y así extraer la información más importante. Para realizar la ejecución de este proyecto se utilizara la metodología propuesta por Bárbara Kitchenham, que a través de las etapas que define ayudara a determinar las pautas a seguir para realizar la revisión documental.

1 ALBA OBESO, María Helena. Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos. Oviedo, 2005, p. 2. 2 CHOCÓ DÍAZ, Arbey. El uso del software y sus efectos en las prácticas Escolares. Cauca, 2011, p. 1.

20

1. PLANTEAMIENTO DEL PROBLEMA

En los últimos años se ha incorporado el uso de las Tecnologías de la Información y la Comunicación (TIC), en las diferentes áreas del conocimiento humano, generado una competitividad cada vez mayor entre quienes la utilizan, de allí que se pueda deducir que las TIC han impactado y modificado a nivel mundial las áreas culturales, educativas y todas aquellas que se relacionan en alguna medida con la enseñanza y el aprendizaje. La tecnología se ha convertido en una herramienta de aplicación e impacto interdisciplinario que utilizada de forma conjunta entre las diferentes áreas se tiene como resultado la gestión del conocimiento a través de la utilización de un software lúdico, que permite al usuario la interacción amable con un aplicativo que contiene un conocimiento, este se ha sido diseñado teniendo en cuenta la calidad general de un software y en ocasiones no se tiene en cuenta las necesidades y propósitos de las áreas interdisciplinares que han intervenido en el desarrollo para la evaluación de este tipo de software. Razón por la cual al momento de evaluar la calidad en un software lúdico se debe tener en cuenta los criterios puntuales como los siguientes: pedagógicos, psicológicos, tecnológicos y técnicos, criterios que posibilitan la evaluación del alcance del software de forma conjunta siempre y cuando se determinen los factores que integren a estos.3 La calidad de software se evalúa por medio de atributos de calidad determinados, la usabilidad es un atributo de calidad multidimensional, que indica que un producto o un sistema usable deben poseer unas características intrínsecas, como ‘Facilidad de comprenderse’, ‘Facilidad de aprendizaje’, ‘Facilidad de uso’, ‘Tolerancia de errores’ y ‘Diseño atractivo’, su importancia en el software lúdico radica en la comprensión del aspecto cognitivo y el análisis de la correspondencia didáctica puesto que permite evaluar el proceso de aprehensión del conocimiento e identificar los elementos comprendidos por el usuario, de esta manera se puede examinar si el software cumple o no la finalidad y los objetivos para el cual fue creado.4 Para realizar la evaluación de la calidad de un software lúdico teniendo en cuenta la usabilidad y la correspondencia didáctica, es importante contar con un modelo que permita controlar y evaluar un software lúdico, para determinar e identificar las necesidades, falencias y actividades a seguir para cumplir con la finalidad quien dio origen a la creación del mismo.

3MARTIN, Roció. Las nuevas tecnologías en la educación. En: Sociedad de la información MADRID: Fundación AUNA, 2005. p. 4. 4 HERNÁNDEZ. B, Víctor E. Un modelo de evaluación de software educativo para la enseñanza de la Matemática, 2007, p. 4.

21

Actualmente existen modelos que permiten evaluar aplicaciones de aprendizaje, en estos modelos existentes definen características enfocados a la evaluación de la usabilidad en entornos web, software corporativo y software general, por lo cual no se enfocan en la parte didáctica, pedagógica y lúdica, esto se debe a la característica principal de este tipo de software, es decir que debido a que en su desarrollo participan diferentes áreas o disciplinas es difícil establecer un modelo que evalué todas las necesidades interdisciplinarias que pretenden ser suplidas con el software. De allí la importancia de identificar ¿Cuál es el modelo que permite la evaluación de usabilidad y correspondencia didáctica en un software lúdico?

22

2. OBJETIVOS DEL PROYECTO

2.1 OBJETIVO GENERAL Identificar un modelo de evaluación de usabilidad y correspondencia didáctica de un software lúdico a través de la evaluación de modelos referentes.

2.2 OBJETIVOS ESPECÍFICOS • Identificar modelos referentes para evaluación de usabilidad y correspondencia didáctica de un software lúdico. • Caracterizar los modelos identificados. • Formular un modelo coalescente de acuerdo a los modelos referentes.

23

3. MARCO REFERENCIAL 3.1. MARCO CONCEPTUAL 3.1.1 Proceso de enseñanza y aprendizaje. Es un conjunto de pasos sistemáticos que se encuentran ordenados y tiene como propósito brindar los instrumentos teóricos – prácticos, que permiten desarrollar y perfeccionar hábitos del ser humano como, actitudes, aptitudes y conocimientos que se aplican en el desempeño de las actividades diarias que realiza.

Proceso de aprendizaje.5 Es el proceso de adquirir conocimientos, habilidades, valores, actitudes por parte del ser humano, el aprendizaje es un cambio permanente estos son razonablemente objetivos y por tanto pueden ser medidos. Todo proceso de aprendizaje es una evolución para mejorar las competencias de cada persona en áreas específicas, por medio de nuevos conocimientos y destrezas prácticas.

El aprendizaje evoluciona desde la competencia Inconsciente, pasando por la Incompetencia Consciente, yendo hacia la Competencia Consciente, para evolucionar finalmente en la Competencia Inconsciente. Figura 1. Proceso de aprendizaje.

Fuente: los autores.

5 YTURRALDE, Ernesto Worldwide Inc. Training & Consulting. Metodologías aplicadas [en línea]. <http://www.yturralde.com/metodologias.htm> [citado el 20 marzo del 2013].

24

Proceso de enseñanza. Es una actividad que se realiza conjuntamente en la interacción de cuatro elementos, docentes o tutores, alumnos, el objeto del conocimiento y un entorno educativo.

Elementos del proceso aprendizaje – enseñanza.6 Para realizar el proceso de enseñanza y aprendizaje es necesario identificar cuáles son los elementos que lo conforman y así mismo su relación. En la figura n se ven los elementos y sus respectivas relaciones: Figura 2. Elementos del proceso de aprendizaje – enseñanza.


Modelos de aprendizaje - enseñanza. Existen los siguientes modelos para el aprendizaje y enseñanza:

Modelo de aprendizaje basado en proyectos: este modelo permite al

estudiante planear, implementar y evaluar proyectos que tiene aplicación en el mundo real.

6 UNIVERSIDAD DE VALLADOLID, Departamento de informática. El Proceso Enseñanza-Aprendizaje [en línea]. < http://www.infor.uva.es/~descuder/docencia/pd/node24.html> [citado el 20 de marzo del 2013].

25

Figura 3. Modelo de aprendizaje basado en proyectos.


Modelo de aprendizaje basado en problemas: es un modelo que se centra en el estudiante en una experiencia pedagógica organizada que permite investigar y resolver problemas que se presentan en el mundo real. Los elementos básicos son: tutor, alumno, grupo, evaluación y problema. Figura 4. Modelo de aprendizaje basado en problemas.


Técnicas e instrumentos de evaluación7. Las técnicas se definen como aquellos procedimientos y actividades que se realizan por los maestros (facilitadores) con el propósito de hacer efectiva la evaluación del aprendizaje. 7UCSS. Técnicas e instrumentos de evaluación [en línea].<http://190.254.1.202/ingenieria/DIPLOMADO%20DOCENCIA%20UNIVERSITARIA/Educacion%20Superior/Eval_Competencia2.pdf> [citado el 20 de marzo del 2013].

26

Pueden existir tres tipos de técnicas de evaluación: técnicas no formales, técnicas semiformales y técnicas formales. Tabla 1. Técnicas de evaluación de aprendizaje – enseñanza.


A continuación en la tabla 2, se presenta algunas técnicas con los instrumentos respectivos de evaluación:

Tabla 2. Instrumentos relacionados a las técnicas de evaluación.

Fuente: los autores. 3.1.2. Educación8. La mejor herramienta para construir una sociedad es la educación, esta permite preparar a los individuos para un desenvolvimiento autónomo y social. La educación ha sido un tema de interés a lo largo del tiempo, se ve como una estrategia caracterizada por la revolución del conocimiento. La educación debe ser un compromiso de cada uno de los ciudadanos que conforman la sociedad, sobre todo en los que tiene la responsabilidad de guiar a la 8 PAIDEIA SUR COLOMBIANA. EDUCACIÓN. Pedagogía y Modelos Pedagógicos [en línea]. < http://www.paideiasurcolombiana.com/articulos/5.-educacion,-pedagogia-y.pdf> [citado el 22 de marzo 2013].

27

sociedad. Se tiene diferentes escenarios: familia, comunidad, instituciones, organizaciones, donde se adquiere una educación. 3.1.3. Pedagogía. Es la ciencia de la enseñanza, el quehacer de un maestro, donde ha desarrollado un campo intelectual de objetos, conceptos y métodos que transcienden la concepción instrumental, explora las relaciones con la práctica en dos sentidos:

De la Práctica Pedagógica con la Educación, la vida cotidiana de la institución educativa y el entorno socio cultural que la rodea, pasando por las relaciones con la práctica política.

De la Pedagogía con la Didáctica, su campo de aplicación y de articulación con los saberes enseñados.

Modelos de la pedagogía9. Los modelos pedagógicos son una representación de las corrientes pedagógicas que existen dentro del campo disciplinario de la pedagogía. El modelo permite describir, organizar y entender la multiplicidad de la diversidad, contingencias y estructuras que presenta una corriente pedagógica. Para esto se tiene unos parámetros, estos hacen referencia aquello interrogantes pedagogos que se han planteado, los parámetros son los siguientes: Figura 5. Parámetro de los modelos pedagógicos.


Metas: ayudan a responder a la pregunta de interrogante pedagogo ¿qué tipo de hombre formar y para qué?, se refiere a cuales son las intencionalidades.

Contenidos: responde al interrogante sobre cuáles deben ser los elementos de la ciencia y la cultura, que conocimientos se deben seleccionar acordes al contexto y las características del alumno, desde el campo de la ciencia desde la compresión del maestro y saber cómo transferir la práctica de la enseñanza en la interacción maestro-alumno.

Relación Maestro - Alumno: responde al interrogante sobre cómo se debe trabajar juntos maestro y alumno, donde se debe implicar la apropiación de las 9 FUNDACIÓN UNIVERSITARIA DEL ÁREA ANDINA. Clases De Modelos Pedagógicos [en línea]. < http://www.joaquinparis.edu.co/DATA/MODELOS/PAGINAS/RAFAEL.htm#socialista> [citado el 23 de marzo 2013].

28

teorías del desarrollo cognitivo, como los aspectos efectivos y desde lo sociocultural.

Método: responde al interrogante de que estrategia utilizar o como se debe realizar, teniendo en cuenta en primer plano lo didáctico, que esta es la disciplina instrumental de la pedagogía, se refiere a los métodos, técnicas, medios y ambientes que permiten ensañar. A continuación se presentan los modelos pedagógicos.

Modelo tradicional. Se enfoca en la formación del alumno a través de la voluntad, virtud y la disciplina, se caracteriza por la exposición verbal del maestro. En este modelo prima el proceso de enseñanza sobre el proceso de aprendizaje, las técnicas utilizadas son un tablero, marcador y la voz del profesor, además la evaluación es memorística y cuantitativa. Los parámetros se describe de la siguiente forma para este modelo:

La meta: es la formación del carácter de los estudiantes, a través de la voluntad y la disciplina.

La relación maestro alumno: es vertical el maestro es la autoridad. El desarrollo: Comprende el desarrollo de las cualidades a través de la

disciplina. Los contenidos: son las disciplinas clásicas y las facultades del alma. El método: es academicista, verbalista, desarrollado bajo un régimen de

disciplina, los alumnos son los receptores y aprenden a través de la imitación, el emisor principal es el maestro.

Modelo conductista. Este modelo procura producir aprendizaje, retenerlos y transferirlos bajo un método que fija resultados por medio de objetivos medibles, precisos, breves, lógicos y exactos. El maestro guía al estudiante a lograr un objetivo instruccional, el plan de enseñanza que se plantea se enfoca a los objetivos educativos, su organización y evaluación. Los parámetros se describe de la siguiente forma para este modelo:

La meta: es el modelamiento de la conducta técnica productiva y el relativismo

ético. La relación maestro alumno: el maestro es el intermediario ejecutor entre el

programa y el alumno, trasmitiendo los saberes técnicos. El desarrollo cognitivo: está representado por la adquisición de

conocimientos y destreza. Los contenidos de aprendizaje: son los conocimientos técnicos, los códigos,

destrezas y competencias como conductas observables. El método: es la fijación y control de los objetivos instruccionales, formulados

en forma precisa, así como el adiestramiento experimental.

Modelo romántico. Este modelo parte del hecho que el maestro no debe intervenir en el desenvolvimiento natural y espontáneo del estudiante y la relación que tiene con el entorno que lo rodea, no interesa los contenidos. El maestro solo

29

es un guía que facilita la expresión, la originalidad y la espontaneidad del estudiante, por esta razón no se evalúa. Los parámetros se describe de la siguiente forma para este modelo:

La meta: es el desarrollo natural del niño. La relación maestro alumno: el maestro es una guía del alumno, un simple

amigo de su libre expresión. El desarrollo cognitivo: consiste en suprimir los obstáculos e interferencias

de la libre expresión. Los contenidos de aprendizaje: es natural, espontáneo y libre. El método: no existe ninguna programación, facilita la libre expresión.

Modelo desarrollista: Permitir que el alumno acceda progresiva y

secuencialmente a la etapa superior de desarrollo intelectual, de acuerdo con sus necesidades y condiciones. Los parámetros se describe de la siguiente forma para este modelo:

La meta: es el acceso de cada individuo al nivel superior de desarrollo intelectual.

La relación maestro alumno: el maestro es un facilitador, crea un ambiente estimulador de experiencias para las estructuras cognitivas.

El desarrollo cognitivo: es progresivo y secuencial a estructuras mentales, cualitativas y jerárquicamente diferenciadas.

Los contenidos de aprendizaje: son las experiencias que facilitan el acceso a estructuras superiores de desarrollo, el niño construye sus propios contenidos de aprendizaje.

El método: es la creación de ambientes y experiencia. 3.1.4. La didáctica. Se concentra en los procedimientos de enseñar en un área del conocimiento o disciplina, desde la perspectiva de la corriente pedagógica, cada corriente define su propia didáctica.

Técnicas didácticas10. Ayudan al maestro y al alumno a dinamizar el proceso de aprendizaje, para aplicar una técnica se debe tener encueta las necesidades, las expectativas, perfil y los objetivos que se pretende alcanzar, alguna de estas técnicas se describen a continuación en la tabla 3:

10 JUNTA DE ANDALUCÍA. Guía de métodos y técnicas didácticas [en línea]. < http://www.juntadeandalucia.es/agenciadecalidadsanitaria/acsa_formacion/html/Ficheros/Guia_de_Metodos_y_Tecnicas_Didacticas.pdf> [citado el 23 de marzo 2013].

30

Tabla 3. Técnicas didácticas. Técnicas Sub-técnicas

De carácter explicativo La explicación oral Técnica de aprendizaje dirigida generalmente a un grupo, con la que se pretende que cada alumno/a, por medio de la explicación, comprenda datos, métodos, procedimientos o conceptos, relacionándolos con los ya adquiridos y estructurándolos de forma individual.

Estudio directo: Técnica de instrucción estructurada según las normas de la enseñanza programada, lineal o ramificada, con la que se podrían alcanzar objetivos relacionados con cualquier capacidad cognoscitiva

La Mesa Redonda Técnica en la que un grupo de expertos, coordinados por un moderador, exponen teorías, conceptos o puntos de vistas divergentes sobre un tema común, aportando al alumnado información variada, evitando enfoques parciales. Al finalizar las exposiciones, el moderador resume las coincidencias y diferencias, invitando al alumnado a formular preguntas de carácter aclaratorio.

Técnicas de aprendizaje demostrativo

La simulación Proporciona un aprendizaje de conocimientos y habilidades sobre situaciones prácticamente reales, favoreciendo una retroalimentación casi inmediata de los resultados (robot, vídeo, informática, etc.).

Técnicas de descubrimiento

Resolución de problemas

Va más allá de la demostración por parte del profesorado, ya que se pretende que, el alumnado, a través de un aprendizaje guiado, sea capaz de analizar los distintos factores que intervienen en un problema y formular distintas alternativas de solución.

El caso Tras la descripción de una situación real o ficticia, se plantea un problema sobre el que el alumnado debe consensuar una única solución. Se utiliza principalmente en la modalidad formativa de las sesiones clínicas, favoreciendo extraordinariamente la transferencia del aprendizaje.

Investigación de laboratorio

Técnica de descubrimiento, en la que el profesorado presenta al alumnado uno o varios fenómenos relacionados entre sí y, a ser posible, aparentemente contradictorios, para que, utilizando la evidencia científica, el alumnado extraiga conclusiones útiles para su práctica profesional.


31

Tabla 4. Técnicas didácticas (continuación). Técnicas Sub-técnicas

Investigación social Técnica de descubrimiento que favorece la adquisición de objetivos de comprensión y aplicación, potenciando el descubrimiento de estructuras profundas, relaciones nuevas y valoraciones críticas. Se trata de plantear “un problema" pobremente definido y de discutir sus posibles soluciones

El proyecto Técnica que facilita la transferencia del aprendizaje al puesto de trabajo, ya que la labor del docente no acaba en el aula, sino que sigue asesorando al alumnado en la aplicación de un plan de trabajo personalizado, previamente definido.

Técnicas de trabajo en grupo

El debate dirigido o discusión guiada

Un grupo reducido (entre 5 y 20) trata un tema en discusión informal, intercambiando ideas y opiniones, con la ayuda activa y estimulante de un conductor de grupo.

El foro El grupo expresa libre e informalmente sus ideas y opiniones sobre un asunto, moderados por el/la formador/a o tutor/a. Generalmente acompaña a otras técnicas (mesa redonda, role play, etc.) o se utiliza como continuidad de la actividad, al finalizar ésta.

Correo electrónico Es una herramienta de comunicación asíncrona que permite enviar mensajes a los participantes del curso. Suele ser el medio más generalizado para realizar tutorías a través de Internet

Foro Es una herramienta de comunicación asíncrona, que permite que las consultas y correos enviados, puedan ser resueltos y/u observados tanto por el alumnado como por el profesorado. A través de esta herramienta el tutor puede organizar debates, resolver dudas, convocar Chat, etc.

Chat Es una herramienta de comunicación síncrona que permite que los participantes en una acción formativa puedan comunicarse en tiempo real. Todas las personas que estén en el Chat pueden leer los mensajes de los demás en el momento

Fuente: los autores. 3.1.5. Software lúdico. Al iniciar una introducción a la tecnología en el campo educacional, se van generando nuevos términos para denominar aquellos programas didácticos que son utilizados en el proceso de aprendizaje y enseñanza, el término más usual frente a esto es 'Software lúdico', este es utilizado por docentes, especialistas en la educación y por las fábricas de software. El termino lúdico es asignado a los programa de computador, por la

32

razón de que son elaborados con un propósito y con características propias para poder así determinar su carácter educacional11. Aquellos investigadores que están detrás de esta nueva disciplina para mejorar el proceso de enseñanza, definen como: “cualquier programa computacional que cuyas características estructurales y funcionales le permiten servir de apoyo a la enseñanza, el aprendizaje y la administración educacional”12. “Las expresiones de software educativo, programas educacionales y programas didácticos como sinónimos para designar genéricamente todo tipo de programas para computador creados con la finalidad específica de ser utilizado como medio didáctico”13. Se habla de un software lúdico cuando se está refiriendo a los programas educativos o programas didácticos y que cumplen con una finalidad específica, de poder ser utilizados para facilitar los procesos de enseñanza y aprendizaje.

Características de Software Lúdico14. Para poder establecer las características de un software lúdico, es necesario saber que en el mercado hay muchos programas que se consideran como 'Software lúdico', pero cada uno se diferencia por las características propias y que estas a su vez deben cumplir con fines educativos, como las siguientes:

El software lúdico es realizado con un fin específico, apoyar la labor del docente en el proceso de aprendizaje de los estudiantes.

Se deben establecer características computacionales y elementos metodológicos que ayuda a la orientación de un proceso de aprendizaje.

Estos programas son elaborados para ser utilizados por computadores y así generando ambientes interactivos que ayudan a la comunicación con el estudiante.

Una facilidad de uso, que es una condiciones básica para su manejo por parte de los estudiantes, ya que debe ser mínimos los conocimientos informáticos para su utilización.

Debe ser una motivación para que el alumno se interese en este software que es material de su educación.

11 ABUD FIGUEROA, María Antonieta. MECSE: Conjunto de Métricas para Evaluar Software Educativo. EN: Repositorio Digital, Instituto Politécnico Nacional [en línea]. Vol. 39 (2005) < http://www.repositoriodigital.ipn.mx/bitstream/handle/123456789/5329/39-2.pdf?sequence=2> [citado el 2 de febrero del 2013]. 12 SÁNCHEZ J, Construyendo y Aprendiendo con el Computador. 1995. 13 MARQUES, Pere. El software educativo, Universidad Autónoma de Barcelona 19 de febrero del 2001. 14 HERNÁNDEZ B, Víctor E. Un modelo de evaluación de software educativo para la enseñanza de la Matemática. 2007. p. 2-5

33

Componentes del software lúdico15. El software lúdico que tiene una finalidad educativa, deben estar conformado por varios componentes, que son fundamentales dentro del software para la enseñanza, que sirven para realizar un seguimiento al programa y permite indicar si está cumpliendo con los requerimientos.

Componente técnico – estético: este componente se centra en los elementos que se consideran importantes, como son: la presentación y el funcionamiento del software, buscando la facilidad de uso del mismo y el acoplamiento de cada uno de sus elementos a la hora de su ejecución, a continuación se presenta el listado de componentes: • Calidad en el entorno audio visual y multimedia: esta se refiere a la calidad de que se debe tener en la presentación de todo lo relacionado a los elementos como imágenes, audio, animación, fotografía, iconos, títulos, gráficos, música, botones, entre otros elementos. • Navegación: se debe tener una manera en como los pasos deben guiar al usuario cuando se esté ejecutando el software, esto será importante para determinar su facilidad de uso. • Interacción: se relaciona con la parte amigable que tiene el software, como la capacidad de dar y poder recibir una información a partir del usuario, este permite que el usuario tenga una buena ejecución del programa. • Usabilidad: los programas deben ser amigables, tener un uso fácil y que sean autos explicativos, para que sean realmente utilizados por los usuarios y no tener que realizar una lectura de manuales extensos. • Calidad de contenidos: se trata de tener una buena selección y estructuración de los contenidos teniendo en cuenta las características del usuario. Como la información que se presenta es correcta y actual, con una estructura que se pueda diferenciar de forma adecuada (datos, elementos, ortografía y construcción de frases).

Componente didáctico – pedagógico: este componente recoge los elementos que son importantes para el proceso de enseñanza en el programa, ya que cuentan con una claridad, aceptación, pertinencia y eficiencia. Cuenta con los objetivos, los contenidos que debe tener el software, a continuación se presenta el listado de componentes: • Objetivos: este se centra en una buena planificación del diseño instruccional para asegurar los objetivos planteados en el software. Es fundamental que este

15 Ibid., p. 2-5.

34

bien definido ya que se pretende es lograr con la aplicación es el procesos de enseñanza y de aprendizaje. • Contenido: es la administración del contenido que se está colocando en el software, es importante por la calidad de material y este debe ser controlado para que sea adecuado y preciso. • Comunicación: conseguir tener una información clara para compartirla con el estudiante que está ejecutando el programa para cumplir los objetivos. • Documentación: debe tener una información que permita dar una ayuda de cómo debe ser la ejecución del programa para ser utilizado de una forma clara. • Metodología de enseñanza: se aborda la manera en como el software debe manejar todo el proceso de enseñanza y de cómo transferir el conocimiento que debe obtener el usuario. • Interacción con el estudiante: es la capacidad de motivar al estudiante para que el aprendizaje significativo ser realice de una forma que el ambiente sea amigable hacia el estudiante, para mantener la curiosidad de los elementos lúdicos

Ventajas del software lúdico16. En los últimos años los materiales de multimedia son muy atractivos para los alumnos, las ventajas principales de este tipo de software en el área de educación son:

Avivar el interés: los alumnos se pueden motivar al utilizar este tipo de materiales, la motivación en un eje principal del aprendizaje, esta permite la estimulación de actividades y de pensamiento, también la motivación hace que el estudiante dedique más tiempo a trabajar.

Mantener una continua actividad intelectual: el estudiante siempre busca interactuar con la computadora y esto lleva a que mantiene un alto grado de implicación e iniciativa en el trabajo. Los materiales multimedia ofrecen versatilidad e interactividad, esto permite que se tenga una gran atención por parte del alumno.

Orientar el aprendizaje: en los entornos de aprendizaje se pueden incluir buenos gráficos, simulaciones, herramientas para el procesamiento de la información, que permiten guiar a los estudiantes y favorezcan la comprensión.

Promover un aprendizaje a partir de los errores: utilizar una retroalimentación inmediata a las respuestas y a las acciones de los usuarios permite a los estudiantes conocer los errores en línea y en ocasiones el programa permite realizar oportunidades de corrección de las respuestas o formas de actuar para supéralos.

Facilitar la evaluación y control: para facilitar la comprensión de algunos temas, se realiza mediante ejercicios de refuerzo sobre técnicas instrumentales, presentación de conocimientos generales, prácticas sistemáticas de ortografía, esto permite que el profesor no tenga que hacer trabajos repetitivos esto busca 16 NUÑEZ MATUREl, Lissette y RUIZ PEREIRA, Dayamis. Software educativo sobre temas generales de la Podología. EN: Revista Cubana de Informática Médica [en línea]. No. 24 (2011) < http://www.rcim.sld.cu/revista_24/articulo_pdf/podologia.pdf> [citado el 7 de febrero del 2013].

35

que se pueda dedicar más a estimular el desarrollo de las facultades cognitivas superiores de los alumnos.

Posibilitar un trabajo individual y también en grupo: estos programas se adaptan a los conocimientos previos del estudiante y a su ritmo de trabajo, estos a su vez facilitan el compartir información y la comunicación entre miembros del grupo.

Limitaciones del software lúdico17. Aunque el software lúdico tiene ventajas también se debe tener en cuenta cuales son las limitaciones que se presenta en el uso de este software como herramienta de la educación. Alguna de estas limitaciones se presentan a continuación:

Se requieren conocimientos mínimos en el uso de elementos informáticos. Se pueden presentar fallas en el sistema ajenas al aplicativo. Se puede dificultar la búsqueda de información específica. Falta de software adecuado ajustado a la práctica docente. Falta de adecuación del sistema educativo actual para trabajar con software

educativo.

Funciones del software lúdico. Los programas didácticos, cuando se aplican a la realidad educativa, realizan las funciones básicas propias de los medios didácticos en general y además, en algunos casos, según la forma de uso que determina el profesor, pueden proporcionar funcionalidades específicas. Tabla 5. Estas son las funciones de un software lúdico.


17 PAUR, Alicia Beatriz y SAENZ, Marta Susana. Evaluación de software educativo mediante variables que califiquen su calidad. Tesina Licenciado en Informática. Universidad Nacional de la Patagonia San Juan Bosco. Facultad de Ingeniería, 2004. 39 p.

36

3.1.6. Ingeniería de software18. La ingeniería de software es una disciplina que realiza la integración de procesos, métodos y herramientas para el desarrollo de software. Figura 6. Aspectos que componen la ingeniería de software.


El producto. El producto es lo que diseña y construye un ingeniero del software sin importar el tamaño y la arquitectura. Figura 7. Razones de la importancia del software.


18 APARICIO, Alexandra. Ingeniería de Software. EN: Datateca, Universidad Nacional Abierta y a Distancia [en línea]. (2012) <http://datateca.unad.edu.co/contenidos/301404/301404.pdf> [citado el 15 de marzo del 2013].

37

Un producto es visto de diferentes formas dependiendo del stakeholders que interactúa con este. Figura 8. Que es un producto de software.


Introducción al software. El software se ha convertido en un elemento calve en la evolución de los sistemas y de los productos informáticos, por esta razón no se puede ver solo como un conjunto de programas, instrucciones y estructura de datos. A continuación se presenta las características que identifican un software. Tabla 6. Características de un software.


Aplicaciones del software. El software afecta las actividades dentro de una sociedad por esta razón tiene una gran de amplitud de aplicaciones, en la tabla 7 se relacionan estas aplicaciones:

38

Tabla 7.Tipos de software existentes.


El proceso. Es una serie de pasos a seguir que permiten construir el producto o sistema, es importante en el software porque este proporciona estabilidad, control y organización de una actividad.

Proceso, método y herramientas. La ingeniería del software se apoya sobre los enfoques de calidad sonde se utiliza lo siguiente:

Herramientas. Métodos. Proceso. Enfoque de calidad.

Figura 9. Enfoques para realizar el desarrollo de un software.


39

Fases de la ingeniería de software. Se divide en tres fases, con

independencia de cada área de aplicación, tamaño o complejidad del proyecto.

Fase de definición: se centra en el sobre qué, donde identifica que información ha de ser procesada, su función y que rendimiento se desea. Las tareas específicas de esta fase son: ingeniería de Sistemas o de información, planificación del proyecto software y análisis de requerimientos.

Fase de desarrollo: se centra en el cómo, se define en como diseñar la estructura de los datos, como se deben implementar las funciones dentro de la arquitectura de software, como deben ser las interfaces, el lenguaje de programación y como ha de realizar la prueba.

Fase de mantenimiento: se centra en el cambio de los siguientes aspectos: • Corrección de errores. • Adaptaciones requeridas a medida que evoluciona el entorno del software. • Cambios debido a las mejoras producidas por los requisitos cambiantes del cliente. • Se encuentran cuatro tipos de cambio: corrección, adaptación, mejora y prevención. Figura 10. Fases del proceso de ingeniería de software.

Fuente: los autores. 3.1.7. Modelos de proceso de software. Para desarrollar un software se necesita de una estrategia que acompañe al proceso, métodos y a las herramientas. Una estrategia a menudo es utilizar un modelo de proceso o paradigma de ingeniería de software, se selecciona un modelo de proceso para la ingeniería del software según la naturaleza del proyecto y de la aplicación, los métodos y las herramientas a utilizarse, y los controles y entregas que se requieren.

40

Modelo lineal secuencial. Se denomina también el ciclo de vida básico o modelo en cascada, este modelo sugiere un enfoque sistemático, secuencial, para el desarrollo del software que comienza en un nivel de sistemas y progresa con el análisis, diseño, codificación, pruebas y mantenimiento. Es un ciclo de vida que tiene un sentido amplio, que incluye no sólo las etapas de ingeniería sino toda la vida del producto: las pruebas, el uso (la vida útil del software) y el mantenimiento. Figura 11. Actividades del modelo lineal secuencial.


Actividad ingeniería del sistema: se encarga de analizar las características y el comportamiento del sistema del cual el software va a formar parte.

Actividad análisis: se debe comprender cuáles son los datos que se van a manejar, cuál va a ser la función que tiene que cumplir el software, cuáles son las interfaces requeridas y cuál es el rendimiento y otros requisitos no funcionales que se esperan lograr.

Diseño: el diseño se aplica a cuatro características distintas del software: la estructura de los datos, la arquitectura de las aplicaciones, la estructura interna de los programas y las interfaces.

Codificación: consiste en la traducción del diseño a un formato que sea comprensible para la máquina. Si el diseño es lo suficientemente detallado, la codificación es relativamente sencilla, y puede hacerse de forma automática, usando generadores de código.

Prueba: el objetivo es comprobar que no se hayan producido errores en alguna de las fases anteriores, especialmente en la codificación. Se deben probar todas las sentencias, y todos los módulos que forman parte del sistema.

Utilización: el software se entrega al cliente y comienza la vida útil del mismo. Mantenimiento: el software sufrirá cambios a lo largo de su vida útil. Estos

cambios pueden ser debidos a tres causas: • Durante la utilización el cliente detecte errores en el software los errores latentes.

41

• Se produzcan cambios en alguno de los componentes del sistema. • El cliente requiera modificaciones funcionales no contempladas en el proyecto.

Modelo incremental. El modelo incremental se centra en la entrega de un producto operacional con cada incremento. Los primeros incrementos son versiones “incompletas” del producto final, pero proporcionan al usuario la funcionalidad necesaria para su evaluación. Figura 12. Modelo incremental.


3.1.8. Control de calidad de software. Las metodologías y herramientas que existen tiene un objetivo único producir software de gran calidad. Alguna definición de calidad se puede encontrar como “Concordancia con los requisitos funcionales y de rendimiento explícitamente establecidos con los estándares de desarrollo explícitamente documentados y con las características implícitas que se espera de todo software desarrollado profesionalmente ". R. S. Pressman (1992)19. La norma ISO 8402 (UNE 66-001-92) define la calidad como “El conjunto de características de una entidad que le confieren su aptitud para satisfacer las necesidades expresadas y las implícitas”20. Cada metodología o estándares realizan una definición de un conjunto que desarrolla criterios, que permiten ser la guía para aplicar la ingeniería de software. Los requisitos que tiene el software son la base de poder medir la calidad.

Métricas para la calidad de software. El objetivo principal de la ingeniería de software es desarrollar y producir software de una alta calidad. Para lograr este objetivo se necesita aplicar métodos y herramientas efectivas dentro del contacto maduro de desarrollo de software. Dentro de las métricas existen medidas de calidad del software estas son:

19 CUEVA L, Juan M. Calidad del Software: conferencia, Grupo GIDIS, 21 de Octubre de 1999. Universidad Nacional de la Pampa. p. 1. 20 Ibid., p. 1.

42

Corrección: es el grado en el cual el software cumple con su funcionalidad, la medida más común para esto es: Figura 13. Medida de la corrección.


Facilidad de mantenimiento: se refiera a la facilidad con la cual se puede corregir un programa si se encuentra un error. Se utiliza las medidas indirectas como: Figura 14.Medida de la facilidad de mantenimiento.


Integridad: mide la capacidad del software para resistir ataques. Se debe tener en cuenta los siguientes atributos: • Amenaza: es la probabilidad de que un ataque ocurra en un tiempo determinado. • Seguridad: es la probabilidad de que se pueda repeler el ataque de un tipo determinado. Se utiliza las medidas indirectas como: Figura 15. Medida de la integridad.


Facilidad de uso. Mide lo amigable del software con el usuario final, se mide en función de: • Habilidad intelectual o física para aprender el sistema. • El tiempo requerido para hacer uso eficiente del sistema. • Aumento de la productividad.

43

• Valoración subjetiva de la disposición de los usuarios hacia el sistema.

Conceptos de calidad. Se deben identificar los conceptos claves para la calidad del software. • Calidad: Según la norma ISO 9000, define la calidad como un conjunto de características de una entidad que le confieren su aptitud para satisfacer las necesidades expresadas e implícitas. Figura 16.Tipos de calidad en el software.

Fuente: los autores. • Control de Calidad. Hace referencia a las actividades de inspección, revisión y pruebas que se utilizan a lo largo del proceso de software, que busca como objetivo para asegurar que cada producto desarrollado cumpla con los requisitos que le han sido asignados. En un control de calidad se debe definir todos los productos y las especificaciones para realizar una comparación de los resultados del proceso, el control debe tener las actividades que puedan ser automáticas, manuales o combinados y si existe una retroalimentación. • Aseguramiento de Calidad de Software. Se habla de aseguramiento de calidad a un grupo de actividades planificadas y sistemáticas para ayudar en la confianza de un producto para satisfacer los requisitos de calidad. Cuando se realiza el aseguramiento de calidad se realiza antes de comenzar el desarrollo no después21.

21 Ibid., p. 2.

44

Figura 17. Lista de presentación del aseguramiento de calidad.

Fuente: los autores. 3.1.9. Usabilidad. Es la medición de calidad de la facilidad de uso que tiene un usuario cuando interactúa con un producto o sistema, como aplicaciones de software. Esta se mide a través de la composición y relación de las herramientas (Sistema de navegación, funcionalidades y el contenido ofrecido), para determinar la eficiencia de su uso de cada uno de los elementos ofrecidos en el producto o sistema.

Definiciones. A continuación se mencionan algunas definiciones para el atributo de calidad usabilidad:

Según la norma ISO 9241-11 define la usabilidad como “El grado en el cual un producto puede ser usado por unos usuarios específicos para alcanzar metas especificadas con efectividad, eficiencia y satisfacción en un contexto de uso especificado.”22 Figura 18. Marco de referencia de usabilidad (ISO 9241-11).

Fuente: los autores

22 INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11 :Guidance on usability: ISO, 1998 (ISO/DIS 4241-11).

45

Definición según Nielasen, la usabilidad se define en términos de cinco atributos de usabilidad:

• Aprendizaje: es la capacidad con que los nuevos usuarios deben aprender fácilmente a usar el sistema. • Eficiencia: es la capacidad con que el sistema debe ser eficiente para su uso cuando un usuario ha aprendido a usarlo. • Memorización: es la capacidad del sistema de su facilidad de recordación por parte del usuario sin importar los periodos de su uso. • Prevención de errores: el sistema debe tener mínimos errores. • Satisfacción: el sistema debe ser agradable en su uso. Figura 19. Marco de usabilidad según Nielsen.


3.1.10. Evaluación de la usabilidad23. La evaluación de la usabilidad en un proceso que permite determinar una medida de facilidad de uso. Existe un objeto que se evalúa a través del cual uno o más atributos se les da un valor. El campo de desarrollo de software se ha incrementado el interés en las pruebas de usabilidad. La evaluación de la usabilidad es una actividad importante cuando se diseña la interfaz del usuario. Cuando existe un interfaz deficiente puede llevar al ámbito de la educación a un fracaso de un buen aprendizaje. Los propósitos más esenciales de la evaluación de usabilidad son:

Proporcionar retroalimentación para mejorar el diseño de interfaz. 23 ALVA OBESO, María Elena. Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos. Doctora en Informática. Universidad de Oviedo. Departamento de Informática, 2005 . p. 10.

46

Valorar qué objetivos de usuarios y organizaciones están siendo logrados. Monitorizar el uso de productos o sistemas a largo plazo.

Al realizar una evaluación de usabilidad no solo debe importar lo técnico y físico del sistema, sino también las características de los usuarios y de las tareas, si se basa la evaluación en el enfoque del usuario se puede identificar las tareas más representativas que debe tener el sistema en un uso real. 3.1.11. Métodos de evaluación de usabilidad24. Es un procedimiento sistemático para realizar la grabación de datos que se relacionan con la iteración del usuario final con el sistema o software. Con los datos obtenidos realiza un análisis para determinar la usabilidad del producto. 3.1.12. Clasificación de los métodos. Los métodos que permiten realizar la evaluación de la usabilidad se pueden clasificar por numerosos criterios: el grado de implicación del usuario, escenarios de tareas o el objetivo de la evaluación. A continuación se encuentran los métodos de evaluación de usabilidad:

Nielsen y Molich: el método planteado por ellos se divide en cuatro categorías.

Tabla 8. Método de evaluación de Nielsen y Molich.

Categorías Descripción

Evaluación formal Se realiza la evaluación de la interfaz de usuario mediante análisis técnicos.

Evaluación automática Se utilizan procedimientos automatizados para realizar la evaluación de la usabilidad.

Evaluación empírica Se realiza a partir de experimentos con pruebas a usuarios y tiene como objetivo de completar una evaluación del usuario.

Evaluación heurística Se realiza mediante la revisión de la interfaz del usuario y se genera un informe sobre la opinión.


Wixon y Wilson: en este método el usuario es el centro del proceso y se clasifica de la siguiente forma:

24 Ibid., p. 10.

47

Tabla 9. Método de evaluación de Wixon y Wilson.


Preece: considera cuatro métodos para la evaluación de la usabilidad, estos son: Tabla 10. Método de evaluación de Preece.


Scriven: una aproximación para la evaluación de la usabilidad basadas en el objetivo de la evaluación. Tabla 11. Método de Scriven.

Método Descripción Evaluación formativa Aquella realizada durante el desarrollo para mejorar un diseño, es

decir, se basa en encontrar problemas de usabilidad para lograr así que un diseño de interacción pueda ser mejorado

Evaluación sumativa Aquella realizada después que el diseño de la interfaz de usuario (o componente) ha sido completado, para realizar una valoración absoluta o comparativa del diseño. Consiste de una valoración y comparación estadística de dos o más configuraciones de diseño.


48

3.1.13. Descripción de modelos de evaluación de usabilidad25,26.

Método de evaluación de inspección. Este método no requiere una extensa preparación o experiencia del evaluador y se pueden aplicar e integrar en el proceso de desarrollo. Los evaluadores pueden ser especialistas en usabilidad, usuarios finales, etc.

Evaluación heurística. Busca la revisión de una aplicación si es o no fácil de usar, realizando la evaluación de cada elemento de la interfaz del usuario siguiendo los principios de usabilidad establecidas.

• Proceso para realizar la evaluación heurística: Se basa en un conjunto de reglas que describen propiedades de interfaces usables, cada heurística se presenta de una forma estructurada, con uno o más de los siguientes elementos: - Preguntas de conformidad: estas preguntas se relacionan a que debe hacer el sistema/usuario para satisfacer la heurística. - Evidencia de conformidad: cuales son los aspectos de diseño se deben considerar, que indique satisfacción de la heurística. - Motivación: determina los aspectos no conformes (defectos) en un informe donde los evaluadores describen el problema. Tabla 12. Las diez principales heurísticas según Nielsen27.


Recorrido cognitivo. Permite evaluar la facilidad de aprendizaje y de uso de las principales tareas del sistema evaluado, es una técnica cualitativa donde se realizar por parte de evaluadores expertos donde exploran una interfaz gráfica 25 Ibid., p. 16 26 UNIVERSITAT DE LLEIDA. Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Test de Usabilidad Cuantitativos basado en Técnicas de Eyetracking [en línea]. < http://www.recercat.net/bitstream/handle/2072/209215/ccuadrats_Parte1.pdf?sequence=7> [citado el 15 de abril de 2013]. p. 17. 27 Ibid., p. 18 – 20.

49

propuesta, se debe realizar un análisis de exploración por los siguientes argumentos: los usuarios prefieren aprender del software mediante la exploración de sus posibilidades y es una técnica muy eficaz cuando se quiere testear procesos. La sesiones pueden ser de forma individual o grupal (usuarios, desarrolladores y profesionales de la usabilidad) y se denominan: • Recorrido Cognitivo (Cognitive Walkthrough): cuando sea individual. • Recorrido Cognitivo Conjunto (Pluralistic Walkthrough): cuando el recorrido cognitivo se realice en grupo.

Método de inspección formal: metodologías de inspección del código, son

las que se llevan a la práctica con más frecuencia que otras evaluaciones con expertos, en este método se contemplan los aspectos técnicos, las principales inspecciones son las siguientes: Tabla 13. Tipo de inspecciones.

Inspección Descripción Inspecciones Formales de Usabilidad

Los expertos recorren meticulosamente las tareas con los objetivos de los usuarios en mente, enfatizando la búsqueda de errores.

Inspecciones de Características Analizan únicamente un conjunto de características determinadas del producto, valiéndose de los escenarios de uso.

Inspecciones de Consistencia Se busca asegurar la consistencia a través de la comparación de múltiples productos similares.

Inspecciones de Estándares Las inspecciones de estándares garantizan el ajuste a los estándares de la industria.


Revisión de guías de estilo. Los evaluadores que son expertos revisan que el software cumpla con las directrices que tiene fijadas por una institución, las más características son: Tabla 14. Tipo de guías de estilo.

Guías Descripción Guías de Comprobación Las guías y las listas de comprobación ayudan a asegurar que

los principios de usabilidad sean completamente revisados en un diseño

Listas de Comprobación Basadas en Escenarios

Se puede entender como una particularización de la anterior en la que la inspección se lleva a cabo a través de tres escenarios: usuario novel, usuario experto y manejo de errores.


50

3.2. MARCO TEÓRICO En el desarrollo de los protocolos de búsqueda y de revisión de los artículos se pudo evidenciar diferentes modelos de evaluación de usabilidad y correspondencia didáctica que apoyan la evaluación de aplicaciones de aprendizaje, los cuales definen cuales son las etapas, métodos, instrumentos y métricas para realizar una evaluación. A continuación se presentan los modelos propuestos que sirven como guía para evaluar la usabilidad y correspondencia didáctica en diferentes entornos de aprendizaje:

Modelo que evalúa Entornos Virtuales de Enseñanza y Aprendizaje (EVEA) y se centra en la evaluación de la usabilidad. Este modelo está compuesto por cuatro capas donde se inicia con la evaluación general y se llega a tener una evaluación más específica al usuario final, cada capa tiene objetivos diferentes y aplican diferentes métodos, evaluadores e instrumentos de evaluación, como método principal la evolución por heurística.

El modelo permite realizar la evaluación de un software educativo teniendo en cuenta aspectos tecnológicos, capacidad de uso y de pedagogía, a partir de estándares de calidad, utiliza cuestionarios para realizar la evaluación, donde existe diferentes tipos de preguntas.

Es un modelo que se basa en las normas internacionales, busca adaptar estas normas a la parte de enseñanza del entorno evaluado. Unifica criterios y estandartes, esta propuesta es genérica y adapta a la evaluación de cualquier tipo de software educativo.

El modelo presentado evalúa el impacto del software educativo en el aspecto pedagógico, se utiliza indicadores para la evaluación donde se recogen a partir de la información de estudiantes, profesores y directivos. A partir de la información recogida en la evolución toma decisiones para mejorar el software educativo. Utiliza instrumentos para la evaluación como, entrevistas, guías de observación y evaluación, pruebas y cuestionarios.

La utilización de un instrumento de evaluación de usabilidad para un usuario final, puede conseguir una evaluación objetiva desde la facilidad de aprendizaje, su comprensión. El instrumento se enfoca en la integración de las dimensiones pedagógicas y técnicas.

El modelo busca evaluar la calidad en un software educativo donde se encuentra las métricas de medición teniendo un enfoque sistemático (MOSCA).

El método busca que un docente seleccione un software de aprendizaje que satisfaga la enseñanza de sus alumnos, utiliza una lista de criterios donde tiene los aspectos de usabilidad y didácticos, cada pregunta tiene una calificación que el profesor determina.

Metodología que mide la usabilidad de aplicaciones web, donde se evalúa en cada etapa del desarrollo de aplicaciones de software, se usa un modelo de

51

medición de jerarquía de tres niveles, donde se define los criterios, métricas y atributos. Utiliza técnicas para la evaluación teniendo en cuenta los criterios.

Esta metodología propuesta realiza una evaluación objetiva de la calidad del software educativo, contempla los aspectos de funcionales y pedagógicos, donde cada uno tiene sus criterios definidos. La medición de cada criterio se hace por subcriterios e ítems. Se diseñan fichas donde contiene los criterios, subcriterios e ítems donde a cada uno da valores.

Metodología que propone la evaluación de un objeto de aprendizaje a través de la combinación de métodos de heurística de usabilidad y criterios pedagógicos, para reunir las categorías que se enfocan en la facilidad de aprendizaje y de uso.

Metodología propone la evaluación de la usabilidad en aplicaciones de aprendizaje, donde identifica las dimensiones de análisis y sus respectivos criterios, reúne la experiencia de evaluadores expertos y los estudios de los usuarios, utiliza patrones de evaluación (ATs) donde se describen los objetos de la aplicación a evaluar y cada acción que debe realizar el evaluador.

La evaluación de usabilidad en sistemas de aprendizaje mejora el proceso de adquisición de conocimientos en la educación. La combinación de comportamientos y mediciones que se basan en la facilidad de uso, rendimiento y satisfacción de los usuarios como profesores y alumnos, permiten tener resultados para rediseñar la interfaz ofrecida.

Una lista de control recoge aspectos enfocados a la usabilidad y pedagogía, donde esta lista se enfoca en la experiencia de los maestros en la evaluación de entornos educativos.

Técnicas como la observación y la entrevista, determinan una evaluación de componentes del sistema de aprendizaje, la información que se obtiene en la evaluación busca saber cuál es la aceptación del usuario final a la aplicación.

Los factores de evaluación de un software educativo son los encargados de la integración de los avances tecnológicos como el diseño isntruccional y la evolución de los sistemas.

Es importante entender las características de la calidad de aprendizaje a distancia donde se tiene en cuenta la perspectiva del alumno y el instructor, donde la facilidad de uso es la caracterices principal a evaluar.

Las listas de control se enfocan en la evaluación predictiva de software educativo, pero no realiza la integración de los aspectos de facilidad de uso y aprendizaje, por esta razón el modelo propuesto permite la integración de estos dos aspectos, desde el conocimiento de los profesores.

Las heurísticas se desarrollan para evaluar específicamente entornos virtuales de aprendizaje, donde se enfocan en la facilidad de uso de su interfaz.

Las técnicas y métricas de una evaluación de usabilidad permiten la recolección de datos y consolidación de datos, para esto es importante caracterizar cuales son las técnicas que se van emplear dependiendo del contexto y usuarios.

Una metodología propuesta en el diseño de software educativo donde existe la etapa de evaluación donde este puede ser realizada por evaluadores internos y externos.

52

4. METODOLOGÍA PROPUESTA

Para realizar el proyecto se utilizará una revisión sistemática siguiendo la metodología propuesta por Bárbara Kitchenham. A continuación se explica el proceso de revisión sistemática: 4.1. PROCESO DE REVISIÓN SISTEMÁTICA28

4.1.2. Revisión sistemática. Es la recopilación y simplificación de información sobre un tema, que sea importante para un interrogante de una investigación.

“Una revisión sistemática es una manera de evaluar e interpretar toda la investigación disponible, que sea relevante respectó de un interrogante de investigación particular, en una área temática o fenómeno de interés”29 4.1.3. Utilización de una revisión sistemática. La utilización de una revisión sistemática surge de las publicaciones de artículos en revistas que hablan sobre la Ingeniería de Software, por esta razón se vuelve inaccesible a toda esta información y no se puede tener la información adecuada para la toma de decisiones frente a un interrogante.

Existes razones para llevar a cabo una revisión sistemática, una de ellas es la búsqueda de sintetizar la información existente en relación con un área, otra razón es identificar cuáles son las omisiones o vacíos que existen en la investigación actual y así sugerir nuevas investigaciones en áreas y por ultimo proveer un nuevo marco de trabajo para crear nuevas actividades en la investigación. 4.1.4. Importancia de una revisión sistemática. Cuando se inicia una investigación independientemente de cual sea, el primer paso que se realiza es una revisión de la documentación existente en un área específica, esta primera revisión se denomina literaria es decir no tiene un gran valor científico si no es exhaustiva y objetiva. Por este motivo se propone realizar una revisión sistemática, mediante esta revisión se busca identificar, evaluar, interpretar y sintetizar de forma objetiva la investigación que se esté realizando. 4.1.5. Ventajas y desventajas. Realizar una revisión sistemática requiere de disciplina exhaustiva, motivo por el cual se hace indispensable analizar las ventajas y desventajas propias de la revisión sistemática las cuales se mencionan en la siguiente tabla. 28 MALACRIDA, Juan Ignacio. REVISIÓN Y AGREGACIÓN DE ESTUDIOS EXPERIMENTALES VINCULADOS A TÉCNICAS DE INSPECCIÓN. Buenos Aires, 2008, 183 h. Tesis de magister en ingeniera de software (Ingeniero). Instituto Tecnológico de Buenos Aires. Departamento de ingeniería. 29 GUTIÉRREZ CARO, María Angélica., et al. Análisis y revisión de la literatura en el contexto de proyectos de fin de carrera: Una propuesta. p. 2-3.

53

Tabla 15. Descripción de ventajas y desventajas

Fuente: los autores. 4.1.6. Características de una revisión sistemática. A continuación se describen las características que ayudan a diferenciar la revisión sistemática a la revisión tradicional. Figura 20. Características de la revisión sistemática.


4.1.7. Revisión sistemática para el desarrollo del proyecto30,31,32 .En la revisión sistemática se involucran diferentes actividades, el método de Bárbara Kitchenham propone tres etapas y cada una se divide en fases, a continuación se explica cada etapa y sus fases correspondientes, para llevar a cabo la revisión sistemática en el proyecto.

30 Ibid., p. 2-3. 31 GRIMÁN, Anna C. Revisiones Sistemáticas: Recomendaciones para un Proceso Adecuado a la Ingeniería del Software. Madrid: España, 2008. p. 4-5. 32 MORGUES F, José A. Obtención de conocimiento empírico sobre la calidad de Casos de Uso. Valencia, septiembre del 2010, 121 h. Tesis de master. Universidad Politécnica de Valencia.

54

Figura 21. Método para la realización de revisiones sistemáticas.


Etapa 1: Planificación de la revisión. En esta etapa tiene como propósito definir todos los parámetros que son significativos para poder determinar si hay una necesidad de realizar una revisión y así mismo planear su desarrollo, se divide en dos sub - etapas.

Identificación de la necesidad de la revisión: El objetivo principal es resumir toda la información encontrada en la investigación inicial. Si existen revisiones sistemáticas se deben identificar y realizar una revisión sobre el tema de interés para realizar un criterio de evaluación que sea acoplado.

Definición de un protocolo de revisión: Se realiza la revisión de cada estudio que se encontró en la investigación y que pueden ser incluidos para realizar la revisión sistemática. En esta etapa se debe definir aquellas normas de revisión a seguir, los criterios de exclusión e inclusión que serán empleados, como realizar la filtración de datos y hacer finalmente la síntesis de estos.

Etapa 2: Desarrollo de la Revisión. En esta etapa se lleva a cabo la revisión como tal, su desarrollo se guía por la planificación de la revisión, este es un proceso flexible se puede incluir cambios para mejorar su desempeño.

Identificación de la investigación: Se realiza la identificación de los estudios que son notables a partir de la estrategia de búsqueda que debe ser exhaustiva y no se tenga ambigüedades para no llegar a conclusiones o resultados erróneos, se divide en cinco sub - etapas.

Selección de los estudios primarios: Se determina lo más importante de cada estudio, con la ayuda de las preguntas de investigación planteadas, esto se lleva a cabo a partir de los criterios de inclusión/exclusión que se establecieron con el protocolo de revisión.

55

Evaluación de calidad de estudio: Su objetivo es encontrar información adicional acera de los estudios seleccionados para mejorar los criterios de inclusión y exclusión, y reducir las ambigüedades de los resultados.

Extracción y monitoreo de datos: El objetivo es diseñar una forma de filtrar la información de los estudios primarios que obtuvieron los investigadores y así mismo realizar un registro de los datos.

Síntesis de datos: A partir de la recolección de datos se realiza un resumen de los datos que han sido filtrados de los estudios primarios seleccionados. En este proceso se puede utilizar para realizar la síntesis una forma descriptiva (no cuantitativa) o por meta - análisis.

Etapa 3. Publicación de resultados. Se debe realizar un reporte donde se

puede evidenciar las implicaciones de los resultados y se pueda dar validez a la investigación. Para realizar este reporte se puede utilizar diferentes medios como revistas científicas, reportes técnicos, páginas de web, entre otros medios.

56

5. IDENTIFICACIÓN DE FUENTES DE REFERENCIA 5.1. COMPONENTES DE PROTOCOLO DE BÚSQUEDA

5.1.1. Preguntas de investigación. Según la revisión sistemática ayuda a responder una serie de preguntas que influyen en la evaluación de calidad de un software lúdico. La pregunta principal es la siguiente: ¿Cuál es el modelo que permite la evaluación de usabilidad y correspondencia didáctica en un software lúdico? .A partir de esta pregunta se sintetiza la identificación de las preguntas de protocolo de búsqueda, como ser observa en la tabla 16. Tabla 16. Identificación de las preguntas de protocolo de búsqueda.


5.1.2. Diseño de la estrategia de búsqueda. Para la realización de la estrategia de búsqueda se debe seleccionar aquellas palabras claves y la bases de datos de

57

búsqueda de artículos a utilizar, a continuación se describe cuáles son las palabras claves, base de datos a utilizar y la ecuaciones de búsquedas seleccionadas.

Palabras claves. Se identifica cuáles son la palabras claves que ayudan a la creación de la ecuaciones de búsquedas, para la realizar la consulta en las base de datos seleccionadas y la obtención de una información destacada, para identificar los modelos que permiten determinar la evaluación de usabilidad y correspondencia didáctica de un software lúdico. A continuación se listan las palabras claves identificadas.

Tabla 17. Palabras claves para la realizar la revisión. PALABRAS CLAVES SINÓNIMO

Software lúdico Software educativo, Software de aprendizaje, Aplicaciones de aprendizaje

Usabilidad Facilidad de uso

Correspondencia didáctica Pedagogía, aprendizaje, pedagógico Evaluación Medición

Fuente: Los autores.

Bases de datos de búsqueda. Para realizar la búsqueda de artículos relacionados con la evaluación de usabilidad y correspondencia didáctica se utilizaran las siguientes bases de datos digitales que se especializan en contener documentos científicos ver tabla 18. Tabla 18. Bases de datos de búsqueda.

NÚMERO NOMBRE BASE DE DATO 1 SPRINGER LINK 2 SCIENCEDIRECT 3 IEEEXPLORE 4 ACM LIBRARY


Ecuaciones de búsqueda. Una vez que se identificó las palabras claves se realiza la construcción de las ecuaciones de búsqueda para facilitar y simplificar la información que se va a buscar en la base de datos.

Con las palabras claves seleccionadas para realizar la búsqueda se debe combinar estas palabras con conectores lógicos, como referencia del lenguaje SQL. A continuación en la tabla 19, se encuentra la ecuación de búsqueda y los respectivos resultados en cada base de datos utilizada.

58

Tabla 19. Ecuaciones de búsqueda seleccionadas.


Una vez obtenido el resultado de acuerdo a la ecuación, se listan los artículos encontrados en la base de datos relacionados en la tabla 20, para luego proceder a identificar la media de las ecuaciones, ver tabla 21, para analizar cuál de las ecuaciones es la mejor para mirar los artículos y poder determinar cuál de estos responden a las preguntas establecidas. Tabla 20. Lista de artículos encontrados según ecuaciones de búsqueda.


59

Tabla 21. Lista de artículos encontrados según ecuaciones de búsqueda (continuación).


Tabla 22. Ecuaciones de búsqueda seleccionada por la media aritmética.

Fuente: Los autores. 5.1.3. Selección de artículos referentes. Se realiza la selección de los artículos que respondan a la preguntas del protocolo de búsqueda, para esto se creó la tabla 8, la cual contiene las preguntas y los artículos enumerados. Tabla 23. Artículos que responden las preguntas de protocolo de búsqueda.


60

Tabla 24. Artículos que responden las preguntas de protocolo de búsqueda (continuación).


En este capítulo se realizó la identificación de fuentes de referencia, en lo cual consistió como primer paso identificar cuáles eran las preguntas de investigación en realización con la pregunta del planteamiento del problema, el segundo paso fue realizar el diseño de la estrategia de la búsqueda, donde se identificó las palabras claves asociadas con su respectivos sinónimos, se definió cuáles eran las bases de datos de búsqueda a utilizar para la búsqueda de artículos científicos, se diseñan las ecuaciones de búsqueda en base a las preguntas de investigación y las palabras claves, como último paso se realiza la selección de artículos los cuales permiten contestar las preguntas realizadas en la investigación.

61

6. REVISIÓN DE MODELOS DE USABILIDAD

6.1. MUSA UN MODELO DE EVALUACIÓN DE ENTORNOS VIRTUALES DE ENSEÑANZA Y APRENDIZAJE. APLICACIÓN A UN CASO DE ESTUDIO33

El modelo MUSA propone analizar las herramientas y posibilidades funcionales del EVEA (objeto de evaluación), pero además, indagar sobre su usabilidad desde la mirada de expertos, trabajando con el sistema concretamente, y la de los usuarios reales en los contextos de uso propios para los que fue diseñado. Donde se establece una estrategia basada en cuatro niveles o capas de evaluación, que parten de lo general para llegar a lo particular, es decir, una estrategia top-down. 6.1.1. Características. El modelo tiene las siguientes características principales:

Las cuatro capas persiguen objetivos diferentes, la primera es la encargada de realizar una evaluación del entorno en general, las tres capas restantes se sitúan en un contexto de uso particular.

Las capas más cercanas al usuario proponen escenarios de uso que permiten guiar y sistematizar la evaluación.

La evaluación se apoya en escenarios reales de uso, teniendo especial consideración por los alumnos y docentes 6.1.2. Objetivos: Los objetivos que del modelo MUSA son los siguientes:

Realizar la evaluación de producto, es decir, sobre EVEA (Entornos Virtuales de Enseñanza y Aprendizaje) que ya han sido desarrollados, y están en pleno funcionamiento.

También facilita la evaluación de nuevas versiones de un mismo sistema o la comparación entre ellas.

6.1.3. Estructura del modelo MUSA. El modelo se descompone en capas, es una estrategia utilizada que se denomina top-down, donde la primera capa es la encargada de realizar una evaluación del entorno en general, desde un análisis más técnico y las tres capas restantes se sitúan en un contexto de uso particular, involucrando diferentes usuarios, que van desde aquellos que poseen una mirada experta en este tipo de sistemas a los usuarios finales con diferentes tipos de características y contextos de uso.

33 FERREIRA SZPINIAK, Ariel y SANZ, Cecilia V. MUsa un modelo de evaluación de Entornos virtuales de enseñanza y aprendizaje. Aplicación a un caso de estudio. Diciembre, 2012: Argentina, no. 8, p 94 – 103.

62

Figura 22. Diagrama de componentes del modelo MUSA.

Fuente: los autores. Existen capas más cercanas al usuario utilizan escenarios de uso que permiten guiar y sistematizar la evaluación. En cada etapa, se han planteado métodos y técnicas de recolección de datos diferentes y se complementan entre si y posibilitan enriquecer la evaluación. Las capas propuestas pueden ajustarse a distintos contextos dependiendo de la necesidad, nivel de profundidad de la evaluación, recursos y tiempo disponible.

Capa 1: Características generales técnicas. Está destinada a analizar aspectos relacionados con la aceptabilidad práctica del EVEA. La utilidad a su vez está determinada por la utilidad práctica o funcional (utility), la usabilidad, y accesibilidad. Se aborda el análisis de todos los componentes de la aceptabilidad práctica, menos el referido específicamente a usabilidad, cuestiones relacionadas con las facilidades para la organización académica y la parte pedagógica.

Evaluadores: para esta etapa es necesario contar con especialistas en

educación y en tecnología. Métodos utilizados: esta primera capa reúne varios de los elementos que se

proponen en diferentes métodos de evaluación de EVEA. Instrumentos utilizados: el instrumento de evaluación diseñado para esta

capa, se focaliza en los componentes tecnológicos de los EVEA, pero sin perder de vista los componentes organizativos, pedagógicos y didácticos, ya que ambos son determinantes al momento de analizar un entorno particular.

Capa 2: Está orientada a evaluar la forma en que el sistema interactúa con el

usuario, la interfaz que presenta, y el modo en que permite a los usuarios realizar las tareas básicas.

Métodos utilizados: se proponen los métodos de inspección, como el

recorrido cognitivo y la evaluación heurística, como los adecuados para analizar estos elementos. Para ello se han definido para esta capa una serie de heurísticas de usabilidad organizadas en dos niveles de evaluación: uno general, orientado a la tarea, y otro particular, orientado al diseño.

63

• Nivel 1 General - orientado a la tarea: Examina el aspecto y comportamiento desde el punto de vista de las tareas y objetivos de los usuarios. • Nivel 2 Particular - orientado al diseño: Los aspectos concretos del conjunto de interfaces provistas por el EVEA para completar las tareas.

Instrumentos utilizados: heurísticas y sub-heurísticas de usabilidad que

guían tanto a expertos como a usuarios a aportar la información requerida para la evaluación del EVEA.

Evaluadores: se requiere de la participación de expertos, donde transitará una serie de escenarios de uso adoptando distintos personajes, navegando por las interfaces respectivas a los fines de determinar el grado en que son respetadas las heurísticas, tanto desde el punto de vista de los propósitos como desde los objetivos de los usuarios de un EVEA.

Capa 3. El objetivo es nutrirse de la opinión del usuario final, pero dentro de un ambiente controlado, y con la participación de observadores que guíen y faciliten el proceso. Establecer en el EVEA se adapta a los estilos de trabajo reales de los usuarios, en lugar de forzar a los usuarios a adaptar sus estilos de trabajo, Esta capa es muy costosa en términos de tiempo, cantidad de participantes y análisis, puesto que requiere de observaciones directas de distinto tipo de usuarios trabajando sobre el entorno.

Evaluadores: usuario reales. Instrumentos utilizados: test de pensamiento en voz alta, denominada test

de expresión del usuario en base a preguntas. Metodología utilizada: consiste en brindarle al usuario un escenario tipo, y

solicitarle que efectúe las tareas involucradas en dicho escenario, bajo la atenta mirada de un observador. A medida que el usuario interactúa con el EVEA, el observador debe realizar preguntas directas acerca del producto o la tarea que el usuario está realizando, mientras que éste debe expresar en voz alta sus pensamientos, sensaciones y opiniones. El observador debe tomar registro de todo ello para procesarlo una vez concluido el test. Se realiza dos evaluaciones:

• Evaluación directa: realizada por los usuarios. • Evaluación indirecta: realizada por los observadores.

Técnica: Evaluación con heurística de usabilidad.

Capa 4. Está destinada exclusivamente a que los usuarios finales aporten su

punto de vista dentro de un contexto o ambiente real.

Instrumentos utilizados: test remotos son muy eficaces, rápidos y fáciles de realizar, el usuario realiza el test en su propio medio o ambiente, con lo cual es posible evaluar el contexto de uso. Los test remotos se basan, principalmente, en el uso de cuestionarios para recolectar la información.

64

Metodología utilizada: las heurísticas coinciden con las utilizadas en la segunda capa para la evaluación orientada a la tarea (complejidad, visibilidad, intuitividad, y topografía natural), y se agregan otras vinculadas al diseño en general (productividad, retroalimentación, control por parte del usuario, reversibilidad y manejo del error, diseño y organización, consistencia, ayuda y documentación, y estándares).

Técnica: evaluación con heurística de usabilidad.

Heurísticas y métricas. Para guiar a los usuarios en el tipo de información a revisar, se han planteado una serie de heurísticas de usabilidad. Aquí se han elegido específicamente, aquellas a la tarea, tales como complejidad, visibilidad, intuitividad, y topografía natural. También se incorporan las métricas relacionadas con efectividad, eficiencia, y satisfacción. Los usuarios participan de la evaluación realizando una o más tareas que forman parte de un escenario tipo. Es importante que los usuarios involucrados en los test abarquen los diferentes roles en que puede interactuarse con el EVEA.

En las tablas 25 y 26 se encuentran las heurísticas definidas con sus respectivas subheurísticas. Tabla 25. Heurísticas para la evaluación de alto nivel orientada a la tarea.


Tabla 26. Heurísticas para la evaluación de alto nivel orientada a la tarea.


65

Tabla 27. Heurísticas para la evaluación de alto nivel orientada a la tarea.


Las métricas seleccionadas poseen directa relación con el estándar ISO 9241-11 y posibilitan medir la usabilidad del EVEA sin necesidad de estar involucrados en su desarrollo, en la tabla 28 se encuentran las métricas definidas.

Tabla 28. Métricas de usabilidad.

Fuente: los autores. 6.1.4. Ajuste de MUSA a diferentes contextos. Cada capa del modelo plantea el acercamiento hacia el usuario de acuerdo al objetivo que persigue, siendo la

66

primera la más lejana y la cuarta la más cercana, estas capas se pueden ajustarse a distintos contextos dependiendo de la necesidad, nivel de profundidad de la evaluación, recursos y tiempo disponible. Se puede utilizar las capas que sean necesarias. Las alternativas planteadas con el fin de poder aplicar el MUSA en diferentes situaciones y contextos son:

Capa 1 à Capa 2 à Capa 3 à Capa 4. Capa 1 à Capa 2 à Capa 4. Capa 1 à Capa 3 à Capa 4. Capa 1 à Capa 4.

Las versiones reducidas del modelo, constituyen alternativas con el fin de reducir costos y tiempo, pero se considera que el recorrido por cada una de las cuatro capas es la opción más adecuada para una evaluación completa del EVEA. 6.2. INSTRUMENTO CUSEOA (CUESTIONARIO DE SATISFACCIÓN DE ESTUDIANTES DE UN OBJETO DE APRENDIZAJE)34 Este instrumento se elabora para la evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes, conocer si el Objeto de Aprendizaje ha sido adecuado como unidad de enseñanza, es decir, valorar su calidad desde el punto de vista de los estudiantes con preguntas relacionadas a su satisfacción con respecto a los contenidos, actividades y evaluación (usabilidad pedagógica), diseño de la interfaz y navegación (usabilidad). Para ello deben definirse una serie de criterios que se correspondan con la valoración buscada. En la figura n se encuentran los componentes que conforman el cuestionario. 6.2.1. Objetivos. El objetivo del instrumento es realizar la evaluación de la usabilidad por parte de los estudiantes utilizando principios heurísticos. 6.2.2. Estructura de CUSEOA. La estructura del cuestionario es la siguiente:

Reacción global al Objeto de Aprendizaje. El estudiante valorará el Objeto de Aprendizaje, no sólo por la funcionalidad, usabilidad, los contenidos, sino también por las emociones o los sentimientos que le provoca. Donde se tiene dos puntos de vista que son los siguientes:

Técnico. Un buen producto debería satisfacer todas las expectativas del consumidor, pero especialmente la de provocar una respuesta emocional positiva.

Pedagógico. La disposición emocional y actitudinal, que puede abordarse desde la motivación en el alumno 34 MASSA, Stella Maris y PESADO, Patricia. Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes. Diciembre, 2012: Argentina, no. 8, p 65 – 76.

67

CUSEOA aborda estos dos puntos de vista de la siguiente forma: • Se le presenta al estudiante una serie de adjetivos bipolares y se solicita que lo clasifique en una escala 7 puntos. Para evitar prejuicios, sólo se emplearon escalas positivas. El rango real es -3 a +3. La tabla 29, muestra los puntajes presentados a los estudiantes, y los puntajes reales. Tabla 29. Escala de Diferencial Semántico.


• Valoración de recomendación del Objeto de Aprendizaje a otros estudiantes a través una proposición o afirmación que debe calificar utilizando una escala desde 1 correspondiente a “totalmente en desacuerdo” hasta 5 “Totalmente de acuerdo”.

Dimensión pedagógica. Comprende a aquellos aspectos relativos a los objetivos como, contenidos teóricos, actividades y realimentación. Su propósito es valorar la significatividad lógica y psicológica en los objetos de aprendizaje desde la perspectiva del estudiante, en la tabla 30 se encuentran la categoría y criterios heurísticos asociados a la dimensión pedagógica. Consta de 6 proposiciones o afirmaciones que debe calificar utilizando una escala desde 1 correspondiente a “totalmente en desacuerdo” hasta 5 “Totalmente de acuerdo”.

Dimensión técnica (Usabilidad Web). Comprende aspectos relativos al diseño de la interfaz y la estructura y navegación en la tabla 30 se encuentran la categoría y criterios heurísticos asociados a la dimensión técnica. El estudiante debe valorar la Funcionalidad y Usabilidad luego de la interacción con el Objeto de Aprendizaje. Consta de 7 proposiciones o afirmaciones que debe calificar utilizando una escala desde 1 correspondiente a “totalmente en desacuerdo” hasta 5 “Totalmente de acuerdo”.

68

Tabla 30. Categorías y criterios heurísticos (dimensión pedagógica y usabilidad).


6.2.3. Indicadores. En cuanto a los indicadores se tuvieron en cuenta:

La valoración individual de las dimensiones pedagógica y técnica. La valoración global de las dimensiones pedagógica y técnica que se calcula

como promedio ponderado, en donde cada peso es la proporción de criterios heurísticos asociados a cada dimensión en la tabla 31 se muestra el respectivo peso por dimensión y sub-heurística.

Tabla 31. Peso de cada categoría.


La reacción global a partir del análisis de los resultados de la escala de diferencial semántico.

69

Figura 23. Diagrama de componentes del instrumento CUSEOA.

Fuente: los autores. 6.3. MODELO DE EVALUACIÓN DE SOFTWARE EDUCATIVO BAJO UN ENFOQUE SISTEMÁTICO35 Este modelo se basa en modelo de calidad MOSCA en primer lugar en primer lugar se describe las dos actividades que se realizaron para formular la propuesta de evaluación a partir de MOSCA y en segundo lugar, el algoritmo para la evaluación de la calidad del software educativo. 6.3.1. Objetivos. Este modelo proporciona una valiosa herramienta de evaluación para el docente que tiene la necesidad de conocer el valor educativo de un software, su calidad y el uso posible de un software en el ambiente educativo, como criterios imprescindibles para su adquisición y uso por parte de las instituciones educativas y propone un algoritmo para la estimación de la calidad sistémica, haciendo uso del prototipo propuesto. 6.3.2. Etapas del modelo. A continuación se explica las etapas que conforman este modelo:

Etapa 1- Propuesta para una preselección de software educativo. En esta etapa se debe determinar si el software está desarrollado o no para esto se propone un procedimiento de preselección de software educativo para evaluar la gran oferta de material educativo computarizado. La razón de esta preselección se basa en:

35 DÍAZ, Antón; PÉREZ, Grimán y MENDOZA, L. Instrumento de evaluación de software educativo bajo un enfoque sistémico.

70

La poca disponibilidad de tiempo de los docentes involucrados en la selección de software educativo.

En la numerosa disponibilidad de material educativo computarizado comercial que está disponible en el mercado y que puede ser usado como apoyo en el proceso de enseñanza-aprendizaje, y que además requeriría la inversión de horas de evaluación, de las cuales los docentes no disponen. Una vez tomada la decisión de preseleccionar un software educativo, se procede a aplicar el algoritmo para la evaluación de calidad. En el caso de que se trate de desarrollo de software, se aplica el modelo que se describe a continuación para confirmar o evaluar la calidad de producción del software que está en proceso de desarrollo. Figura 24. Método para la selección de software


Etapa 2 - Formulación del modelo propuesto basado en mosca. Para realizar esta etapa se debe tener claro que para el área de software educativo, se encontró que las características y métricas indicadas en MOSCA no se adaptan completamente a este tipo de software, debido a que las métricas están diseñadas genéricamente, y por lo tanto no consideraba los aspectos pedagógicos y metodológicos del proceso de enseñanza-aprendizaje, que se debe tomar en cuenta al diseñar un instrumento de evaluación.

Por esta razón se procedió a realizar las siguientes 3 (tres) actividades para efectuar los cambios necesarios en MOSCA para adaptarlo y especificarlo en el área educativa.

Selección de las categorías: MOSCA consta de seis (6) categorías, de las cuales sólo se deben utilizar 3 (tres) para la evaluación de software educativo. La

71

Usabilidad es seleccionada debido a que un software educativo motive al aprendizaje, es fundamental que el material educativo sea atractivo y de fácil manejo, debe generar actividades interactivas que motiven y mantengan la atención, actividades que deben ser variadas y que respondan a los diversos estilos de aprendizaje.

Selección y propuesta de las características y subcaracterísticas: una vez seleccionadas las categorías que están relacionadas con la evaluación de software educativo, se seleccionan las características asociadas a estas categorías en MOSCA, que estén relacionadas con el área educativa. Se decidió seleccionar ciertas características asociadas a la efectividad del producto y no a la eficiencia del producto, debido a que, al adquirir un software comercial, no se tiene acceso a los documentos que permiten aplicar las métricas correspondientes a esta dimensión, por lo que no es posible evaluarla.

Selección y propuesta de las métricas: es necesaria una selección de métricas adicionales relacionadas con Usabilidad, que permitan adaptar MOSCA en el área de software educativo. Tabla 32. Selección de características y subcaracterísticas.


Etapa 3 - Definición estructura del modelo. La estructura del modelo consta de cuatro niveles que se explican brevemente a continuación:

Nivel 0 – Dimensiones: producto. Nivel – Categorías: se contempla la categoría de

• Usabilidad (USA): esta categoría se refiere a la capacidad del producto de software para ser atractivo, entendido, aprendido y utilizado por el usuario bajo condiciones específicas.

Nivel 2 – Características: cada categoría tiene asociado un conjunto de

características (4 en total). Nivel 3 – Subcaracterísticas: para algunas de la característica se asocian un

conjunto de subcaracterísticas. Nivel 4 – Métricas: para cada característica se propone una serie de métricas

utilizadas para medir la calidad sistémica. Dada la cantidad de métricas asociadas a cada una de las características que conforman la propuesta.

72

Etapa 4 - Evaluación de la calidad del software educativo. Para esta etapa

se plantea un algoritmo el cual contiene 2 fases:

Fase 1 - Preselección (sólo en caso de adquisición por vía comercial). Fase 2 - Estimar la calidad del producto de software educativo con

enfoque sistémico: a través de la ejecución de esta fase, se evalúa la calidad de producto de software; para tal fin, se siguen 3 actividades, las cuales son descritas a continuación: • Estimar la calidad de la Funcionalidad del producto: según MOSCA, se establece que siempre y en todos los casos se debe medir primero la categoría Funcionalidad del producto, donde las características que se proponen para esta categoría deben ser cumplidas para proceder a la próxima actividad. De lo contrario, la evaluación finaliza. Para la categoría funcionalidad se propone que al menos se cumpla la característica “Ajuste a los propósitos”, más una de las dos características restantes, es decir, “Precisión” o “Seguridad” (ver tabla 33).

Tabla 33. Características mínimas que deben ser satisfechas para la categoría de usabilidad.


• Estimación de calidad para cada categoría: Para la categoría seleccionada previamente(Usabilidad), se debe: - Aplicar las métricas propuestas en el submodelo del producto para las categorías seleccionadas. - Normalizar los resultados de las métricas a una escala del 1 al 5. La normalización de los resultados es llevada a cabo de acuerdo a la tabla 34.

Tabla 34. Normalización de las métricas para la evaluación del producto.

73

Fuente: los autores. - Verificar que el 75% de las métricas se encuentran dentro de los valores óptimos (mayor o igual a 4) para cada una de sus subcaracterísticas y características. Si no se cumple el 75% de las métricas asociadas, entonces esta subcaracterística o característica tendrá calidad nula. En el caso de institutos educativos la población de evaluadores serán docentes de aula y de informática y los estudiantes; y en el caso de empresas desarrolladoras de software educativo, la población de evaluadores serán los expertos en contenido, diseño instruccional, en informática y el coordinador o líder del proyecto. Las pautas para promediar las métricas se aplican tal como lo señala el algoritmo MOSCA en este apartado. - Evaluar la categoría. En MOSCA, una categoría es satisfecha si el número de características es altamente satisfecho; es decir, si satisface el 75% de las características asociadas a la categoría. - Tratándose de software educativo, donde existen características que son imprescindibles que estén presentes, se proponen las características mínimas satisfechas que debe tener cada categoría del producto para que ésta pueda ser satisfecha. • Estimar la calidad del producto partiendo de las categorías evaluadas. En este punto se utiliza el algoritmo de MOSCA, con ciertas modificaciones. Una vez terminada la evaluación del producto, y sólo en caso de que éste obtenga al menos el nivel de calidad intermedio:

Se procederá a la toma de decisión de adquisición del software educativo en el caso de institutos o empresas de acuerdo a los recursos económicos.

Se procederá a evaluar la calidad del proceso a través del submodelo del mismo (fase 2 y 3 de MOSCA), en el caso de empresas o institutos desarrolladores de software educativo. El algoritmo de estas fases escapa al alcance de esta propuesta.

6.4. METODOLOGÍA PARA LA EVALUACIÓN DE LA USABILIDAD EN SITIOS WEB. EXPERIENCIA COLOMBIANA36

Es una propuesta metodológica que contempla una serie de pasos a tenerse en cuenta para desarrollar de forma consistente evaluación de la usabilidad de sitios Web, experiencia aplicada a páginas del Gobierno Colombiano. Trata de integrar bajo una sola propuesta, métodos y técnicas que, complementadas con actividades de definición del contexto, puede extraer la información necesaria para llegar a un consenso sobre el nivel de Usabilidad. En la figura n se encuentran los componentes que conforman la metodología.

36 CLAROS, Iván D y COLLAZOS, Cesar A. Propuesta Metodológica para la Evaluación de la Usabilidad en Sitios Web: Experiencia Colombiana. EN: Interacción (noviembre): Colciencias (Colombia) Proyecto No. 4128-14-18008 y Proyecto No. 030-2005, 2004, p. 1 – 10.

74

6.4.1. Etapas de la Metodología. A continuación se explica las etapas que conforman la metodología:

Etapa 1 - Seleccionar modelo. En la definición de este proceso, fue dotarlo de un denominado Modelo de Medición de Usabilidad basada en Jerarquía de tres Niveles. Figura 25. Modelo de Medición de Usabilidad basada en Jerarquía de tres.


Etapa 2 - Seleccionar los términos de evaluación de la usabilidad. Se definen los términos para la usabilidad en criterios, métricas y atributos, este modelo tiene diferentes propuestas de autores, por lo cual se define los siguientes criterios, métricas y atributos en la tabla 35:

Etapa 3 - Acercamiento al contexto. Definir objetivos deseables de

Usabilidad para el producto. Se lleva a cabo mediante la ponderación de los criterios, métricas y atributos que conforman el Modelo de Medición de Usabilidad propuesto para sitios Web. Para este fin, se reúne las opiniones de los usuarios, administrativos del proyecto, desarrolladores y expertos que al realizar una discusión de las necesidades y alcances más generales de los usuarios del sistema, asignan a cada elemento del modelo una valoración, un nivel de importancia en función de sus necesidades y limitaciones.

Para realizar este proceso se puede realizar a través de diferentes técnicas que la misma Ingeniería de la Usabilidad (IU) ofrece, como el caso de los Stakeholder Meeting, esta técnica sirve para consolidar la opinión de los diferentes actores involucrados en el desarrollo, como jefes del proyecto, desarrolladores y clientes. . Para efectos de experiencia desarrollada con sitios gubernamentales, se escogió la escala de 1 a 5 para la ponderación del modelo.

75

Etapa 4 - Definición del Modelo Mental de Cada Tarea. Recolectar y analizar las conductas y necesidades que presentan los usuarios frente al sistema, tratando de generar mapas o modelos que resuman las condiciones particulares con las cuales los usuarios resuelven una tarea dada, la información utilizada para hacerlo y el tipo de interacción que esperan recibir del sistema. Este es un proceso altamente complejo del cual solo se propone realizar observaciones que permitan ir recolectando información que se podría resumir en una plantilla propuesta ver tabla 36. Tabla 35. Listado de criterios, métrica y atributos.


76

Tabla 36. Diseño de plantilla para la recolección de información.


Etapa 5 - Selección de Técnicas. Se definen cuáles serán las técnicas y/o prácticas a utilizar durante la evaluación. Para ello se toman en cuenta la caracterización de cada práctica en términos de 7 los siguientes criterios:

Estrategia: estado del proceso de desarrollo en el cual se ejecuta la

evaluación. Localización: laboratorio o en un entorno real. Prejuicio: nivel de subjetividad u objetividad inherente en el método. Medida de la Usabilidad: tipo de medida: cuantitativo o cualitativo. Información: Información o realimentación provista por el método. La

información son elementos de bajo nivel, pequeños detalle de la interfaz: colores, íconos, etc.; realimentación implica alto nivel de abstracción, refleja problemas de mayor complejidad como cognitivos o de estructura.

Inmediatez de la Respuesta: tiempo de retorno de Información. Intromisión: presencia de un observador o un sistema de registro. Costo: recursos involucrados para la ejecución del método y su posterior

análisis.

Etapa 6 - Ejecución de la Evaluación. Al realizar la descripción de las técnicas, solo sirven de guía para el diseño y desarrollo de herramientas prácticas, por esto es necesario la adecuación de cada técnica su contexto de ejecución, el propósito de realizar evaluación no es tanto estimar una referencia numérica, sino extraer información acerca del sistema que permita mejorar al diseño y la interacción con el usuario.

77

Etapa 7 - Consolidación general de resultados. Como estrategia de consolidación se propone, contrastar el Modelo de Medición ponderado por las necesidades y objetivos de Usabilidad para el sistema, con un modelo análogo generado por los resultados obtenidos de aplicar las técnicas. A medida que las ponderaciones coincidan o en el mejor de los casos, que los resultados obtenidos sean mayores que los esperados, el sistema habrá alcanzado sus objetivos de Usabilidad. Este paralelo entre lo esperado y lo realmente encontrado, permite identificar las fortalezas y debilidades en la Usabilidad del sitio. A los resultados de este proceso de comparación de le conoce como el Nivel de Usabilidad del Sitio Web. 6.4.2. Roles y perfiles. Al realizar la ejecución de la segunda y tercera etapas del modelo, se debe a recolectar información acerca de Roles y Perfiles. El Rol de refiere a los usuarios desde una perspectiva funcional, Perfiles por su parte, contempla el carácter humano de las personas que desempeñan esos Roles. El propósito con esta distinción, es definir una estrategia de abstracción que permita llegar a conocer a las personas, con sus limitaciones, necesidades y propósitos sobre el sistema, para capturar la información de Roles se propone utilizar plantilla definida en la tabla 37.

Tabla 37. Diseño de platilla para la recolección de informaciones de roles.


Definir Perfiles consiste en caracterizar a las personas que desempeñan estas funciones dentro de la organización o entorno. Para la definición de Perfiles se propone utilizar la plantilla definida en la tabla 38.

78

Tabla 38. Diseño de platilla para la recolección de informaciones de perfiles.


6.5. METODOLOGÍA PARA LA EVALUACIÓN DE OBJETOS DE APRENDIZAJE37 Esta metodología evalúa lo objetos de aprendizaje (OAs) donde define los aspectos pedagógicos y tecnológicos del recurso. Tiene en cuenta las categorías: técnicas y métricas para la evaluación de la usabilidad, combina métodos de evaluación heurístico y de observación de un experto y de un usuario. Presta varios escenarios de tareas con el objetivo de facilitar la inspección y completar un informe de la evaluación. 6.5.1. Objetivos. Realizar la combinación de métodos de evaluación heurística de la usabilidad y una incorporación de criterios pedagógicos, para realizar una evaluación desde distintos puntos de vista y recolectar información donde se pueda sacar conclusiones para la orientación a los docentes de la selección de este tipo de recursos teniendo en cuenta los objetivos de aprendizaje y el contexto de aplicación.

37 MASSA, Stella Maris, et al. Métricas de calidad de Objetos de Aprendizaje: una mirada pedagógica entrelazada con la tecnología. EN: VI Congreso de Tecnología en Educación y Educación en Tecnología (2011). p. 1 – 9.

79

6.5.2. Etapas de la metodología: a continuación se explican las etapas que confirman esta metodología: Figura 26. Diagrama de componentes de la metodología de evaluación de OAs.


Etapa 1 - Planificación. Esta etapa está conformada por las siguientes actividades:

Actividad 1 - Adecuación de cada criterio: se utilizará al contexto de uso al cual pertenece el sistema que se desea evaluar

Actividad 2 - Selección de los evaluadores: experto de software relacionado con las tecnologías Web, consultor de experiencia de usuario, experto en experiencia de usuario y especialista del área del contenido, los evaluadores pueden ser de tres y cinco.

Actividad 3 - Elaboración de un paquete de inspección: una colección de heurísticos que ayudarán al experto a realizar el análisis. Se define una platilla asada en la herramienta de evaluación de objetos didácticos de aprendizaje reutilizables (HEODAR).

Actividad 4 - Selección de escenarios: Se seleccionan las tareas para realizar la evaluación.

Etapa 2 - Puesta en marcha. Esta etapa está conformada por las siguientes

actividades:

Actividad 1 - Entrenamiento previo a la evaluación: informar a los evaluadores sobre el tema, contexto de aplicación, perfiles de usuario, descripción del sistema.

Actividad 2 - Entrenamiento previo a la evaluación: informar a los evaluadores sobre el tema, contexto de aplicación, perfiles de usuario, descripción del sistema.

Actividad 3 - Revisión: Se analizan cada una de las evaluaciones realizadas para presentar un informe con todos los problemas y sus posibles resoluciones, teniendo en cuenta que el análisis obtenido es cuantitativo y cualitativo.

80

6.5.3. Instrumentos e indicadores. A continuación se describen los instrumentos y métricas que se utilizan en la metodología.

Plantilla HEODAR: este instrumento se encuentra agrupado en cuatro categorías cada una de ellas contiene subheurísticas o criterios específicos. Cada categoría se identifica como criterios de usabilidad pedagógica o de usabilidad de sitios Web según corresponda, en la tabla 39 se muestra la división: Tabla 39. Categorías y criterios heurísticos.


Indicadores de calidad: Los indicadores se determina dos, el primero es la valoración individual de cada categoría y la segunda la valoración global que se calcula como promedio ponderado, cada peso es la proporción de criterios heurísticos asociados a cada categoría.

Tabla 40. Peso de cada categoría y sub-heurísticas


81

6.6. UNA APROXIMACIÓN A LA EVALUACIÓN DE LA USABILIDAD DE LAS APLICACIONES DE APRENDIZAJE38 La idea principal de SUE es permitir una evaluación fiable mediante la combinación de la evaluación sistemática de inspección y pruebas de usuario. La inspección tiene un papel central: cada proceso de evaluación debe comenzar a tener expertos evaluadores para inspeccionar la aplicación. Entonces, las pruebas de usuario podrían llevarse a cabo en los casos más críticos, cuando el evaluador siente la necesidad de una evaluación más objetiva que se puede obtener a través de la participación del usuario. Figura 27. Diagrama de componentes de la Metodología SUE.

Fuente: los autores. 6.6.1. Objetivo de la metodología. La metodología SUE tiene por objeto definir un marco general de evaluación de la usabilidad. 6.6.2. Características de la metodología SUE. Las siguientes son las

características de la metodología:

Combinación con la evaluación sistemática de inspección y pruebas de usuario.

El proceso de evaluación debe tener expertos evaluadores para inspeccionar la aplicación.

Las pruebas de usuario solo son necesarias cuando el evaluador requiera una evaluación más objetiva.

Identifica un número de dimensiones de análisis. Se basan en principios de usabilidad los cuales se descomponen en criterios. Identifica atributos y directrices de usabilidad específicos asociados a criterios.

38 LANZILOTTI, Rosa, et al. ROSSANO. An approach to usability evaluation of e-learning applications. 2006 Vol. 4 P. 270 – 283.

82

Se identifican patrones de evaluación (ATs) para abordar las directrices. 6.6.3. Fases de la metodología. A continuación se explican las fases que conforman la metodología SUE:

Fase 1 - De preparación. Se realiza sólo una vez por cada dimensión de análisis, cuyo propósito es crear un marco conceptual que se utilizará para llevar a cabo las evaluaciones.

Fase 2 - De ejecución. Se lleva a cabo cada vez que una aplicación

específica debe ser evaluada, esta evaluación consiste en la inspección, realizada por expertos evaluadores y las pruebas de usuario, involucrando a usuarios reales. 6.6.4. Componentes. Los componentes de la metodología SUE son los siguientes:

Plataformas Aprendizaje. Módulos de Aprendizaje.

6.6.5. Etapas de la Metodología. A continuación se describe las etapas que conforman la metodología SUE:

Etapa 1 - Descripción de Dimensiones de Análisis. Para cada componente

se definen las siguientes dimensiones.

Presentación. Pro-actividad. Actividad del usuario.

Para cada dimensión, se consideran los principios generales de eficacia y eficiencia que contribuyen a caracterizar la usabilidad.

Etapa 2 - Definición de Criterios. A continuación se describe los criterios

seleccionados:

La eficacia se especializa más en: • El apoyo para el aprendizaje / autoría: se refiere al grado en el que las herramientas proporcionadas por la plataforma permiten el aprendizaje y la preparación de lecciones y senderos educativos de una manera eficaz. • El apoyo para la comunicación, la personalización, y el acceso: se refiere al grado en el que la plataforma satisface estas necesidades, aumentando así la eficacia de aprendizaje.

83

La eficiencia se especializa en: • Estructura Adecuada: se refiere al grado en que las actividades del usuario por lo general realiza son estructurada de modo eficiente y visualizarse. • Instalaciones y adecuación de la tecnología: se refiere a la eficiencia de andamios y soportes complementarios proporcionados al usuario y el grado en que la plataforma se adapta a la tecnología utilizada por el alumno para acceder a ella.

Etapa 3 - Determinar Directrices. Con el objetivo de satisfacer los criterios anteriores, un primer conjunto de directrices se deriva. El estudio de usuarios puede sugerir algunas pautas.

Etapa 4 - Identificar Patrones de Evaluación ATs. Estos patrones de

evaluación se derivan para dar apoyo al inspector en la evaluación de los componentes específicos de las aplicaciones de aprendizaje, es decir, en la comprobación de si la solicitud se ajusta a las directrices y satisface los atributos de usabilidad. Estas ATs se agrupan en las siguientes categorías:

La inserción de contenidos y acceso al contenido: esta categoría incluye

ATs para evaluar las herramientas que permiten y facilitan la edición o la búsqueda de contenido.

Andamios: esta categoría incluye ATs para evaluar los mecanismos que apoyan al usuario en tareas complejas.

Ventana de aprendizaje: esta categoría incluye ATs para evaluar las características del entorno virtual de aprendizaje.

Etapa 5 - Diseñar Plantillas de ATs. Se describen los objetos de la aplicación y las acciones que los evaluadores deben realizar con el fin de analizar este tipo de objetos y detectar posibles violaciones de la heurística identificados y se presenta un ejemplo de ATs para evaluar aspectos de la plataforma (P) y los módulos de Aprendizaje (M).

Propósito. Descripción de la actividad. Salida. Aspecto a evaluar. Enfoque de la acción.

Etapa 6 - Inspeccionar la aplicación. Los evaluadores analizan la aplicación

utilizando ATs definidas en la etapa anterior.

84

6.7. LA INVESTIGACIÓN SOBRE LA EVALUACIÓN DE LA USABILIDAD DE LOS SISTEMAS DE APRENDIZAJES39

Esta investigación está basada en la evaluación de usabilidad aplicada, como una combinación de comportamiento y mediciones, permitiendo cuantificar en términos de facilidad de uso de los usuarios (profesores "y" estudiantes) el rendimiento y la satisfacción. 6.7.1. Objetivo de la Investigación. Su objetivo es mejorar la experiencia de aprendizaje y aumentar el comportamiento de los sistemas inteligentes, a través de la evaluación de usabilidad. 6.7.2. Etapas de la metodología. A continuación se explican las etapas determinadas por la investigación:

Etapa 1 - Explicación del proceso. una descripción general del proceso de evaluación, describiendo los objetivos y el público destinatario.

Etapa 2 - Tareas. Se realizan las tareas previstas, junto con las tareas de

búsqueda y un examen corto. A partir de estas tareas permite definir las siguientes mediciones:

Corrección de Tareas. Reconocimiento y recuperación de memoria. Tiempo de aprendizaje.

Etapa 3 - Evaluación de la usabilidad. Esta etapa de evaluación basada en

escenarios comprende un test de usabilidad tutorial, una prueba de memo y un cuestionario de satisfacción de los usuarios. Dentro de esta etapa se aplican técnicas para la evaluación de la usabilidad, las cuales se describirán a continuación.

Etapa 4 - Lista de directrices / principios de usabilidad. Un conjunto de directrices fueron ajustados al contexto de aprendizaje. Los expertos tuvieron que pronunciarse sobre si el sistema se considera que ha seguido la directriz o no. De ahí que la asignación de las puntuaciones es estrictamente arbitrario.

39 ZHENGYI, Chai; YUJUAN, Zhao y SIFENG, Zhu. The research on usability evaluation of e-learning systems. 2008. p, 424 – 427.

85

Figura 28. Diagrama de Componentes de Evaluación de Usabilidad en Sistemas de Aprendizaje.

Fuente: los autores. 6.7.3. La aplicación de técnicas en la evaluación de la usabilidad. Teniendo en cuenta que el uso de un sistema particular depende de las características de los usuarios, no existe una definición simple o única medida significativa de la usabilidad. Por consiguiente, para comprender el efecto del diseño, un escenario de trabajo detallado fue elaborado, que consiste en una secuencia de tareas típicas del sistema y acciones de usuario. Los objetivos de usabilidad se lograrán si el potencial del sistema se utiliza realmente de manera eficaz (para un nivel determinado de rendimiento del usuario) y feliz (a un nivel especificado de la evaluación subjetiva).

La prueba de usabilidad tutorial: se compone de dos partes: (1) una tarea de escenario guiada de una generación de conocimiento de dominio particular, para mostrar la funcionalidad básica del sistema y los principales aspectos de su interfaz, junto con (2) una tarea específica relacionada con una generación particular, el conocimiento que los usuarios de prueba (en este caso la participación de profesores) tienen que realizar por sí mismos. En consecuencia, el usuario final tutorial prueba permite determinar los valores de los atributos siguientes:

• La idoneidad: que expresa el grado de adecuación del sistema para las tareas que han de llevarse a cabo.

86

• La capacidad de aprendizaje: la cual refleja lo fácil que es para el usuario a aprender el sistema y la rapidez con que pueda empezar a trabajar con él. • La tasa de error: que refleja la relación de error mientras se trabaja con el sistema.

Prueba de memo: se realiza con posterioridad a la prueba de tutorial y

permite la medición de la capacidad de interfaz al exigir a un usuario explicar los efectos de un solo comando o escribir el nombre de comando para una operación en particular.

Cuestionario de satisfacción de usabilidad. Se realiza después de la

prueba de memo y permite la medición de la satisfacción de los usuarios subjetiva con aspectos de la interfaz. Los atributos que se evalúan con esta técnica son: • Facilidad de uso. • Eficiencia. • Simpatía. • Actitud que el sistema induce en el usuario durante su uso.

Etapa 4: Lista de directrices / principios de usabilidad. Un conjunto de directrices fueron ajustadas al contexto de aprendizaje. Los expertos tuvieron que pronunciarse sobre si el sistema se considera que ha seguido la directriz o no. De ahí que la asignación de las puntuaciones es estrictamente arbitraria.

6.8. LA EVALUACIÓN DE LA USABILIDAD Y LA ACEPTACIÓN DE LA EDUCACIÓN MULTIMEDIA BASADA EN LA WEB EN LOS NIÑOS40

El desarrollo de un producto de software tiene que ser evaluado para asegurar que cumple con el objetivo. Hay muchas maneras de evaluar un producto de software, pruebas de su funcionalidad, facilidad de uso, la integridad y la aceptación. Este estudio evaluó la facilidad de uso y la aceptación de la educación web multimedia entre los niños.

40 BAHARUDIN, Suzana, et al. Evaluating the usability and acceptance of multimedia web-based education among children. 2011. p. 46 – 49.

87

Figura 29. Diagrama de componentes para los método de evaluación de la educación multimedia.

Fuente: los autores. 6.8.1. Técnicas de evaluación: Esta investigación combina la técnica de la observación y la entrevista para recopilar los datos durante la usabilidad y pruebas de aceptación. Esta técnica se utiliza ya que los usuarios objetivos son los niños. Por lo tanto, los investigadores deben observar de cerca el comportamiento de ellos. Pruebas de Aceptación del usuario. A través de la prueba de aceptación del usuario, el usuario probara:

Tiempo para que el usuario aprenda funciones específicas en el aplicación. La velocidad de ejecución de la tarea en una aplicación. La tasa de errores creados por los usuarios. La retención humana de comandos a través del tiempo. Satisfacción subjetiva.

Pruebas de aceptación. Para garantizar Pruebas de aceptación (UAT)

efectivas, se crean 2 tipos de casos de estudiantes que se clasifican de acuerdo al tiempo dedicado a la computación semanalmente.

Usuarios moderados. Usuarios de la web de alta.

88

Estos casos de prueba están diseñados para asegurar una cobertura adecuada de todos los escenarios que ensamblan el uso del mundo real con la aplicación.

Las pruebas de aceptación. Son pruebas predefinidas para determinar el cumplimiento de los criterios de aceptación. Esta prueba normalmente está destinada a mostrar la escala de cumplimiento de la aplicación seleccionada con los requisitos especificados. Además se debe tener en cuenta las especificaciones del ordenador para la evaluación del desempeño del sistema. Las especificaciones se dividen en dos grupos que son equipos de gama baja y de gama alta. 6.8.2. Métodos de evaluación. La evaluación se llevó a cabo a través de un enfoque etnográfico. Estudio etnográfico es una observación directa que también involucra entrevistas, cuestionarios y artefactos de estudio. Tiene como objetivo observar una situación sin imponer toda una estructura o marco sobre ella. 6.8.3. Elementos de prueba de aceptación. Estos son los siguientes elementos:

Velocidad de rendimiento del sistema: Velocidad de rendimiento del sistema se refiere al tiempo de descarga tomada por el navegador de Internet para ejecutar la aplicación. Este elemento es importante debido a que la capacidad de atención de los niños es muy corta y se distraen con facilidad.

Tasa de error: Tasa de error del usuario es sobre la cantidad de errores hechos por los usuarios. Esto es para determinar si la instrucción, iconos, botones proporcionados en esta solicitud son comprensibles y puede ser utilizado de manera eficiente.

La retención de las horas extraordinarias de comandos del usuario. La retención de las horas extraordinarias de comandos de usuario es con respecto al reconocimiento de las funciones especiales proporcionada por el aplicación, como botones, iconos y actividades. Esta prueba debe llevarse a cabo después de una semana de la primera prueba de aceptación. El propósito de este elemento es para probar las características de la interfaz.

Satisfacción de los usuarios. La satisfacción del usuario es muy subjetiva. Por lo tanto, una entrevista debe llevarse a cabo para obtener la retroalimentación del usuario. Dado que los usuarios se encuentran entre niños pequeños que normalmente son difíciles de expresar sus sentimientos y emociones, por lo tanto los emoticonos símbolos se utilizan para representa la escala de Likert de cinco nivel de sus expresiones de gustos y disgustos.

Terminología utilizada. En términos de las pruebas de usabilidad a la terminología, se observarán los niños hacia su comprensión de los términos previstos en la solicitud. Esto fue llevado a cabo a través de la observación y la entrevista de los niños mientras que están usando activamente la aplicación.

Prueba de la pantalla. Esta prueba abarca los objetos, palabras, diseño de pantalla y la secuencia de la pantalla que se proporcionan por esta

89

aplicación. Estos elementos son importantes para ser probados con el fin de garantizar que el contenido es legible y apropiado para el usuario.

Capacidad de aprendizaje. Capacidad de aprendizaje es sobre lo que el usuario medio podría haber aprendido de la operación de los sistemas y de las actividades de exploración, que son relevante para sus tareas. Esto también implica la forma fácil podía recordar los nombres y el uso de comandos en este aplicación. 6.9. DISTANCIA DE APRENDIZAJE EN LÍNEA: CARACTERÍSTICAS DE CALIDAD Y EVALUACIÓN DE LA USABILIDAD41 Este estudio se llevó a cabo con el fin de cumplir con tres objetivos. En primer lugar es investigar las características de calidad y la facilidad de uso de los programas de aprendizaje a distancia en línea. En segundo lugar está para examinar las relaciones entre las características de calidad y el programa de educación a distancia en línea. En tercer lugar es para examinar la relación entre la aplicación y el aprendizaje a distancia en línea. La calidad del instructor y la calidad de los estudiantes son características importantes que determinan el éxito de la aplicación de aprendizaje a distancia en línea.

Calidad Instructor. El instructor juega un papel esencial para determinar la eficacia en la prestación de aprendizaje en línea. Hay tres características del instructor que influyen en los resultados del aprendizaje: • La actitud hacia la tecnología. • Estilo de enseñanza. • El control de la tecnología.

Calidad de Estudiante. Una variedad de características tienen influencia potencial sobre el aprendizaje en línea. Tales variables son experiencia, tener un ordenador en casa, y la actitud que hacia los ordenadores. Hay características del estudiante que influyen en los resultados del aprendizaje:

Uso del computador. Experiencia con el computador. Familiaridad con la tecnología. Tiempo y apoyo del entorno.

41 NOROL, Hamiza, et al. On line distance learning: Quality characteristics and usability evaluation. 2010. p. 575 - 579.

90

Usabilidad. La usabilidad es un concepto escurridizo que refleja la experiencia del usuario con un producto, artefacto o servicio y el nivel de éxito que se ha establecido para el producto / servicio. 6.9.1. Tipos de Uso del enfoque de aprendizaje. Se dividen de la siguiente forma:

Aprendizaje autentico: Medida en que los estudiantes tienen la oportunidad de resolver problemas del mundo real que son auténticos.

Aprendizaje activo: Grado en que los estudiantes tienen la oportunidad de tomar un papel activo en su aprendizaje. En el contexto de la eficacia, se sugieren las siguientes dimensiones que se pueden utilizar para captar el concepto de eficacia:

La participación estudiantil. El compromiso cognitivo. La tecnología de auto-eficacia (es decir, la creencia de que uno tiene la

capacidad de interactuar con una tecnología dada). Utilidad percibida de la tecnología empleada La ventaja relativa o desventaja de entrega en línea.

6.9.2. Metodología. Las metodologías utilizadas son las siguientes:

La Muestra: la muestra del estudio se compone de estudiantes que actualmente participar en un programa de aprendizaje a distancia en línea, en una de las universidades públicas de Malasia. El marco de población era derivada de la unidad que controla el programa. Un total de 200 cuestionarios fueron distribuidos a la muestra y 185 Se recibieron respuestas, produciendo una tasa de respuesta del 92,5%.

El Instrumento: el instrumento de la encuesta utilizada para este estudio compuesto por 3 secciones.

• Primera Sección: perfil del encuestado y el uso o aplicación del aprendizaje a distancia en línea. • Segunda sección: percepción sobre la calidad de instructor, como actitud, tiempo del encuestado y el apoyo familiar. • Tercera sección: requiere responder a los elementos relacionados con facilidad de uso de la educación a distancia en línea.

Evaluar la fiabilidad y validez: en este estudio, la prueba de fiabilidad se realizó con métodos para evaluar la consistencia de las escalas de instrumentos. Se recogieron los datos, una prueba de fiabilidad fue realizada para medir la consistencia interna del instructor como la actitud, tiempo y apoyo a los estudiantes, la autonomía, la eficacia y el uso del aprendizaje a distancia en línea. La prueba obtiene el coeficiente α = 0,915 y construcciones de fiabilidad

91

individual que varían desde 0,915 hasta 0,955. El resultado indica que el instrumento es confiable y consistente internamente.

Resultados y Discusión: los resultados muestran que la mayoría de los encuestados son mujeres (81,1%) mientras que 17,8% son hombres. También muestra que la mayor parte de los encuestados son solteros 66,1% y el 40,5% de los encuestados tienen 2-4 años de experiencia de trabajo. 6.10. HEURÍSTICAS DE USABILIDAD PARA APRENDIZAJE42 Este modelo se desarrolló para evaluar la usabilidad de aplicaciones de aprendizaje. Basado en un listado de heurísticas desarrolladas específicamente para entornos virtuales de aprendizaje. Las mismas surgen a partir de la integración de conceptos provenientes de usabilidad, aprendizaje. 6.10.1. Etapas. A continuación se explica las etapas que conforman este modelo: Figura 30. Diagrama de componentes para Heurísticas de usabilidad para el aprendizaje.


Etapa 1 - Identificación de Criterios. Dada la necesidad de considerar los aspectos vinculados al aprendizaje al evaluar la usabilidad de una aplicación de aprendizaje, se realizó una revisión a grandes rasgos de las teorías de aprendizaje conductistas, cognitivistas y constructivistas, y su influencia en el diseño instruccional. Se encontró que los diseñadores deberían seleccionar, usar y adaptar atributos desde varios enfoques diferentes en función del perfil del estudiante, sus necesidades y la naturaleza del tema en particular, aprovechando sus elementos fuertes y adaptándolos al nuevo desafío del aprendizaje. Sin embargo en la actualidad, el constructivismo constituye el enfoque dominante para este tipo de aplicaciones.

42 FONT, Graciela. Heurísticas de usabilidad para e-learning. Vol. 03 No. 09 Julio 2010. p. 15.

92

Actividades 1 - Identificación de criterios desde las teorías del aprendizaje: en función de lo expuesto se identificaron tres categorías de criterios que deberían considerarse en la evaluación: Tabla 41. Criterios de aprendizaje.


Actividad 2 - Recopilación de heurísticas de usabilidad, principios y atributos para aplicaciones educativas: se recopilaron heurísticas de usabilidad, además de principios y atributos propuestos por diversos autores para aplicaciones educativas. Se tomaron en cuenta las 8 reglas de oro de recomendaciones de usabilidad específicas para la Web, heurísticas de aprendizaje con software, principios para aprendizaje en line efectivo, atributos de usabilidad específicos para el aprendizaje y criterios de motivación para aprender.

Tabla 42. Criterios de usabilidad.


Actividad 3: Elaboración de listado de criterios. Se elaboró un listado con 13 criterios formados a partir de diez criterios correspondientes a las heurísticas de Nielsen y los tres criterios identificados desde las teorías del aprendizaje. En él se fueron incorporando en las categorías correspondientes, subcriterios propuestos por los diversos autores. De esa forma se obtuvo un listado de criterios y subcriterios para evaluación de aplicaciones de aprendizaje que tienen en cuenta la usabilidad.

Etapa 2: Desarrollo de Heurísticas específicas. Con el fin de desarrollar las heurísticas específicas para evaluar el curso de aprendizaje se partió del listado resultante de la integración de usabilidad y aprendizaje.

93

Actividad 1: análisis de cada criterio y su pertinencia en función del software a evaluar.

Actividad 2 - Definición de subcriterios: una vez analizado los criterios que se van a evaluar los mismos incluyen 38 subcriterios que orientan al evaluador en relación al alcance de cada heurística.

Etapa 3: Evaluación. La evaluación de usabilidad se realizó mediante tres métodos/técnicas: test de usuario (pensando en voz alta), evaluación heurística y cuestionarios.

Actividad 1: Test de Usuario. Antes de iniciar las actividades del curso “Enseñar y Aprender en el Aula Virtual”, cinco futuros usuarios evaluaron la aplicación mediante la técnica pensando en voz alta. Se identificaron las tareas típicas del estudiante en el Aula Virtual y se definieron cinco escenarios que describían una situación artificial en el que ocurría la tarea. Cada test se realizó en forma individual con la participación de un moderador y un observador. Se contó además con un software de captura de las acciones del usuario en la interfaz. Una vez finalizado cada test se dialogó con el usuario a los fines de recabar cualquier otra información que pudiera aclarar y ampliar los datos observados. Una vez ejecutados los cinco test se compilaron los resultados en una lista de 18 problemas de usabilidad.

Actividad 2: En la Evaluación Heurística participaron cuatro expertos, de los cuales dos eran expertos dobles (con conocimientos en usabilidad y educación), el tercero era experto en usabilidad y el cuarto experto en educación. Se les proveyó el listado con las heurísticas y una guía que dirigía el procedimiento con información general sobre la aplicación y el perfil de los estudiantes. Cada evaluador inspeccionó la interfaz independientemente. Además de la lista general de heurística, se les dio la libertad de considerar otros principios de usabilidad que pudieran ser relevantes para elementos de diálogo específicos. Luego de que todas las evaluaciones se ejecutaron, se procedió a compilar los problemas identificados generando un listado final con 34 problemas únicos.

Etapa 4: Resultados obtenidos. Si bien en la investigación se realizó un análisis detallado de los resultados de cada uno de los tres métodos/técnicas por separado y combinadas, en esta publicación se presentan y comparan en forma general los resultados de las evaluaciones realizadas por los estudiantes (mediante las dos técnicas), con los resultados de los expertos. 6.10.2. Instrumentos de evaluación. Se usa el siguiente instrumento para realizar la evaluación.

Cuestionario: se diseñó un cuestionario de evaluación del entorno virtual en base a los mismos criterios utilizados en la evaluación heurística. Se entregó a los estudiantes luego de finalizadas todas las actividades del curso. En él identificaron las áreas de la aplicación que generaron dificultades en la interacción durante todo el desarrollo. En función del objetivo se proveyeron espacios en blanco en cada

94

sección y se alentó a los estudiantes a expresar otras dificultades experimentadas y no incluidas en el cuestionario. Se identificaron en total 16 problemas de usabilidad. Tabla 43. Descripción de criterios de usabilidad y aprendizaje.


95

7. REVISIÓN DE MODELOS DE CORRESPONDENCIA DIDÁCTICA

7.1. MODELO PARA LA EVALUACIÓN DEL IMPACTO DEL SOFTWARE EDUCATIVO43

Es un modelo de evaluación del impacto pedagógico de un software educativo en los procesos de enseñanza y aprendizaje de la secundaria básica, teniendo en cuenta las problemáticas encontradas en la evaluación del software como no profundizar en los aspectos metodológicos, la falta de indicadores e instrumentos, no se abarca los efectos y las consecuencias de incorporar el software educativo en el proceso de enseñanza y aprendizaje. Los docentes y directivos no conocen los instrumentos y los pasos para evaluar el impacto pedagógico del software educativo. 7.1.2. Objetivos. El modelo tiene como objetivo evaluar el impacto pedagógico mediante la recolección de variables, dimensiones, indicadores y una propuesta de instrumentos que le confieren nivel de confiabilidad y viabilidad, que se adecua a las condiciones tecnológicas y pedagógicas. 7.1.3. Estructura del modelo. El modelo propone componentes y cualidades que se describen a continuación:

Componentes del modelo de impacto pedagógico del software educativo. Se encuentran los componentes para el modelo estas son:

• Finalidad: transformación. • Contenido: evaluar el impacto pedagógico del software educativo. • Unidad de evaluación: estudiante, el profesor y el directivo. • Rol del Evaluador: implicación. • Toma de decisiones: profesores generales integrales, asesores de computación, funcionarios, metodólogos y directivos de las escuelas, Direcciones Municipales y Provinciales de Educación.

Cualidades del modelo de evaluación de impacto pedagógico del software educativo. Las cuales que tiene el modelo son las siguientes: • Flexible: permite ser aplicado en una diversidad de contextos educativos. • Funcional: el modelo puede ser empleado tanto en su totalidad como en partes.

43 RODRÍGUEZ GONZÁLEZ, Mayda Agustina: ASTORGA GALARDY, Pedro y CHE SOLER, Justo. Modelo Para La Evaluación Del Impacto Del Software Educativo. EN: XIV Congreso Internacional de Informática en la Educación. Cuba, 2010, p 1 – 9.

96

• Participativo: participación de los sujetos del proceso cuyo impacto pedagógico se busca reconocer. • Transformador: la transformación de los sujetos del proceso de enseñanza-aprendizaje (estudiantes, profesores y directivos). • Enfoque: Histórico- Cultural y método Dialéctico-Materialista. 7.1.4. Fases del modelo. El modelo se compone de tres etapas que se relacionan por medio de sus resultados, estas son: fase inicial, fase de seguimiento (monitoreo) y fase final. El modelo propone siete etapas aplicables en cada etapa y estas a su vez tienen sus respectivas actividades a desarrollar.

Etapa 1 - Caracterización del efecto de impacto pedagógico. Es esta fase se realizó un estudio de antecedentes donde se parte de los objetivos de la institución, se selecciona a que grado va dirigido en la secundaria, se revisa la documentación del software para su uso, donde se define la asignatura, el tipo de usuario y su metodología, las condiciones tecnológicas y pedagógicas y los resultados que se esperan obtener.

Etapa 2 - Diseño de evaluación de impacto pedagógico. Se selecciona los evaluadores para realizar la selección de los indicadores y el rediseño y aplicación de los instrumentos.

Etapa 3 - Organización del proceso de evaluación de impacto pedagógico. Se reúne el equipo de trabajo, se instrumenta la asignación seleccionada. Se organizó la planeación del sistema de capacitación de los evaluadores y facilitadores.

Etapa 4 - Ejecución de la evaluación del impacto. Se realiza la distribución y aplicación de los instrumentos determinados por el equipo evaluador, así como la metodología para procesar los datos obtenidos.

Etapa 5 - Control y análisis de los resultados obtenidos. Se revisa los indicadores afectados por parte de los estudiantes y se realiza el conceso de que aspectos se requieren mejorar.

Etapa 6 - Socialización de los resultados. Para realizar la socialización se utiliza entrenamientos metodológicos conjuntos, consejos de dirección, preparaciones metodológicas, balances metodológicos, actividades de superación a directivos, maestrías, discusiones de tareas integradoras, eventos científicos, entre otras, donde se permite formalizar el análisis y valoración del resultado la evaluación de impacto pedagógico del software educativo.

Etapa 7 - Pronóstico y seguimiento. Se implementa un sistema de acciones dirigido a la mejora de los indicadores afectados a partir del análisis e informe de evaluación realizada. Se realiza un seguimiento o monitoreo que permite identificar los cambios logrados y los resultados esperados durante el curso

97

escolar, donde se hace un seguimiento a la actuación de los sujetos que emplean el software educativo, el desempeño de los docentes, la organización escolar, así como en el aprendizaje de los alumnos, lo que permitió reajustar y rediseñar las acciones de transformación. Figura 31. Diagrama de componentes del modelo de evaluación del impacto pedagógico.

Fuente: los autores. 7.1.5. Evaluación del impacto pedagógico del software educativo. Para realizar la evaluación se proponen: una variable, 3 dimensiones, 14 indicadores y 82 sub-indicadores. Se establecen a partir de la sistematización realizada sobre, evaluación de impacto, la construcción de indicadores de evaluación de impacto, la introducción del software educativo en el proceso de enseñanza aprendizaje de la Secundaria Básica y la experiencia en la práctica educativa.

Variable evaluación de impacto pedagógico del software educativo. Se refiere al grado de trascendencia de la aplicación del software educativo en el proceso de enseñanza-aprendizaje, a partir de cambios significativos de los sujetos en el desempeño, organización escolar y la satisfacción con la calidad del software.

Dimensiones e indicadores. La siguientes son las dimensiones e indicadores que se encuentran en el modelo:

98

• La organización escolar: Los indicadores relativos al nivel de organización escolar que conciernen al funcionamiento, disponibilidad y gestión de recursos humanos, planificación y materiales utilizados de forma racional que permiten el aprovechamiento del software educativo. • Indicadores_1: Nivel de gestión de recursos humanos y materiales para el uso del software. Frecuencia en la planificación de actividades. Nivel o grado de organización del laboratorio para el trabajo con software. Cambios que se aprecian en el contexto de la institución educativa. • Satisfacción con la calidad del software educativo: se refiere al grado con el que un software educativo cumple con los requisitos especificados y las necesidades o expectativas de los sujetos del proceso de enseñanza-aprendizaje. • Indicadores_2: Indicadores: Nivel de contribución del software educativo al desarrollo de una actividad constante del alumno. Nivel de aceptación de la presentación del contenido. Nivel de Satisfacción con la interfaz de trabajo. Nivel de satisfacción con la estructura del software. • Desempeño: indicadores referentes al nivel del desarrollo de un sujeto a través de interacción con el software educativo en correspondencia con los objetivos de la actividad pedagógica en que participa y el logro de un resultado que evidencia su mejoramiento y satisfacción individual al ejercer sus tareas con cuidado, precisión, profundidad, originalidad y rapidez. • Indicadores_3: Nivel de disposición para la utilización del software educativo. Nivel de conocimientos y habilidades. Nivel de Dirección del proceso de enseñanza-aprendizaje con software educativo. Estrategias de aprendizaje. Nivel de disposición para el cambio. 7.1.6. Niveles de evaluación. Se proponen además cinco niveles de evaluación, la construcción de indicadores de impacto pedagógico del software educativo se realizó a partir de métodos científicos como el enfoque sistémico, el análisis documental y la sistematización, así como los procedimientos lógicos del pensamiento que se reflejan en los métodos, en la figura n se encuentran los niveles de evaluación. Figura 32. Descripción de niveles de evaluación.


99

7.1.7. Instrumentos de evaluación: Se proponen doce instrumentos para la

evaluación del impacto pedagógico del software educativo, tales como:

Una guía de observación a actividades con Software educativos. Tres cuestionarios de encuestas. Tres de entrevistas. Tres pruebas de Desempeño. Una guía para la revisión de documentos. Una guía para la evaluación del software educativo.

7.2. GRILLA DE EVALUACIÓN DE SOFTWARE EDUCATIVO (GRIESE)44 Es una grilla que permite realizar la evaluación de un software educativo mediante variables que califican su calidad, en la figura n se puede ver cada uno de los componentes de la grilla. 7.2.2. Características de la Grilla. Esta grilla se desarrolló con las siguientes características:

Se contemplan los tres aspectos del software educacional como los son funcional, pedagógico y técnico.

Cuenta con criterios, subcriterios e ítems que permiten realizar la evaluación de cada de los aspectos que tiene el software educacional.

Permite seleccionar el nivel de evaluación los cual se tiene diferentes niveles de abstracción respecto del concepto evaluado, así mismo facilita una comprensión y una consulta de las diferentes evaluaciones realizadas el software educativo.

Los niveles que se puede realizar la evaluación son a nivel de ítems, a nivel de subcriterios.

Se aplica un peso de ponderación por aspecto, criterio, subciterios e ítems, para llegar a realizar una valoración global del software educativo evaluado, a continuación en la tabla 44 se relaciona el peso que tiene cada aspecto con respecto al total. Tabla 44. Relación de peso por aspecto.

44 PAUR, Alicia Beatriz y SAENZ, Marta Susana. Evaluación de software educativo mediante variables que califiquen su calidad. Tesina Licenciado en Informática. Universidad Nacional de la Patagonia San Juan Bosco. Facultad de Ingeniería, 2004. p, 98 – 113.

100


Busca tener un cambio en la forma de pensar en el uso y aplicación de un software educativo en los docentes universitarios y lograr una intelectualización o concientización de los métodos instruccionales que tena el software a utilizar. 7.2.3. Objetivos de la grilla GRIESE. Los objetivos y aportes de la grilla son:

Mejorar cada instrucción de los alumnos, mediante el uso del software educativo se adapte a los objetivos pedagógicos buscados, donde adquirirán distintas capacidades a través de la enseñanza utilizadas.

Promover la interiorización y conocimiento de las nuevas tecnologías por parte de los profesores, dentro de las modalidades y calidades de la Educación Superior.

Ofrecer una herramienta metodológica, que sea aplicable en el ámbito universitario como en el educativo general, para que se realice un análisis crítico y una evaluación sistemática de productos de software educativo, haciendo un informe de los resultados evaluativos obtenidos, a los medios y procesos empleados y a las dimensiones cualitativas del software educativo evaluado, así mismo se facilita la toma de decisiones de los profesores y responsables educativos ante la aparición de nuevos productos.

Permite realizar la evaluación y crear una base de datos de software educativos evaluados y que podrán ser consultados por los demás docentes que deseen saber si hay un software que puedan utilizar y cumplan con las características determinadas.

7.2.4. Etapas de la grilla GRIESE. A continuación se explica las etapas que conforman la grilla: Figura 33. Diagrama de componentes de la grilla GRIESE.


101

Etapa 1 - Determinar los diferentes niveles de evaluación. Esta grilla

presenta diferente niveles de evaluación para buscar lo siguiente:

Permitir la realización de la tarea de evaluación en diferentes etapas, según el evaluador lo desee, se puede calificar a nivel de ítems o subcriterios, esto depende de un grado de detalle que el evaluador desee utilizar.

Presentar diferentes niveles de abstracción con respecto al concepto evaluado, con esto facilita la comparación y consulta entre las evaluaciones realizadas a distintos software educativo.

Niveles: Los niveles que conforman la estructura en tres aspectos, estos se dividen en criterios y que estos a su vez se dividen en subcriterios, estos se califican por medio de diferentes ítems, los cuales logran el objetivo de evaluar el software educativo. A continuación en la figura n se presenta la estructura con los respetivos niveles usados: Figura 34. Estructura de los niveles usados en GRIESE.


Etapa 2 - Elección de aspecto. Determinan dos aspectos los cuales son los más usados según la investigación realizada por la grilla, estos aspectos son: funcional y pedagógico, en la tabla 45 se describe cada aspecto.

Tabla 45. Aspectos seleccionados y su descripción.


102

Etapa 3 - Elección de criterios, subcriterios e ítems. En esta etapa se centra en la evaluación objetiva de los entornos educativos de multimedia, seleccionando con cuidado los criterios que caracterizan este tipo de software. A continuación se describen los criterios, subcriterios e ítems relacionados en el aspecto funcional, pedagógico y técnico.

Criterios, subcriterios e ítems del aspecto funcional: en la tabla 46 se observa cuáles son los criterios seleccionados a si mismo con sus respectivos subcriterios e ítems.

Tabla 46. Criterios, subcriterios e ítem del aspecto funcionales.


Criterios, subcriterios e ítems del aspecto pedagógicos: en la tabla 47 se observa cuáles son los criterios seleccionados a si mismo con sus respectivos subcriterios e ítems.

103

Tabla 47. Criterios, subcriterios e ítem del aspecto pedagógico.


104

Tabla 48. Criterios, subcriterios e ítem del aspecto pedagógico (continuación).


105

Tabla 49. Criterios, subcriterios e ítem del aspecto pedagógico (continuación).


Etapa 4 - Evaluación del software educativo. En esta etapa se realiza la evaluación del software educativo teniendo en cuenta lo siguiente:

Escala de valoración aplicada en la grilla GRIESE: para realizar la

evaluación del software educativo, escogieron una escala de valores que va del 1 al 5 y se califica cada ítem, a continuación se muestra en la tabla 50 que significa cada valor:

Tabla 50. Escala de valoración.


106

Conformación de la grilla GRIESE: la grilla define unas fichas para realizar la identificación del software, la evaluación del software y observaciones generales del software, a continuación se presentan el diseño e información de cada ficha: • Ficha de datos generales identificatorios del software: Engloba los datos que permiten realizar una caracterización del software educativo, en la figura n se encuentra la descripción y los datos solicitados a diligenciar.

Figura 35. Ficha de datos generales de identificación del software.


• Ficha de evaluación del software: es la parte principal de Grítese; contiene los aspectos, criterios, subcriterios e ítems descriptos, que permiten evaluar el SE, en la tabla 51 se encuentra un ejemplo de cómo es esta ficha.

107

Tabla 51. Ficha de evaluación del software.


• Ficha de observaciones generales del software: esta parte permite el ingreso de cometarios que si bien no califican en sí mismo al SE, permiten dejar documentados aspectos negativos y positivos relevantes del mismo, en la figura n se ve la estructura de la ficha.

Figura 36. Ficha de observaciones generales del software.


7.3. FACTORES DE EVALUACIÓN DE SOFTWARE EDUCATIVO45

Dado que el software educativo es socialmente aceptable, debe ser examinado por la evaluación de sectores: contenido, la presentación y la organización del contenido, apoyo técnico y los procesos de actualización y, finalmente, la Evaluación de aprendizaje. Todos los sectores tienen la misma importancia, como software educativo tiene que ser al mismo tiempo pedagógico y técnico. Por otra

45 GEORGIADOU, Elissavet. Economides: Evaluation factors of educational software. 2010. p. 113-116.

108

parte, cada sector incluye una serie de criterios, con el fin de caracterizar un software educativo de alta calidad.

Figura 37. . Diagrama de componentes de Factores de evaluación de software educativo.


7.3.2. Sectores. Para la evaluación del software educativo se realiza una división por sectores, con el fin de abarcar los factores más importantes a tener en cuenta. Para la evaluación del software educativo se realiza una división por sectores, con el fin de abarcar los factores más importantes a tener en cuenta.

Contenido. La información contenida en un trozo de software educativo es el primer parámetro que debe ser evaluado de acuerdo con los siguientes criterios:

Validez y Autoridad: contenido confiable, buena reputación autores, editores

y el origen de la información. Precisión: la información actualizada y libre de errores, el uso correcto de la

gramática. Adecuación: conceptos y vocabulario relevante a las capacidades de los

alumnos, la información relativa al grupo de edad, Interacción compatible con el bienestar físico y madurez intelectual del público destinatario.

Ámbito de aplicación: información con suficiente envergadura y profundidad, la progresión lógica de los temas, la variedad de actividades, con opciones para aumentar la complejidad.

Presentación y Organización del contenido. Los factores asociados con este sector son el pedagógico, que es lo concerniente con el aprendizaje y el diseño instruccional de teorías y el factor de diseño de la interfaz

109

Factor Pedagógico: esto es un factor complicado, ya que existen diferentes creencias sobre cómo aprenden los seres humanos. • Motivación: informar que va a lograr en el final de la instrucción declarando metas y objetivos. • Estructura: como organizar la información (estructura de red, lo que implica una organización explicita o arreglo de nodos y vínculos asociativos). • Control del alumno: experiencia de aprendizaje en sus propias necesidades individuales.

Factor Diseño de Interfaces.

Interactividad – Navegación: retroalimentación. actividad desarrollada por la tecnología y el alumno, así como la capacidad de la tecnología para adaptarse.

Directrices para aumentar la interactividad: bridar oportunidades de interacción por lo menos cada tres o cuatro pantallas, el contenido en pequeños segmentos y construir en preguntas, comentarios y resúmenes de cada segmento, pida a los estudiantes aplicar lo que han aprendido y no de memorización, además, utilizar preguntas retóricas en instrucción para que los estudiantes piensen en el contenido y consideren diseños en los que el alumno descubre la información a través de la exploración activa.

Navegación: facilita que los usuarios puedan .Copia de seguridad de un nodo a la vez, sobre sus trayectorias e inmediatamente volver a acceder a cualquier nodo anterior, búsqueda de información con palabras clave o índices y utilizar los mapas y tablas de contenido para ver el total de la estructura de la base de conocimientos, Obtener vistas 'Fish Eye' indicando los nombres y contenidos de nodos vecinos que muestra actualmente.

Un material didáctico. debe promover la interactividad, ayudando acceder a algunas o todas de las siguientes opciones:

Tecla de ayuda para obtener información sobre el procedimiento, tecla para responder a una pregunta de respuesta, glosario para ver la definición de cualquier término, revisión de los objetivos del curso. mapa de contenido para ver una lista de comandos u opciones disponibles y resumen de la introducción a la unidad, tecla Menú para salir de la lección y regresar, tecla de salida para salir del curso, registrar comentarios de un alumno, ejemplos de una idea. , teclas para avanzar o retroceder en una lección y para acceder a la siguiente lección en una secuencia.

Los factores básicos que pueden determinar la eficacia de información son el tipo y la frecuencia de la retroalimentación dada y el retraso entre la retroalimentación y la instrucción

110

Retroalimentación. Está estrechamente relacionado con el tema de interacción, como la acción sin reacción es completamente improductiva para un alumno, las directrices básicas sobre retroalimentación:

Proporcionar información inmediatamente después de una respuesta. Variar la colocación de retroalimentación de acuerdo con el nivel de objetivos. Proporcionar retroalimentación después de cada respuesta para el aprendizaje

de los objetivos de nivel inferior. Proporcionar información que permita verificar la exactitud de la información. Para respuestas incorrectas, informar a los estudiantes sobre cómo corregir

sus respuestas o consejos para volver a intentarlo.

Diseño de Pantalla. Factor de evaluación importante, ya que los diferentes elementos de la pantalla deben ser utilizados para presentar información estimulante y de ayuda a los alumnos en la retención y recuperación de la información. Las limitaciones psicológicas a considerar a la hora de diseñar sistemas de aprendizaje incluye:

Memoria: ¿La cantidad de iconos influye para que los estudiantes recuerden en un momento dado?

Percepción: ¿qué colores y fuentes proporcionan la mejor legibilidad? Atención: ¿cómo pueden los usuarios prestar atención a información que es

relevante, cuando hay una gran cantidad de información en la pantalla Las directrices de diseño de la pantalla son las siguientes:

El uso del espacio: imagen más grande antes que una pequeña, un objeto en movimiento antes que una estática, a un color antes que blanco y negro, las áreas que demandan acciones están mejor situados cerca del centro de la atención del usuario, una pantalla completa puede impedir la concentración del usuario.

Texto: el uso de tipo de letra debe ser coherente, legibilidad sugiere para la lectura continua que el tamaño de la fuente debe ser alrededor de doce puntos con la línea de separación de una línea y media, encabezados pueden ser el tamaño inmediatamente superior del cuerpo de texto en un estilo o color diferente desde el cuerpo principal del texto, grandes cantidades de texto son, difíciles de leer y entender en una pantalla de ordenador, longitudes de línea de alrededor de ocho a diez palabras parecen ser la óptima, cuando hay una gran cantidad de texto que se va a mostrar es preferible dividirlo en varias pantallas, justificación derecha del texto debe ser evitado, Intermitencia del texto es difícil de leer, pero es apropiado para información vital, el texto encerrado dentro de una caja no es más fácilmente leído o comprendido como texto sin formato con la misma facilidad.

Color: los colores de texto y fondo deben ser elegidos cuidadosamente con el objetivo de maximizar el contraste, el color es un medio poderoso de destacar información en comparación con el uso de formas pero el uso de cantidades

111

excesivas no sirven para dirigir la atención, la consistencia en el uso funcional de color es importante.

Gráficos: un gran contraste entre los gráficos y el fondo debe mantenerse. Las imágenes no cubiertos por la información contenida en el texto no va a mejorar el aprendizaje. También, diagramas son útiles sólo si la información que en ellos se utiliza con sentido, las imágenes pueden ayudar a los estudiantes a entender y recordar y debe ser colocado cerca del texto que lo respalden.

Animación / Video: alertas de Movimiento, la animación será el centro de atención, por lo que si otro evento de importancia se está produciendo en la pantalla puede ser ignorada. El movimiento debe ser empleado para reforzar conexiones y relaciones. Cuando la animación contiene información vital que es importante para proporcionar una opción para repetir la secuencia. Más de una animación a la vez en la misma pantalla daría lugar a confusión. El video debe utilizarse para presentar 'la vida real' y no para impartir conceptos abstractos y filosofías. Vídeo es menos efectivo cuando se usa simplemente para mostrar un altavoz, y es menos eficaz que el uso de sonido solo. Los segmentos de vídeo es mejor mantenerse cortos.

Audio: aunque el audio no es la información visual, se examina aquí, ya que es una parte importante de la interfaz de la computadora. Cuando la información es aural (es decir, el aprendizaje de idiomas) el uso del sonido es de vital importancia. En otros casos debe ser una opción y no una necesidad. El sonido puede ser utilizado para llamar la atención y reforzar información, que también está siendo presentada gráficamente. 7.4. TÉCNICAS Y MÉTRICAS PARA LA EVALUACIÓN DE LA USABILIDAD46 En esta investigación se plantean pautas para la estimación del nivel de usabilidad en sitios Web. Inicialmente se definirá un modelo de medición de la usabilidad aplicable al contexto Web, un esquema jerárquico que recoja características prioritarias y comunes, de la usabilidad vista desde la perspectiva Web. Junto con éste modelo se analizarán técnicas y estrategias para la recolección y consolidación de datos. 7.4.1. Etapas. A continuación se describen las etapas que conforman la metodología.

46 PULIDO GRANADOS, Elkin René y MEDINA GARCÍA, Víctor Hugo. Modelo de medición de usabilidad. 2008. Vol. 12 no. 1, p. 15.

112

Figura 38. Diagrama de componentes para metodología de evaluación de usabilidad.


Etapa 1: Acercamiento al contexto. Para definir los objetivos deseables de usabilidad del sitio, se deberá ponderar el Modelo de Medición de Usabilidad para la Web definido. Para tal fin, se pueden utilizar los mismos principios aquí expuesto de la técnica Delphi. El resultado de una concertación de los atributos pertinentes al usuario y de costos permisibles.

Etapa 2: Definición de usuario y modelo mental. Para ellos se podrá utilizar la observación y participación de expertos que capturen y completen dicha información.

Etapa 3: Selección de Técnica de evaluación. Se debe tener caracterizaciones de los métodos expuestos, ya que son insumos útiles en la definición del conjunto de técnicas que se van a emplear durante la evaluación. Es importante conocer la opinión de los usuarios (grado de compromiso con el cual afrontan la evaluación, disponibilidad, etc.) las directivas y del equipo de desarrollo. Lograr una evaluación eficaz y rápida es más probable con la integración y compromiso de todos los actores del desarrollo.

Etapa 4: Ejecución de la evaluación. Los conceptos teóricos de las técnicas, solo pueden servir de guía inicial para un diseño y desarrollo de herramientas. Es necesaria una apropiación al tipo de necesidad particular. Cabe recordar que el propósito de realizar evaluación de Usabilidad no es tanto definir una referencia numérica del sitio Web sino proveer realimentación al diseño e interacción del sistema.

Etapa 5: Consolidación general de resultados. Se propone como estrategia de consolidación, contrastar el árbol de ponderación (paso 1) con un árbol análogo

113

generado de los resultados de la evaluación. En la medida en la cual estos dos árboles coincidan (o en el mejor de los casos que los resultados de la evaluación sean mayores que la ponderación), con mayor precisión el sistema habrá alcanzado sus objetivos de Usabilidad. Este paralelo entre lo que se desea y encuentra, define la medida de Usabilidad del sitio. Lo mejor de este proceso es la información resultante de cada técnica aplicada. 7.5. UNA METODOLOGÍA EXTENDIDA PARA EL DISEÑO DE SOFTWARE EDUCATIVO: ALGUNOS PUNTOS CRÍTICOS47 Esta metodología esta propuesta para el diseño de software educativo. Las etapas del ciclo son consideradas y se define una matriz de actividades. Basados en esa matriz, las herramientas y técnicas en cada proceso son descritas. 7.5.1. Objetivo de la metodología extendida. Tiene como objetivo incluir los aspectos pedagógicos en el ciclo de vida, donde todo el software desarrollado con metodología extendida en un contexto analizado de tal manera que los resultados indican que el aprendizaje de los estudiantes es significativamente mejor. 7.5.2. Etapas de la metodología extendida. A continuación se describen las etapas que conforman la metodología.

Etapa 1: Análisis de las necesidades educativas. Es primordial empezar

con la detección de la necesidad educativa para el desarrollo del aplicativo; esto puede ser conseguido a través de una entrevista y por una opinión entre profesores que utilizan software educativo.

Etapa 2: Análisis de requisitos de Software. Esta etapa es una de las más importantes del ciclo de vida de este producto, y especialistas en pedagogía y contenidos dan sus opiniones de diseño del software desde un punto computacional. Esta etapa puede ser dividida a dos grande subetapas:

El proceso de diseño de contenidos. El proceso de diseño de software.

Etapa 3: Documentación. Uno aspecto clave para considerar, es el

desarrollo de documentación técnica durante el ciclo de vida del producto. El anterior incluye cualquier comentario que será útil cuándo se realicen modificaciones en etapas más tardías.

47 LAGE Fernando J., ZUBENKO Yuriy, CATALDI Zulma. An extended methodology for educational software design: some critical points. 2001. Vol. 1, p. 13-18.

114

Etapa 4: Evaluación. La evaluación de un programa diseñado según la metodología propuesta puede ser evaluada por evaluadores internos, y externos, los primeros son del equipo de desarrollo; mientras que los segundos pueden ser profesores y estudiantes.

Figura 39. Diagrama de Componente para la metodología extendida.


115

8. REVISIÓN DE MODELOS DE USABILIDAD Y CORRESPONDENCIA DIDÁCTICA

8.1. MODELO TUP (TECNOLOGÍA, CAPACIDAD DE USO, LA PEDAGOGÍA)48

Este modelo permite realizar una evaluación de software educativo desde cuestiones de tecnología, capacidad de uso, la pedagogía. Este permite garantizar la sensibilidad de la evaluación para el aprendizaje en ambientes, mientras que la facilidad de uso y las cuestiones relacionadas con la tecnología siguen siendo cubiertas. 8.1.1. Objetivos. Los objetivos de este modelos son los siguientes:

El método propuesto ofrece una forma de facilitar la evaluación de un software educativo para un educador.

Busca facilitar a los evaluadores que en este caso educadores evaluar un software educativo en una forma sencilla mediante listas de chequeo. 8.1.2. Etapas. A continuación se explica las etapas que conforman el modelo TUP:

Figura 40. Diagrama de componentes del modelo TUP.


48 BEDNARIK, Roman: GERDT, Petri: MIRAFTABI, Ramin y TUKIAINEN, Markku, Development of the TUP Model - Evaluating Educational Software. EN: Advanced Learning Technologies. 30 Aug – 1 Sept, 2004, p. 699 – 701.

116

Etapa 1 - Identificar grupo de aspectos. El grupo de aspectos se identifican por medio de normas y metodologías existentes en la evaluación de calidad de software en general, para esto se utilizaron la Metodología de Nielsen y la Norma ISO.

Etapa 2 - Determiar subgrupos de aspectos. Los subgrupos de los aspectos se identifican por medio de normas y metodologías existentes en la evaluación de calidad de software en general, para esto se utilizaron la Metodología de Nielsen y la Norma ISO.

Etapa 3 - Determinar tipo de preguntas. Se determina los tipos de preguntas, teniendo en cuenta que estas deben ser comprensibles y fácil de entender para el evaluador, en la tabla 52 se encuentran el tipo de preguntas. Tabla 52. Tipo de preguntas.


Etapa 4 - Diseñar preguntas. Se definen las preguntas de la lista de verificación, para el grupo o subgrupos de aspectos. en las tablas n, n se encuentran los subcriterios para el aspecto usabilidad y pedagógico.

117

Tabla 53. Subcriterios y preguntas para el aspecto de usabilidad.

Fuente: los autores. Tabla 54. Subcriterios y preguntas para el aspecto de pedagogía.


Etapa 5 - Evaluación del software. El evaluador tiene la lista de verificación con las preguntas seleccionadas y procede a realizar la evaluación del software.

118

8.2. MODELO DE CALIDAD DE SOFTWARE EDUCATIVO49 Este modelo permite unificar criterios y estandarizar, así como es lo suficientemente genérico como para hacerlo apto para cualquier tipo de software educativo. 8.2.1. Etapas del modelo. El modelo se compone de cuatro etapas que se relacionan por medio de sus resultados, estas son: fase estándar, fase tipo de evaluación seguida de la fase de proceso de evaluación y finalmente la fase de conclusiones.

Etapa 1: estándares. En esta etapa se determinan los atributos de evaluación, para ello se deben seleccionar los estándares internacionales que existan para realizar la determinación de las características, sub-características y dimensiones

Etapa 2: tipos de evaluación. En esta etapa se deben definir la métricas he indicadores, la medición que se realiza puede tener distintos objetivos que dependerán de tipo de software, sin embargo deberá existir una medición cualitativa y cuantitativa, dependiendo de lo que se desee o pretenda evaluar la evaluación cualitativa se caracteriza porque sus fuentes de información no incluyen datos numéricos, adicionalmente la relación de causalidad entre la acción de formación se comprueba sin la conformación de un grupo de control; y la evaluación cuantitativa unifica criterios y estandariza las metodologías.

Etapa 3: proceso de Evaluación del software. La evaluación del software es más el resultado de las preguntas seleccionadas de las sub-características y dimensiones.

Etapa 4: conclusiones. Después de realizar la respectiva evaluación del software educativo es necesario realizar una explicación de los resultados obtenidos

49 PLAZA, Inmaculada. Proposal of a Quality Model for Educational Software. EN: EAEEIE Annual Conference. 22 June – 24 June, 2009: Valencia, p. 1 – 6.

119

Figura 41. Diagrama de componentes del modelo.


8.3. MODELO EMPI (EVALUACIÓN DE SOFTWARE INTERACTIVO, PEDAGÓGICA Y MULTIMEDIA)50 Es un modelo interactivo para realizar la evaluación de software interactivo de multimedia, mediante el uso de navegación dinámica en un conjunto de preguntas. Este método se propone frente al problema de evaluar un software educativo por medio de guías o cuestionarios porque el tiempo de evaluación llega a ser demasiado esto sucede al que el número de preguntas aumentan. Figura 42. Diagrama de componentes del modelo EMPI.


50 CROZAT, Stéphane; HÛ, Olivier y TRIGANO, Philippe. A Method for Evaluating Multimedia Learning Software. EN: IEEE International Conference. 7 Jun – 11 Jun, 1999: Florence, vol. 1, p 714 -719.

120

8.3.1. Objetivos. Los objetivos de este modelo son los siguientes:

Este método se construye para realizar una evaluación dinámica, con precisión y profundidad de análisis, selección y peso de preguntas, que se realizan durante la evaluación, el evaluador está libre para explorar las preguntas y adaptar la base para su caso.

Este método guía y ayuda a al evaluador utilizar a su propia subjetividad con el fin de construir la evaluación más relevante. 8.3.2. Fases. Las fases de componente este método son las siguientes:

Fase 1: Estructura. en esta fase se encuentran las etapas para realizar una

estructura dinámica.

Figura 43. Etapas de la Fase de Estructura.


Etapa 1: seleccionar temas. Se selecciona los temas principales para iniciar la estructura.

Etapa 2: determinar criterios. Se determinan los criterios ver, teniendo en cuenta lo que se evaluara en la usabilidad y el material didáctico.

Etapa 3: determinar subcriterios. Se determinan los subcriterios, teniendo en cuenta lo que se evaluara en la usabilidad y el material didáctico.

Etapa 4: diseñar preguntas. Se diseña la preguntas para realizar el cuestionario y asi evaluar cada nodo de la estructura, en las tablas 53, 54, 55 se encuentran las preguntas por tema, criterios y subcriterios.

Tabla 55. Temas seleccionados para el modelo EMPI.


121

Tabla 56. Criterios determinados para el modelo EMPI.

Fuente: los autores. Tabla 57. Subcriterios determinados para el modelo EMPI.


Fase 2: Evaluar. en esta fase se encuentran las actividades para realizar la

evaluación del software teniendo una estructura definida, en la figura n se pueden ver las actividades:

122

Figura 44. Etapas de la Fase de Estructura.


Iniciar navegación en cada nivel de la estructura: Se inicia la navegación

de la estructura comenzando por los nodos Subcriterios>Criterios>Temas. Calificar nodos de cada nivel: Para realizar la calificación de preguntas,

subcriterios, criterios y temas se utiliza una marca exponencial. Eliminar nodos de cada nivel: Se puede realizar la eliminación de

Subcriterios>Criterios>Temas. Modificar nodos de cada nivel: Se puede realizar la modificar de

Subcriterios>Criterios>Temas>Pregunta.

8.3.3. Instrumento de evaluación. El instrumento de evaluación utilizado es un cuestionario donde se asigna una calificación teniendo en cuenta cada nivel y su respectiva pregunta.

8.4. EVALUACIÓN DE AMBIENTES DE SOFTWARE EDUCATIVOS51

Este modelo se basa en la experiencia en la evaluación de la usabilidad de los autores y el trabajo con los maestros en evaluación de entornos educativos, se presenta un esquema de listas de control y aspectos tecnológicos, facilidad de uso y los aspectos pedagógicos del entorno educativo.

51 GERDT, Petri, et al. evaluating educational software environments. 2002. Vol. 1, p. 675 – 676.

123

Figura 45. Diagrama de componentes del Método de Evaluación de Ambientes de Software educativo.

Fuente: los autores. 8.4.1. Propósito. Con este modelo se propone crear una lista de verificación que tenga en cuenta la instrucción, técnicas, y aspecto de la capacidad de los entornos educativos. La lista de verificación propuesta se centra por igual en tres aspectos, así como el modelo TUP, la usabilidad, la pedagogía y los aspectos tecnológicos. Los tres aspectos están estrechamente relacionados entre sí y tienen la funcionalidad del entorno en su núcleo. 8.4.1. Listas de Verificación

Listas de verificación constructivistas: la lista de verificación se centra casi

exclusivamente en lo pedagógico siendo evaluados aspectos pedagógicas del sistema.

Listas de verificación delta: la lista de verificación tiene una perspectiva un poco más amplia, con un fuerte énfasis en la evaluación de la apariencia visual y multimedia. 8.4.2. Criterios de acuerdo al aspecto. A continuación se enlistan los criterios dependiendo del aspecto:

Criterios del Aspecto Técnico: la disponibilidad, facilidad de mantenimiento.

facilidad de configuración inicial, la administración del entorno.

124

Criterios del Aspecto de Usabilidad: evaluación de la capacidad de aprendizaje, eficiencia, recordación de la interfaz de usuario, satisfacción, tasa de error.

Criterios del Aspecto Pedagógico: enfoque educativo, solidez pedagógica de los contenidos, tipos compatibles de Interacción. 8.5. FACILIDAD DE USO Y APRENDIZAJE: EVALUACIÓN DEL POTENCIAL DE SOFTWARE EDUCATIVO52

La evaluación de la utilización de software educativo debe tener en cuenta la facilidad de uso, así como el aprendizaje y, sobre todo, la integración de estos. Las Listas de control, son un enfoque muy común en la evaluación predictiva de software educativo, sin embargo no tienen en cuenta esta integración. Por lo que el modelo de evaluación estructurado conocido como el Modelo de Jigsaw intenta integrar estas dos características para ayudar a los docentes a concentrarse en el aprendizaje, problemas de usabilidad y la interacción de los dos. 8.5.1. Etapas. Las etapas que conforman el modelo Jigsaw son las siguientes:

Etapa 1 - Formación de Grupos. En esta etapa se forman equipos entre 3 y 6 estudiantes, se proporciona a cada grupo la tarea general, cada miembro se encarga de una tarea específica.

Etapa 2 - Formación de Grupos Expertos. Basados en los grupos anteriores

se forman grupos con los estudiantes que tenían la tarea específica, así pueden profundizar en un tema específico y ser experto en él.

Etapa 3 - Evaluación. Se realiza un test a cada estudiante sobre el tema experto y un test sobre los otros temas.

Etapa 4 - Análisis y tabulación de los Datos. Se inicia comparando los test

de cada uno de los temas, de igual manera es necesario realizar un cuestionario donde se describa la percepción que tuvo del modelo de evaluación.

52 SQUIRES, David y PREECE, Jenny. Usability and learning: Evaluating the potential of educational software. 1996. Vol. 27. no. 1, p. 15 – 22.

125

Figura 46. Diagrama de componentes para el modelo Jigsaw.


El aprendizaje apoyado por el uso del software debe ser interpretado desde un punto de vista constructivista, y la investigación sobre cómo los estudiantes construyen conceptos en ámbitos temáticos relevantes deben ser referidos también. Otro factor a tener en cuenta es que el uso de software educativo depende del contexto. No es posible evaluar una aplicación de software educativo predictivamente sin referencia a un entorno percibido educativo. Cuando el software se utiliza para apoyar una tarea de aprendizaje, además de desarrollar conceptos y habilidades en el ámbito de estudio, los estudiantes también tienen que aprender a utilizar el software de forma eficaz, es decir, para hacer la tarea operativa. 8.5.2. Tareas. A continuación se describen las tareas que conforman el modelo Jigsaw:

Tarea 1- Aprendizaje. Se compone de dos tipos de actividades principales:

El desarrollo de conceptos y habilidades relacionados con el tema específico de estudio.

La comprensión de los conceptos y requisitos previos relacionados con el ámbito general del estudio.

Tarea 2 - Operativa. También comprende dos tipos de actividades:

Interactuar con la interfaz de la aplicación. La interacción con, el software del sistema operativo hardware y dispositivos

periféricos asociados.

126

Tarea 3 - Integrada. Resulta de la integración del aprendizaje y las tareas operativas. La capacidad para realizar tareas integradas determina la eficacia con que el software puede apoyar el aprendizaje.

127

9. MODELO PROPUESTO DE EVALUACIÓN DE SOFTWARE LÚDICO USCODI (USABILIDAD Y CORRESPONDENCIA DIDÁCTICA)

9.1. ANÁLISIS DE REVISIÓN DE MODELOS

9.1.1. Análisis de modelos preexistentes. Se realiza la revisión de los artículos seleccionados en cuanto a métricas y criterios, con respecto a los atributos de calidad usabilidad y correspondencia didáctica, donde se estructura en un modelo entidad relación con sus respectivos campos y datos, a continuación se presenta el modelo con los respectivos campos y las tablas con los datos correspondientes.

Figura 47. Modelo entidad relación de información artículos.


Descripción de tablas y campos. A continuación se encuentra la descripción de las tablas y los campos de cada una:

Tabla Artículos: esta tabla contiene la información relacionada con los

artículos científicos seleccionados con las ecuaciones de búsqueda. • Campo Id_clave: es la identificación del artículo donde se encuentra las siglas de los autores del artículo. • Campo Nombre: indica el nombre del artículo. • Campo Autor: indica los autores del artículo. • Campo Año: indica el año de publicación del artículo. • Campo ISSN: indica el identificador de la revista aplica el ISBN. • Campo Número: indica el número del artículo. • Campo Volumen: indica el volumen del artículo.

128

• Campo Páginas: indica cuales son las páginas.

Tabla Otros_Artículos: esta tabla contiene la información relacionada con los artículos que no hacen parte las ecuaciones de búsqueda.

• Campo Id_clave: es la identificación del artículo donde se encuentra las siglas de los autores del artículo. • Campo Nombre: indica el nombre del artículo. • Campo Autor: indica los autores del artículo. • Campo Año: indica el año de publicación del artículo. • Campo Institución: indica cual es la institución del artículo, ejemplo universidad, conferencias, colegios. • Campo Páginas: indica cuales son las páginas.

Tabla Revista: esta tabla contiene la información relacionada con la revista de los artículos. • Campo ISSN: indica el número de la revista y permite la relación con la tabla Artículos. • Campo Nombre: indica el nombre de la revista. • Campo Factor_Impacto: indica la medición importancia de la revista. • Campo Publicación: indica la base de búsqueda donde se encuentra publicado el artículo.

Tabla Atributos: esta tabla contiene la información relacionada con los atributos de calidad usabilidad y correspondencia didáctica encontrada en los artículos. • Campo id_clave: permite la relación con la tabla Artículos y Otros_Articulos. • Campo id_atributo: se encuentra las siglas de los autores del artículo más la identificación de ‘An’, donde n es el número de atributo. • Campo Nombre_ atributo: indica el nombre del atributo. • Campo Definición: indica cual es la descripción que presenta el artículo sobre el atributo. • Campo Caracteristica de evaluación: indica que se debe evaluar en el atributo.

Tabla Métricas: esta tabla contiene la información de las métricas que se relacionan con los atributos de calidad usabilidad y correspondencia didáctica encontrada en los artículos. • Campo Id_atributo: permite la relación de la tabla métricas con la tabla atributos. • Campo Id_métrica: se encuentra las siglas de los autores del artículo más la identificación de ‘Mn’, donde n es el número de la métrica.

129

• Campo Nombre_métrica: indica el nombre de la métrica. • Campo Definición: indica cual es la descripción que presenta el artículo sobre la métrica.

Tabla Criterios: esta tabla contiene la información de los criterios que se relacionan con las métricas encontradas en los artículos. • Campo Id_métrica: permite la relación de la tabla métricas con la tabla criterios. • Campo Id_criterio: se encuentra las siglas de los autores del artículo más la identificación de ‘Cn’, donde n es el número del criterio. • Campo Nombre_criterio: indica el nombre de los criterios. • Campo Definición: indica cual es la descripción que presenta el artículo sobre los criterios. 9.1.2. Correlación de modelos preexistentes: Se realiza un análisis de la información identificada de métricas que son comunes dentro de los modelos revisados para los atributos de usabilidad y correspondencia didáctica.

Cruce de información usabilidad vs métricas de modelos revisados. Se realiza una tabla donde se encuentran los modelos revisados con las métricas asociadas a la usabilidad identificadas y se analiza cuáles son las métricas comunes. Tabla 58. Relación de atributo usabilidad vs métricas de modelos.


130

Tabla 59. Relación de atributo usabilidad vs métricas de modelos (continuación).


Cruce de información correspondencia didáctica vs métricas de modelos revisados. Se realiza una tabla donde se encuentran los modelos revisados con las métricas asociadas a la correspondencia didáctica identificadas y se analiza cuáles son las métricas comunes. Tabla 60. Relación de atributo correspondencia didáctica vs métricas de modelos.


Determinación de métricas y criterios de usabilidad generales. Después

de haber realizado el cruce de información de las métricas comunes de la usabilidad, se procede a determinar cuáles son las métricas generales que

131

permitan agrupar las comunes. Con las métricas generales se procede a determinar los criterios generales de permiten realizar la medición de la usabilidad en el software lúdico, en la tabla 61 se observas el conjunto de métricas generales y con sus respectivos criterios generales.

Tabla 61. Meticas y Criterios generales de usabilidad.


Determinación de métricas y criterios de correspondencia didáctica generales. Después de haber realizado el cruce de información de las métricas comunes de la correspondencia didáctica, se procede a determinar cuáles son las métricas generales que permitan agrupar las comunes. Con las métricas generales se procede a determinar los criterios generales de permiten realizar la medición de la correspondencia didáctica en el software lúdico, en la tabla 62 se observas el conjunto de métricas generales y con sus respectivos criterios generales.

Tabla 62. Meticas y Criterios generales de correspondencia didáctica.


132

9.2. DESCRIPCIÓN DE MODELO PROPUESTO USCODI (USABILIDAD Y CORRESPONDENCIA DIDÁCTICA) El modelo que se propone se basa en la revisión bibliográfica de modelos que evalúan aplicaciones de enseñanza-aprendizaje en diferentes entornos como sitios web de aprendizaje5354, entornos virtuales de aprendizaje y enseñanza55, objetos de aprendizaje 56 y software educativos57,58,59,60,61,62,63,64 estos modelos determinan diferentes atributos de calidad para su respectiva evaluación, alguno de estos atributos son usabilidad65, técnicos, funcionales, entre otros basados en los estándares de calidad de software general, en alguno de estos modelos se tiene en cuenta los atributos didácticos y pedagógicos, aunque no se les dan una importancia relevante a la hora de la evaluación de los entornos de aprendizaje66. El modelo propuesto se enfoca en dar una guía de cómo se debe iniciar la evaluación de un software lúdico teniendo como atributos claves la usabilidad67 y la correspondencia didáctica68, teniendo en cuenta los tipos de evaluadores69 que

53 CLAROS, Iván D y COLLAZOS, Cesar A. Propuesta Metodológica para la Evaluación de la Usabilidad en Sitios Web: Experiencia Colombiana. EN: Interacción (noviembre): Colciencias (Colombia) Proyecto No. 4128-14-18008 y Proyecto No. 030-2005, 2004, p. 1 – 10. 54 BAHARUDIN, Ismail. et al, Evaluating the usability and acceptance of multimedia web-based education among children. 2011, p. 46 -49. 55 FERREIRA SZPINIAK, Ariel y SANZ, Cecilia V. MUsa un modelo de evaluación de Entornos virtuales de enseñanza y aprendizaje. Aplicación a un caso de estudio. Diciembre, 2012: Argentina, no. 8, p 94 – 103. 56 MASSA, Stella Maris y PESADO, Patricia. Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes. Diciembre, 2012: Argentina, no. 8, p 65 – 76. 57 CROZAT, Stéphane: HÛ, Olivier y TRIGANO, Philippe. A Method for Evaluating Multimedia Learning Software. EN: IEEE International Conference. 7 Jun – 11 Jun, 1999: Florence, vol. 1, p 714 -719. 58 PLAZA, Inmaculada. Proposal of a Quality Model for Educational Software. EN: EAEEIE Annual Conference. 22 June – 24 June, 2009: Valencia, p. 1 – 6. 59 BEDNARIK, Roman: GERDT, Petri: MIRAFTABI, Ramin y TUKIAINEN, Markku, Development of the TUP Model - Evaluating Educational Software. EN: Advanced Learning Technologies. 30 Aug – 1 Sept, 2004, p. 699 – 701. 60 PAUR, Alicia Beatriz y SAENZ, Marta Susana. Evaluación de software educativo mediante variables que califiquen su calidad. Tesina Licenciado en Informática. Universidad Nacional de la Patagonia San Juan Bosco. Facultad de Ingeniería, 2004. 163 p. 61 DÍAZ, Antón, G: PÉREZ, Grimán y MENDOZA, L. Instrumento de evaluación de software educativo bajo un enfoque sistémico. 62 RODRÍGUEZ GONZÁLEZ, Mayda Agustina: ASTORGA GALARDY, Pedro y CHE SOLER, Justo. Modelo Para La Evaluación Del Impacto Del Software Educativo. EN: XIV Congreso Internacional de Informática en la Educación. Cuba, 2010, p 1 – 9. 63 NARANJO SÁNCHEZ, Bertha Alice. Calidad del software educativo: Metodología de Evaluación de software educativo para determinar el que cumple con las especificaciones basadas en estándares internacionales. Virtual educa foro de encuentro. 64 GEORGIADOU ELISSAVET, Anastasios A. Economides: Evaluation factors of educational software. 2010. p. 113-116. 65 SQUIRES, David and PREECE, Jenny. Usability Learning: Evaluating the potential of educational software. 1996. vol. 27. no. 1, p 15 – 22. 66 GERDT, Petri; MIRAFTABI, Ramin and TUKIAINEN, Markku. Evaluating educational software environments. 2002. vol. 1, p. 675-676. 67 GEORGIADOU ELISSAVET, ANASTASIOS A. ECONOMIDES. Evaluation factors of educational software. 2010, p. 113-116. 68 ZULMA, Cataldi. An extended methodology for educational software design: some critical points. 2001. vol. 1, p. 13-18. 69 C. Ardito, et al. An approach to usability evaluation of e-learning applications. 2006. vol. 4, p. 270 -283.

133

se involucran en este proceso y los contextos que son manejados por cada uno. Por esta razón el modelo está compuesto por tres etapas, que se inicia desde la identificación del entorno y los involucrados, hasta llegar en la respectiva organización del proceso de evaluación. La primera etapa se encarga de obtener la información inicial del software lúdico y los evaluadores, la segunda etapa se encarga de recolectar las métricas y criterios asociados a los atributos claves y la tercera capa se encarga de realizar una organización estructurada para el proceso de evaluación, cada etapa tiene actividades secuenciales permitiendo la facilidad de implementación del modelo propuesto. 9.2.1. Objetivos perseguidos por el modelo USCODI. Los objetivos principales

que se persiguen con este modelo propuesto son los siguientes:

Evaluación múltiple: se centra en la evaluación del juicio de un experto y de un usuario final.

Estrategia top-down: esta estrategia se basa en determinar capas de evaluación, que permite evaluar desde lo general para llegar a evaluar lo particular.

Combinación de métodos: al utilizar una estrategia con capas de evaluación, esto permite que se utilicen varios métodos como de inspección e indagación.

Importancia de información inicial: es importante saber la información del software, así mismo como la de los evaluadores por que se define el dominio de la evaluación y su proceso.

Configuración de contextos: debido a que se realiza una evaluación múltiple es necesario establecer escenarios desde los diferentes puntos de vista de los evaluadores y así poder tener una evaluación confiable. Figura 48. Diagrama de componentes para el modelo propuesto USCODI.


134

9.2.2. Etapas del modelo. A continuación se realiza una explicación de cada una de las etapas del modelo USCODI.

Etapa 1 - Recolección de información. La recolección es importante, permite

conocer los aspectos, recursos involucrados y su estructura inicial. En esta etapa se realizan las siguientes actividades:

Actividad 1 - Identificación del entorno del software lúdico. Esta actividad se encuentran los datos que permiten la caracterización del software lúdico. incluye información descriptiva, nombre, área en la que será usado, requisitos de hardware y software, conocimientos previos requeridos para su uso, tipo de software y algunos criterios iniciales

• Instrumento de recolección de información: se usa una platilla donde se encuentra una seria de datos, donde el evaluador experto y usuario real deben diligenciar esta información para estructurar un buen proceso de evaluación del software lúdico, ver anexo A.

Etapa 2 - Recolección de factores de evaluación. Esta etapa se centra en la

evaluación objetiva del software lúdico, seleccionando con cuidado métricas y criterios que caracterizan la usabilidad y la correspondencia didáctica de software. En esta etapa se realizan las siguientes actividades:

Definición de métricas. A partir de la información analizada de cada uno de los modelos, técnicas e instrumentos se determinan las métricas con sus correspondientes criterios. Los ítems seleccionados se definen según el criterios asociado, estos ítem permiten identificar el criterio a medir utilizando un leguaje formal

Tabla 63. Selección de métricas, criterios e ítems de usabilidad.


135

Tabla 64. Selección de métricas, criterios e ítems de usabilidad (continuación).


Tabla 65. Selección de métricas, criterios e ítems de correspondencia didáctica.

Métricas Criterio Ítem Contenidos generales

Contenido científico Cuida que la información que presenta sea confiable (datos exactos. referencias bibliográficas. Proporciona información complementaria para ayudar a los alumnos que deseen profundizar sus conocimientos El contenido es adecuado para el grupo de usuarios y la situación pedagógica planteada

Contenido socio cultural e ideológico

Los elementos que se utilizan en el programa son familiares desde su aspecto cultural con los usuarios Los marcos socio culturales son comprensibles para el usuario Presenta alguna ideología explícita o implícita Presenta situaciones reales y significativas para el grupo de alumnos

Contenido pedagógico Es adecuada la utilización del software para la enseñanza del tema Los objetivos planteados por el software son adecuados con respecto a la intención formativa planteada por el docente Los objetivos están correctamente formulados El software permite el aprendizaje de nuevos conceptos El software permite el aprendizaje de nuevas habilidades cognitivas El software permite el aprendizaje de nuevas actitudes o valores Los ejercicios propuestos son auto corregibles Contiene evaluaciones Posee un sistema de seguimiento Se utilizan múltiples estrategias de enseñanza: resúmenes, ilustraciones, señalizaciones, gráficos, mapas conceptuales. Organizadores textuales


136

Tabla 66. Selección de métricas, criterios e ítems de correspondencia didáctica (continuación). Métricas Criterio Ítem

Organización Herramientas cognitivas Posee guías para el docente Posee guías para el alumno Facilita el aprendizaje del tema

Tutorización y evaluación

Actividades Se presentan variadas actividades: resolución de problemas, estudio de caso, glosario, mapa conceptual, etc. La mayor parte de las actividades se corrigen adecuadamente de manera automática. En las actividades no existe posibilidad de que el estudiante reciba feedback personalizado relativo a la calidad o corrección de sus respuestas.


Etapa 3: Organización del proceso de evaluación. Esta etapa se encarga

de diseñar la estructura de la evaluación del software lúdico, está compuesta por capas de evaluación, que inician con el juicio de un experto y termina con la perspectiva de un usuario final. Cada capa tiene unas actividades asociadas, estas actividades son comunes para las tres capas, pero su propósito y desarrollo es diferente. A continuación se describe cada una de las capas:

Capa 1: se enfoca en el juicio de un experto para realizar la evaluación de aspectos de usabilidad como la interacción del sistema con el usuario, la interfaz que presenta y la facilidad de uso para realizar las acciones básicas así como también los aspectos de correspondencia didáctica como contenidos generales y estructura pedagógica en escenarios planteados en cada aspecto, las actividades de esta capa son:

• Actividad 1 - Determinar el tipo de evaluador: para realizar la evaluación general del software lúdico, se necesita la participación de experto. • Actividad 2 – Definición de método e instrumentos: para realizar la evaluación del software lúdico se debe definir cuáles son los métodos a utilizar y sus respectivos instrumentos, teniendo en cuenta que el evaluador es un usuario final.

- Método evaluación de heurística: permite la guía de los expertos por medio de los ítems seleccionados, para aportar información sobre los objetivos y diseños que tiene el software lúdico. - Método recorrido cognitivo: este método sirve para seleccionar escenarios importantes a evaluar desde el punto de vista de un evaluador experto. - Instrumento para la evaluación heurística: Se define como instrumento una lista de chequeo donde se encuentran los ítems que se van a evaluar, en esta lista debe ir el tipo de calificación y está enfocada a la ejecución de un experto. - Instrumento para el recorrido cognitivo: Se define como instrumento casos de prueba, donde se evalúan recursos claves de la interfaz del software lúdico, estos escenarios son creados por un usuario experto para ser ejecutados por un usuario experto.

137

• Actividad 3 - Diseño de instrumentos: en esta actividad se diseña los instrumentos que se definieron en la actividad anterior.

- Lista de chequeo: Contiene los ítems definidos y sus respectivos valores de calificación, ver anexo B y C. - Caso de prueba: Permite guardar los escenarios creados para realizar la evaluación de recursos importante que se encuentran dentro del software, así se podrá tener trazabilidad de los errores encontrados, ver anexo D.

• Actividad 4 - Descripción metodología de evaluación: en esta actividad se debe identificar los evaluadores expertos que van a realizar la prueba, así mismo el hardware donde se alojara el software lúdico. Si es un evaluador experto pero no participo en el diseño de los instrumentos se debe realizar una explicación de estos.

Capa 2. Se enfoca en la perspectiva de un usuario final con contextos

manipulados para realizar la evaluación de aspectos de usabilidad como la interacción del sistema con el usuario, la interfaz que presenta y la facilidad de uso para realizar las acciones básicas así como también los aspectos de correspondencia didáctica como contenidos generales y estructura pedagógica en entornos controlados y simulados, las actividades de esta capa son:

• Actividad 1 - Determinar el tipo de evaluador: para realizar una evaluación específica del software lúdico, se necesita la participación de usuarios finales. • Actividad 2 – Definición de método e instrumentos: para realizar la evaluación del software lúdico se debe definir cuáles son los métodos a utilizar y sus respectivos instrumentos, teniendo en cuenta que el evaluador es un usuario final. - Método recorrido cognitivo: este método sirve para seleccionar escenarios importantes a evaluar desde el punto de vista de un evaluador experto y ejecutados por un usuario final, estos usuarios son los alumnos. - Instrumento para la evaluación heurística: Se define como instrumento una lista de chequeo donde se encuentran los ítems que se van a evaluar, en esta lista debe ir el tipo de calificación y está enfocada a la ejecución de un usuario final. - Instrumento para el recorrido cognitivo: Se define como instrumento casos de prueba, donde se evalúan recursos claves de la interfaz del software lúdico, estos escenarios son creados por un usuario experto teniendo en cuenta que son ejecutados por un usuario final.


- Caso de prueba: Permite guardar los escenarios creados para realizar la evaluación de recursos importante que se encuentran dentro del software desde la

138

perspectiva del usuario final, así se podrá tener trazabilidad de los errores encontrados, ver anexo C.

• Actividad 4 - Descripción metodología de evaluación: en esta actividad se debe identificar los evaluadores que son usuarios finales que van a realizar la prueba, así mismo el hardware donde se alojara el software lúdico, por ser el evaluador un usuario final se les debe explicar el instrumento y como deben realizar la evaluación del software lúdico.

Capa 3. Se enfoca en la perspectiva de un usuario final con contextos reales

para realizar la evaluación de aspectos de usabilidad como la interacción del sistema con el usuario, la interfaz que presenta y la facilidad de uso para realizar las acciones básicas así como también los aspectos de correspondencia didáctica como contenidos generales y estructura pedagógica en contextos reales, las actividades de esta capa son:

• Actividad 1 - Determinar el tipo de evaluador: para realizar una evaluación específica del software lúdico, se necesita la participación de usuarios finales.

• Actividad 2 – Definición de método e instrumentos: para realizar la evaluación del software lúdico se debe definir cuáles son los métodos a utilizar y sus respectivos instrumentos, teniendo en cuenta que el evaluador es un usuario final.

- Método cuestionario: Se recolecta la información relativa de la iteración de los usuarios con el software lúdico por medio de preguntas. - Instrumento para el cuestionario: se define como instrumento una paletilla donde se encuentran preguntas asociadas a las métricas y criterios seleccionados.


- Caso de prueba: permite la recolección de la información, contiene una serie de preguntas donde se encuentra los valores de calificación, ver anexo F.

• Actividad 4 - Descripción metodología de evaluación: en esta actividad se debe identificar los evaluadores que son usuarios finales que van a realizar la prueba, así mismo el hardware donde se alojara el software lúdico, los usuarios finales realizan sus propios escenarios y deben contestar el cuestionar suministrado. • Descripción de roles. Los roles que participan en la evaluación del software lúdico son los siguientes:

139

- Usuario experto: estos usuarios son los encargados realizar todo el proceso de evaluación del software, estos son expertos en usabilidad y correspondencia didáctica. - Usuario final: estos usuarios son lo que tiene una relación específica con el software lúdico dentro de su educación, estos usuarios son los alumnos.

Figura 49. Diagrama de las actividades realizadas en el modelo USCODI


140

CONCLUSIONES

Se elaboró una propuesta de un modelo de evaluación de software lúdico USCODI, que aporta una serie de particularidades para este tipo de software lúdico. En el modelo se integran actividades para recopilar información del software, para poder definir el dominio y el proceso de evaluación, se utiliza la estrategia top-down, la cual permite realizar una evaluación desde lo general hasta lo particular, se realizan evaluaciones desde la visión del juicio de un experto y de un usuario final. Dentro de la perspectiva de calidad del Software Lúdico se analizaron atributos de usabilidad y criterios pedagógicos, con un tratamiento específico. A través de estos atributos es posible conocer la valoración de expertos, docentes, estudiantes o usuarios finales, mediante los distintos criterios propuestos en el desarrollo del modelo USCODI. Los instrumentos de evaluación de las propuestas existentes consideran ciertos criterios generales desde el punto de vista técnico y pedagógico. En esta investigación se identifican las métricas mínimas a evaluar. En este sentido, se plantean los aspectos concretos a tener en cuenta a partir de los criterios definidos. Para finalizar se deja abierta la posibilidad de mejorar el modelo presentado, ya que la información plasmada en él, tiene un campo amplio de investigación, donde es posible ajustar métricas y criterios que sirvan de base para cualquier tipo de software lúdico. Estos criterios han resultado ser apropiados, permitiendo tanto a expertos como a estudiantes identificar la calidad del software lúdico evaluado, no solo de usabilidad sino también vinculados al aspecto pedagógico.

141

BIBLIOGRAFÍA ABUD FIGUEROA, María Antonieta. MECSE: Conjunto de Métricas para Evaluar Software Educativo. EN: Repositorio Digital, Instituto Politécnico Nacional [en línea]. Vol. 39 (2005) < http://www.repositoriodigital.ipn.mx/bitstream/handle/123456789/5329/39-2.pdf?sequence=2> [citado el 2 de febrero del 2013]. ALBA OBESO, María Helena. Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos. Oviedo, 2005. ALVA OBESO, María Elena. Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos. Doctora en Informática. Universidad de Oviedo. Departamento de Informática, 2005. APARICIO, Alexandra. Ingeniería de Software. EN: Datateca, Universidad Nacional Abierta y a Distancia [en línea]. (2012) <http://datateca.unad.edu.co/contenidos/301404/301404.pdf> [citado el 15 de marzo del 2013]. BAHARUDIN, Suzana, et al. Evaluating the usability and acceptance of multimedia web-based education among children. 2011, p. 46 – 49. BEDNARIK, Roman: GERDT, Petri: MIRAFTABI, Ramin y TUKIAINEN, Markku, Development of the TUP Model - Evaluating Educational Software. EN: Advanced Learning Technologies. 30 Aug – 1 Sept, 2004, p. 699 – 701. CHOCÓ DÍAZ, Arbey. El uso del software y sus efectos en las prácticas Escolares. Cauca, 2011. CLAROS, Iván D y COLLAZOS, Cesar A. Propuesta Metodológica para la Evaluación de la Usabilidad en Sitios Web: Experiencia Colombiana. EN: Interacción (noviembre): Colciencias (Colombia) Proyecto No. 4128-14-18008 y Proyecto No. 030-2005, 2004, p. 1 – 10. CROZAT, Stéphane; HÛ, Olivier y TRIGANO, Philippe. A Method for Evaluating Multimedia Learning Software. EN: IEEE International Conference. 7 Jun – 11 Jun, 1999: Florence, vol. 1, p. 714 -719. CUEVA L, Juan M. Calidad del Software: conferencia, Grupo GIDIS, 21 de Octubre de 1999. Universidad Nacional de la Pampa. DÍAZ, Antón; PÉREZ, Grimán y MENDOZA, L. Instrumento de evaluación de software educativo bajo un enfoque sistémico.

142

FERREIRA SZPINIAK, Ariel y SANZ, Cecilia V. MUsa un modelo de evaluación de Entornos virtuales de enseñanza y aprendizaje. Aplicación a un caso de estudio. Diciembre, 2012: Argentina, no. 8, p 94 – 103. FONT, Graciela. Heurísticas de usabilidad para e-learning. Vol. 03 No. 09 Julio 2010, p. 15. FUNDACIÓN UNIVERSITARIA DEL ÁREA ANDINA. Clases De Modelos Pedagógicos [en línea]. < http://www.joaquinparis.edu.co/DATA/MODELOS/PAGINAS/RAFAEL.htm#socialista> [citado el 23 de marzo 2013]. GEORGIADOU, Elissavet. Economides: Evaluation factors of educational software. 2010, p. 113-116. GERDT, Petri, et al. evaluating educational software environments. 2002. Vol. 1, p. 675 – 676. GRIMÁN, Anna C. Revisiones Sistemáticas: Recomendaciones para un Proceso Adecuado a la Ingeniería del Software. Madrid: España, 2008. GUTIÉRREZ CARO, María Angélica., et al. Análisis y revisión de la literatura en el contexto de proyectos de fin de carrera: Una propuesta. HERNÁNDEZ B, Víctor E. Un modelo de evaluación de software educativo para la enseñanza de la Matemática. 2007. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11: Guidance on usability: ISO, 1998 (ISO/DIS 4241-11). JUNTA DE ANDALUCÍA. Guía de métodos y técnicas didácticas [en línea]. < http://www.juntadeandalucia.es/agenciadecalidadsanitaria/acsa_formacion/html/Ficheros/Guia_de_Metodos_y_Tecnicas_Didacticas.pdf> [citado el 23 de marzo 2013]. LAGE Fernando J., ZUBENKO Yuriy, CATALDI Zulma. An extended methodology for educational software design: some critical points. 2001. Vol. 1, p. 13-18. LANZILOTTI, Rosa, et al. ROSSANO. An approach to usability evaluation of e-learning applications. 2006 Vol. 4 P. 270 – 283. MALACRIDA, Juan Ignacio. REVISIÓN Y AGREGACIÓN DE ESTUDIOS EXPERIMENTALES VINCULADOS A TÉCNICAS DE INSPECCIÓN. Buenos Aires, 2008, 183 h. Tesis de magister en ingeniera de software (Ingeniero). Instituto Tecnológico de Buenos Aires. Departamento de ingeniería.

143

MARQUES, Pere. El software educativo, Universidad Autónoma de Barcelona 19 de febrero del 2001. MARTIN, Roció. Las nuevas tecnologías en la educación. En: Sociedad de la información MADRID: Fundación AUNA, 2005. MASSA, Stella Maris y PESADO, Patricia. Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes. Diciembre, 2012: Argentina, no. 8, p. 65 – 76. MASSA, Stella Maris, et al. Métricas de calidad de Objetos de Aprendizaje: una mirada pedagógica entrelazada con la tecnología. EN: VI Congreso de Tecnología en Educación y Educación en Tecnología. 2011, p. 1 – 9. MORGUES F, José A. Obtención de conocimiento empírico sobre la calidad de Casos de Uso. Valencia, septiembre del 2010, 121 h. Tesis de master. Universidad Politécnica de Valencia. NOROL, Hamiza, et al. On line distance learning: Quality characteristics and usability evaluation. 2010, p. 575 - 579. NUÑEZ MATUREl, Lissette y RUIZ PEREIRA, Dayamis. Software educativo sobre temas generales de la PAIDEIA SUR COLOMBIANA. EDUCACIÓN. Pedagogía y Modelos Pedagógicos [en línea]. < http://www.paideiasurcolombiana.com/articulos/5.-educacion,-pedagogia-y.pdf> [citado el 22 de marzo 2013]. PAUR, Alicia Beatriz y SAENZ, Marta Susana. Evaluación de software educativo mediante variables que califiquen su calidad. Tesina Licenciado en Informática. Universidad Nacional de la Patagonia San Juan Bosco. Facultad de Ingeniería, 2004. PLAZA, Inmaculada. Proposal of a Quality Model for Educational Software. EN: EAEEIE Annual Conference. 22 June – 24 June, 2009: Valencia, p. 1 – 6. Podología. EN: Revista Cubana de Informática Médica [en línea]. No. 24 (2011) < http://www.rcim.sld.cu/revista_24/articulo_pdf/podologia.pdf> [citado el 7 de febrero del 2013]. PULIDO GRANADOS, Elkin René y MEDINA GARCÍA, Víctor Hugo. Modelo de medición de usabilidad. 2008. Vol. 12 no. 1, p. 15. RODRÍGUEZ GONZÁLEZ, Mayda Agustina: ASTORGA GALARDY, Pedro y CHE SOLER, Justo. Modelo Para La Evaluación Del Impacto Del Software Educativo. EN: XIV Congreso Internacional de Informática en la Educación. Cuba. 2010, p. 1 – 9.

144

SÁNCHEZ J, Construyendo y Aprendiendo con el Computador. 1995. SQUIRES, David y PREECE, Jenny. Usability and learning: Evaluating the potential of educational software. 1996. Vol. 27. no. 1, p. 15 – 22. UCSS. Técnicas e instrumentos de evaluación [en línea].<http://190.254.1.202/ingenieria/DIPLOMADO%20DOCENCIA%20UNIVERSITARIA/Educacion%20Superior/Eval_Competencia2.pdf> [citado el 20 de marzo del 2013]. UNIVERSIDAD DE VALLADOLID, Departamento de informática. El Proceso Enseñanza-Aprendizaje [en línea]. < http://www.infor.uva.es/~descuder/docencia/pd/node24.html> [citado el 20 de marzo del 2013]. UNIVERSITAT DE LLEIDA. Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Test de Usabilidad Cuantitativos basado en Técnicas de Eyetracking [en línea]. < http://www.recercat.net/bitstream/handle/2072/209215/ccuadrats_Parte1.pdf?sequence=7> [citado el 15 de abril de 2013]. YTURRALDE, Ernesto Worldwide Inc. Training & Consulting. Metodologías aplicadas [en línea]. <http://www.yturralde.com/metodologias.htm> [citado el 20 marzo del 2013]. ZHENGYI, Chai; YUJUAN, Zhao y SIFENG, Zhu. The research on usability evaluation of e-learning systems. 2008, p. 424 – 427.

145

ANEXO A. PLANTILLA DE RECOLECCIÓN DE INFORMACIÓN.

Identificación del software lúdico (completar datos)

Nombre del software

Descripción del software lúdico

Materia donde se usara el software lúdico

Área

Conocimientos previos que se necesitan para manipular el software lúdico

Criterios del software lúdico (completar datos y subrayar lo ítems)

1. Tipo de programa Tutoriales - base de datos – simuladores – constructores- programa de dibujos – juego didáctico.

2. Estrategia didáctica Autoaprendizaje – Aprendizaje interactivo – Aprendizaje colaborativo

3. Contenidos Actitudes – conceptos – hechos – principios – procedimientos.

4. Habilidades cognitivas Descriptivas – analíticas – criticas – creativas – observación.

5. Procedimientos estratégicos Organizativos – regulativos – repetitivos.

6. Recursos didácticos utilizados Materiales didácticos Manuales – guías didácticas – gráficos – mapas conceptuales, cuadros sinópticos, películas y video. preguntas

Técnicas de grupo Presentaciones – Comunicación

Modalidades de información

Seminarios – talleres – conferencias - actividades de autoevaluación

7. Forma de interactuar con el programa

A distancia – individual – grupal.

Información técnica (subrayar lo ítems)

Sistema operativo Linux – Windows - Mac

Requisitos de hardware Cd – DVD – impresora – internet – sonido.

146

ANEXO B. CHECKLIST DE EVALUACIÓN DE USABILIDAD.

CÓDIGO ÍTEM VALOR OBSERVACIONES

FI.01

La instalación del programa es sencilla, transparente, con instrucciones fáciles de seguir.

FAFO.01 Se informa el resultado de la acciones.

FAFO.02 Se presenta los mensajes de éxito de forma clara.

FAFO.03 Se presenta los mensajes de error de forma clara.

FAFO.04 Se diferencian mensajes de error y exitosos fácilmente.

FAFO.05

Cuando se produce un error, se informa de forma clara y no alarmista al usuario de lo ocurrido y de cómo solucionar el problema.

FAFO.06

Si existen tareas de varios pasos, se indica al usuario en cual esta y cuanto falta para completar la tarea.

SA.01

El enlace a la sección de Ayuda está colocado en una zona visible y estándar.

SA.02 Fácil acceso y retorno al o del sistema de ayuda.

SA.03 Se ofrece ayuda contextual en tareas complejas.

SA.04

La búsqueda si es necesaria se encuentra dentro de la sección ayuda y está en una zona visible.

SA.05

La documentación que se encuentra es suficiente y consistente para realizar las acciones dentro del aplicativo.

DI.01 Los iconos son entendibles.

DI.02

Las acciones constantes de acciones se repiten en situaciones similares.

DI.03

Se usa una misma terminología en avisos, menús, y pantallas de ayuda.

DI.04

Las acciones que son constantes que se emplean en todas las partes del software actúan de la

147

misma forma.

DI.05

El diseño cumple con normas y convenciones usuales de software en cuanto a íconos, botones, imágenes, ventanas y diálogos

DI.06

La presentación del texto en pantalla es adecuada para la información transmitida.

DI.07 El tamaño y color de la letra permite leer con facilidad.

DI.08

Las palabras importantes dentro de un párrafo están resaltadas (por ejemplo, con el uso de letras mayúsculas, el uso de hipertextos, el uso de negritas, etc.).

DI.09

La combinación de colores es variada, agradable y adecuada para la población estudiantil prevista.

DI.10

La cantidad de colores en la pantalla es adecuada para el tipo de información que contiene

DI.11

Hay suficiente contraste entre los colores del texto o ilustraciones y el color del fondo.

DI.12 Los videos proporcionan algún tipo de valor añadido.

DI.13

Se le dan a los colores las connotaciones estándares (ejemplo: rojo para parar o peligro).

DI.14

Los gráficos están apropiadamente posicionados en la pantalla.

DI.15

Los gráficos y efectos visuales ayudan a entender los contenidos

DI.16 El usuario tiene todo el control sobre la interfaz.

DI.17

Existe un vínculo que permite volver al inicio o retroceder en una acción del aplicativo.

EN.01

Se presenta un mapa de navegación con una organización jerárquica de las partes que lo componen, relacionadas a través de vínculos asociativos que las enlazan, permitiendo acceder bien a los

148

contenidos, actividades, niveles y prestaciones en general.

FU.01

El usuario adquiere las destrezas necesarias para usar el software educativo en el transcurso de un lapso de tiempo.

FU.02 El software es fácil de usar para la población prevista.

FU.03 Las funcionalidades del sistema son fáciles de ubicar.

FU.04

El programa permite que el usuario corrija la respuesta antes de que ésta sea aceptada por el programa.

FU.05

El usuario adquiere los conocimientos necesarios para realizar futuras acciones en el software.

Leyenda del valor

Si Se cumple totalmente

No No se cumple en lo absoluto

NA Ítem no aplicable en el software

Instrucciones

• Evalué cada ítem y coloque el valor en la columna ‘Valor’ según la leyenda • Se pude colocar observación si lo desea

149

ANEXO C. CHECKLIST DE EVALUACIÓN DE CORRESPONDENCIA DIDÁCTICA.

CÓDIGO ÍTEM VALOR OBSERVACIONES

CC.01 Cuida que la información que presenta sea confiable (datos exactos. referencias bibliográficas.

CC.02 Proporciona información complementaria para ayudar a los alumnos que deseen profundizar sus conocimientos

CC.03 El contenido es adecuado para el grupo de usuarios y la situación pedagógica planteada

CS.01 Los elementos que se utilizan en el programa son familiares desde su aspecto cultural con los usuarios

CS.02 Los marcos socio culturales son comprensibles para el usuario

CS.03 Presenta alguna ideología explícita o implícita

CS.04 Presenta situaciones reales y significativas para el grupo de alumnos

CP.01 Es adecuada la utilización del software para la enseñanza del tema

CP.02 Los objetivos planteados por el software son adecuados con respecto a la intención formativa planteada por el docente

CP.03 Los objetivos están correctamente formulados

CP.04 El software permite el aprendizaje de nuevos conceptos

CP.05 El software permite el aprendizaje de nuevas habilidades cognitivas

150

CP.06 El software permite el aprendizaje de nuevas actitudes o valores

CP.07 Los ejercicios propuestos son auto corregibles

CP.08 Contiene evaluaciones

CP.09 Posee un sistema de seguimiento

CP.10 Se utilizan múltiples estrategias de enseñanza: resúmenes, ilustraciones, señalizaciones, gráficos, mapas conceptuales. Organizadores textuales

CPS.01 El contenido es relevante para los objetivos profesionales o personales e intereses del estudiante

CPS.02 Hay elementos en el software que suponen captar el interés del alumno pero resultan ser una distracción que interfiere con el aprendizaje

CPS.03 El software está orientado al desarrollo de competencias genéricas ( transversales) y/o especificas

CPS.04 El software propone diferentes contenidos/actividades para cada tipo/nivel de competencia de alumno

CPS.05 Se propicia el intercambio con el tutor y/o en forma grupal.

CPS.06 Se induce a la participación directa por parte de los estudiantes en diversas actividades.

CPS.07 Se fomenta la capacidad de relacionar conceptos ya aprendidos con los nuevos conceptos.

151

CPS.08 Se promueve la creación de nuevas ideas y la búsqueda de nuevos procedimientos /técnicas/métodos para la resolución de problemas o tareas.

HC.01 Posee guías para el docente

AC.01 Posee guías para el alumno

AC.02 Facilita el aprendizaje del tema

AC.03 Se presentan variadas actividades: resolución de problemas, estudio de caso, glosario, mapa conceptual, etc.

AC.04 La mayor parte de las actividades se corrigen adecuadamente de manera automática.

AC.05 En las actividades no existe posibilidad de que el estudiante reciba feedback personalizado relativo a la calidad o corrección de sus respuestas.

Leyenda del valor

Si Se cumple totalmente

No No se cumple en lo absoluto

NA Ítem no aplicable en el software

Instrucciones • Evalué cada ítem y coloque el valor en la columna ‘Valor’ según la leyenda • Se pude colocar observación si lo desea

152

ANEXO D. CASOS DE PRUEBA DE ESCENARIOS.

Nombre

Descripción

Precondiciones

Numero de paso Descripción de pasos Resultado esperado

Resultado Pasado Fallado No ejecutado

Observaciones

Tipo de resultado Descripción de resultado Pasado Cumple con todos los resultado esperado Fallado No cumple con todos los resultado esperado No ejecutado No aplica

153

ANEXO E. CUESTIONARIO DE USUARIO REAL.

Preguntas Acuerdo Desacuerdo Indiferente

El nivel de dificultad de los contenidos fue elevado para mis conocimientos previos.

El material teórico me ayudó a comprender los conceptos explicados.

Las actividades han sido claras y significativas para mi aprendizaje.

El sistema informa sobre mi progreso.

El sistema informa sobre mis equivocaciones

Las pistas sobre los errores cometidos son inútiles.

El texto es conciso y preciso.

Los títulos son inadecuados

Las imágenes empleadas me ayudaron a aclarar los contenidos.

Me encontré perdido cuando recorría el software, no sabía dónde me encontraba.

Los videos y las animaciones me ayudaron a aclarar los contenidos.

La información está mal organizada.

En general, los colores y el diseño de todo el recurso son adecuados.

Puedo modificar la interfaz a mi gusto

Puedes realizar actividades grupales

Tengo variedades de actividades Instrucciones Marcar con una X una opción de cada ítem, si estás de acuerdo,

en desacuerdo o es indiferente

154

ANEXO F. CASOS DE PRUEBA DE ESCENARIOS SIMULADOS.

modelo de evaluaciÓn de usabilidad y … · 6.2.instrumento cuseoa (cuestionario de satisfacciÓn...

Documents