elaboración de instrumentos de evaluación

Elaboración de Instrumentos

Evaluación de Recursos DigitalesEspecialización TAC

Prof Elvira Navas

¿Qué es un instrumento de evaluación? Lista de preguntas relativas a un mismo tema destinadas a ser contestadas

por una gran número de individuos (Salvat, 1968 p 244)

Un procedimiento que permite obtener respuestas a preguntas, mediante el uso de un formulario que el sujeto puede llenar por si solo (Berdie y Anderson,1974)

Un conjunto de preguntas respecto a una o más variables a medir (Hernández, Fernández y Baptista,1991)

Un instrumento de evaluación esta integrado por preguntas que solicitan información referida a un problema, objeto o tema de investigación, el cual normalmente es administrado a un grupo de personas (Ruiz Bolívar, 2002)

Clasificación de los instrumentos de evaluaciónPor el tipo de preguntas

◦De respuestas abiertas◦De respuestas cerradas◦De respuestas semi-cerradas.◦Mixtos (contiene preguntas de los tres tipos anteriores)

Ejemplo de respuesta abierta

Indique su opinión general sobre el sitio evaluado. _________________________________ _________________________________ _________________________________ _________________________________

Ejemplo de respuesta cerrada

¿Cuál de las frases que se presentan a continuación expresan su opinión acerca de las imágenes utilizadas en el programa evaluado? (Marque con una X)◦___ Son adecuadas para la edad de la audiencia◦___ Son muy infantiles◦___ Son demasiado abstractas

Ejemplo de pregunta semi-cerrada

¿Cuál es su opinión acerca de la navegación en el sitio evaluado?◦Es muy fácil de seguir◦Al comienzo es complicada pero luego se hace fácil◦Es muy difícil de seguir◦No es evidente◦Otra ______________________________

Ventajas de las preguntas cerradas

Los ítems de respuesta cerrada son fáciles de puntuar y de codificar

No es necesario que el individuo evaluador sea capaz de expresarse verbalmente de manera adecuada. ( el caso de los niños)

Facilita que se conteste todo el instrumento ya que es mas rápido completarlo.

Desventajas de las preguntas cerradas

Siempre existe la posibilidad de no proveer de todas las respuestas posibles al evaluador.

Se puede inducir al sujeto no intencionalmente a responder de una determinada manera.

Ventajas de las preguntas abiertas

Son muy útiles cuando el evaluador tiene poca información acerca de la población objeto del estudio.

Permite obtener una información mas completa y determinar detalles.

Desventajas de las preguntas abiertas

Las respuestas son mas difíciles de clasificar y codificar.

En las respuestas abiertas se siente la influencia de las destrezas verbales del individuo para expresar su opinión correctamente.

Consumen mucho mas tiempo tanto el llenado del instrumento como su codificación posterior.

Clasificación de los instrumentos de evaluación

Por el momento de la codificación◦Pre-codificados◦Post-codificados

Por la forma de administración◦Autoadministrados (entrega personal, envío por correo o en línea)◦Entrevista personal◦Entrevista telefónica

Pasos para el diseño de un instrumento de evaluación

Reflexiones previasPlanificaciónElaboración del instrumentoEstudio pilotoAdministraciónAnálisis de datos

Reflexiones previasAntes de comenzar a diseñar un cuestionario debemos hacer algunas reflexiones tales como:

1. ¿Cuál es el propósito del instrumento?2. ¿A quiénes está dirigido?3. ¿Cuán fácil será la aplicación del instrumento?4. ¿Qué modalidad de instrumento se utilizará?5. ¿Qué clase de preguntas se emplearán?6. ¿Qué extensión podría tener el instrumento?7. ¿Cuánto control puede ser ejercido sobre los factores

que pueden afectar la validez de los resultados?

Planificación del instrumento

Determinar el propósito del instrumento.Determinar las dimensiones en que puede dividirse

el propósito del instrumento.Determinar los indicadores de cada una de las

dimensiones establecidas.Redactar los ítems necesarios para cada uno de los

indicadores.

Propósito del instrumento Dimensión Indicadores

Evaluar la calidad del software propuesto en cuanto a contenido, funcionalidad y calidad técnica.

Aspectos funcionales y de utilidad.

-Facilidad de acceso -Facilidad de uso-Facilidad de ayuda-Identificación de créditos-Facilidad de navegación

Contenido y Aspectos pedagógicos

-Relevancia e interés del contenido.-Actualidad del contenido-Adecuación a la audiencia-Claridad de Objetivos-Organización de los contenidos-Presentación y manejo de los contenido-Motivación-Manejo de las actividades-Trabajo colaborativo-Presentación de contenidos

Diseño-Navegación-Interfaz-Funcionamiento

Aspectos técnicos-Uso de la Web-Conectividad-Elementos de comunicación

Ejemplo:

Dimensiones e indicadores de instrumento elaborado por Elvira Navas

Elaboración del instrumento Algunas recomendaciones para la elaboración del instrumento

según Hernández(1991)1. Las preguntas deben ser claras y comprensibles2. Las preguntas no deben incomodar al respondiente3. Las preguntas deben referirse a un solo aspecto o asunto4. Las preguntas no deben inducir las respuestas5. Las preguntas no deben apoyarse en instituciones, ideas

respaldadas socialmente ni en evidencia comprobada6. El orden fijo de las alternativas de respuesta puede favorecer

determinadas opciones7. El lenguaje debe ser adecuado al nivel de los respondientes

Ejemplo (cont)Indicadores: 1.-Facilidad de acceso

2.-Facilidad de uso3.- Facilidad de ayuda

4.- Identificación de créditos5.- Facilidad de navegación

ItemIndicador

1 Es fácil el acceso al Programa. 1

2 En general el uso del sitio se hace agradable. 2

3 Es fácil encontrar la información. 5

4 Se puede acceder al área de ayuda desde cualquier punto del material. 3

5 Los autores están totalmente identificados 4

6 Los enlaces a otros sitios fuera del material funcionan correctamente. 5

7 Es fácil moverse en el programa 5

Algunos Items del instrumento elaborado por Elvira Navas

Elaboración del instrumento

Para el formato del cuestionario se deben tener en cuenta:◦La diagramación◦La secuencia de las preguntas

Se debe empezar por preguntas fáciles y no agresivas Es preferible avanzar desde preguntas amplias y generales a

las mas específicas Si hay preguntas confidenciales, trate de no hacerlas al

principio del instrumento

Estudio piloto

Se hace con la primera versión del instrumento para verificar su funcionalidad. Debe hacerse en dos fases:◦Validación por juicio de expertos◦Mediante una muestra piloto de sujetos

Administración del instrumento

Se debe definir la forma de administración del instrumento◦Auto administrado◦Por entrevista personal o por teléfono.

• Análisis de los datos• Análisis estadístico• Análisis de contenidos (evaluación cualitativa)

Bibliografía Salvat(1968) Diccionario Enciclopédico. Madrid España Berdie,D.R y Anderson J.F (1974) Questionaires: Design and use.

Metuchen N.J. The Scarecrow Press Inc. Hernandez,S.R.; Fernandez,C.C; Baptista,L.P. (1991) Metodologia de

la Investigación. Mc Graw-Hill Mexico Ruiz ,C.(2002) Instrumentos de Investigación Educativa.

Procedimientos para su diseño y validación. CIDEC Barquisimeto Venezuela.