análisis y utilización de los resultados del avalúo del aprendizaje oai 22 de febrero de 2013...

70
Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Upload: novia-vidales

Post on 11-Apr-2015

106 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Análisis y Utilización de los Resultados del Avalúo del Aprendizaje

OAI 22 de febrero de 2013

Profa. María de los A. Muñiz GarcíaDr. Oscar Pérez Laguillo

Page 2: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

OBJETIVOS

PRIMERA PARTE Aplicar las prácticas fundamentales de un buen avalúo

(“assessment”). Identificar estrategias y actividades apropiadas para realizar un

buen avalúo del aprendizaje estudiantil a nivel de cursos. Desarrollar estrategias apropiadas para atender los resultados del

avalúo.

Page 3: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Assessment Practices QuizMark a T next to those statements that accurately describe the MSCHE views on the assessment of student learning and mark an F next to those statements that do not accurately describe the Commission’s views on assessment of student learning. 1. ___ Published test are always preferable to locally developed assessment measures. 2. ___ Class assignments can be used to assess the learning goals of academic programs. 3. ___ Tests with numeric scores are preferable to qualitative measures such as focus

groups. 4. ___ Surveys of student satisfaction with a program are insufficient evidence of what

students have learned. 5. ___ Every learning outcome of every course and program must be assessed. 6. ___ All students should be assessed to demonstrate the effectiveness of a course or

program; a sample of students is inadequate. 7. ___ Goals should not be changed after they are selected.

Page 4: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

8. ___ The same assessment measures should be used in each and every assessment cycle.

9. ___ Grades alone are not direct evidence of student learning. 10. ___ The primary purpose of assessment are to maintain accreditation and satisfy

external stakeholders; therefore, it is appropriate to schedule assessment cycles so that they coincide with accreditation self-studies.

11. ___ The most effective way to create an assessment plan is to adopt the

assessment plan of another institution. 12. ___ Assessment efforts should focus on what is learned in academic courses and

programs; assessing what is learned in out-of-class activities is not important. 13. ___ Self-report measures can yield useful information about student learning. 14. ___ The assessment of educational effectiveness and the assessment of

institutional effectiveness are not related.

Page 5: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

STANDARD 14 ASSESSMENT OF THE STUDENT LEARNING“Assessment of student learning demonstrates that, at graduation, or other appropriate points, the institution’s students have knowledge, skills, and competencies consistent with institutional and appropriate higher education goals.”

STANDARD 12 EDUCATIONAL OFFERING“The institution’s curricula are designed so that students acquire and demonstrate college-level proficiency in general education and essential skills, including at least oral and written communication, scientific and quantitative reasoning, critical analysis and reasoning, and technological competency.”

STANDARD 11 GENERAL EDUCATION“The institution’s educational offerings display academic content, rigor, and coherence appropriate to its higher educational mission. The institution identifies student learning goals and objectives, including knowledge and skills, for its educational offerings. “

11

ESTÁNDARES MSCHE

12

14

Page 6: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Comparación de las Competencias PUCPR y MSCHE

Page 7: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

COMPETENCIAS PUCPR 2008-2013(RAI-METAS DE APRENDIZAJE DE LA PUCPR)

COMPETENCIAS MSCHE

1. Demostrar apertura y conocimiento religioso, que ofrece la Iglesia Católica, como personas encaminadas hacia la verdad.

2. Emplear el pensamiento crítico y las técnicas creativas para la solución de problemas.

• Critical analysis & reasoning

3. Aplicar las destrezas efectivas de comunicación para expresar sus ideas, sus opiniones y sus emociones de manera que mantenga relaciones interpersonales y de colaboración efectivas.

• Written communication• Oral communication

4. Demostrar respeto hacia la diversidad de valores, culturas y puntos de vista. Mostrará tolerancia hacia la ambigüedad y apertura al cambio.

5. Aplicar principios éticos a sus responsabilidades culturales y humanas cuando enfrente retos en su vida personal, familiar, comunitaria y profesional.

6. Manejar la información y la tecnología apropiadas. • Information literacy• Technological competence

7. Utilizar diversos métodos cualitativos y cuantitativos cuando se acerque a problemas que lo enfrenten a la búsqueda de la verdad.

• Quantitative reasoning• Scientific reasoning

8. Destrezas en manejo de conflictos.

Page 8: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

El avalúo no debe apoderarse del profesor, sino que el profesor debe apoderarse del avalúo. Para que esto ocurra, debe haber conocimiento, creatividad, flexibilidad y espacio para hacer los ajustes necesarios.

Page 9: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Prácticas fundamentales de un buen avalúo

Page 10: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Etapas del avalúo:

Pre-avaluación: o Elegir la clase o el grupo que se va a avaluar.o Decidir lo que se quiere avaluar (meta de aprendizaje institucional o de

programa, objetivo del curso, conocimiento previo) y el propósito principal para hacerlo.

o Escoger el mejor momento y las técnicas de avalúo más idóneas. o Informar y dialogar con los estudiantes con respecto al avalúo a realizar

en la clase, de los aspectos que se van a avaluar y el objetivo del avalúo que se realizará.

Avaluación o avalúoo Administrar la técnica de avalúo seleccionada.o Ordenar y analizar los datos obtenidos.

Page 11: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Etapas del avalúo

Post-avalúo o Interpretar los resultadoso Comunicar al grupo los resultados (realimentación)o Recopilan las reacciones y recomendaciones o Establecer las estrategias necesarias y ponerlas en práctica.

Proceso cíclico y contínuo Transcurrido cierto tiempo, debe realizarse un nuevo avalúo para ver los

resultados de los cambios efectuados. Cuando hacemos cambios debemos avaluarlos y esta es la razón por la que

el avalúo es un proceso cíclico y continuo.

Page 12: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ciclo de Avalúo

OPORTUNIDADES DE ENSEÑANZA Y EXPERIENCIAS DE

APRENDIZAJE

AVALÚO

(ASSESSMENT)

RETROCOMUNICACIÓN

REFLEXIÓN Y AUTOREFLEXIÓN

CAMBIOS YMEJORAS

Page 13: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Deficiencias en la planificación del avalúo en los diversos programas

• Metas de aprendizaje o “learning outcomes” (rap) no medibles, ambiguos y difíciles de evidenciar.

• Selección de cursos en los que es difícil avaluar la meta de aprendizaje a nivel de programa (rap).

• Cursos con objetivos no alineados a las metas de aprendizaje del programa.

Page 14: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Deficiencias en la planificación del avalúo en los cursos del componente de educación general

• Metas de aprendizaje (rap) o “learning outcomes” no medibles, ambiguos y difíciles de evidenciar.

• Selección de destreza o competencia a avaluar que no es adecuada para el curso.

• Cursos con objetivos no alineados a las competencias institucionales.

• Cursos generales claves que no se tomaron en consideración para las destrezas básicas.

Page 15: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

15

CONOCIMIENTO

EN LA DISCIPLINA

DESTREZAS INTERPERSONALES Y DE LIDERAZGO

ACTITUDES

Y VALORES

DESTREZAS

GENERALES

¿Qué vamos a avaluar en cursos y programas?

Page 16: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Qué avaluar en los cursos de concentración

• Conceptos generales• Uso de vocabulario

científico o de la profesión• Destrezas de laboratorio • Literacia de la información• Destrezas de investigación• Destrezas de comunicación • Temas éticos o bioéticos y la

ética en la investigación

• Razonamiento matemático• Pasos en la solución de

problemas• Análisis de datos tabulados• Análisis y preparación de

gráficas• Desarrollo de hojas de

cálculos• Manejo de la tecnología

Page 17: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

17

El avalúo de actitudes, valores y sentido de responsabilidad de los estudiantes

En esta área se pueden avaluar los siguientes aspectos: Conciencia de actitudes Posesión de valores éticos Grado de compromiso con los estudios Responsabilidad con las tareas asignadas Grado de confianza en sí mismo Destrezas de liderazgo Grado de interés en el curso Estilos de aprendizaje Grado de atención Autoidentificación de fortalezas y debilidades

Page 18: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo en los colegios

COLEGIOS Y ESCUELAS

Artes y Humanidades

Ciencias

Administración de Empresas

Educación NEXT

Escuelas y Programas Graduados

Page 19: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo en ciencias

Estudio y análisis de casos bioéticos y ética en la investigación científica

Actividad grupal colaborativa Evaluación de puntos a favor y en

contra de alternativas a soluciones de problemas en las ciencias (ambiente, investigaciones científicas…)

Preparar tablas y gráficas para resultados de laboratorios

Diagramas, diagramas de flujo, mapas conceptuales u otras ayudas visuales para explicar procesos en los laboratorios

Propuesta de investigación Plan para soluciones a

problemas ambientales Plan para desarrollar un

proyecto científico Afiche o “poster” sobre un tema

de impacto Crítica de un documental

científico, una película o exhibición científica

Simulaciones de procesos Opúsculo para el uso de un

instrumento de laboratorio

Page 20: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo en ciencias

Reportaje para una revista científica o periódico

Análisis de la porción de un artículo científico

Desarrollo de un portafolio de experiencias de aprendizaje

Presentación , descripción o demostración de un proceso

Una encuesta incluyendo el análisis de los resultados

Desarrollo de un experimento científico original con el informe en formato científico y un informe oral

Manejo de equipo y destrezas de laboratorio

Explicaciones de procedimientos o pasos para resolver problemas

Experiencias en centros de práctica

Page 21: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo para empresas

Anuncio o comercial Resumen ejecutivo Opúsculo de un producto Discurso o presentación de una

campaña publicitaria Estudio de caso o análisis Informe de un cliente Actividad grupal colaborativa Preparación para una entrevista

de recursos humanos o a un cliente

Dramatización de un evento o escenario

Grabación de la historia de un evento

Plan de investigación para resolver un problema

Plan para desarrollar un proyecto o proveer un servicio

Desarrollo de afiche o una exhibición

Manejo de software especializados (Peachtree, QuickBooks, entre otros)

Dominio del manejo de los idiomas

Dominio de la diversidad cultural

Page 22: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo para empresas

Crítica de un documental, película, exhibición,…

Análisis de la porción de un artículo de empresas

Una encuesta incluyendo el análisis de los resultados

Desarrollo de un portafolio

Evaluación de puntos a favor y en contra de alternativas a soluciones de problemas

Experiencias o prácticas Preparar gráficas, diagramas,

diagramas de flujo u otras ayudas visuales

Redacción de cartas a editores o negocios

Simulaciones Reportaje para una revista o

periódico

Page 23: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo para educación

Estudio de caso o análisis Grabaciones de clases

demostrativas Planes de trabajo para una clase

en particular Materiales didácticos (digitales e

impresos) Poster o afiche para ilustrar un

tema en el internado Propuesta para la solución de un

problema o justificación del mismo

Revisión o autocrítica del trabajo realizado

Presentaciones de clases Evaluación de puntos a favor y

en contra de alternativas a soluciones de problemas

Preparar gráficas, diagramas, diagramas de flujo u otras ayudas visuales

Crítica de un documental, película, exhibición,…

Análisis de un artículo o libro de educación

Una encuesta incluyendo el análisis de los resultados

Desarrollo de un portafolio Práctica docente

Page 24: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo para artes y humanidades

Exposiciones de trabajos de arte Desarrollo de trabajos en los diversos

medios artísticos Conciertos o audiciones Estudio o análisis de casos Desarrollo de un reportaje en historia,

sociología, …. Propuesta para la solución de un

problema o justificación del mismo Crítica de un documental, película,

exhibición, pintura u obra de arte, musical…

Dominio del manejo de los idiomas

Evaluación de puntos a favor y en contra de alternativas a soluciones de problemas

Preparar gráficas, diagramas, diagramas de flujo u otras ayudas visuales

Análisis de la porción de un artículo Una encuesta incluyendo el análisis

de los resultados Desarrollo de un portafolio Revisión o autocrítica del trabajo

realizado

Page 25: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de actividades de avalúo para las Escuelas y Programas Graduados

Análisis o evaluación de tesis, tesinas, proyectos empresariales

Disertaciones Análisis de exámenes comprensivos Poster o afiches en congresos o

conferencias profesionales Propuestas y proyectos de

investigación Crítica de un documental, película,

exhibición Análisis de un artículo o libro

Prácticas clínicas Una encuesta incluyendo el

análisis de los resultados Desarrollo de un portafolio

Page 26: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplos de técnicas de avalúo

Page 27: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplo #1 Curso de Matemáticas para estudiantes de educación

Instrumentos Utilizados

Cuestionario de Actitudeso Al inicio del cursoo Al finalizar el curso

Laboratorios de Aprendizaje

Encuesta para evaluar el curso

Distribución de Notas

Técnicas de Avalúo Utilizadas Pareo y ordenación de objetivos Resumen en una oración Concepto más claro o más oscuro Tablas comparativas Repaso mediante lista enfocada Pruebas cortas en pareja Pruebas cortas individuales Muéstralo con un dibujo Construye para demostrarlo Explícale a tu compañero Autoevaluación Trabajo cooperativo

Page 28: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

1

•El 53% del estudiantado dedicaba 1 a 2 horas semanales a estudiar para MATE 1000.

• El 83 % estudiaba menos de 3 horas semanales. Esto es menos de la mitad del tiempo que un estudiante promedio debe estudiar semanalmente para un curso de matemáticas.

2

•Después del primer examen, el número de ausencias a la clase aumentó significativamente, particularmente los viernes.

•90% estudiantes obtuvo C o más para el primer examen.

•Disminución drástica de la nota para el segundo examen.

Ejemplo 1 Curso de Matemáticas

Actividad: Estudio de actitudes en el cursoHallazgos: En el curso:

Page 29: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

3

•El 52% de los estudiantes trabaja. El 90% de éstos lo hace a tiempo parcial.

4

•El 49% de los alumnos toma el curso en cuarto año que coincide con la Práctica Docente y se preparan para la Reválida para la Certificación como Maestro.

•Manifiestan ansiedad desde el primer día de clases, presionando al profesor porque tienen que aprobar la clase para graduarse.

• A medida que se acerca la fecha de la reválida, presionan al profesor para que discuta algunos temas que aparecerán en la reválida.

Ejemplo 1 Curso de Matemáticas

Actividad: Estudio de actitudes en el cursoHallazgos: En el curso:

Page 30: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Acción tomada para MATE 1000

1. Horas de estudio• Orientación sobre el enfoque

del curso y cómo deben estudiar.

• Anuncio de pruebas cortas y otras tareas frecuentemente.

2. Aprendizaje en el Examen 1

• Repaso de los temas del examen.

• Se integró la práctica individual y grupal.

• Administración de pruebas cortas en parejas e individuales.•

Page 31: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Acción tomada para MATE 1000

• Hacer presentaciones de los laboratorios.3. Aumento en las

ausencias después del Examen 1

• Administrar las pruebas cortas los viernes.

• Estos trabajos especiales tendrán valor para la calificación final.

• Autoevaluación de las ausencias

Para el tercer y cuarto examen, disminuyeron las ausencias y

mejoraron los resultados de los exámenes.

Page 32: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Acción tomada para MATE 1000Aprendizaje activo y aprendizaje cooperativo,

Estudiantes que trabajan

Pruebas cortas en pareja y pruebas cortas individuales

Orientación de la necesidad reforzar tiempo de estudio grupal e individual para dominio de conceptos y destrezas

Page 33: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Acción tomada para MATE 1000

• Orientación a los estudiantes de educación sobre la importancia de tomar el curso en el orden de la secuencia curricular.

Toman el curso en 4to año

Diálogo personal para reducir laansiedad y reforzar una actitud positiva hacia su trabajo en el curso.

• Se reforzó la consejería académica y prematrícula.

Page 34: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplo #2: Avalúo de destrezas de investigación y el método científico

Actividad: Aprendizaje grupal: Diseñar un experimento original, realizar el mismo y redactar un informe científico.Criterios a evaluar mediante una rúbrica:

• Título• Introducción• Formato científico• Materiales y métodos• Información no experimental• Diseño experimental• Definiciones operacionales• Control de las variables• Recopilación de datos y presentación de los resultados• Interpretación de datos

Page 35: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

1

•Identifican vagamente el propósito de la investigación en el experimento.

2

•Describen pobremente el método experimental y los materiales.

3

•El diseño experimental está vagamente expuesto.

4

•Los estudiantes fallan en la interpretación de los resultados.

Ejemplo #2 Hallazgos

Actividad: Diseño y desarrollo del experimentoHallazgos: Se analizaron los resultados de la aplicación de la rúbrica. Se identificaron las siguientes deficiencias:

Page 36: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Acción

• Revisar el bosquejo que preparó el grupo de trabajo utilizando la rúbrica para estos fines.

Retrocomunicación previo a la entrega

final del trabajo• Discutir los hallazgos

individualmente o grupal.• Dar la oportunidad para revisar y

corregir el trabajo.

• Acción tomada para los hallazgos del trabajo final

• Reforzar la destreza en el curso con ejercicios similares.

• Asignar otro trabajo similar en el que se evidencien el desarrollo de las destrezas requeridas.

Page 37: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Estrategias generales para atender hallazgos :

ACCIONES A NIVEL DE CURSO

Actividades a incluir para atender la necesidad

Avaluar nuevamente la destreza con un segundo

trabajo, estudio de caso, otras

Analizar los resultados nuevamente y comparar el progreso de los estudiantes

ACCIÓN A TOMAR DE NO ALCANZAR LAS EXPECTATIVAS EN EL CURSO

Revisión• Contenido del curso• Metas de aprendizaje o destrezas• Estrategias de enseñanza

Page 38: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Ejemplo #3 “Tell your story”Ejemplos de la audiencia

• ¿Qué actividades, estrategias o técnicas de avalúo estás utilizando o has utilizado recientemente en tus cursos?

• Comparte tus hallazgos con la audiencia• ¿Que acciones se tomaron para atender las deficiencias o

fortalecer el aprendizaje estudiantil?• ¿Mejoraron las destrezas y conocimientos de los estudiantes?• ¿Hubo alguna acción a nivel departamental?• ¿Qué tipo de evidencia se recopiló?

Page 39: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

¿Cómo presentar los datos estadísticos del Avalúo?

Segunda parte

Page 40: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Objetivos

Presentar modelos de tablas para los datos estadísticos del avalúo.

Conocer como analizar efectivamente los resultados del avalúo.

Determinar la información mínima requerida para la identificación de los datos.

Repasar los formularios requeridos para presentar los hallazgos y resultados.

SEGUNTA PARTE

Page 41: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Proceso Contínuo de Avalúo

Resultados del Primer Instrumento de Avalúo

Avalúo de un curso

Resultados del Segundo Instrumento de Avalúo

Resultados del Tercer Instrumento de Avalúo

Análisis Comparativo de los Resultados

Análisis del perfil histórico del curso

Datos de años anteriores

INIVEL

IINIVEL

IIINIVEL

Page 42: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Nivel IEl primer paso es analizar los datos obtenidos de un instrumento suministrado al grupo.

¿Qué hacer?

Analice los datos obtenidos de un instrumento. Coloque los datos en una tabla en forma

apropiada. Incluya la información correspondiente:

– Nombre del profesor– Número y Nombre del curso– Recinto y departamento– CRN y semestre– Fecha de aplicación del instrumento– Escala de valores– Identifique cada estudiante con un valor numérico– Identifique la premisa. De ser posible, incluya la

premisa en el área de comentarios.

Page 43: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Fecha de aplicación: Número de participantes: 10

Tabla 1. Respuestas que ofreció cada estudiante por preguntasEstudiante

1 10 9 6 92 10 6 6 103 9 7 9 94 10 9 6 105 8 7 5 66 7 8 6 87 6 9 5 58 8 7 6 99 7 8 7 510 7 9 7 6

Nombre Apellidos

12345

Nombre del profesor:Número del curso:

CRN:Recinto:

201320BiologíaMayagüez

MicologíaBIOL 413

Semestre:

Nombre del curso:Departamento:

12/11/2012

P2 P3 P4P1

Valor máximo: 10Valor mínimo: 5

Encabezamiento

Asigne una número para identificar al estudiante

Premisas

Título de la Tabla

Page 44: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Fecha de aplicación: Número de participantes: 10

Tabla 1a. Respuestas que ofreció cada estudiante por preguntasEstudiante

1 10 9 6 92 10 6 6 103 9 7 9 94 10 9 6 105 8 7 5 66 7 8 6 87 6 9 5 58 8 7 6 99 7 8 7 510 7 9 7 6

Tabla 2a. Análisis por pregunta: Frecuencias Relativas (FR) y por cientos (PC)

Escala FR PC FR PC FR PC FR PC10 3 30.0% 0 0.0% 0 0.0% 2 20.0%9 1 10.0% 4 40.0% 1 10.0% 3 30.0%8 2 20.0% 2 20.0% 0 0.0% 1 10.0%7 3 30.0% 3 30.0% 2 20.0% 0 0.0%6 1 10.0% 1 10.0% 5 50.0% 2 20.0%5 0 0.0% 0 0.0% 2 20.0% 2 20.0%

TOTAL 10 100.0% 10 100.0% 10 100.0% 10 100.0%

Tabla 3a. Número de estudiantes (y por ciento) que lograron el Éxitos y Fracasos por preguntas

Categoría FR PC FR PC FR PC FR PCÉxito 9 90.0% 9 90.0% 3 30.0% 6 60.0%

Fracaso 1 10.0% 1 10.0% 7 70.0% 4 40.0%

12-Nov-2012

P2 P3 P4

P1 P2 P3 P4

P1 P2 P3 P4

P1

201320BiologíaMayagüez

MicologíaBIOL 413

Semestre:

Nombre del curso:Departamento:

Nombre Apellido

12345

Nombre del profesor:Número del curso:

CRN:Recinto:

Provea la Frecuencia

Relativa

Incluya el Por

Ciento

Establezca los criterios de Éxito y Fracaso

Análisis por Pregunta

Analice los datos por cada

pregunta

Page 45: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Fecha de aplicación: Número de participantes: 10

Tabla 1a. Respuestas obtenidos por estudiante, por preguntas Tabla 4a. Análisis por estudianteEstudiante Estudiante FR PC

1 10 9 6 9 1 34 85.0%2 10 6 6 10 2 32 80.0%3 9 7 9 9 3 34 85.0%4 10 9 6 10 4 35 87.5%5 8 7 5 6 5 26 65.0%6 7 8 6 8 6 29 72.5%7 6 9 5 5 7 25 62.5%8 8 7 6 9 8 30 75.0%9 7 8 7 5 9 27 67.5%10 7 9 7 6 10 29 72.5%

Nombre Apellido

12345

Nombre del profesor:Número del curso:

CRN:Recinto:

201320BiologíaMayagüez

MicologíaBIOL 413

Semestre:

Nombre del curso:Departamento:

12-Nov-2012

P2 P3 P4P1

Análisis por Estudiante

Categoría FR PCÉxito 7 7

Fracaso 3 3

Tabla 5a. Número de estudiantes que lograron el Éxito o Fracaso

Establezca los criterios de Éxito y Fracaso

Analice utilizando el Por

Ciento

Page 46: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Nivel IIEl segundo paso es analizar los datos obtenidos de varios instrumentos suministrado al grupo durante el semestre.

¿Qué hacer?

Integre los resultados de los diferentes instrumentos utilizados en el grupo en el curso avaluado.

Utilice el porcentaje para analizar la información. Puede utilizar las puntuaciones de las pruebas, si posee el mismo valor.

Los datos tabulados deben de estar acompañados por gráficas, esto le permitirá visualizar mejor los resultados.

Page 47: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

FR= Puntuación obtenida por el estudiante en la prueba.

Número de participantes: 10

Tabla 1b. Análisis del curso por estudiantes en el semestre en curso Tabla 2b. PromedioIntrumento

Fecha:Estudiante FR PC FR 0.7 FR PC Estudiante FR PC

1 24 60.0% 26 65.0% 34 85.0% 1 28 70.0%2 24 60.0% 28 70.0% 32 80.0% 2 28 70.0%3 22 55.0% 25 62.5% 34 85.0% 3 27 67.5%4 24 60.0% 27 67.5% 35 87.5% 4 29 71.7%5 24 60.0% 29 72.5% 26 65.0% 5 26 65.8%6 25 62.5% 31 77.5% 29 72.5% 6 28 70.8%7 26 65.0% 26 65.0% 25 62.5% 7 26 64.2%8 24 60.0% 25 62.5% 30 75.0% 8 26 65.8%9 24 60.0% 26 65.0% 27 67.5% 9 26 64.2%10 27 67.5% 26 65.0% 29 72.5% 10 27 68.3%

TOTAL 40 40 40 TOTAL 40

MicologíaNombre del profesor: Oscar Pérez Laguillo

Número del curso: BIOL 413 Nombre del curso:Recinto: Mayagüez Departamento: Biología

CRN: 12345 Semestre: 201320

Instrumento 120-Ago-2012

Instrumento 2 Instrumento 322-Sep-2012 12-Nov-2012

Análisis por Estudiante

La fecha que aplicó el instrumento le ayudará

en la interpretación

Indique qué es el valor

Incluya el valor de la

prueba

Page 48: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

1 2 3 4 5 6 7 8 9 100.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

Intrumento 1 Instrumento 2 Instrumento 3

Estudiante

Por c

ient

o ob

teni

do

Perfil del estudiante del curso

Page 49: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Nivel IIIEl tercer paso es analizar los datos obtenidos de varios semestre para el mismo curso.

¿Qué hacer?

Utilice los datos porcentuales obtenidos del curso avaluado en años anteriores.

Recuerde indicar si el instrumento ha variado. Incluya en el encabezamiento las fechas del

avalúo de cada semestre.

Page 50: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

FR= Número de estudiantes que aprobaron la competencia.

Tabla 1c. Análisis general del curso avaluado durante varios semestres

Semestre AñoFR PC FR PC FR PC

1 2009 25 83.3% 5 16.7% 1 3.2%2 2010 20 95.2% 1 4.8% 1 4.5%1 2010 15 100.0% 0 0.0% 0 0.0%2 2011 23 92.0% 2 8.0% 2 7.4%1 2011 28 77.8% 8 22.2% 1 2.7%2 2012 29 85.3% 5 14.7% 1 2.9%

Éxito Fracaso Bajas

Recinto: Mayagüez Departamento: Biología

Nombre del profesor: Nombre ApellidosNúmero del curso: BIOL 413 Nombre del curso: Micología

Incluya el semestre y año

No incluya las bajas en la partida de

fracasosPodría incluir un análisis de esta

partida

Indique que FR es el

número de estudiantes

Page 51: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

2009 2010 2010 2011 2011 20121 2 1 2 1 2

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

83.3%

95.2%100.0%

92.0%

77.8%85.3%

Año/semestre

Por c

ient

o de

éxi

toPerfil histórico del curso avaluado

Por ciento de Éxito

Page 52: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

AnálisisEl último paso es analizar los datos obtenidos de varios semestres en el mismo curso.

¿Qué hacer?

Utilice la información obtenida de los tres niveles si está disponible.

Indique si el instrumento fue ampliado, ajustado o cambiado.

Discuta sus resultados e indique las posibles causas de los valores obtenidos.

Utilice parámetros alcanzables.

Page 53: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

“Hints”Se provee de algunos consejos para lograr los

objetivos del avalúo

¿Qué recomendamos? Presente el plan de acción para mejorar su curso. Recuerde que el análisis se realizará en el formulario LOA-05

Resultados del avalúo del aprendizaje a nivel de cursos y programas.

El éxito del avalúo se alcanza utilizando instrumentos simples y precisos.

Comparta sus resultados con compañeros de cursos similares de su departamento y de otros departamentos.

• ¿Qué nos indican los resultados?• ¿Qué cambios proponen?• ¿Cómo el programa puede beneficiarse con el uso de los

hallazgos?

Page 54: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

54

Formulario LOA-05

Page 55: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

LOA-05

Page 56: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo
Page 57: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo
Page 58: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Análisis de resultados del avalúo a nivel de programas:Estudio de casos *

*Adaptado de Suskie, L. Using Assessment Results to Improve Teaching and Learning: Scenarios for Discussion. Middle States Commission on Higher Education

Page 59: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Meta de aprendizaje: Los estudiantes del programa XY del Colegio de Ciencias escribirán propuestas y documentos científicos de forma clara y efectiva en el idioma español e inglés.

Actividad: Redactar varias propuestas de investigación en por lo menos tres cursos de nivel 400.

Hallazgo: La calidad de los trabajos escritos es inadecuada para un estudiante “senior”.

Posibles causas: La facultad lo atribuye a las pobres destrezas de escritura que traen los estudiantes cuando ingresan a la universidad. Otros indican que el Departamento de Inglés tiene la responsabilidad por no enfatizar adecuadamente las destrezas de escritura en sus cursos de inglés de primer año.

Acción a tomar:

• ¿Qué se puede hacer para mejorar las destrezas de escritura en español e inglés en un estudiante está en su último año de estudios?

• ¿Qué puede hacer el Colegio de Ciencias para mejorar esa destreza en los demás estudiantes?

Caso #1

Page 60: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

La facultad de la Universidad ZZZ está de acuerdo en que una de las competencias institucionales más importantes en los egresados de la misma es el pensamiento crítico y definen esta competencia como la habilidad para analizar y evaluar información.

Meta de aprendizaje: Los estudiantes evidenciarán destrezas de análisis y evaluación de información.

Hallazgo: Al evaluar la destreza, la facultad no está satisfecha con las destrezas de pensamiento crítico de los candidatos a graduación de diversos programas.

Acción a tomar: Escenario #A ¿Qué puede hacer la facultad para mejorar las destrezas de pensamiento crítico en los

candidatos a graduación?

¿Se necesita algún presupuesto o planificación más detallada para lograr la idea?

Caso 2

Page 61: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Escenario B

Desafortunadamente la facultad de un programa en particular, no identifica en su currículo o en un curso un espacio para practicar destrezas de pensamiento crítico. La facultad está de acuerdo en que hay mucho contenido que cubrir en sus cursos y que no tienen tiempo para enseñar a los estudiantes como pensar críticamente y luego calificar tareas asignadas de pensamiento crítico.

Acción a tomar:

¿Cómo la facultad puede conciliar la necesidad de cubrir contenido con la necesidad de ayudar a los estudiantes a desarrollar destrezas de pensamiento crítico?

¿Se necesita algún presupuesto o planificación más detallada para lograr la idea?

Caso 2

Page 62: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Escenario C

Una gran parte de la facultad enseña clases con mucha matrícula (40 o más estudiantes en una sección) y no visualizan como pueden ayudar a los estudiantes a desarrollar destrezas de pensamiento crítico.

Acción a tomar

¿Qué podría hacer ese profesor para contribuir al logro de esa meta de aprendizaje?

¿Se necesita algún presupuesto o planificación más detallada para lograr la idea? 

Caso 2

Page 63: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

63

El Colegio de Artes y Humanidades de la Universidad de XYY condujo una revisión curricular en la que alineaba contenido y objetivos de cursos con metas de programas.

Hallazgo: Encontró que la destreza de comunicación oral y la destreza comunicación escrita, especialmente la gramática eran las áreas más débiles en términos de requerimientos asignados en los diversos cursos.

Acción a tomar: ¿Qué puede hacer el colegio para fortalecer la destreza de

comunicación oral? ¿Y la de comunicación escrita? ¿Se necesita algún presupuesto o planificación más detallada para

lograr la idea?

Caso 3

Page 64: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

64

CASO 4

Hallazgo:

Los candidatos a graduación del programa de Trabajo Social obtuvieron una puntuación pobre en las destrezas de comunicación escrita en un examen nacional de destrezas para universitarios graduados de ese programa.

Posible causa: Algunos miembros de la facultad piensan que eso no les concierne porque es

un examen de selección múltiple en el que los estudiantes identifican errores gramaticales y en los cursos de ese programa se enfatiza más el razonamiento y la organización que la gramática.

Otros creen que eso sólo les concierne a los cursos de gramática.

Otros opinan que para ser un egresado universitario con buenas destrezas en comunicación escrita, la gramática es esencial.

Page 65: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Caso 4 Continuación…

Acción a tomar: ¿Cómo la facultad podría resolver estas diferencias en

opiniones? ¿Se necesita algún presupuesto o planificación más detallada

para lograr la idea?

Page 66: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Reflexionemos

Page 67: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Preguntas para reflexionar al realizar el análisis de los resultados en el nivel correspondiente

¿Están los estudiantes desarrollando la destreza?

¿Es el instrumento adecuado para la destreza que quiero avaluar?

¿Las preguntas avalúan correctamente las destrezas?

En una comparación histórica: ¿las destrezas de los estudiantes que ingresan son comparables a grupos de otros años?

Page 68: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Preguntas para reflexionar al llevar el avalúo a una integración departamental

¿Cómo el curso contribuye al desarrollo del programa académico?

¿Es necesario realizar una revisión curricular del programa ?

¿Como su curso se integró a la revisión?• Ajuste al contenido del curso• Ajuste al programa

Page 69: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

©Marimuga

“ Educar a un joven no es hacerle aprender algo que no sabía, sino hacer de él alguien que no existía.”

John Ruskin

Page 70: Análisis y Utilización de los Resultados del Avalúo del Aprendizaje OAI 22 de febrero de 2013 Profa. María de los A. Muñiz García Dr. Oscar Pérez Laguillo

Referencias

Allen, M.J. Assesssing Academic Programs in Higher Education. Anker Publishing Jossey-Bass:San Francisco,CA

Angelo, T. & Cross, P. (1993) Classroom Assessment Techniques. A handbook for College Teachers. 2nd. ed Jossey-Bass:San Francisco,CA

Barkley, E.F. (2010) Student Engagement Techniques: A handbook for College Faculty. Jossey-Bass:San Francisco,CA

Bresciani M.J. (2009) Case Studies for Implementing Assessment in Student Affairs. San Francisco,CA:Jossey-Bass

Bresciani M.J. (2006) Outcomes-based Academic and Co-Curricular Program Review. Virginia: Stylus Publishing

Wehlburg, C.M. (2008) Promoting Integrated and Transformative Assessment: A deeper focus on student learning. Jossey-Bass:San Francisco,CA

Suskie, L. (2009) Assessing Student Learning. 2nd ed. San Francisco,CA: Jossey-Bass