borrador de informe del sub-comiÉ de assessment...
TRANSCRIPT
1
BORRADOR DE INFORME DEL SUB-COMIÉ DE ASSESSMENT
Estándares: Assessment de la efectividad institucional, assessment del aprendizaje e integridad
Presidente: Dr. Ezequiel Bayuelo
Co presidente: Dra. Claribette Rodríguez
Autores del informe: Prof. Isis Laham, Dra. Mildred Díaz, Prof. Ana Astacio, Prof. Brenda
Burgos, Dra. Lilliam Lizardi, Dra. Yolanda López, Prof. Vanesa Aponte, Dra. Claribette
Rodríguez, Dra. Evelyza Crespo, Prof. Francisco López, Sr. Rafael Salas y Dr. Ezequiel
Bayuelo.
Fecha: 3 de diciembre de 2013
I. Introducción
En el presente capítulo se realiza un análisis sobre los procesos de assessment en la Universidad
del Este (UNE). Se identifican los supuestos teóricos y conceptuales del modelo de assessment y
su operacionalización para contribuir con el cumplimiento de los estándares de calidad en la
institución. Este capítulo describe el cumplimiento de la UNE con el assessment de la efectividad
institucional y el assessment del aprendizaje estudiantil.
II. Revisión de las preguntas de investigación
Inicialmente, se plantearon cuatro preguntas de investigación que propiciaron la revisión de
información, la descripción y el análisis de los resultados del assessment. Las preguntas
permitieron atender cómo la institución conceptúa el assessment y cómo se articulan los
constituyentes del modelo para contribuir al logro de la misión institucional. De igual forma,
permitieron dilucidar cómo se utilizan los hallazgos de assessment en: la revisión curricular, el
mejoramiento del aprendizaje estudiantil, la revisión de planes estratégicos, el mejoramiento de
2
servicios de apoyo, la adjudicación de los recursos, el mejoramiento de planta física, es decir, en
la toma de decisiones para cumplir con las metas y misión institucional.
III. Métodos y evidencias
Inicialmente, se nombró el subcomité de assessment para el proceso de re-acreditación de la
MSCHE. Este subcomité estuvo constituido por nueve profesores, tres administradores y un
representante estudiantil. En diversas reuniones el subcomité de assessment realizó las siguientes
actividades: elaboró las preguntas de investigación que conducirían la redacción de este capítulo,
revisó documentos, identificó las evidencias de assessment, analizó las evidencias, respondió las
mencionadas preguntas y redactó el capítulo de assessment del autoestudio de la UNE.
Las evidencias que se utilizaron para describir los procesos de assessment de la UNE, se
referencian en el texto de este documento, muchas de ellas están disponibles en la página web de
assessment y otras forman parte de este documento como anejos. El assessment en la UNE
utiliza medidas directas e indirectas del aprendizaje estudiantil. Las mismas pueden ser
mediciones externas o internas. Las evidencias directas del aprendizaje estudiantil a nivel
institucional en la UNE y que se consideran mediciones externas son: las pruebas de reválidas en
los programas de preparación de maestros (PCMAS), grado asociado y bachillerato en
enfermería, grado asociado en tecnología radiológica y la reválida del grado asociado en técnico
de farmacia. Igualmente, la UNE generó mediciones directas del aprendizaje (mediciones
internas) las cuales son pruebas análogas a las reválidas o mock test en los programas de: grado
asociado y bachillerato de enfermería, grado asociado de tecnología radiológica, grado asociado
de técnico de farmacia y bachillerato en sonografía. Para los programas de preparación de
maestros la UNE cuenta con la prueba SIAAM (Sistema de Assessment para los Aspirantes a
Maestro) para medir el aprendizaje estudiantil en este nivel. En las mediciones indirectas a nivel
3
institucional (todas son mediciones internas), la UNE cuenta una batería de cuestionarios de
satisfacción u opinión estudiantil, indicados a continuación: el cuestionario de assessment final
de curso, estudio de candidatos próximos a graduarse, estudio de necesidades estudiantes de
nuevo ingreso, estudio de necesidades de estudiantes de segundo año en adelante, estudio de
persistencia, estudio de necesidades de estudiantes atletas, cuestionario de satisfacción de
servicios nocturnos, cuestionario de satisfacción de los estudiantes con los servicios del CREE
(Centro de Recursos para la Excelencia Educativa), cuestionario de satisfacción de los servicios
estudiantiles, assessment de los centros universitarios, encuesta de satisfacción estudiantil,
estudios de patronos y estudio de egresados.
En el nivel de programa o programático, la UNE cuenta con mediciones directas en los cursos
Capstone y mid point como son: simulación de BUSI 499; rúbrica de proyecto de CAPP 400;
rúbrica de Portafolio de OFAS 222; rúbricas de práctica para los programas de gerencia,
mercadeo, contabilidad, sistemas de oficinas de la IEN Business School; prueba de estudios
graduados para las maestrías de IEN Business School; rúbrica de laboratorio de CHEF 107 (Mid
point para grado asociado y bachillerato en artes culinaria); prueba CHEF 107 (Mid point);
rúbrica para Restaurant Management CHEF 452 (Capstone bachillerato en artes culinarias);
Rúbrica para ejecución en CAPE 404 (Capstone de programa de eventos y convenciones);
rúbrica para portafolio de CAPE 404 (Capstone de programa de eventos y convenciones); rúbrica
de prácticas del programa de artes culinarias (ITHM 231 y 210) y hospitality management
(ITHM 250) de la International School of Hospitality and Culinary Arts (ISHCA); rúbrica para
portafolio de práctica docente de los programas de preparación de maestros; prueba de Educ 171;
prueba PIASSE II (componente profesional para los programas de preparación de maestros);
rúbricas para las prácticas docentes de los programas de preparación de maestros; prueba
4
SIAAM (componente profesional para los programas de preparación de maestros); rúbrica para
portafolio de las prácticas del programa de justicia criminal; rúbrica de estudio de caso para
curso Capstone del programa de justicia criminal subgraduado; rúbrica de investigación del
programa de justicia criminal sub graduado; rúbrica de examen de grado para maestría en justicia
criminal; rúbrica para el componente de investigación en maestría de trabajo social; rubricas de
prácticas en maestría de trabajo social; rúbrica para estudio de caso en la maestría de trabajo
social; examen de grado en la maestría de trabajo social; rúbrica de ejecutoria clínica en
enfermería; rúbrica de investigación en enfermería, rúbrica de estudio de caso clínico de
enfermería; prueba análoga a la reválida de enfermería o mock test; pruebas institucionales en
cursos Capstone Phar 251 y 252; prueba mid-point para el curso Phar 233; la prueba mock de la
reválida de técnico de farmacia; las rúbricas de práctica en los cursos Phar 256 y 257; rúbrica de
portafolio de práctica de técnico de farmacia; rúbrica de portafolio en el seminario Phar 258; la
prueba Mid point en el curso SONO 235; la prueba análoga a la reválida de sonografía, la
prueba análoga de la reválida del grado asociado en tecnología radiológica; las rúbricas de las
prácticas del grado asociado en tecnología radiológica; Rubrica para proyecto de Capstone
ETAP 300 del grado asociado en ingeniería de tecnología electrónica; Prueba comprensiva de
Capstone EETP 212 del grado asociado en ingeniería de tecnología electrónica; Rúbrica para la
molécula mascota mid-point CHEM 351; Prueba de laboratorio mid-point BIOL 206; Rúbrica
para libreta de laboratorio Capstone BIOL 395. En el componente de educación general de la
UNE la prueba PIASSE I, permite evaluar el logro de los aprendizajes de los estudiantes en el
dominio de las áreas que lo constituye. A sí mismo la UNE cuenta con dos mediciones del
aprendizaje en el componente de educación general de los programas de preparación de
maestros. Estas mediciones son las pruebas PCMAS (componente de conocimientos
5
fundamentales y competencias de la comunicación) y la prueba SIAAM (Componente de
conocimientos fundamentales y competencias de la comunicación).
El assessment a nivel de curso recopila evidencias del aprendizaje estudiantil mediante un
informe de curso que el profesor elabora en un formato establecido por la institución (Anejo A,
informe de assessment de curso). Todos los profesores que ofrecen secciones de clases en la
UNE elaboran dicho informe. El mismo provee información sobre el logro de los objetivos del
curso, las herramientas de assessment que el profesor utilizó, las acciones que tomo el profesor
para atender las necesidades de aprendizaje identificadas en el assessment y las recomendaciones
del profesor para mejorar el curso, entre otras (Cierre del ciclo de assessment). La institución
cuenta, además, con mediciones institucionales del aprendizaje en cursos, las mediciones son:
prueba de Biol 203; prueba BIOL 204; prueba Educ 171; prueba para inglés 115; prueba para
inglés 116; prueba para español 115; prueba para español 116; prueba para Math 120; CHEF
116; Phar 210; Phar 211. Estos cursos permiten tener una información adicional para explorar el
aprendizaje de los estudiantes en cursos introductorios del componente de educación general y
del componente profesional de los programas.
IV. Enfoques que conducen la discusión y el análisis de la información de Assessment en
la UNE.
Para escribir este capítulo, se utilizaron preguntas de investigación que permitieron enfocar el
análisis de la información que se presenta. Dichas preguntas delinearon los segmentos de
información que se presentan a continuación.
6
1. Articulación de los procesos de assessment del aprendizaje estudiantil con las metas
y misión institucional.
En la universidad del Este (UNE), el assessment del aprendizaje está dirigido a fortalecer tres
niveles vitales de assessment: institucional, programático y de curso. Cada nivel representa una
manera particular de recopilar información y responde a propósitos diversos, que se integran para
evidenciar el aprendizaje de los estudiantes y el cumplimiento de la misión institucional.
El modelo de assessment de la UNE (Anejo B: modelo de assessment de la UNE) y los planes de
assessment de las escuelas (Anejo C: planes de assessment de las escuelas), revelan las
alineaciones que permiten clarificar la relación entre los constituyentes del assessment en la
institución. El modelo de assessment de la UNE plantea la conceptuación del assessment, la
identificación de las metas de aprendizajes estudiantil o learning goals institucionales, los
niveles en que se sustenta el assessment (Institucional, programático y curso), los procesos que
permiten realizarlo y las estructuras que organizan dichos procesos. De igual forma los planes de
assessment de las escuelas plantean la relación o alineación de la misión institucional con los
learning goals institucionales, el perfil del egresado de los programas académicos program
learning outcomes y los objetivos de los cursos courses learning outcomes. Estos planes
identifican, también, cómo se miden los learning outcomes de los programas como de los cursos,
las técnicas de assessment que se usan, los criterios de éxito o benchmark y el tiempo del proceso
o time frame (Anejo C planes de assessment de las escuelas). El componente de educación
general, también, presenta su plan de assessment que evidencia la alineación de la misión
institucional con los objetivos de aprendizaje del componente de educación general o learning
outcomes, los cursos con sus objetivos, las técnicas de assessment utilizadas y los criterios de
7
éxito o benchmark y el tiempo del proceso o time frame (Anejo D documento de plan de
assessment del CEG).
2. Evaluación y mejoramiento del aprendizaje estudiantil y de los programas
académicos.
Los resultados del assessment en los programas, las escuelas y la institución se analizan en
diferentes instancias. La facultad de las escuelas genera planes de acciones para atender los
resultados del assessment del programa y de los cursos (Anejo E planes de acción de las
escuelas). Estos planes de acción son monitoreados por los coordinadores de assessment de las
escuelas para establecer su cumplimiento (Cierre del ciclo de assessment). A nivel institucional
el comité de efectividad institucional (CEI), discute los resultados del assessment y genera un
plan anual de acciones que permite la atención de estos resultados (Anejo F plan de acción del
CEI). El CEI monitorea el cumplimiento de las acciones de este plan para establecer su
cumplimiento. En estos procesos se refleja la toma de decisiones a nivel de cursos, programas,
escuela e institucional, lo cual evidencia el cierre del ciclo de assessment o Closing the loop. Al
cerrarse el ciclo del assessment se puede observar el mejoramiento del aprendizaje estudiantil o
el mejoramiento de procesos. Algunos ejemplos del uso de los resultados del assessment en la
UNE para mejoramiento son:
a. Después de analizar los resultados de las pruebas de Español e Inglés 115 y 116, los
resultados de la prueba PIASSE y los resultados de las pruebas de matemática, se
estableció un Comité para revisar el Componente de Educación General 2011-2012-2013.
b. Por los resultados en las PCMAS, se creó una comisión permanente del SUAGME. La cual
puso en práctica diversas acciones (Anejo G: Orden ejecutiva de PCMAS) que
8
contribuyeron al mejoramiento de la ejecución de los estudiantes en las reválidas de los
programas de preparación de maestros en los últimos tres años.
c. Se constituyó un curso de repaso en el que se ofrecen talleres para los candidatos a
graduación. Esta acción contribuyó al mejoramiento de la ejecución de los estudiantes en
el mock test del programa asociado en tecnología radiológica y en la prueba de reválida de
este programa.
d. Se enviaron a dos profesores a Estados Unidos para capacitarse en el uso de la simulación
para el curso BUSI 499. Estos profesores capacitaron, a su vez, a los profesores que
ofrecen el curso en el campus principal y en los centros universitarios. Estas acciones
permitieron el uso de la simulación en todos los ofrecimientos del curso en la UNE.
e. Los resultados de las pruebas de inglés, español y matemáticas, generaron las revisiones
curriculares en dichos cursos.
f. La revisión curricular del componente de educación general, obedece a los resultados de las
pruebas de inglés, español, matemáticas y la prueba PIASSE I.
3. Evaluación de programas académicos
La evaluación de los programas académicos es una actividad fundamental en el assessment
programático. Mediante esta práctica se mejoran los programas y se determina su eficiencia en
todos sus aspectos. En este proceso de assessment se utiliza como fuente de información a los
profesores, estudiantes, egresados y miembros de la comunidad, además de los documentos
relacionados con este tipo de assessment. Se han revisado en los últimos cinco año los siguientes
programas académicos: Justicia Criminal, Microbiología, ingeniería electrónica, Biología,
Educación Pre-escolar, Educación Física, Maestría en Currículo y Enseñanza de Español,
Gerencia, Mercadeo, Contabilidad, Radiología, Enfermería, Técnico de Farmacia, Artes
9
Culinarias, “Hospitality” y Gerencia Culinaria. (Anejo H – Calendario de evaluaciones de los
programas). En estas evaluaciones se utiliza una guía sistémica de evaluación de programas que
permite la organización de este proceso (Anejo I- Guía de evaluación de programas sistémico).
Los resultados de esta evaluación permiten elaborar planes de acción para atender las
necesidades identificadas (Anejo J –planes de acción de la revisión de programas).
Los siguientes, son algunos ejemplos en los que se utilizaron los resultados de la evaluación de
los programas académicos para mejorar los mismos.
a. Después de realizar la evaluación del programa de bachillerato en gerencia y mercadeo se
decidió implantar la simulación de Busi 499 para explorar el desarrollo de las competencias
del perfil del egresado.
b. Con la revisión de los programas de preparación de maestros, se sistematizó en una
plataforma electrónica Web Surveyor la administración de las rúbricas de las prácticas
docente.
c. Como producto de la evaluación del programa asociado en artes culinaria, bachillerato en
gerencia culinaria y el bachillerato en hospitality manegement se construyó y estandarizó la
administración de la prueba para el curso introductorio de CHEF 116, la prueba de CHEF
107, la rúbrica para el laboratorio de CHEF 107; la rúbrica para el curo de CHEF 452, la
rúbrica para el curso capstone CAPE 404 y el montaje de las rúbricas de prácticas en la
plataforma Web Surveyor.
d. Atendiendo los resultados de la evaluación del programa de enfermería, se construyeron y
estandarizó las rúbricas de ejecutoria clínica, estudio de caso clínico, presentación oral,
trabajos escritos e investigación.
10
e. Se atendieron los resultados de la evaluación del programa asociado en técnico de
farmacia, generando y administrando el mock test de la reválida. De igual forma, se creó un
curso de repaso para preparar a los candidatos a graduación para la reválida.
4. Recopilación, análisis, diseminación, discusión y uso de los resultados del assessment
para mejorar la enseñanza, el aprendizaje y la toma de decisiones.
La UNE recopila los resultados de assessment de manera sistemática en tres niveles
simultáneamente: institucional, programático y en los cursos. La información que se recopila
en estos tres niveles permite el análisis y ulterior discusión de los resultados para la toma de
decisiones en la institución con el propósito de mejorar el aprendizaje, la enseñanza, los servicios
de apoyo y servicios de planta física. El proceso de assessment en la UNE utiliza diversas
técnicas para recopilar los datos. Se recopila información con rúbricas, pruebas estandarizadas,
reválidas, mock test de reválidas, encuestas, simulaciones, portafolios, entre otras
(http://www.suagm.edu/une/assessmentTecnicas.asp). En el mismo sentido, la UNE coordina
con el SUAGM la administración de encuestas de opinión y satisfacción para monitorear los
procesos institucionales, las fechas de administración de estas encuestas están contempladas en
un calendario sistémico (Anejo K: Calendario de estudios institucionales del SUAGM).
En otro aspecto, la diseminación de los resultados de assessment se lleva a cabo por varias vías.
La página de assessment de la UNE contiene gran parte de la información sobre: el modelo de
assessment de la UNE, las técnicas de assessment que se utilizan, los resultados en un
dashboard, todo lo relacionado con el assessment de las escuelas (planes de assessment,
resultados en un dashboard, planes de acciones, entre otras), información sobre assessment de
los servicios de apoyo (planes de assessment, resultados, planes de acciones), planes de acciones
del CEI, formato de informe de assessment de cursos, los planes de acción de los centros
11
universitarios, entre otra información (http://www.suagm.edu/une/assessment.asp). La
vicerrectoría de assessment de la UNE presenta anualmente información relacionada con el
assessment a la facultad y administradores de la UNE en la reunión de inicio de año (Anejo L:
lista de asistencia de las reuniones de inicio de año). Los coordinadores de assessment de las
escuelas informan a la facultad, en reuniones de las escuelas, los resultados del assessment y el
monitoreo de los planes de acción de la escuela (Anejo M: hojas de asistencia, actas de reuniones
de las escuelas). En el mismo sentido, el vicerrector de assessment informa al rector las
necesidades del assessment en un informe anual (Anejo N: informes de necesidades para rector).
Los vicerrectores de assessment de las instituciones del sistema universitario Ana G. Méndez,
discuten los resultados de assessment de sus instituciones en comités sistémicos, como la
comisión permanente de PCMAS (Anejo O: actas de las reuniones de la comisión permanente de
PCMAS). El vicerrector de assessment, también, presenta los resultados de assessment a la junta
asesora del rector, en dicha reunión los integrantes de la junta se orientan sobre los procesos de
assessment de la UNE (Anejo P: Acta de las reuniones y hojas de asistencia Junta asesora del
rector) Los resultados del assessment se presentan al rector en reuniones de su equipo directo
(Anejo Q: Acta de reuniones del equipo directo del rector). El vicerrector de assessment informa
en los centros universitarios sobre los resultados del assessment, lo que permite elaborar planes
de acción (Anejo R: Listas de asistencia de la presentación de resultados en los centros
universitarios). Otras de las formas de diseminación del assessment es la generación y envío del
boletín denominado “assessment informa”, el cual se difunde a toda la comunidad universitaria
por vía electrónica y está disponible en la página de assessment (Anejo S: copia del boletín de
assessment). Además, de la presencia de la dirección electrónica de la página de assessment en el
12
boletín que se entrega a los prospectos de la une en el proceso de ofrecimiento de los programas
académicos en las escuelas de Puerto Rico (Anejo T: copia del boletín de admisiones).
El uso de los resultados del assessment y la posterior toma de decisiones está evidenciado en los
planes de acciones del CEI, planes de acción de las escuelas, planes de acciones de los centros
universitarios y planes de acciones de las oficinas de apoyo “Cierre del ciclo de assessment”
(http://www.suagm.edu/une/assessment.asp)
5. Incorporación de los resultados del assessment en la revisión de planes, plan
estratégico y la priorización de los recursos en procesos logísticos (planta física)
La UNE incorpora los resultados del assessment en la renovación del plan de trabajo
institucional, en los planes de trabajo de las escuelas y en las unidades de servicio. La oficina de
planificación institucional, anualmente, envía un grupo de documentos a todas las unidades
académicas y de servicio para realizar el proceso de elaboración de los planes de trabajo. Uno de
los documentos enviados por la oficina de planificación es la lista de necesidades identificadas
por el assessment. Esta lista de necesidades, además de las guías estratégicas, los vectores
sistémicos estratégicos, las metas institucionales y el formato de los planes de trabajo son los
elementos que nutren la elaboración de los planes de trabajo (Anejo U: Guía de planes de
trabajo). Estos documentos sirven a las unidades mencionadas para articularlos con sus objetivos
y actividades. A nivel institucional, se integran los planes de trabajo de las unidades académicas
y de servicio en el plan de trabajo institucional. Este plan de trabajo institucional también, es
revisado por el comité de efectividad institucional “CEI” para monitorear que los resultados de
assessment sean incorporados. El CEI tiene la potestad de integrar en el plan de trabajo
institucional los resultados de assessment que no fueron incluidos en este proceso, si así lo
considera pertinente.
13
Es importante señalar que, los resultados del assessment se usan para mejorar de infraestructura
física y tecnológica, mejorar el ambiente institucional y la calidad de los servicios de apoyo a la
docencia. Tanto las unidades de planta física, recursos de información y las unidades que
ofrecen servicios de apoyo presentan indicadores de efectividad que son explorados en el
assessment. Esta exploración de assessment identifica necesidades que se atienden con acciones
incluidas en el plan de acción de CEI y en los planes de las unidades mencionadas (Anejo F: plan
de acción CEI). El monitoreo del plan de acción del CEI se realiza periódicamente para asegurar
el cumplimiento de sus actividades. Algunas acciones relacionadas con la infraestructura física y
tecnológica son: mejoramiento de los estacionamientos, adquisición de sillas para estudiantes
zurdos y estudiantes obesos, construcción de edificio para los estudiantes graduado, ampliación
de zonas de disfrute del tiempo libre, construcción del gimnasio, plan de acción para
mejoramiento de servicio de la cafetería, conversión de salones a e-classroom, adecuación de
sala de reuniones de las escuelas de Ciencias Sociales y Humanas y Ciencia y tecnología,
renovación de computadoras, compra de programados, actualización de colecciones
bibliográficas, entre otras (Anejo F: plan de acción del CEI).
6. Efectividad institucional al usar los resultados del assessment en la toma de
decisiones para cumplir con las metas y la misión institucional.
El modelo de la UNE provee el mecanismo para evidenciar el cumplimiento de la misión
institucional mediante la utilización de los indicadores de efectividad institucional. Los
anteriores indicadores son producto de consultas internas que se realizan en las diferentes
unidades de la institución y con comparación que se hacen con otras instituciones de educación
superior. Los indicadores están alineados con: la misión, las técnicas de recopilación de
información y criterios de éxito. Los indicadores establecidos en la UNE son los siguientes,
14
ambiente en el campus, satisfacción estudiantil, tasa de retención, tasa de graduación,
satisfacción de los egresados, tasa de empleabilidad, aprendizaje estudiantil, satisfacción de la
facultad, satisfacción de los patronos y satisfacción de los asociados.
La Universidad del Este cuenta con un Comité de Efectividad Institucional. Este comité tiene
como función principal discutir las necesidades que surgen de los procesos de assessment y
elaborar los planes de acción de mejoramiento institucional. El comité realiza un ejercicio de
alineación que establece la relación entre la misión y las metas institucionales con los
indicadores, instrumentos de recopilación de información, criterios de éxito y resultados. Esta
alineación permite identificar el logro de los indicadores de efectividad con la información
recopilada en el assessment. A la luz de los resultados se identifican acciones que atienden el
logro de los indicadores. Otra de las funciones del CEI es identificar fondos o recursos
económicos disponibles para atender las acciones que emergen de las necesidades identificadas
en el assessment y que están contempladas en el plan de acción del CEI.
La UNE es efectiva al utilizar los resultados del assessment en la toma de decisiones y en el
cumplimiento de su misión y metas institucionales. La vicerrectoría de assessment elabora
anualmente una matriz de cumplimiento de la misión en la que se articula la misión, las metas
institucionales, las técnicas de assessment y los benchmarks o criterios de éxito (Anejo V: matriz
de cumplimiento de misión). De igual forma, los planes de acción del CEI (Anejo F: planes de
acción del CEI) evidencian la toma de decisiones a partir del uso de los resultados del
assessment como una acción institucional que busca el mejoramiento de los procesos. En el nivel
de programas y de cursos, los planes de acciones de las escuelas y del componente de educación
general (Anejo E: planes de acción de las escuelas y Anejo X: plan de acción del CEG)
evidencian el uso de resultados de assessment para el mejoramiento continuo. Las unidades de
15
servicio de apoyo también presentan planes de acción (Anejo Y: planes de acción de la oficina de
deportes, Anejo Z: CREE, Anejo A1: división nocturna), los cuales contemplan el uso de los
resultados del assessment para mejorar los servicios y de esta forma contribuir con el logro de la
misión institucional.
Acciones como la revisión del componente de educación general (Anejo X: Plan de acción
CEG), construcción del edificio de Título V graduado, mejoras en edificios de los centros,
revisiones curriculares (transformaciones de los cursos de inglés, español y matemáticas,
generación de cursos de repaso en grado asociado y bachillerato de enfermería, grado asociado
en radiología, programa de preparación de maestros, técnico de farmacia, entre otros), son
ejemplos del uso de los resultados del assessment en el mejoramiento de procesos y
cumplimiento de las metas y misión institucional.
V. Análisis de fortalezas y retos
A continuación se mencionan las fortalezas y retos que emanan de este capítulo.
1. Fortalezas
Las fortalezas del proceso de assessment en la UNE son el producto de muchos esfuerzos de toda
la comunidad universitaria en más de diez años. La implantación del modelo permitió generar
una cultura de assessment que actualmente presenta las siguientes fortalezas:
Se evidencia el cierre del ciclo del assessment en la UNE, mediante la existencia de
planes de acciones en las escuelas, en el componente de educación general, en las
unidades de apoyo y en la institución (CEI). El porcentaje de logro de las actividades de
cada plan de acción refleja la efectividad del monitoreo de los mismos. Los porcentajes
de logro sobrepasan el 75% de cumplimiento, los cuales se consideran altos.
16
La medición de la misión institucional se ilustra con una matriz. Dicha matriz evidencia
claramente la transparencia en la relación entre la misión, las metas institucionales,
indicadores de efectividad, medición, criterios de éxito, resultados y acciones tomadas.
La existencia de un modelo de assessment comprensivo en la UNE permite conceptuar el
assessment en la UNE e ilustra: las relaciones existentes entre la institución y el
SUAGM, las metas de aprendizaje de la UNE, los indicadores de efectividad
institucional, las medidas directas e indirectas de assessment, entre otras características.
La existencia de planes de assessment en las escuelas, en los programas académicos y en
el componente de educación general permiten conocer cómo se realiza el assessment en
estas unidades académicas.
Existen planes de acción en los centros universitarios que evidencian el uso de los
resultados del assessment.
Existencia de planes de assessment en unidades de servicio como: vicerrectoría de
asuntos estudiantiles, vicerrectoría de retención, vicerrectoría auxiliar de becas e
internados, vicerrectoría de recursos de información y vicerrectoría nocturna y de fines de
semana. En estos planes de assessment se conceptualiza el assessment en estas unidades,
se identifican los indicadores de efectividad, las técnicas de assessment que se usan y los
criterios de éxitos para explicar los resultados.
Las mediciones de las metas de aprendizaje institucional se facilitan mediante la
alineación de las metas de aprendizaje institucional con los objetivos de aprendizaje de
los programas académicos y de los cursos. La mencionada alineación permite el uso de
técnicas de assessment para recopilar la información.
17
En la actualidad existen mediciones del aprendizaje estudiantil en los cursos capstones en
la gran mayoría de los programas académicos. Estas mediciones sirven para identificar el
grado de cumplimiento con los objetivos de aprendizaje del perfil del egresado de los
programas académicos.
La construcción y administración de las pruebas análogas a las revalidas de los
programas de la UNE. Se administran de forma estandarizada en el recinto de carolina y
los centros universitarios donde se ofrecen los programas. Las pruebas análogas a las
revalidas son: mock de enfermería, mock de radiología, mock de técnico de farmacia,
mock de sonografía.
Adquisición y administración de la prueba análoga a las revalidas de los programas de
preparación de maestros. Esta prueba recibe el nombre de prueba SIAAM (Sistema de
assessment para los aspirantes a maestro). Esta prueba la genera College Board de
Puerto Rico y América Latina y se administra anualmente.
Adquisición de la prueba análoga a la prueba de reválida de Estados Unidos para el
programa de radiología. Esta prueba cuenta, además, con un banco de preguntas de
práctica para los estudiantes.
Construcción y administración de una batería de pruebas institucionales estandarizadas en
los cursos de inglés 115, inglés 116, español 115, español 116, CHEF 116, Math 120,
Educ 171, CHEF 107, EETP 212.
Construcción y administración de la prueba estandarizada PIASSE I (Prueba Institucional
de assessment). Esta prueba mide los aprendizajes de los estudiantes en las áreas del
componente de educación general.
18
Uso de la simulación electrónica en el curso BUSI 499. Esta simulación permite conocer
el logro de los objetivos del perfil profesional del egresado de la IEN Business School.
Además permite comparar la ejecución de los estudiantes con benchmarks externos.
Uso de la plataforma electrónica websurveyor en:
o la recopilación de los datos de evaluación de las prácticas de los programas de
preparación de maestros, el programa de bachillerato y el graduado de trabajo
social.
o la recopilación de datos de la evaluación de los mentores de los internados de los
estudiantes de la UNE.
o la administración de las pruebas institucionales español 115, español 116, inglés
115, inglés 116, PIASSE I, CHEF 116, math 120.
o la administración de las pruebas mock de radiología, mock de farmacia, mock de
enfermería.
Adquisición y administración de la prueba comprensiva para los estudiantes de los
programas graduados de la IEN Business School. Además permite comparar la ejecución
de los estudiantes con un benchmark externo.
Divulgación de la información de assessment (Conceptuación, resultados, planes de
acción, procesos, técnicas de assessment que se usan) en la página web de la
Vicerrectoría de assessment de la UNE. Se divulga, también, la información de
assessment en reuniones con la facultad, reuniones con la junta asesora del rector, con el
rector, con los administradores, en los centros universitarios, con los estudiantes y en
reuniones a nivel del SUAGM.
19
Realización de los ciclos de evaluación de programas académicos, lo que permite mejorar
los programas.
Estandarización en el uso del informe de assessment de curso en formato electrónico.
Existe una guía sistemática de evaluación de programas académicos.
Se observa mejoría en el aprendizaje de los estudiantes como producto de las acciones
producto del assessment. Ejemplos de esta mejoría son:
o mejoría en la ejecución de los estudiantes de los programas de preparación de
maestros en los tres últimos años en la reválida de maestros en Puerto Rico. Los
resultados evidencian ejecución de los estudiantes de la UNE por encima de la
ejecución de todos los estudiantes que presentaron la reválida en Puerto Rico.
o mejoría en la ejecución de los estudiantes de enfermería de la UNE en la prueba
de reválida de Puerto Rico.
o Resultados de los estudiantes de la UNE en la simulación de BUSI 499. Se
observa que los estudiantes de la UNE ejecutan igual o mejor que el benchmark
de la simulación.
Uso de los resultados del assessment para mejorar la infraestructura física y tecnológica y
servicios de apoyo a la docencia.
2. Retos
Los retos que plantea el assessment en la UNE están relacionados con los siguientes aspectos:
Se debe adquirir una plataforma electrónica que permita recopilar información y generar
informes de assessment en todos los niveles de forma rápida. En los actuales momentos
la institución está desarrollando un proyecto que usa la plataforma Blackboard para
atender esta necesidad.
20
Aumentar las mediciones del aprendizaje en cursos mid point. Estas mediciones serían
útiles para abonar a la información que se recopila actualmente.
Aumentar las mediciones en los programas graduados existentes (programas de
maestría). Actualmente los programas graduados cuentan con diversas mediciones
(Rúbricas de proyectos e investigación, rúbricas de exámenes de grado, rúbricas de
estudios de caso, pruebas de ejecución, entre otras), sin embargo para recopilar una
información más completa es necesario aumentar las técnicas de assessment que se
utilizan.
VI. Conclusiones y Recomendaciones
1. Conclusiones
Las conclusiones que se derivan de este capítulo se sintetizan de la siguiente forma:
La UNE cuenta con un modelo de assessment comprensivo que permite recopilar variada
información del aprendizaje de los estudiantes en todos los niveles.
La UNE cuenta con mediciones indirectas de assessment que permiten conocer las
necesidades, la opinión y satisfacción de los estudiantes para tomar decisiones
correctivas.
Existe múltiple y diversa utilización de técnicas de assessment en la UNE.
La información del assessment se divulga de forma apropiada a diferentes receptores
(facultad, administradores, rector, junta asesora del rector, estudiantes y reuniones del
SUAGM)
Se observa mejoría en los resultados del aprendizaje de los estudiantes después que se
toman acciones correctivas.
21
Existen planes de assessment en todas las escuelas, programas académicas y el
componente de educación general.
Existen planes de assessment en las unidades de apoyo o de servicio.
El cierre del ciclo de assessment se evidencia en el logro de los planes de acción, en los
constituyentes de la institución.
Existe un comité de efectividad institucional (CEI), que se encarga de adjudicar
presupuesto a las acciones que se derivan del assessment.
Existe un proceso sistemático de evaluación de programas académicos.
Existe una clara articulación entre la misión de la UNE con las metas institucionales, los
perfiles de los programas académicos y los objetivos de los cursos.
2. Recomendaciones
Las recomendaciones que surgen del capítulo se relacionan con:
la adquisición y uso de una plataforma electrónica que permita recopilar la información
del assessment y realizar los informes de forma rápida.
Aumentar la cantidad de recurso humano disponible en la vicerrectoría de assessment
para atender las escuelas y los centros universitarios.