Workshop InovAval: Inovação eAvaliação com Tecnologias da
Informação - UFRGS
El Programa de Evaluación
Institucional de la Udelar: 10 años de implementación
A r q. E r n e s t o D o m í n g u e z j u l i o 2 0 0 9
2000 Pautas para la presentación del Informe de Autoevaluación
El Programa de Evaluación Institucional de la Udelar
Desarrollo
Lineamientos para un Programa de Evaluación institucional de la Universidad de la República
CCEI organizó actividades de difusión y formación en la temática
1999 Se aprueba Programa de Evaluación Institucional
1997 Antecedente: Evaluación Area Tecnológica
1998 CDC integró un Grupo de Trabajo
2005 Pautas para la elaboración de la Evaluación Externa
2008 Fin de etapa. Vinculación Evaluación - Acreditación
O b s t á c u l o s p a r a l a E v a l u a c i ó n
“entorpecen el posible emprendimiento de políticas de evaluación institucional un conjunto de circunstancias internas: la INSUFICIENCIA DE MEDIOS E INFRAESTRUCTURAS en condiciones de ser orientadas de manera idónea a la gradual incorporación de la evaluación como un ingrediente sostenido de la operativa universitaria; la ESCASEZ DE PERSONAL ESPECIALIZADO en las tareas, metodologías y técnicas de la evaluación; la CARENCIA DE UN CUADRO NORMATIVO destinado a regular y sustentar jurídicamente la autoridad de los organismos eventualmente responsables de los procedimientos evaluatorios; la SEGMENTACIÓN DE INTERESES competitivos que conviven respaldados en las prerrogativas de los distintos servicios universitarios; la ausencia en muchas zonas del quehacer universitario de una “CULTURA DE LA EVALUACIÓN”, capaz de asegurar el necesario espíritu cooperativo de los actores responsables de suministrar información completa y confiable; la presencia de contextos de RESISTENCIA IDEOLÓGICA anclados en climas culturales tradicionales y sensibilidades rutinarias poco propensas a la renovación de la vida universitaria”. (Landinelli)
Motivos de implantación
Conceptual Rendición social de cuentas y fortalecimiento del crédito
Mejora permanente y mayor transparencia
Oportunidad
Contexto de transformación universitaria
Construcción de un sistema de aseguramiento de calidad
Mayor legitimidad para pedidos presupuestales
Concepción de que no se evalúa por el estado
Estructura
Comisión Central de Evaluación Institucional
Coordinadores por área
Comisiones de Evaluación por área
Comisiones de Evaluación Institucional por Facultad
Comité de Pares Externos.
Conceptos
CALIDAD
“a) La calidad de la enseñanza superior es un concepto pluridimensional que debería comprender todas sus funciones y actividades: enseñanza y programas académicos, investigación y becas, personal, estudiantes, edificios, instalaciones, equipamiento y servicios a la comunidad y al mundo universitario. Una autoevaluación interna y un examen externo realizados con transparencia por expertos independientes…” Declaración de la Conferencia Mundial sobre la Educación Superior. UNESCO. París. 1998
Características
ContextualizadoVoluntarioAutorreguladoPeriódicoParticipativoNo punitivoIntegral
Unidad de análisis: las facultades
Autoeval., eval.externa, plan de mejoras
Dimensiones y lineamientos(no indicadores)
Evaluación externa: pares académicos(propuestos por la facultad)
El Programa de Evaluación Institucional de la Udelar - 2009
Area Autoevaluación
Evaluación Externa
ENBA Si Si
EM Si Si
Agronomía Si Si
Veterinaria SI SI
FCS Si Si
HCE Si Si
FCEA Si Si
Derecho No No
Química Si Si
Arquitectura Si Si
Ingeniería Si No
Ciencias No No
Odontología Si Si
Enfermería Si Si
Psicología Si Si
Nutrición Si En proceso
Medicina No No
Comisión Sectorial
Autoeval. Evaluación Externa
EnseñanzaCSE
Si Si
Investigación
CSIC
Si Si
ExtensiónCSEAM
Si Si
GestiónCSG
Si Si
PLEDUR Si Si
7 componentes
7 componentes 1 etapas / modelo
“No debe haber un molde único en que todas las instituciones quepan igualmente. Cada institución universitaria debe buscar establecer, con toda claridad y con el máximo grado posible de acuerdo interno,…..cuál es la identidad que quiere construir y cuáles son los compromisos sociales que de una forma determinante quiere cumplir para justificar públicamente su existencia. …” Días Sobrinho
M o d e l o
• Caracterizado por la forma de gestión de la institución
• Objetivo: mejora de la calidad y rendición de cuentas
• Sin consecuencias directas. Construcción de un plan de mejoras
• Libre – autorregulado por cada facultad. Cada institución construye su modelo para la emisión de juicios de valor.
• Evaluación de objetivos, de insumos, de procesos. Los impactos no aparecen claramente determinados
generación de la estructura
definición del equipo técnico
formulación del plan de trabajo (difusión, validación, responsabilidades, estrategias)
definición de dimensiones, criterios, indicadores y fuentes
formulación de una estrategia de construcción de la información
definición de una estrategia e instrumentos para la participación
definición de dispositivo para la redacción del informe
preparación de la evaluación externa
plan de mejora
efectos del proceso
D i s e ñ o d e u n P r o g r a m a
7 componentes
las autoridades
2
TONO DEL PROCESO
COMPROMETIDO vs. FORMAL
CON PERSPECTIVA vs. PARA SALVAR
LIDERAZGO
CONVENCIMIENTO
“son las propias universidades las que deben tomar la
iniciativa de poner en marcha el proceso” ¿ ?
FUNCION
7 componentes
la información
3
LA INFORMACIÓN DEBER SER
Debe dar cuenta de lo que se afirma “me parece…” no es una fuente válida
Precisa
Pertinente
Útil
Suficiente
Temporal
Ilustrar los items fundamentales“Nuestra carrera es muy particular”
No convertir al proceso en una búsqueda de datos
Información como series y contextualizada en el tiempo
Con algún sentido
TIPO DE INFORMACIÓN
cualitativa y cuantitativa
registro de actividades y resultados
desagregación de lo micro a lo macro
Importancia a los procesos y a los resultados
estos procesos no trabajan sobre lo micro (evaluar un profesor, una materia, etc), ni en niveles macro (la política educativa, el sistema de educación), por lo que nos manejamos en niveles de desagregación intermedios.
Equilibrado e integral
LOS DATOS
dificulta la percepción de lo relevante
condena a la evaluación al subjetivismo puro
FALTA O IMPRECISIÓN
EXCESO (DATOS O INSTRUMENTOS CUANTITATIVOS)
reduce la evaluación a lo tecnocrático
“reduccionismo del objetivismo”
LA INFORMACIÓN ES UNO DE LOS PRINCIPALES ESCOLLOS
banco de datos para ADMINISTRAR versus para PLANIFICAR
destruir “la profecía autocumplida”,
(el hecho de buscar la información de acuerdo a ”lo que ya se que va a decir el informe”. )
LA CONSTRUCCIÓN DE LA INFORMACIÓN ES PARTE DE LA INVESTIGACIÓN
7 componentes
la participación
4
OBSTACULOS
temor punitivo a cualquier proceso de evaluación
divergencias en torno al concepto de calidad
intereses competitivos
ausencia de cultura de la evaluación
miedo a la pérdida de autonomía versus fortalecimiento de la autonomía
•Participación en cantidad pero también en cualidad
• Abandonar la construcción del asambleísmo masivo
• Componer la participación por diversidad y cruces
• Una tarea es pensar, construir, e inventar formas de participación.
“No hay proceso sin participación”¿cuál es una participación que valida la autoevaluación?
“….En épocas de fuerte retracción de la participación ciudadana y de desconfianza fundada en las instituciones más tradicionales, si se desea realmente invertir la tendencia, será necesario no solo abrir el espacio desde el diseño del proyecto de autoevaluación, sino también en no pocas oportunidades, la tarea pasará por convencer a los sujetos de la importancia y valor de su palabra, así como garantizar con hechos concretos el respeto a sus ideas e interpretaciones.”
SUJETOS DE LA EVALUACIÓN
“el punto de partida fue definir al interior de los grupos universitarios,
que el proyecto era de ellos, y que por lo tanto, eran ellos quienes
debían tener el poder de las decisiones” (Lic. Susana Celman)
7 componentes
equipo técnico
5
REQUERIMIENTOS
¿Es la autoevaluación un trabajo de especialistas?
recursos humanos con un cierto saber teórico o experimental en la temática
recursos de la propia institución, quetrabajen como “sujetos políticos” paraconstruir un ambiente que garanticeprácticas democráticas
Necesidad de trabajo técnico –administrativo especializado
Acceso a asesoramientos“especializados”
¿Quién coordina el proceso de evaluación?
COORDINADORdebe conocer la temática
y su instrumentación
de la institución
• mayor conocimiento de la institución
• implicancia en los juicios• relaciones interpersonales
externo a la institución
• mirada “descontaminada”• validación de su “saber”• mayor respeto frente a obligaciones y derechos
LA COORDINACIÓN
7 componentes
el informe6
CARACTERISTICAS
Tecnico
Representativo
Analítico
Equilibrado
Realista
DESVIACIONES
COHERENCIA VS PARTICIPACIÓN Y DIVERSIDAD
AUTOCOMPLACENCIA VS VICTIMIZACIÓN
CONOCIMIENTO VS RELEVAMIENTO
¿Hubo producción de conocimiento?
7 componentes
comparabilidad7
DESVIACIONES
RANKINGS VS APRENDIZAJE
7 + 1
final
FINAL
obstáculos enfrentados
carencia de un cuadro normativo
segmentación de intereses
“cultura de la evaluación”
resistencia ideológica
escasez de personal especializado
insuficiencia de medios e infraestructuras
FINAL
Incorporación a la agenda
Respaldo a autoridades
Planes de mejora en todos los servicios
Impulso de transformaciones educativas concretas
Mejora de infraestructura y procedimientos
resu
ltado
s
¿Puede transformarse en un sistema de aseguramiento de la calidad?, ¿un nuevo “contrato Estado – Udelar”?
¿La evaluación como patrimonio de las universidades, hasta donde es voluntaria?
Es necesario un proceso sin castigo, y ¿sin incentivos ?
¿Como evitar procesos simplistas?¿Como lograr sinceramiento en los procesos?
¿Cómo trascender la mirada autorreferenciada de la academia?
¿Alcanza con el proceso para garantizar calidad, o es necesario avanzar en la medida de resultados y de efectividad en los objetivos?
¿Qué definimos por participación?
¿Cómo lograr un equipo técnico y recursos humanos en los servicios?
¿Cómo desarrollar bancos de datos e instrumentos de manejo de la información adecuados y de uso flexible?
FINAL
F I N A L
final