II Jornadas de Presidentes de Comisiones de Doctorado de Universidades Españolas

Mesa redonda: Evaluación de la primera convocatoria de la Mención de

Calidad en Programas de Doctorado

URV, Tarragona, 3/11/2003

Ponente:

Pere BotellaPresidente del Comité de Evaluación de

Enseñanzas Técnicas

Tema: evaluación de los criterios A

Antes de entrar en el criterio A, algunas consideraciones generales

• La ponderación de los criterios y el procedimiento de evaluación fueron aprobados en reunión de los presidentes de los comités con el responsable del Programa y publicados posteriormente en la web.

• Las comisiones han analizado estrictamente la documentación presentada, quedando explícitamente prohibido el acceso a cualquier otra fuente. La causa de muchas evaluaciones bajas se encuentra en una documentación incompleta o deficiente.

• Un hecho constatable fue que el formulario de la solicitud no se adaptaba bien a los criterios. No analizo el hecho, pero si su consecuencia: complicar la vida a las universidades, y al trabajo de las comisiones. Este hecho generó ciertas carencias de información.

• Las comisiones podían percibir una notable diferencia entre aquellas solicitudes que se habían redactado teniendo en cuenta los criterios de evaluación, de aquellas que se limitaban a aportar la información que demandaba el impreso de solicitud.

Consideraciones sobre el Criterio A: Antecedentes

A.a – Historial

- En general, mal explicado, poco cuidado, con referencias del tipo “ver CV’s”. Grupos muy reconocidos que no aportan esta información, o la aportan mal

- No se suele mencionar la experiencia docente en doctorado

- Investigadores muy buenos en grupos grandes, con otros no tan buenos, pierden peso al promediar

A.b – Publicaciones derivadas de las tesis

O bien estaba explícito (p.ej., Tesis X, publicaciones de X, Tesis Y, publicaciones de Y, etc.), o era imposible de evaluar

A.c – DEA

Se pedía un porcentaje, en cambio la información aportada era variopinta (listas de nombres o datos de difícil comprensión)

A.d – Núm, de tesisObvio

A.e – Doctorado EuropeoObvio, sin embargo muchas universidades no lo contemplan

A.f – Núm. Becarios y profesoresAusente en muchas solicitudes. Si se explicitaba, se tuvo en cuenta

A.g – ConveniosSólo se tenían en cuenta si se mencionaba o explicitaba el programa de doctorado

A.h – Mecanismos de seguimientoCriterio con un alto porcentaje de fracaso. Debemos ser conscientes que en loscriterios para la acreditación, los resultados de los titulados cuentan mucho. Demodo que este criterio da una pista a las universidades para que implementenestos mecanismos de seguimiento

Ponente:

Ana I. FernándezPresidente del Comité de Evaluación de

Ciencias Sociales y Jurídicas

Tema: evaluación de los criterios B

Criterios referidos a la propuesta del programa: criterios B

En el manual de procedimiento la consideración de estos criterios se realiza en dos bloques. El primero, bloque A, referido a la articulación y contenido del programa de doctorado y el segundo, criterios B, C, D, E, F, y G, relacionados con el historial docente e investigador de los profesores que imparten el mismo y con las características del programa en cuanto a su colaboración con otros departamentos o universidades así como la financiación de que dispone y el informe que la Comisión de doctorado de cada universidad emite sobre el programa. Estos criterios son:articulación y coherencia de los contenidos y estructura general del programa. En este apartado se considera:•La claridad y precisión con la que el título que anuncia el programa describe su contenido.•La justificación de la pertinencia del programa y si los fines del mismo están basados en análisis previos de la realidad y de las necesidades existentes más allá del ámbito universitario

•La claridad con la que los fines y metas perseguidos por el programa están definidos y son expresados.•La claridad con que los objetivos pedagógicos particulares de cada curso o seminario son formulados.•La correspondencia entre los contenidos de cada curso y los objetivos generales del programa.•El desarrollo del programa de suficientes cursos o seminarios acordes con la línea de investigación de los distintos doctorandos. •La adecuación de los contenidos de los cursos en extensión y profundidad a los créditos asignados•La coherencia entre la metodología de enseñanza-aprendizaje y los objetivos pretendidos y si ésta permite la activa participación de los estudiantes•La claridad en la definición de los criterios de evaluación. B) Afinidad del contenido con las líneas de investigación de los profesores que lo imparten. Se valoran las líneas de investigación y la producción científica de los profesores durante los últimos cinco años y sus adecuación a los contenidos

del curso o seminario propuesto.

C) Historial docente e investigador de los profesores que imparten el programa. Se valora la experiencia docente en programas de doctorado que por termino medio posean los profesores y las publicaciones de los resultados de investigación de los profesores en revistas, libros u otros medios de reconocido prestigio internacional.

D) Participación de otros grupos o departamentos de la misma o de otras instituciones de Educación Superior tanto nacionales como extranjeras. E) Estimación razonada del número de alumnos de otras universidades distintas de la responsable del programaF) Financiación procedente de otras entidades públicas o privadasG) Informe de la Universidad o Institución que avale el Programa Las ponderaciones de cada uno de estos apartados es la siguiente:A) Contenidos programa: 24%B)+C) Líneas de investigación e historial docente: 16%D)+E) Programas interuniversitarios e interdepartamentales así como presencia de alumnos de otras universidades 12%F)+G) Financiación e informe de la Comisión de doctorado: 8%

Total Criterio 60%

Ponente:

Vicente HernandisPresidente del Comité de Evaluación de

Ciencias Experimentales

Tema: garantías del método de evaluación

• Esta ponencia tiene por objetivo mostrar que el método de evaluación posee garantías, y que los resultados que se han obtenido finalmente son debidos al contenido de las solicitudes, y no al método de evaluación utilizado.

• Las Tablas 1 y 2 muestran la distribución de las calificaciones dadas (Excelente, bueno, regular y deficiente) para los conjuntos de criterios A y B respectivamente, para el conjunto de los 906 programas. En ellas se puede apreciar que dichas calificaciones se distribuyen de forma relativamente homogénea en la mayoría de los criterios, mientras que en algunos se aprecia un sesgo claro hacia el deficiente. Esto es especialmente significativo en los criterios Ae (doctorado europeo, que no está implantado en muchas de nuestras universidades), Be (nº de alumnos procedentes de otras universidades, dato que no estaba incluido en la solicitud) y Bf (financiación externa, que en general está poco implantada en nuestros programas). No obstante, el peso estadístico de estos tres criterios en la evaluación es bajo. Cabe señalar en este punto que, de los 15 criterios utilizados, más de la mitad del peso de la evaluación recae sobre tres de ellos, Ba (estructura general del programa), Aa (historial docente e investigador del grupo) y Bc (historial docente e investigador de los profesores que imparten el programa), los tres con distribución más o menos normal de las calificaciones. Podemos observar en los tres casos que la zona central (Bueno + Regular) alberga más del 70% de las calificaciones.

• La Tabla 3 muestra los coeficientes de correlación entre las calificaciones de pares de criterios, calculados también para el conjunto de los 906 programas. Se puede apreciar que las correlaciones entre criterios son en general bajas, lo cual es una prueba de la independencia de los mismos. No obstante, sí que aparece una correlación elevada en la pareja Aa-Bc, lo cual es lógico, puesto que ambos criterios se refieren al historial del grupo completo (Aa) y del profesorado (Bc), que es una parte del grupo. Una razón similar puede aducirse para justificar las correlaciones relativamente significativas encontradas en las parejas Aa-Ab (0.414) y Ab-Bc (0.426). Sin embargo, no hemos encontrado una interpretación para la correlación entre Af y Ah (0.443), que parece ser puramente fortuita.

• Finalmente, en función de las universidades participantes, podemos clasificar a los programas presentados en tres bloques. El primero de ellos incluye los 145 programas con participación de una sola Universidad, el segundo los 704 con participación de más de una Universidad, todas ellas españolas, y el tercero los 57 programas de carácter internacional. Pues bien, el porcentaje de los que han alcanzado la mención de calidad ha sido del 21.3% en el primer bloque, del 17.4 % en el segundo y del 22.2 % en el tercero, lo cual muestra que tampoco ha habido un sesgo significativo por este concepto.

Criterio % Excelente % Bueno % Regular % Deficiente

AA 11.6 33.6 38.1 16.8

AB 7.8 19.8 22.6 39.8

AC 19.9 21.6 17.1 41.4

AD 20.5 27.5 29.9 22.1

AE 9.4 5.4 5.4 79.8

AF 13.2 20.8 26.0 40.0

AG 7.1 16.2 28.8 48.5

AH 3.4 15.5 32.5 84.7

TABLA 1

Distribución de las calificaciones de los criterios A

TABLA 2 Distribución de las calificaciones de los criterios B

Criterio % Excelente % Bueno % Regular % Deficiente

BA 7.1 31.7 43.0 18.2

BB 14.3 62.3 20.5 2.9

BC 11.3 36.5 38.0 14.2

BD 5.8 19.8 33.2 41.2

BE 8.3 5.5 6.1 80.1

BF 1.4 14.6 12.8 71.2

BG 0.7 26.3 26.0 47.0

TABLA 3

Correlaciones entre criterios

AA AB AC AD AE AF AG AH BA BB BC BD BE BF BG

0.414 0.211 0.140 0.186 0.285 0.125 0.145 0.272 0.257 0.858 0.120 0.100 0.142 0.097 AA

0.289 0.113 0.271 0.303 0.121 0.309 0.280 0.238 0.426 0,071 0.013 0.152 0.063 AB

0.191 0.197 0.231 0.051 0.238 0.152 0.134 0.221 0.015 0.077 -0.02 -0.01 AC

0.081 0.135 0.129 0.135 0.154 0.102 0.139 0.047 0.142 -0.03 0.001 AD

0.168 0.044 0.147 0.113 0.045 0.197 0.078 0.029 0.060 0.069 AE

0.300 0.443 0.301 0.264 0.280 0.130 0.122 0.140 0.151 AF

0.142 0.235 0.135 0.144 0.286 0.167 0.172 0.146 AG

0.192 0.212 0.152 0.053 0.019 -0.01 0.114 AH

0.286 0.266 0.141 0.136 0.178 0.134 BA

0.260 0.091 0.056 0.054 0.130 BB

0.145 0.074 0.130 0.089 BC

0.139 0.171 0.077 BD

0.137 0.210 BE

0.098 BF

BG

Ponente:

Enrique García SánchezPresidente del Comité de Evaluación de

Ciencias de la Salud

Tema: aspectos mejorables

Importante: Transmitir nuestra experiencia

Útil: Darla a conocer para futuras convocatorias

Datos previos: Se evalúa únicamente la documentación aportada Se utilizan los criterios establecidos previamente Los criterios son públicos

Consideración final: Las reflexiones que voy a comentar emanan de los informes finales realizados por todas las comisiones

Aspectos mejorables

Convocatoria Impresos Presentación de documentación

IMPRESCINDIBLE: SEGUIMIENTO

Convocatoria

Se han realizado diversas sugerencias con el fin de mejorarla en la medida de lo posible

Se han puesto de manifiesto las dificultades que han existido en la convocatoria evaluada

Sería preciso definir con precisión la documentación necesaria para el proceso de evaluación

En la siguiente ponencia, D. Leonardo Marcos comentará los cambios que pueden ser introducidos en la próxima convocatoria

Impresos

Deberían ser claros, concretos y concisos

Existir correlación lineal con la orden

Evitar solicitar información que no va a ser evaluada

Limitar las aportaciones en investigación (sólo las más relevantes)

Incluir: Definición de grupo/s (con un único curriculum) Experiencia docente en doctorado (no general) Desarrollar en epígrafes los datos que se valoran en el apartado Ba Aclarar aspectos relacionados con convenios, financiación etc.

Documentación presentada

Deben existir indicios de coherencia científica de los programas

Definir el grupo, criterios que lo sustenta, objetivos, …

Mejorar el apartado Ba en todos los epígrafes (debería incluirse el programa de los cursos)

Identificar el tipo de programa (interdepartamental, interuniversitario, etc…) y documentarlo

Existen varios apartados que deberían ser aportados por las Universidades como: Ac, Ad, Ae, …

Los solicitantes deberían dimensionar el peso de los epígrafes que van a ser evaluados

Además:…

Los aspectos de mejora emanan de las deficiencias que se han observado

Documentación presentada: Mejoras en el apartado A

Aa1: Experiencia docente en doctorado (no grado)

Aa2: Mejorar presentación (es un curriculum de grupo no la suma de muchos curricula)

Ab: Artículos derivados de las tesis

Ad: Tesis de los últimos 5 años/número de profesores

Af: Becarios y profesores visitantes. Deben ir por separado y de forma clara y concisa

Ag: Convenios para la realización de programas de doctorado (no son los generales de las universidades)

Ah: Seguimiento de egresados y mecanismos establecidos

Documentación presentada: Mejoras en el apartado B

Ba1: Mejorar los títulos de los programas evitar que sean muy generales. Deben definir los contenidos y el perfil de formación que adquirirá el alumno. Evitar coincidencias con titulaciones o Áreas de Conocimiento.

Ba2. Determinar su pertinencia (necesidades sociales, económicas, …) Ba3: Establecer los fines de acuerdo con las enseñanzas de doctorado Ba4: Definir los objetivos con claridad y concreción en cada curso o seminario Ba5: Incluir el contenido para poder establecer la correspondencia con los

objetivos Ba6: Desarrollar adecuadamente el programa Ba7: Expresar con claridad los contenidos Ba8: Expresar de forma precisa los aspectos metodológicos Ba9: Definir con claridad y de forma precisa los criterios de evaluación

Documentación presentada: Mejoras en el apartado B

Bb: Incluir experiencia docente en doctorado y la experiencia investigadora de acuerdo con la orden ministerial

Bc: Limitar a lo establecido en la orden ministerial

Bd: Identificar con claridad tipo de programa (debería certificar la universidad)

Be: Debería aportar la información la Universidad

Bf: Expresar con claridad tipo de financiación (pública, privada, ambas)

Bg: Informe que discrimine entre programas

SEGUIMIENTO

Dirección General de Universidades Universidades

Valorar repercusión de la mención

Necesario conocer: Aspectos sociales:

Repercusión de programa, … Aspectos relacionados con los alumnos:

Cumplimiento de programas Medios disponibles Grado de satisfacción Consecución de objetivos…

Mi agradecimiento a:

La Universidad Rovira i Virgili Mi amigo Xavier Rius A los presidentes del resto de las comisiones A todos los miembros de la Comisión de Ciencias de la Salud

Neus Agell (U. de Barcelona) María Dolores Carro (U. de León) Santiago Hernández (U. de Córdoba) Agustín Hidalgo (U. de Oviedo) Carlos Martínez (CSIC)

Y un recuerdo muy especial a Miguel Valcárcel (U. de Córdoba)

Moderador:

F. Xavier RiusResponsable del programa Mención de

Calidad en el Doctorado

Comentarios finales

• El proceso de evaluación ha sido consensuado por todos los presidentes de los comités junto con el responsable del programa. No ha habido durante todo el proceso ninguna indicación sobre por donde deberían ir los resultados.• Reconociendo, como se ha mencionado, que hay campo para la mejora en todo el proceso de evaluación de la Mención de Calidad (MdC), también hay que constatar que se han conseguido algunos de los objetivos consensuados y propuestos por los Presidentes de Comisiones de Doctorado hace un año: Diferenciación entre reconocimeinto de MdC y financiación, clarificación sobre los criterios en cuanto a su importancia (y, por tanto, lo que se prima por parte del MECD en los programas de doctorado), transparencia a lo largo del proceso, convocatoria no elitista, etc.• Las Universidades deberíamos aprovechar este proceso de evaluación externo para aumentar la calidad de nuestros doctorados • Conociendo la sistemática de la evaluación, los responsables universitarios del doctorado deberíamos hacer ver a los solicitantes que deben intentar poner toda la información de modo concreto y preciso.• Dentro del proceso normal de renovación de los comités de evaluación, los presidentes actuales dejarán paso a otros. Quiero agradecer públicamente su especial esfuerzo en poner en marcha todo el proceso. Gracias a todos.

Ha intervenido tan activamente como los demás en el proceso de evaluación de la Mención de Calidad en

Programas de Doctorado pero no ha podido estar presente en estas Jornadas:

Joan GómezPresidente del Comité de Evaluación de

Humanidades