la evaluación en ciencias sociales y humanidades: … · – cneai y aneca • la percepción de...

La evaluación en Ciencias Sociales y Humanidades: entre la emigración y el

autismo

V Jornada de la Facultad de Letras sobre Calidad - 15 noviembre 2012

La evaluación en Ciencias Sociales y Humanidades: entre la marginación

y el pensamiento único

La evaluación en Ciencias Sociales y Humanidades: apocalípticos o

integrados

La evaluación de la producción científica en Artes y Humanidades, y en Ciencias Sociales y Jurídicas

Dr. Evaristo Jiménez-Contreras

GI "Evaluación de la Ciencia y de la Comunicación científica-EC3".

Facultad de Comunicación y Documentación (Universidad de Granada)

Guión

• Contexto: Participación de los drs Giménez y Reyero. ¿qué puedo añadir?

• Contexto: Los fundamentos filosóficos e institucionales – CNEAI y ANECA

• La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades

• Elementos para la reflexión

Los fundamentos del actual sistema de promoción académica

• Un poco de historia: – Promoción en la universidad desde la época franquista hasta la LRU.

• Convocatorias nacionales. Temarios cerrados, discrecionalidad (casi absoluta) de los tribunales

• La universidad como empresa familiar, imposiciones ideológicas • Ventajas

– LRU • Convocatorias a la medida de acuerdo a la política doméstica de los

departamentos. Temario libres. Discrecionalidad de los tribunales • Ruptura del mandarinato ´”catredalicio”. Crecimiento y estabilización • Endogamia incontrolada, sesgos ideológicos

– Habilitaciones nacionales: • Convocatorias universitarias (departamentales). Temarios libres,

discrecionalidad de los tribunales (menor?) • Reducción de la endogamia, de hecho, Paralización del sistema

– ANECA

La CNEAI (1989→)

• Objetivos: – Internacionalización, homologación, criterios objetivos – mejora salarial asociada a la investigación.

• Principios generales de funcionamiento – Sistema de valoración ex post – Autogestionado – Similar a otros internacionales – Evaluación formal externa , basado en las valoraciones de los

científicos pares sobre obra publicada • Siendo originalmente un complemento económico a la

productividad productividad ha terminado siendo un valor asociado al prestigio y condiciona la promoción académica

• Voluntario

Las controversias asociadas a la CNEAI

• El modelo aplicado es una traslación directa de los procedimientos empleados en las áreas científica (esto es históricamente cierto)

• Las bases de datos empleadas están sesgadas hacia las Ciencias y hacia el mundo anglosajón

• Las formas de publicación en CCSS y Humanidades son diversas

• Hay diferentes hábitos de citación y formas de reconocimiento

• Como consecuencia hay mucha más incertidumbre en la evaluación en Humanidades

• 2008 programa ACADEMIA (> 22.000 evaluaciones)

ANECA (2002 →)

INVESTIGACIÓN

Doc

enci

a

Ges

tión Transferencia

… pero, de hecho.

ANECA (2002 →)

• La “filosofía” de la CNEAI se ha trasladado a la valoración de los méritos de investigación en ANECA y a otras agencias

• La investigación es el apartado tiene el mayor peso en la valoración de PCD, TU y CU

• Conceptos: intensidad, continuidad, liderazgo, relevancia internacional… en la investigación

• El referente vuelven a ser la publicaciones aparecidas en índices de impacto internacionales, aunque para las Ciencias Sociales la definición no es tan cerrada como en Ciencias.

Criterios

CU

Investigación

Docencia

Formación

Gestión

TU

Investigación

Docencia

Formación

Gestión

Desagregación de los criterios de investigación

35 35

5 5 4 4

7 7

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sociales y Juridicas Humanidades

Articulos y libros Congresos y otros Proyectos y contratos Transferencia

38 38

5 5

6 6

10 10

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sociales y Juridicas Humanidades

Articulos y libros Congresos y otros

Proyectos y contratos Transferencia

Aneca: presentados

ANECA: resueltos • Some facts:

– Promedio 71%

– Tendencia decreciente en las evaluaciones positivas

– Peticiones crecientes: 2200 aprox. 2012

• Some facts: – Promedio 68%

– Tendencia estable en las evaluaciones positivas

– Peticiones crecientes: 3100 aprox. 2012

ANECA: resueltos

Resultados por comisiones

Resultados por comisiones

Más estadísticas

• No hay diferencias por género (ligeramente a favor de las mujeres en Ciencias, ligeramente en contra en Sociales y Humanidades)

• El factor sexenios:

¿Qué dimensiones/aportaciones evalúa ANECA?

ACTIVIDAD INSTGADORA ACTIVIDAD INVESTIGADORA • Artículos en revistas • Libros y Capítulos • Proyectos y contratos • Transferencia • Congresos

MÉRITOS DOCENTES • Docencia universitaria • Dirección de tesis,

tesinas, trabajos grado… • Cursos de formación

docente

FORMACIÓN ACADÉMICA • Títulos y premios • Becas y ayudas • Estancias de

investigación

GESTIÓN • Cargos Académicos • Puestos en la

administración • Liderazgo de grupos de

investigación y docentes

OTRO MÉRITOS

Valores de referencia e indicios

En los ámbitos de Arte y Humanidades, Ciencias Sociales y Jurídicas se valoran especialmente las publicaciones en revistas y libros de prestigio, así como creaciones artísticas y profesionales innovadoras

La aplicación

La aplicación

LA AUTORÍA. CNEAI-ANECA ANECA revistas Criterios específicos para revistas por área

Humanidades • Preferentemente publicaciones en revistas de prestigio: i.e. revistas incluidas en Social Science Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI) • También se citan al mismo nivel de preferencia las revistas incluidas en: FRANCIS, IBSS, BHA, HA, IMB, RILMS, etc… También se podrá utilizar como referencia de calidad para las publicaciones españolas el DICE

• Preferentemente trabajos publicados en revistas de Science Citation Index, Social Science Citation Index y el Journal Citation Reports. • También se citan como productos las revistas en: Econlit, Catálogo Latindex u otros listados admitidos. También se podrá utilizar como referencia de calidad para las publicaciones españolas el DICE

Ciencias Sociales

Criterios específicos para revistas por área

. Derecho

• Preferentemente publicaciones en revistas de prestigio y amplia difusión académica y profesional; en este campo no se indica explícitamente que las revistas tengan ICR • Se hace hincapié en el contenido de los trabajos: desarrollo de nuevas perspectivas de ordenamiento jurídico, evolución histórica, social, … • Referencia básica citada para revistas españolas: DICE • Alternativa: IN-RECJ y RESH para revistas ICR.

Criterios específicos para revistas por área

Cuadro bases de datos

AUTISMO?, EMIGRACIÓN? REFLEXIONES PARA UN DEBATE

Lo que se valora en las especialidades

La percepción de las evaluaciones

• En general la actitud es maximalista • A favor, “todos” a los que les ha ido bien, en

general las ciencias • En contra, aquellos a los que les ha ido mal, en

general las letras (no porque les haya ido necesariamente mal) – Se perciben como algo sobrevenido al igual que

los rankings – La endogamia no se ve como problema

Problema percibido a nivel europeo • Encuesta realizada en la universidad francesa (presentada en

Montpellier, abril, 2010) – Fully agree 0%

– Agree at different levels, 85%

– Hostile 15%

• Limitaciones/críticas que se señalan en la evaluación en Humanidades – Hiperespecialización

– Las Humanidades son diferentes de tal manera que es futil desarrollar indicadores

– Escasa financiación (no se les puede pedir mucho)

– Los indicadores no captan la calidad ¿?

– Los indicadores se han convertido en un objetivo en sí mismo

– Las bases de datos están sesgadas

– Las formas de publicación son diversas

Las formas de publicación tradicional

• Libros en la editorial de la universidad u organismos públicos cercanos: diputaciones…

• Homenajes

• Revistas del departamento o de la universidad, sin evaluación

• Congresos (raramente internacionales)

• Temas de investigación: lo que a cada uno le interesa

Qué ha cambiado CNEAI/ANECA: logros

• Continuidad y estabilidad • Internacionalización de la

investigación • Homologación • Mayor difusión • Colaboración • Incremento de la productividad • Cultura evaluativa • Carreras académicas planificables • Financiación reglada

El sistema va a seguir presionando en esa dirección

Otras consecuencias

• (In)directamente mejora espectacular del sistema de publicación en España – Regularidad, puntualidad

– Introducción del sistema de evaluación por pares

– Apertura de comités…

– Bases de datos bibliográficas

– Portales, mejora de la visibilidad y del archivo

– Mayor competencia entre las revistas

Otros hechos a considerar

• El sistema se refina continuamente – Caso BBAA

• El sistema es recurrible (y se gana ocasionalmente)

• Se está introduciendo una agenda de investigación desde la administración

Las consecuencias: el pasivo

• Males menores: – Micro méritos

• Cuéntalo todo que todo cuenta

– Dispersión: provocada por la propia aplicación

– Hasta cierto punto se necesita ser experto en la propia aplicación

• Internacionalización o emigración?

• Olvido de las necesidades locales?

Localismo o hiperespecialización

• La dédicace des livres dans l'Islam médiéval

• L'incastellamento dans le Latium. Remarques à propos de fouilles récentes

• Jérusalem ou Valence : la première colonie d'Occident

• La prostitution au Pays basque entre XIVe et XVIIe siècles

• Last Rites for a ‘Pure Bandit’: Clandestine Service, Historiography and the Origins of the Turkish ‘Deep State’

• Hora: Social Conflicts and Collective Memories in Piana Degli Albanesi

• Gauchos, Gringos and Gallegos: The Assimilation of Italian and Spanish Immigrants in the Making of Modern Uruguay 1880–1930

• ‘Chosen Peoples, Holy Tongues’: Religion, Language, Nationalism and Politics in Bohemia and Moravia in the Seventeenth to Twentieth Centuries

Internacionalización o emigración?

• Problema sin respuesta (por ahora)

• Se ha incrementado la presencia internacional de forma abrumadora en CCSS y no tan clara en Humanidades

• JCR centrismo? o bases de datos nacionales – Amenaza de paletismo

– ERIH, CIRC,…