evaluacion sexenios acreditacion uhu

Vicerrectorado de Formación Permanente e Innovación Servicio de Formación del Profesorado

Universidad de HuelvaHuelva, 1 de abril de 2011

Evaluación de la investigación en Ciencias Sociales

presentación

http://ec3.ugr.eshttp://

ec3noticias.blogspot.comEmilio Delgado López-Emilio Delgado López-

CózarCózar

Universidad de GranadaUniversidad de Granada

Introducción: Filosofía y criterios generales

La evaluación de la investigación

• España en estado de excepción evaluativa– Ámbitos y objetos de evaluación: Personas,

instituciones (Facultades, Departamentos…), titulaciones (grado, posgrado, doctorado), programas, proyectos, publicaciones

– Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU, ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC…

– Criterios de evaluación: PUBLICACIÓN ► ► ► ► ► ► IMPACTO

• Tema trascendente y polémico– Condiciona la orientación de la investigación de un país– Condiciona la posibilidad de investigar– Condiciona la promoción profesional– Otorga reconocimiento personal y social

- Evaluación para la contratación- Acreditación nacional para el acceso a los cuerpos docentes universitarios

CNEAI

ANECA

Evaluación de la actividad investigadora de los profesores universitarios y de las escalas científicas del CSIC

Agencias autonómicas Otras agencias estatales

Las Agencias de Evaluación en España

Una evaluación integral de la actividad académicaUna evaluación integral de la actividad académica

Peso de la Actividad Investigadora en el conjunto curricularPeso de la Actividad Investigadora en el conjunto curricular

En la evaluación curricular personal el peso de la Actividad Investigadora es decisivo

Para entender los criterios que se utilizan es conveniente no olvidar los fundamentos de las evaluaciones de la actividad investigadora

Filosofía y objetivos en que se fundamentan las evaluaciones y los Filosofía y objetivos en que se fundamentan las evaluaciones y los criterios de evaluacióncriterios de evaluación

FIL

OS

OFÍA

DE L

A E

VA

LU

AC

IÓN

El sistema planteado se inspira en la tradición académica de la evaluación por pares: comisiones de expertos y requerimiento de informes a especialistas en la disciplina de cada candidato

Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación formal

Difusión e Internacionalización de la ciencia española

Evaluación sobre resultados de investigación. Publicaciones

En los ámbitos científicos de orientación básica (Ciencias y Ciencias de la

Salud) se consideran especialmente las publicaciones en revistas de reconocido prestigio

En ámbitos más aplicados como Tecnología, Ingenierías y Arquitectura se consideran de especial relevancia el desarrollo de publicaciones en

revistas de reconocido prestigio, patentes y actividades de

transferencia de tecnología, así como creaciones artísticas y profesionales innovadoras

En los ámbitos de Ciencias Sociales y Jurídicas se valoran especialmente las publicaciones en revistas y libros de prestigio

En los ámbitos de Arte y Humanidades, se valoran especialmente las publicaciones en revistas y libros de prestigio, así como creaciones artísticas

y profesionales innovadoras

Los criterios de evaluación. Los criterios de evaluación.

Ponderaciones por áreas de conocimientoPonderaciones por áreas de conocimiento

Se requiere que el solicitante acredite actividad investigadora intensa, de calidad internacional (CU) o de relevancia en su especialidad (TU), reflejada

en publicaciones, patentes, actividades de transferencia tecnológica o trabajos de innovación, avance o de impacto económico-social

Se considera necesario que el solicitante se haya iniciado (TU) o tenga

consolidado (CU) un papel de liderazgo en los trabajos realizados y en la dirección de proyectos de investigación o contratos con empresas y

organismos públicos

Ojo: nos anuncia la importancia en posición de firma y la figura del IP

ANECA. Peso de las publicaciones por campo científico y categoría ANECA. Peso de las publicaciones por campo científico y categoría profesional profesional

Humanidades

Experimentales y Ciencias Salud

Técnicas

Ciencias Sociales

Indicios de calidad de las aportaciones. Principios generales

Contribución al progreso del conocimiento, innovación o creatividad

Se priman trabajos científicos e innovadores

Participación relevante en los trabajos que dieron origen a las aportaciones >Ojo: participación y orden de firma

Relevancia científica del medio de difusión en que se publica la aportación >Ojo: JCR Impacto, posiciones

Premios y distinciones recibidas >Ojo para creaciones artísticas

Referencia que otros autores hacen y que sean indicativos de relevancia. Ojo, se refiere a las citas

Apreciaciones del propio interesado sobre las aportaciones de su trabajo al progreso del conocimiento. En publicaciones colectivas (coautorías)

mencionar la contribución del solicitante

Reseñas en revistas especializadas

En patentes: datos de explotación económica

CNEAI. Indicios de calidadCNEAI. Indicios de calidadC

RIT

ER

IOS

DE E

VA

LU

AC

IÓN

Índice de Impacto> Factor de Impacto JCR

Posición de la Revista en el conjunto de las incluidas en su categoría JCR >Ojo: posiciones

Número de autores y posición que ocupa entre ellos el solicitante. Se tiene en cuenta el número, reduciendo el valor de la publicación cuando este sea

superior a la media en la especialidad >Ojo: participación y orden de firma

Valoración positiva de la regularidad en la producción científica, especialmente trabajos de la etapa posdoctoral 5-10 últimos años

Premios y distinciones recibidas >Ojo para creaciones artísticas

Referencia que otros autores hacen, en trabajos publicados, y que sean indicativos de relevancia >Ojo, se refiere a las citas

ANECA. Indicios de calidad. Principios generalesANECA. Indicios de calidad. Principios generalesC

RIT

ER

IOS

DE E

VA

LU

AC

IÓN

La cuestión de la autoría de los trabajos

LA AUTORÍA. CNEAI-ANECA¿Qué dice CNEAI de la autoría?

LA AUTORÍA. CNEAI-ANECA¿Qué quieren evitar?

LA AUTORÍA. CNEAI-ANECA ¿Cuál debe ser el número de autores?

Categoría Categoría

Agricultura 44 Matemáticas 22

Ciencias de la Alimentación 44 Ing. Mecánica, naval, … 33

Ingeniería Civil y Arquitectura 33 Medicina 55

Ciencias Computación / Informática 33 Bioquímica y Biología Molecular 55

Ciencias Sociales 2/32/3 Psicología 33

Derecho 22 Química 44

Economía 2/32/3 Comunicaciones 33

Ing. Eléctrica y Electrónica 44

Farmacia y Farmacología 55

Filosofía, Filología 11

Ganadería y Pesca 55

Historia 11

Ciencias materiales 55

Número de autores (aprox.) en trabajos en revistas Web of ScienceNúmero de autores (aprox.) en trabajos en revistas Web of Science(Principalmente internacionales y anglosajonas)(Principalmente internacionales y anglosajonas)

¿Cuántas publicaciones?

Ciencias sociales

ANECA. ANECA. Número de publicaciones para obtener la puntuación máxima

CNEAI. CNEAI. Número mínimo de artículos en revistas científicas para obtener el sexenio

LA AUTORÍA. CNEAI-ANECAANECA revistasCampo 7: ¿Cuántas publicaciones?

• Sociología, Ciencia Política y de la Administración, Educación, Comunicación, Periodismo :

a) al menos una de las aportaciones debe ser un libro de difusión o referencia internacional

b) o bien que dos de las aportaciones sean artículos publicados en revistas del del «Social Science Citation Index» y el Science Citation Index (Institute for Scientific Information -ISI-, Philadelphia, PA, USA)

c) o bien que tres de las aportaciones sean artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales, (por ejemplo, ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.) o aquellas revistas acreditadas por la FECYT

• C. Comportamiento: a) al menos dos aportaciones en revistas JCR del SSCI o del SCI

CIE

NC

IAS

SO

CIA

LE

S

CIE

NC

IAS

SO

CIA

LE

S

LA AUTORÍA. CNEAI-ANECAANECA revistasCampo 8: ¿Cuántas publicaciones?• Económicas, Empresariales: a) al menos un artículo en revista con impacto significativo dentro de los

JCR del SSCI; b) o varios en revistas de menor impacto, c) o bien, en las áreas en las que los libros son un medio habitual de

difusión de la investigación, que una aportación sea un libro monográfico de investigación que cuente con difusión y referencia internacional; o bien que varias aportaciones sean colaboraciones en libros que cuenten con difusión y referencia internacional

• Geografía: a) una de las aportaciones debe ser un libro monográfico de

investigación que cuente con difusión y referencia internacional y otra un artículo publicado en una revista que cumpla las condiciones de los apartados 3.b o 3.c;

b) o bien que dos aportaciones sean artículos publicados en revistas que cumplan las condiciones de los apartados 3.b o 3.c;

c) o bien que una de las aportaciones sea un artículo publicado en una revista que cumpla las condiciones de los apartados 3.b o 3.c y otra un capítulo de un libro de investigación que cuente con difusión y referencia internacionalC

IEN

CIA

S S

OC

IAL

ES

C

IEN

CIA

S S

OC

IAL

ES

La búsqueda de los indicios de calidad

Indicios de calidad librosCNEAI, ANECA, ANEP

Criterios CNEAI ANECA

ANEP

Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se

publica la obra CCSS

Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que

trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1

Traducciones de la propia obra a otras lenguas PCD

Inclusión en bibliografías independientes del autor y su entorno

Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias

Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)

JURID.

Obras de referencia imprescindibles en los estudios grado y postgrado

HUM

Poseer ISBN (imprescindible)

Indicios de calidad de los libros¿Dónde y cómo buscarlos?

• Número de citas generadas– Web of Science: Todas las disciplinas– Scopus: Especialmente las científico-técnicas– Google Scholar/Books: Todas las disciplinas. Especialmente

útil en Ciencias Sociales, Humanidades, Ingenierías

• Prestigio de la editorial o de los editores– No existe ninguna herramienta para buscar este indicio

• Reseñas en las revistas científicas especializadas– Bases de datos de la especialidad: Medline, Sociological

Abstracts, MLA, Historical Abstracts…. En España: DIALNET y bases de datos del CSIC– Bases de datos multidisciplinares: Scopus y Web of Science– Google: Ojo no en Google Scholar

• Riguroso proceso de selección y evaluación de originales– Documentos internos de la propia editorial (publicados en la

red o no)

LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasPara localizar las citas en Web of Science bien buscamos directamente Para localizar las citas en Web of Science bien buscamos directamente nuestro artículo en el menú convencional y vemos nuestro artículo en el menú convencional y vemos Times Cited o o utilizamos la opción utilizamos la opción Cited Reference Search.

Ojo son dos formas diferentes de localizar citas en una misma base de datos y puede dar resultados diferentes. La primera es exclusiva para revistas indexadas en WoS.

LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasY la segunda encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS

LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasSCOPUSSCOPUS

LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasGoogle ScholarGoogle Scholar

OJO OJO Se alimenta de documentos en la Web: Son clave los REPOSITORIOS, Catálogos de Bibliotecas, Catálogos Comerciales de revistas, Productos propios de Google (google books, google patents)

Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:

• Publish or Perish de Anne-Wil Harzing:Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm http://www.harzing.com/pop.htm• Citation-Gadget: Citation-Gadget: http://code.google.com/p/citations-gadget/• TenurometerTenurometer: http://tenurometer.indiana.edu/download.html

LA AUTORÍA. CNEAI-ANECALibros y capítulos: Google BooksGoogle Books, una herramienta interesante para buscar citasGoogle Books, una herramienta interesante para buscar citas

LA AUTORÍA. CNEAI-ANECALibros y capítulos: buscando en catálogos

En REBIUN podemos ver en que biblioteca académica/ universitaria española está nuestro libro.

A nivel internacional disponemos de otros catálogos colectivos como:

- COPAC (Reino Unido)- World Cat (Mundial)

Indicios de calidad de las revistas¿Dónde y cómo buscarlos?

• Factor de impacto de la revista

• Número de citas de un artículo• Bases de datos en las que figura una

revista• Satisfacer criterios de calidad editorial

LA AUTORÍA. CNEAI-ANECAIndicio: Índices de Impacto¿Qué productos ofrecen Índices de Impacto¿Qué productos ofrecen Índices de Impacto

PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO CoberturaCobertura

Ciencias y Ciencias y Ciencias Ciencias SocialesSociales

MundialMundial 1987-20081987-2008

Ciencias Ciencias SocialesSociales

EspañaEspaña 1996-20091996-2009

Ciencias Ciencias JurídicasJurídicas

EspañaEspaña 2001-20092001-2009

RESHRESH Ciencias Ciencias Sociales y Sociales y

HumanidadesHumanidades

EspañaEspaña 1999-20041999-2004

Scimago Journal RankScimago Journal Rank CienciasCiencias MundialMundial 1999-20081999-2008

LA AUTORÍA. CNEAI-ANECAEl Universo Thomson

WEB OF SCIENCEWEB OF SCIENCEWEB OF SCIENCEWEB OF SCIENCE

SCISCIScience Science Citation Citation

IndexIndex

(7858)(7858)

SSCISSCISocial Science Social Science Citation IndexCitation Index

(2553)(2553)

A&HCIA&HCIArt & Art &

Humanities Humanities Citation IndexCitation Index

(1462)(1462)

WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)

JCRJCRJournal Journal

Citation Citation ReportsReports

ESIESIEssential Essential ScienceScience

IndicatorsIndicatorsImpactImpactFactorFactor(8200)

Los Journal Citation Reports

• ¿Qué año tomar para justificar el impacto del trabajo?• ¿Dónde encontrar los JCR anteriores a 2000?• ¿Qué categoría temática elegir?• ¿Cómo se averigua la posición de la revista?

– Cuartiles, tercios, mediana ...

Aprendiendo a usar el Factor de Impacto Aprendiendo a usar el Factor de Impacto

LA AUTORÍA. CNEAI-ANECAIndicio: Índice de Impacto

El Journal Citation ReportsEl Journal Citation Reports(JCR)(JCR)


In-Recs e In-RecjIn-Recs e In-Recj

Interesante también como Indicio

LA AUTORÍA. CNEAI-ANECADICELA AUTORÍA. CNEAI-ANECAIndicio: Índice de Impacto

RESHRESH


SJRSJR

Buscando citas de artículos

Buscar en SEARCH en el campo TITLE el título del trabajo

El número de citas figura en el epígrafe TIME CITED

Buscando las citas de un artículo Buscando las citas de un artículo

Aprendiendo a busar citas de un trabajo o un autor en la Web of Aprendiendo a busar citas de un trabajo o un autor en la Web of ScienceScience

• Incluir el título de la revista y truncarlo (*) para obtener variaciones

• Para los libros incluir las tres/cuatro primeras letras del título que no sean artículos, preposiciones…


Buscando las “CITAS PERDIDAS” de un artículo Buscando las “CITAS PERDIDAS” de un artículo

Buscar en Cited Reference Search

ATENCIÓN

Realizar la búsqueda por el nombre del primer autor firmante del trabajo

(Los … precediendo al apellido significa que el autor no es el primer firmante)

• Incluir las variantes del nombre del autor, especialmente si es compuesto: forma abreviada (mayoral l*) o completa: (normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*)


Buscando las “CITAS PERDIDAS” de un artículo Buscando las “CITAS PERDIDAS” de un artículo

Buscar en Cited Reference Search

LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasEn In-Recs e In-Recj también podemos buscar citasEn In-Recs e In-Recj también podemos buscar citas

Bien en los rankings de autores

Bien en el menú de búsqueda

Comparando nuestro trabajo Comparando nuestro trabajo

Con el resto de los artículos publicados en la revista ese Con el resto de los artículos publicados en la revista ese mismo añomismo año

Con el resto de los trabajos publicados en el mundo en nuestra especialidad

• Usar los ESI (Essential Science Indicators): para trabajos excepcionales. Comparándolos con la media mundial

Comparando nuestro trabajo Comparando nuestro trabajo

LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos

INDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIASINDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIAS

Antes de ingresar en una base de datos las revistas científicas Antes de ingresar en una base de datos las revistas científicas deben someterse a una evaluación sobre su calidad formal y deben someterse a una evaluación sobre su calidad formal y científica. Por ello una presencia mayor en bases de datos se científica. Por ello una presencia mayor en bases de datos se considera un indicador de calidad al haberse superado más considera un indicador de calidad al haberse superado más filtros.filtros.


Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:

1. La propia revista nos da está información



2. Existen productos especializados en ofrecer esta información

PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO

ULRICH´SULRICH´S Todas las disciplinasTodas las disciplinas MundialMundial

LATINDEXLATINDEX Todas las disciplinasTodas las disciplinas IberoamericanoIberoamericano

DICEDICE Sociales/HumanidadesSociales/Humanidades EspañaEspaña



2. Existen productos especializados en ofrecer esta información


Por ejemplo, éste es el de la Por ejemplo, éste es el de la Web of KnowkledgeWeb of Knowkledge: WOS, SCI, SSCI, A&HCI, etc…: WOS, SCI, SSCI, A&HCI, etc…

LA AUTORÍA. CNEAI-ANECACNEAI. Revistas FECYT

• En la última convocatoria para los campos de sociales y humanidades se contemplan las revistas acreditadas por la FECYT.

ESTAS REVISTAS LAS PODEMOS LOCALIZAR EN LA WEB:

http://recyt.fecyt.es/index.php/index/recyt/resolucion

• Las revistas que han superado el primer proceso de evaluación de calidad de FECYT son las siguientes: TABLA 1

• Las revistas que solicitaron la evaluación y que ya indexa Thomson Reuters son las siguientes: TABLA 2.

Son un total de 43 revistas

LA AUTORÍA. CNEAI-ANECACNEAI. Revistas FECYT

Criterios calidad editorial revistas científicas CNEAI y ANECA (I)


Identifica los miembros de los Comités Editoriales y Científicos

Cuenta con Instrucciones a Autores detalladas Traduce el Sumario de cada número al inglés así como el

título de los artículos, las palabras clave y los resúmenes

Informa sobre el proceso que emplea para la evaluación y selección de manuscritos

Declara la periodicidad y la cumple Utiliza el arbitraje científico en la evaluación de originales y lo

cumple

Declara emplear doble anonimato en la revisión externa y lo cumple

Comunica a los autores la decisión editorial de forma motivada

Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo

Criterios calidad editorial revistas científicas

CNEAI y ANECA (II)


Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales

Al menos el 80% de los autores son ajenos a los Comités Editoriales

Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista

La tasa de aceptación de trabajos es igual o menor al 60% Está indexada en los JCR de las bases de datos de la Web of

Knowledge de Thompson Scientific (SCI, SSCI

Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE

Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)

Indicios de calidad de las revistas¿Dónde y cómo buscarlos? V

Satisfacer criterios de calidad editorial

– Latindex: Revistas iberoamericanas

– DICE: Difusión y Calidad editorial de las revistas españolas de Humanidades y Ciencias Sociales

– Cotejarlos con la propia revista

LA AUTORÍA. CNEAI-ANECAIndicio: Catálogo y Criterios Latindex

PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO

LATINDEXLATINDEX Todas las disciplinasTodas las disciplinas IberoamericanoIberoamericano

LA AUTORÍA. CNEAI-ANECAIndicio: Catálogo y Criterios Latindex

LatindexLatindex

El proceso administrativo y evaluativo

LA AUTORÍA. CNEAI-ANECA Documentación

http://www.educacion.es/horizontales/ministerio/organismos/cneai/convocatoria-sexenios.html

LA AUTORÍA. CNEAI-ANECALa aplicación informática CNEAI

LA AUTORÍA. CNEAI-ANECAAplicación informática: datos básicos

LA AUTORÍA. CNEAI-ANECAAplicación informática: el tramo

LA AUTORÍA. CNEAI-ANECAAplicación informática: la aportación

Modo evaluación

Ejemplo de evaluación CNEAI

Muchas gracias por su atenciónEmilio Delgado López-Cózar

[email protected] Jiménez Contreras

[email protected] Rafael Ruiz Pérez

[email protected]

http://ec3.ugr.eshttp://ec3noticias.blogspot.com

mailto:[email protected]

evaluacion sexenios acreditacion uhu

Education