1

La evaluación de revistas científicas españolas de FECYT

Pilar Rico CastroDpto. de Gestión de la Información Científica Fundación Española para la Ciencia y la Tecnología (FECYT)

II JORNADAS INTERNACIONALES DE REVISTAS DE CIENCIAS DE LA SALUDAlicante, 24 de noviembre de 2017

2

Ejes de actuación1. Fomento de la cultura científica y la divulgación

2. Incremento de la Participación Social a favor de la ciencia

3. Análisis métrico y seguimiento de la ciencia y la innovación

4. Servicios para el sistema español de I+D+I

5. Apoyo a la Internacionalización de la ciencia española

Gestión de Recursos Científicos

Gestión de la licencia española de las dos principales bases de datos de recursos científicos electrónicos: Web of Science, SCOPUS

Curriculum Vitae Normalizado

Repositorios, Acceso Abierto y Revistas

Participación en proyectos internacionales de acceso abierto

Recolecta: infraestructura robusta y una plataforma de repositorios científicos

Apoyo revistas científicas españolas

Gestión de la Información Científica

3

• El Proyecto ARCE se creó en 2006 para responder a una situación de:• Escasa presencia de revistas españolas en índices internacionales• Limitada profesionalización de las revistas• Publicación electrónica limitada o deficiente• Necesidad de difusión de estándares de edición

• FECYT cuenta con un sistema que identifica a las revistas científicas españolas de calidad contrastada, utilizando un modelo sólido y coherente, acorde a estándares internacionales

Proyecto de apoyo a las revistas científicas

4

Potenciar la mejora de la calidad editorial y de los contenidos publicados

Decantar las revistas científicas españolas de

calidad

Aumentar la visibilidad y el impacto de la ciencia publicada en España

Apoyar la profesionalización mediante el uso de

software de gestión integral de edición y publicación

electrónica

Elaborar una herramienta útil para las agencias de

evaluación

5

Sello de calidad FECYT para las revistas científicas españolas

Garantías

Certificación ISO 9001 del proceso de evaluación

Comisión de Evaluación: expertos en bibliometría y por áreas de conocimiento

Cumplimiento de los principios de publicidad, transparencia, concurrencia, objetividad, igualdad y no discriminación

Eficacia en la ejecución: cumplimiento de plazos establecidos (máx. 6 meses)

Gestión documental electrónica de las solicitudes

¿Cómo?

Difusión de estándares de calidad editorial y científica en revistas

Proceso de evaluación de calidad de revistas científicas españolas: FECYT concede a las revistas aprobadas un Sello de Calidad, vigente durante 3 años

Promoción de las revistas acreditadas:• Presentación a WoS y Scopus de las revistas

de con Sello de Calidad• Búsqueda de reconocimiento por parte de

agencias de evaluación

Apoyo a la edición electrónica : RECYT y formación en OJS a editores

6

¿Quién ha obtenido el Sello de Calidad FECYT?298 revistas cuentan con el Sello de Calidad tras V Convocatoria (julio 2016)

Las áreas de Ciencias Sociales y Humanidades quedan especialmente representadas, a través de una acreditación de su calidad, de manera constantemente actualizada con renovaciones periódicas del Sello de Calidad

Áreas y materias IV Conv R2015 R2016 V Conv Total general

CIENCIAS SOCIALES 42 10 35 37 123HUMANIDADES 41 9 19 53 122CIENCIAS PURAS 12 6 3 9 31CIENCIAS DE LA VIDA 4 3 4 11 22Total general 99 28 61 110 298

11%

7%

41%

41%

Ciencias Puras yaplicadas

Ciencias de la Vida

Ciencias Sociales

Humanidades

9 123 7 7

15 14 17

38

54

75

4

43

1710 revistas evaluadas, de las cuales 924 son títulos únicos

7

Además de las bases, la guía de evaluación es un documento público que detalla los indicadores y criterios de evaluación. Disponible en:https://calidadrevistas.fecyt.es

Proceso de evaluación

REGISTRO Requisitos Documentación Cuestionario de

autoevaluación Apoyo

institucional Solicitud

electrónica

FASE 2EVALUACIÓN DE CALIDAD

POR ÁREAS DE CONOCIMIENTO

Evaluación por expertos temáticos

FASE 1 CALIDAD EDITORIAL Y

CIENTÍFICACOMISIÓN DE EVALUACIÓNexpertos en bibliometría y

evaluación de la ciencia

Imágenes: Martha Ormiston / Sergey Demushkinfrom Noun Project

REVISIÓN TÉCNICA DE LA DOCUMENTACIÓN

8

1. Identificación de los miembros de los consejos en la publicación

identificación filiación profesional precisa y completa

Comités editoriales y científicos de la revista: • Dirección• Secretaría de Redacción• Consejo de Redacción• Comité Editorial o Consejo Asesor

2. Apertura del Consejo de Redacción un tercio de los miembros deberán

pertenecer a instituciones diferentes al organismo editor

Imagen: Takao Umehara from Noun Project

FASE I. CALIDAD EDITORIAL Y CIENTÍFICA

9

3. Instrucciones detalladas a autores existencia de instrucciones detalladas

información sobre envío y presentación de manuscritos: soporte, formato, estructura física, tipo, forma envío, corrección de pruebas….

tipo de artículos considerados por la revista, descripción de contenido, formato y extensión

recomendaciones que orienten a los autores en la confección de

• títulos, resúmenes, palabras clave, filiación profesional, referencias bibliográficas

Imagen: Marie Van den Broeck from Noun Project

información sobre el proceso editorial que siguen los manuscritos

sistema utilizado por la revista para su evaluación-selección y criterios de publicación.

10

4. Existencia de resúmenes y palabras clave

5. Traducción de los títulos de los artículos, palabras clave y resúmenes al inglésEn todos los artículos que comuniquen resultados originales de investigación

6. Declaración y cumplimiento de la periodicidadpublicación sin interrupciones del número de fascículos y en los intervalos de tiempo marcados según la periodicidad de la revista

11

7. Arbitraje científico externo 50% de expertos externos al comité de

redacción y a la entidad editora Anonimato en la revisión Existencia de instrucciones para la

revisión y hojas de evaluación de los manuscritos

• criterios de evaluación de la originalidad, relevancia, rigor metodológico y presentación formal de los manuscritos así como de la forma de efectuar la revisión.

Comunicación motivada de la decisión editorial

• razones para la aceptación, revisión o rechazo del manuscrito, dictámenes de expertos….

8. Internacionalidad10% de los componentes del Consejo Asesor o 10% de los autores

9. Porcentaje de artículos de investigación> 50% artículos que comuniquen resultados de investigación originales

10. Endogamia en las autorías> 80% de los trabajos deberán estar firmados por autores externos al Consejo de Redacción y a la entidad editora de la revista

12

11. Importancia de las bases de datos en la que están indizadas las revistasvisibilidad internacional de la revistabases de datos bibliográficas de cobertura internacional

Criterios aplicados :a) Wos/Scopus: 5 puntosb) Bases de datos especialidad/multidisciplinares

• 1 base de datos: 3 puntos• 2 bases de datos: 5 puntos• 1 punto por base de datos adicional

*Puntuación mínima: 5 puntos

Anexo completo en la guía de evaluación de cada convocatoria, actualizado regularmente y es público para los solicitantes en http://evaluacionarce.fecyt.es/doc/2015GuiaEval5Conv.pdf

13

12. Repercusión e impacto de la revistadivisión por áreas de conocimiento de las revistas y considerando de patrones de citación (ciencias jurídicas)

revistas no indexadas: cálculo de citas recibidas por revistas sí indexadas (WoS/Scopus)

cálculo por medio de la ponderación de fuentes de citación y visibilidad

nota de corte y metodología publicada tras la evaluación de las revistas.

Citas de los últimos 5 años.

Fuentes utilizadas:• Cuartil de la revista en Journal Citation Reports• Citas en WoS (Web of Science)• Cuartil de la revista en SJR (Scimago Journal &

Country Rank)• Citas en Scopus• Citas en Scielo Citation Index• Inclusión de la revista en el European Reference

Index for the Humanities - ERIH PLUS • h5-Index de la revista en Google Scholar Metrics.

14

cálculo por medio de la ponderación de fuentes de citación y visibilidad

nota de corte y metodología publicada tras la evaluación de las revistas. En la V Convocatoriahttp://evaluacionarce.fecyt.es/doc/2016MetodologiaInd12.pdf

Criterio PonderaciónCuartil JCR Q1=12

Q2=9Q3=5Q4=3

Citas WoS (*2)Cuartil SJR Q1=12

Q2=9Q3=5Q4=3

Citas Scopus (*2)Citas Scielo Citation Index (*1,5)Google S.Metrics (h5-Index) (*1,5)ERIH Plus (*9)

HumanidadesPuntuación de referencia 1118,5Puntuación de corte 55,9Ciencias SocialesPuntuación de referencia 2531,5Puntuación de corte 126,5Ciencias PurasPuntuación de referencia 5420,5Puntuación de corte 271Ciencias de la VidaPuntuación de referencia 4614Puntuación de corte 230,7

15

13. Orientación de la revista¿científica, divulgativa, profesional?

14. Estructura de la revista y de los artículos de investigacióncomunicación de resultados de investigación

modelo de redacción IMRyD (Introducción, Metodología, Resultados y Discusión)

Se otorga un punto extra a aquellas revistas que publiquen sus contenidos respetando la política estatal de acceso abierto

Nota de corte global: 12 puntosEvaluación llevada a cabo por 4 subcomisiones de expertos temáticos

FASE II. ÁREAS DE CONOCIMIENTO

16

Trayectoria del Sello de Calidad FECYT

• Cinco convocatorias generales bienales (2007, 2009, 2011, 2013, 2015), de participación voluntaria y abierta a las revistas científicas españolas y tres procesos de renovación del Sello de Calidad (2013, 2015 y 2016)

• Esfuerzo constatado de las revistas por mejorar su calidad y creciente interés en el Sello de Calidad

Ed. Presentadas Obtienen el Sello

Tasa de éxito

I 275 33 12%II 443 46 10%III 255 31 12%IV 355 99 27,88%V 354 110 31%

12% 10%

12%

27,88%

31%

I II III IV V

0

50

100

150

200

250

300

350

400

450

500

I II III IV V

Presentadas

Obtienen el Sello

17

Áreas y materias IV Convocatoria R2015 R2016 V Convocatoria Total general

CIENCIAS SOCIALES 42 10 35 37 123Psicología y educación 19 6 10 19 54Ciencias sociales 12 2 11 13 38Ciencias jurídicas 6 2 7 2 17Economía y empresa 5 0 7 2 14HUMANIDADES 41 9 19 53 122Humanidades 21 6 14 34 75Filologías 18 3 4 18 43Arte 2 0 1 1 4CIENCIAS PURAS 12 6 3 9 31Geociencias. Medio ambiente 5 3 1 3 12Ciencias básicas y experimentales 4 0 1 4 9Tecnologías, Arquitectura e Ingenierías

2 2 1 2 7

Agricultura y alimentación 1 1 0 1 3CIENCIAS DE LA VIDA 4 3 4 11 22Ciencias de la salud 3 2 1 9 15Ciencias biológicas 1 1 3 2 7Total general 99 28 61 110 298

298 revistas cuentan con el Sello de Calidad

¿Quién ha obtenido el Sello de Calidad FECYT?

18

Tipo de entidad editora Modalidades

convocatoria

7% Ciencias de la Vida> 80 % CCSS / HUM

> 50% Servicios de publicaciones universitarios

19

Ciencias básicas y experimentales

3%

Geociencias. Medio ambiente

4%

Agricultura y alimentación1%Tecnologías, Arquitectura e

Ingenierías2%

Ciencias biológicas2%

Ciencias de la salud5%

Economía y empresa5%

Ciencias jurídicas6%

Ciencias sociales13%

Psicología y educación18%

Humanidades25%

Arte1%

Filologías15%

20

Presencia Sello de Calidad en bases de datos

Total revistas Sello de Calidad

Revistas Sello de Calidad Ciencias de la Salud

WOS SCOPUS ESCI

5 14 3

WOS SCOPUS ESCI

82 195 166

21

Revistas Ciencias de la Salud españolas

Ciencias Salud en JCR (SCI) 2016

TOTAL ES4358 42

Ciencias Salud en Scopus 2017

TOTAL ES7186 152

TOTAL ES612 32

Ciencias Salud en ESCI

22

Ciencias Ciencias de Salud

Ingeniería y Arquitectura

Ciencias Sociales y Jurídicas

Arte y Humanidades

ANECA JCR principal indicio

JCR principal indicio

JCR principal indicio. Algunas comisiones aceptan otros indicios como SJR o bases específicas del área (e.g. arquitectura)

JCR, SJR, bases de datos del área y/o Sello de Calidad FECYT. Ciencias del Comportamiento, sólo JCR

JCR, SJR, bases de datos del área y/o Sello de Calidad FECYT

CNEAI JCR principal indicio

JCR principal indicio

JCR principal indicio. Algunas comisiones aceptan otros indicios de calidad como SJR, bases de datos (e.g. arquitectura)

JCR, SJR, otros indicios. Ciencias del Comportamiento, sólo JCR

JCR, SJR, otros indicios

AGENCIAS AUTONÓMICAS

JCR principal indicio

JCR principal indicio

JCR principal indicio. Algunas comisiones aceptan otros indicios de calidad como SJR, bases de datos (e.g. arquitectura)

JCR, SJR, otros indicios. Algunas, Sello de Calidad FECYT

JCR, SJR, otros indicios. Algunas, Sello de Calidad FECYT

Indicios calidad publicaciones evaluación del mérito investigador

* Contribuciones científicas publicadas y, en algunos casos, como méritos complementarios actividad de evaluación de originales, labores de editor o la pertenencia al Comité editorial de las revistas

23

2006: Inicio del proyecto ARCE

2012: reunión con Agencias de Evaluación. Presentación Sello FECYT y necesidades agencias

2015: reuniones con ANECA sobre el diseño de un instrumento que clasifique las revistas Sello FECYT (ranking)

2016: Sello de Calidad de Ediciones Académicas UNE-ANECA-FECYT

2016: FECYT elabora guía metodológica clasificación CCSS y HUM y presentación a Agencias de evaluación. I convocatoria Sello UNE

2017-2018: Convocatoria de evaluación actualizada con nuevos criterios.

OBJETIVO: que las agencias e evaluación dispongan de instrumentos de acreditación de la calidad de las publicaciones para que puedan utilizarlos como indicio de calidad en las evaluaciones curriculares*

*Presente en criterios:ANECAAQU CatalunyaAVAPUNIBASQACSUCYL

Propuesta FECYT

24

Propuesta de metodología para la clasificación de revistas

Dimensión I: ImpactoIndicador PonderaciónCitas WoS *2Citas Scopus *2Citas Scielo *1,5Citas ESCI *1,5H-index WOS *2H-index SJR *2Google S.Metrics h5-Index *1,5TOTAL I 70%

Dimensión II: VisibilidadIndicador PonderaciónCuartil WoS Q1=12 Q2=9 Q3=5 Q4=3Cuartil SJR Q1=12 Q2=9 Q3=5 Q4=3MIAR (Índice ICDS) *1,5Latindex Catálogo *1,5ERIH Plus *9TOTAL II 30%

Cuartil A (25% de las revistas con mayor puntuación) Cuartil B (25% de las revistas

con puntuación media alta) Cuartil C (25% de las revistas

con puntuación media baja) Cuartil D (25% de las revistas

con menor puntuación)

25

TÍTULO TOTAL I 70% TOTAL II 30% TOTAL REESCALADO 100Revista Española de Cardiología 70 30 2100,00 100Actas Dermo-Sifiliográficas 25,34 19,50 494,05 23,53Actas Urológicas Españolas 18,81 21,92 412,45 19,64International Microbiology 12,49 23,08 288,34 13,73Pharmacy Practice 5,63 16,73 94,21 4,49Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte 3,25 24,27 78,80 3,75Neurocirugía. Revista Española de Neurocirugía y Ciencias Afines 4,39 17,58 77,19 3,68Index de Enfermería 2,21 16,42 36,27 1,73Ars Pharmaceutica 1,35 21,92 29,70 1,41Revista de Logopedia, Foniatría y Audiología 1,41 16,54 23,30 1,11Fisioterapia 1,75 12,69 22,15 1,05Revista de Toxicología 0,91 15,00 13,72 0,65Archivos de Medicina del Deporte 1,18 9,23 10,86 0,52Revista Española de Cirugía Oral y Maxilofacial 0,63 12,69 8,03 0,38Apunts. Medicina de l'Esport 0,66 9,62 6,31 0,30Revista Española de Patología 0,66 8,08 5,33 0,25

Ejemplo: Campo 4. Ciencias Biomédicas (CNEAI)

*Revistas con Sello de Calidad FECYT clasificadas como Campo 4. Ciencias Biomédicas (CNEAI)

26

Cuartil A (25% de las revistas con mayor puntuación) Cuartil C (25% de las revistas con puntuación media baja)

Título Temática CNEAI Total puntos Título Temática CNEAI Total puntosRevista Española de Cardiología Medicina clínica Campo 4 100 Ars Pharmaceutica Farmacología Campo 4 1,41

Actas Dermo-Sifiliográficas Generalidades Campo 4 23,53Revista de Logopedia, Foniatría y Audiología Psicología Campo 4 1,11

Actas Urológicas Españolas Medicina clínica Campo 4 19,64 Fisioterapia Generalidades Campo 4 1,05International Microbiology Microbiología Campo 4 13,73 Revista de Toxicología Generalidades Campo 4 0,65

Cuartil B (25% de las revistas con con puntuación media alta) Cuartil D (25% de las revistas con menor puntuación)

Título Temática CNEAI Total puntos Título Temática CNEAI Total puntos

Pharmacy Practice Farmacología Campo 4 4,49Archivos de Medicina del Deporte Generalidades Campo 4 0,52

Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte

Ciencias de la salud Campo 4 3,75

Revista Española de Cirugía Oral y Maxilofacial Medicina clínica Campo 4 0,38

Neurocirugía. Revista Española de Neurocirugía y Ciencias Afines Neurología Campo 4 3,68

Apunts. Medicina de l'Esport Medicina clínica Campo 4 0,30

Index de Enfermería Enfermería Campo 4 1,73Revista Española de Patología Generalidades Campo 4 0,25

Ejemplo: Campo 4. Ciencias Biomédicas (CNEAI)

27

Muchas graciasevaluacionarce@fecyt.es

https://calidadrevistas.fecyt.es/