[email protected]% grupo%de%inves9gación%de...

29
Elea Giménez Toledo [email protected] Grupo de inves9gación de evaluación de publicaciones cien<ficas (EPUC) hCp://epuc.cchs.csic.es/ Centro de Ciencias Humanas y Sociales (CCHS) Consejo Superior de Inves9gaciones Cien<ficas (CSIC) Universidad de Costa Rica San José, 20 de marzo de 2013

Upload: others

Post on 30-Apr-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

Elea  Giménez  Toledo  [email protected]  

Grupo  de  inves9gación  de  evaluación  de  publicaciones  cien<ficas  (EPUC)  hCp://epuc.cchs.csic.es/  

Centro  de  Ciencias  Humanas  y  Sociales  (CCHS)  Consejo  Superior  de  Inves9gaciones  Cien<ficas  (CSIC)  

Universidad  de  Costa  Rica  San  José,  20  de  marzo  de  2013  

Page 2: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 3: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

  Entorno  exigente  y  competitivo    Necesidad  de  marcar  y  cumplir  objetivos.  Rendición  de  cuentas.  

  Proyectar  al  máximo  la  investigación  realizada    Ante  la  necesidad  de  evaluar:  

  Defender  las  formas  de  comunicación  de  las  HCS    Autocrítica  

Page 4: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 5: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

Libros  y  capítulos  de  libros  como    

canal  privilegiado  de  comunicación  

científica  

Mayor  relevancia  de  la  revista  

científica  nacional  

Carácter  local  y  regional  de  los  

temas  de  investigación  

Internacionalidad  de  la  investigación  condicionada  por  

los  temas  de  investigación  

Page 6: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

El  75%  en  Literatura  inglesa  (Heinzkill,  1980).  El  66%  en  Wolfe  Thomson,  2002    

el  82%  en  Literatura  (Stern,  1983)  el  65%  en  Historia  de  la  Ciencia  (McCain,  1987)  El  70%    en  Filosofía  (Cullars,  1992)  Una  media  del  60%  en  un  conjunto  de  áreas  (Broadus,  1971;  

Nederhof,  1995;  Cullars,  1998;  Glänzel  and  Schoepflin,  1999)  

Más  del  70%  en  revistas  españolas  de  Historia  contemporánea  (Sanz  Casado  et  al.,  2002)  

Más  del  71%  de  citas  a  otros  documentos  en  el  conjunto  de  revistas  españolas  (RESH.  EPUC.  CSIC.  2004)  

 

Page 7: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 8: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

1.  Falta  de  tradición  en  la  evaluación  de  las  HCS  

Page 9: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

• Diferencia  y  exigencia  vs  excepcionalidad  

2.  Patrones  

de  evaluación  distintivos  

Page 10: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

3.Necesaria  variedad  de  fuentes  y  utilización  de  indicadores  relevantes  

Page 11: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

96  214  

100  

1526  

0  

200  

400  

600  

800  

1000  

1200  

1400  

1600  

1800  

WOS   ERIH   SCOPUS   NON  COVERED  (WOS/  ERIH/  SCOPUS)  

Page 12: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

Ejemplo:  producción  científica  2010.  Línea  de  investigación  CCHS/CSIC  

Page 13: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 14: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 15: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 16: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

4.  La  evaluación  del  contenido  /peer  review  no  

es  la  panacea  

Page 17: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

5.  Los  libros  son  el  pilar  fundamental  de  la  

comunicación  científica  en  HCS  

Page 18: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

El  libro  es  consustancial  a  la  naturaleza  de  estas  disciplinas  

Publicar  libros  no  es  una  opción  caprichosa  

Es  necesario  dar  el  peso  adecuado  a  los  libros  en  los  procesos  de  evaluación  

Page 19: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 20: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

Prestigio  de  la  editorial  

Editores   Colecciones  

Reseñas  en  revistas  

Revisión  por  expertos  de  los  

originales  

Traducciones  a  otros  idiomas  

Trabajos  de  investigación  

original  

Difusión  en  bases  de  datos,  catálogos,  etc.  

Citas  

Page 21: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

¿Cómo  definirlo?    ¿Qué  editoriales  son  

consideradas  ”prestigiosas”?  

¿Cómo  se  puede  objetivar  este  indicador?  

Page 22: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

 Encuesta  a  expertos  

  Dirigida  a  especialistas  (11.000)  con  un  tramo  de  investigación  reconocido  

Identificar  indicadores  de  calidad  relevantes  para  los  investigadores  

Identificar  las  editoriales  españolas  y  extranjeras  más  “prestigiosas”  

Conocer  el  proceso  editorial  (autores-­‐editores)  

Page 23: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

  Indicador  propuesto  ocasionalmente    En  principio,  poco  adecuado  para  la  dinámica  de  las  CSH    Faltan  herramientas  de  medición  de  citas  o  son  limitadas  

  Estas  limitaciones  están  siendo  identificadas  por  los  mismos  bibliómetras  (Loet  Leydesdorff  i  and  Ulrike  Felt,  2012)  

  “Because  English  is  the  universal  language  of  science  at  this  time,  Thomson  Reuters  will  focus  on  books  that  publish  full  text  in  English”  (Testa,  2010)  

SUBJECT  AREA  (February  2012) COVERAGE  Social  &  Behavioral  Sciences 34%Arts  &  Humanities 18%Physics/Chemistry   10%Engineering/Computing/Technology   14%Clinical  Medicine 8%Life  Sciences 10%Agriculture/Biology 6%

Book  Cita9on  Index   Google  Scholar  

Cobertura  amplia  pero  heterogénea  Duplicados  

Page 24: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

http://epuc.cchs.csic.es/SPI  

Page 25: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

http://epuc.cchs.csic.es/SPI  

Page 26: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!
Page 27: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

Con  diversos  indicadores  

bien  elaborados  (y  reproducibles)  

Consultando  distintas  fuentes  

nacionales  e  internacionales  

Con  indicadores  para  todas  las  revistas,  no  solo  para  una  selección  

Las  evaluaciones  basadas  únicamente  en  datos  de  Wos  o  Scopus  ofrecen  un  retrato  muy  limitado  de  la  realidad,  especialmente  para  

Humanidades  y  Ciencias  Sociales  

Page 28: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!

Un  peso  adecuado  para  cada  tipo  de  publicación  en  función  de  la  disciplina  

Combinación  equilibrada  de  indicadores  

bibliométricos  con  peer  review  

Búsqueda  de  entendimiento  y  consenso  entre  evaluadores  y  evaluados  

Page 29: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!