presentación de powerpoint - universidad de sevilla · 2019-05-21 · biblioteca ciencias de la...

Biblioteca Ciencias de la Educación. Universidad de Sevilla

Seminario Conozca su impacto real: citas, Índice H y métricas alternativasFacultad de Ciencias de la Educación de la Universidad de Sevilla (2019)

Indicios de calidad y herramientas para medir los impactos de la investigación

Víctor M. Moya-Orozco (vmoya@us.es)

Evaluación de la investigación

¿Por qué autoevaluarse?• Saber si estamos consiguiendo nuestro

objetivo de investigación

• Modificar nuestro plan de difusión

• Conocer el impacto propio

• Facilitarnos tareas administrativas: Sexenios,

acreditaciones, etc.

Autoevaluar la producción científica¿Por qué autoevaluarse?

Contenidos

• Métricas tradicionales: ICR, citas, Índice H…

• Estadísticas de idUS

• Altmetrics

Tipos de métricasMétricas de la revista:

• Índices de calidad relativos

Métricas a nivel de artículo:

• Citas

• Estadísticas de uso

• Altmetrics

Métricas de autor:

• Índice H

• Altmetrics

Fuentes• Citas: WoS, Scopus, Google Scholar.

• ICR: JCR, SJR, Journal Scholar Metrics.

• Estadísticas de uso: WoS, idUS.

• Métricas sociales: Altmetric.com, PlumX.

Consejos• Hay datos que no van a cambiar, como el IF, de modo que en

cuanto lo podamos conseguir, lo mejor es anotarlo.

• Utiliza herramientas de recopilación, como alertas u otros

sistemas de seguimiento de impacto (Researcher ID, Alertas de

citas, etc.).

• Valora no sólo los datos, sino también la importancia de la

publicación.

• Ten paciencia. Hay datos que tardan más, como las citas.

• Esfuérzate en dar visibilidad y difundir tus investigaciones.

• Toma la iniciativa. Si no te buscan a ti, busca tú a tu público.

Recursos del Servicio de Apoyo a la Investigación de la Biblioteca

Informes de citas

Índices de impacto

Índice H

Factor de Impacto

La biblioteca le ayuda…

Acceso abierto

Altmetrics Perfiles de autor

Recursos del Servicio de Apoyo a la Investigación de la Biblioteca

Guías de Apoyo

a la InvestigaciónAcreditación y

Sexenios

Y muchas más…

a la Investigación

Portal Web de la Biblioteca

Índices de calidad relativos (ICR)

Listados de revistas científicas ordenadas según un parámetro que leotorga una determinada calidad o importancia con respecto a otras.

Medir el impacto científicoÍndices de Calidad Relativos (ICR)

La base de ese parámetro suele basarse en las citas recibidas por lasrevistas indizadas, si bien el cálculo variará según los algoritmos de cadabase de datos.

Lo importante de estos índices no es tanto elparámetro de calidad, sino la posición de la revistacon respecto a las demás.

Índices de calidad relativos (ICR)

JIF Journal Citation Reports

SJR Scimago Journal & Country Rank

Índice H5 Journal Scholar Metrics

Por qué conocerlos

Saber elegir las mejores revistas en las que publicar.

Conocer el impacto de las revistas en las que se ha publicado.

Conocer la importancia de una revista en un área o campo.

Medir el impacto científicoJournal Citation Reports (Impact Factor)

Medir el impacto científico

Ventajas Limitaciones

• Principal indicador para la

evaluación científica.

• Larga trayectoria en su uso.

• Muy afianzado en los procesos

de evaluación.

• Gran reconocimiento.

• Indicador de calidad de la

revista, no del artículo.

• Sesgo: hay idiomas y campos de

conocimiento mal

representados.

• No es inmediato.

• Puede ser manipulado.

Acceder al ranking de revistas

Buscar revista

Seleccionar categoría

Año de la publicación

Seleccionar edición

Acceso a Journal Citation Reports

Indicadores principales

JIF sin autocitas

Cuartil por año y categoría

Scimago Journal & Contry Rank (SJR)

• Contiene más revistas que JCR.

• Menos sesgo lingüístico y más

representación temática.

• Reconocido para la evaluación

en determinadas áreas.

• Indicador de calidad de la revista,

no del artículo.

• No es inmediato.

• Puede ser manipulado.

Buscar revistas (por título, ISSN o editor)

Acceder al ránking de revistas

Acceso al Scimago Journal & Country Rank

Resultados de la búsqueda

Índice H de la revista en Scopus

Cuartil por año y categoría

Ficha de la revista

Factor de Impacto SJR

Valor para un año concreto

Categoría

Seleccionar categoría

Seleccionar añoLocalización en el ránking

Seleccionar tipo (Journal)

Descargar Excel

Posición en el ránking = 83

Buscar en Excel

Journal Scholar Metrics (H5)Medir el impacto científico

• Contiene más revistas que JCR

y SJR.

• Menor sesgo lingüístico y más

representación temática.

• Indicador de calidad de la revista, no

del artículo.

• Está basado en Google Scholar, con

sus limitaciones.

Buscar revistas

Acceso a Journal Scholar Metrics

Índice H5

Cuartil y posición por categoría

Visibilidad (indexación en BBDD)

Total de citas

Buscar por categorías

Desplegar las materias de Arte y Humanidades

Ránking del área de Psicología

Desplegar para limitar por país

Datos de la revista

Posición

Cuartil

Índice H5

Citas de las publicaciones

Web of Science (WoS)

Scopus

Google Scholar Citations

Selección Más

Citas de las publicaciones (Web of Science)

Acceso a WoS

Selección Búsqueda de autores

Acceso a WoS

Escribir el nombre del autor

Se pueden añadir variantes del nombre Se puede refinar la

búsqueda por área de conocimiento

Seleccionar el área de conocimiento

Se puede refinar la búsqueda por institución.

Es importante que en las publicaciones, la firma institucional esté escrita de forma adecuada. Ver Instrucciones para la firma científica de la Universidad de Sevilla.

Seleccionar la institución

Finalizamos la búsqueda

Es importante que en las publicaciones, la firma institucional estéescrita de forma adecuada. Ver Instrucciones para la firmacientífica de la Universidad de Sevilla.

Las agregamos los registros seleccionados a la lista de registros marcados.

Se seleccionan las publicaciones del autorBuscado y…

Veremos el número de publicaciones guardadas en la lista.Hacemos clic aquí para acceder a la lista.

Las publicaciones guardadas aparecen ahora marcadas en naranja.

Para ver las métricas, creamos el informe de citas

Envía las publicaciones a tu perfil de ResearcherID

¡CONSEJO!

Total de publicaciones

Índice H y promedio de citas Total de citas (en WoS)

En el informe de citas podremos ver: Exportar datos

Total de publicaciones

En esa misma página aparecerán todas las publicaciones, con las citas por año, el total de citas y el promedio de citas por año.

Crear alerta de citas

Cree alertas de citas de sus publicaciones en WoS

¡CONSEJO!

Introducir usuario

O registrarse

¡CONSEJO!

Parámetros de la alerta

¡CONSEJO!

Para ver y gestionar las alertas

¡CONSEJO!

Utilice ResearcherID para obtener métricas sobre sus publicaciones en WoS

Consulte la guía de la Biblioteca sobre ResearcherID

¡CONSEJO!

Selección Búsqueda de autor

Citas de las publicaciones (Scopus)

Acceso a Scopus

Introducimos los apellidos y el nombre del autor

Seleccionar el autor para ver sus publicaciones.

Ordenar las publicaciones por citas.

Aquí vemos el total de publicaciones, el total de citas y el índice H

Ver las citas por año y el total de citas de cada publicación

Podemos seleccionar el rango de años para el que queremos ver las citas

Crear alerta para el autor

Cree alertas de citas y nuevas publicaciones en Scopus

¡CONSEJO!

Crear alerta para el autor

¡CONSEJO!

Establecer la alerta

¡CONSEJO!

Para ver y gestionar las alertas clicamos en Alerts

¡CONSEJO!

Se pueden crear alertas de búsqueda, citas de autor o citas de publicaciones

Consulte la guía de la Biblioteca sobre Scopus Author ID

Citas de las publicaciones (Google Scholar Citations)

Acceso a Google Scholar

Escribir el nombre del autor.

Comprobar que los artículos son del autor buscado.

Ver el número de citas.

Comprobar que las citas provienen de artículos científicos (o en su caso de libros de carácter científico).

Cree un perfil de Google Scholar Citations para conocer sus métricas.

Citas totalesÍndice H y H5Índice i10

Consulte la guía de la Biblioteca sobre GSC

Índice Hirsch (Índice H)

Web of Science (WoS) / Researcher ID

Scopus

Google Scholar Citations

Índice H

Un autor tiene un índice h de “H” cuando “H” desus artículos publicados han recibido “H” citascomo mínimo cada uno, y el resto de sus artículos,han recibido “H” como máximo.

Índice H

• No permite comparar investigadores dediferentes áreas científicas.

• No tiene en cuenta la calidad de lasrevistas en las que se publica.

• Da prioridad a la cantidad sobre la calidadde las publicaciones.

• Autores con una actividad investigadorareciente, tendrán un índice h bajo a pesarde que su trabajo pueda resultar muyrelevante en su área.

• Relaciona la calidad (en funcióndel número de citas recibidas) yla cantidad de la produccióncientífica.

• Puede detectar losinvestigadores destacadosdentro del área.

• Valora un esfuerzo científicoprolongado a lo largo de toda lavida académica

Diez artículos han recibido 10 citas o más.

Índice H

Orden Citas

H= 55 artículos han recibido 5 citas o más

H=33 artículos han recibido 3 citas o más

H=11 artículo ha recibido 1 citas o más

H=0No hay citas

Índice H

Orden Citas

1 30H=11 artículo ha recibido 1 citas o más

Índice H (Web of Science)

Ránking Índice H - Ciencias

Ránking Índice H – Ciencias Sociales y Humanidades

El Índice H, por sí mismo, no dice nada. Hay que contrastarlo con el de un grupo.

Selección Más

Acceso a WoS

Selección Búsqueda de autores

Acceso a WoS

Escribir el nombre unificado

Crear informe de citas

Índice H y promedio de citas

En el informe de citas podremos ver:

Evita la búsqueda guardando tus

publicaciones en ResearcherID

Selección Búsqueda de autor

Acceso a Scopus

Índice H (Scopus)

Introducimos los apellidos y el nombre del autor

Índice H (Scopus)

Seleccionar el autor para ver sus publicaciones.

Índice H (Scopus)

Índice H

Índice H (Scopus)

Buscar por nombre de autor

Índice H (Google Scholar)

Acceso a Google Scholar

Seleccionar el autor

Es imprescindible tener un perfil

El índice H aparece en el gráfico de citas

Otros impactosTendencias en la medición del impacto de la investigación

Otras métricas para otros impactos

Citas Scopus

Citas WoS

JCR IF

7,6456/79 Q1

3,73110/248 Q1

Citas Scopus

Citas WoS

JCR IF

7,6456/79 Q1

3,73110/248 Q1

¿Nos cuentan estos datos toda la historia?

42 blogs

84 noticias

104 pp. Facebook

4264 tweeters

39 Wikipedia

195Google+

2010… Manifiesto Altmetrics (Priem, Taborelli, Groth y Neylon)

2012… Declaración de San Francisco (Declaration on Research Assessment)

2013… NISO Alternative Assessment Metrics Initiative

2014… Research Excellence Framework

- El peer-review está obsoleto. Es lento y no limita el volumen de la investigación.

- Las herramientas de recuento de citas son insuficientes, lentas, no admiten trabajos que

no sean artículos, ignoran el contexto y no miden otros impactos.

- El FI mide revistas y no puede usarse para evaluar el impacto de un artículo.

- Promueve la eliminación de las métricas basadas en revistas.

- Hay que evaluar la investigación por sí misma y no por la revista en que se publique.

- Hay que aprovechar las oportunidades de la publicación en línea.

- Pretende normalizar las altmetrics y definir sus usos en la evaluación científica.

- También busca definir criterios para la evaluación de documentos distintos a artículos.

¿Qué tienen estas iniciativas en común?

1. La forma de evaluar la producción científica no es eficaz.

2. Hay que tener en cuenta no sólo los artículos, sino también otros productos

que resultan de la investigación científica.

3. Estos otros productos crecerán en importancia (gracias a los medios sociales).

4. Las métricas basadas en revistas, como el FI y otros índices similares no

pueden usarse para evaluar el impacto de un artículo, de un investigador o de

una institución.

5. Las tecnologías de la información y la comunicación permiten nuevas formas

de evaluar y medir la ciencia.

6. Es necesario contar con una variada gama de métricas que permitan conocer

mejor el impacto de los resultados de la investigación.

Algunas reflexiones previas

1. ¿Puede el Factor de Impacto de una revista hablar del impacto real de un

artículo?

2. ¿Se citan todos los artículos que han influido en los conocimientos y

pensamiento de un autor?

3. ¿Sólo importa el impacto científico?

4. ¿Se debe tener en cuenta cuando una investigación influye en la sociedad o

tiene un impacto mediático trascendente?

5. ¿Existen otros tipos de impacto más allá del concepto tradicional de “impacto

científico?

Conclusiones del Consejo de la Unión Europea sobre la transición a un modelo de Ciencia

abierta (27/05/2016)

• Todos los artículos científicos europeos, o al menos los financiados, en su totalidad o en

parte, con fondos públicos, en Acceso Abierto en el año 2020.

• Estudiar el uso de métricas alternativas.

• Adaptación de los sistemas de retribución y evaluación.

“La evaluación de la calidad científica, además de basarse en la propia labor científica, debe

ampliarse para medir también la influencia de la ciencia en la sociedad en su conjunto, en

lugar de poner el énfasis, como ocurre actualmente, en una serie de indicadores basados

en la repercusión de las revistas especializadas y el número de citas de las publicaciones”.

Research Excellence Framework (REF)

Nuevo modelo de evaluación de la calidad de la investigación del Reino Unido.

Se evalúan diferentes tipos de impacto: político, tecnológico, económico, cultural, legal, social, medioambiental...

Casos de estudio en impacto cultural.

¿Qué son?

Otros impactosAltmetrics: las otras métricas

http://guiasbus.us.es/altmetrics

• Conjunto de indicadores basados en

herramientas de la web social.

• Complementan a las métricas tradicionales.

• Miden otros productos de investigación, más allá

de los artículos.

• Miden otros impactos de la investigación que no

miden las métricas tradicionales.

Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales…

Referidas a una aportación concreta o a las aportaciones de un autor (a diferencia del FI, que se refiere al valor de la revista )

Mayor rapidez en su actualización

Obtenidas del impacto individual del autor o el documento en una comunidad determinada

Altmetrics vs. Métricas tradicionales

Otros impactos

1. Diversidad: muestran datos sobre otro tipo de resultados de investigación, como conjuntos de datos,

presentaciones, software, patentes, monografías, etc.

2. Otros impactos: no sólo ofrecen información sobre el impacto académico y científico, sino también en

otras audiencias y tipos de impacto: social, económico, medioambiental, cultural, etc.

3. Ampliación del impacto: amplían la imagen del impacto de una investigación, con datos más allá de las

propias citas.

4. Métricas a nivel de artículo: miden el impacto del artículo o resultado de investigación, no solo de la

revista que lo contiene.

5. Inmediatez de los datos: ofrecen información desde el mismo momento de la publicación e incluso antes.

6. Contexto: permiten visualizar la acogida de un producto de investigación y la respuesta inmediata del

autor.

7. Visibilidad: permiten realizar el seguimiento de la difusión de los resultados de investigación y tomar

decisiones para obtener mayor visibilidad e impacto.

Ventajas

1. Falta de normalización: presentan problemas de normalización tanto para su recopilación como para su

uso en la evaluación científica.

2. No están reguladas: al tratarse de herramientas poco controladas, pueden dar lugar a la manipulación y

falsificación.

3. Fiabilidad: no está tan claro que sirvan para medir la calidad científica.

4. Tiempo y dificultad: hacer un seguimiento de las altmetricas puede ser difícil y llevar mucho tiempo si no

se utiliza un proveedor de datos altmétricos.

5. Saturación: existen muchas medidas y proveedores diferentes, por lo que puede ser difícil determinar

cuáles son las más relevantes para la evaluación científica.

6. Aceptación: aunque se empiezan a tener en cuenta como medidas complementarias de evaluación, en

España evaluadores y organismos de financiación aún no las están teniendo en cuenta.

7. Contexto: el uso de las aplicaciones de la web social puede variar según la disciplina, la ubicación

geográfica o a lo largo del tiempo, haciendo difícil interpretarlas.

8. Falta de correlación: no se ha podido demostrar que exista una correlación clara entre las citas recibidas

por un trabajo y las altmetrics cosechadas, aunque esto varía según las fuentes.

Limitaciones

Fuente

Fuentes de datos

Noticias

• Más de 1,300 páginas

• Lista seleccionada

manualmente

• Minería de textos

• Cobertura global

Medios sociales y

• Twitter, Facebook,

Google+, Sina Weibo

• Sólo posts públicos

• Lista seleccionada

manualmente

Gestores de

referencias

• Mendeley, CiteULike

• Recuento de lectores

• No se tienen en cuenta

para el AAS.

Otras fuentes

• Wikipedia

• YouTube

• Reddit

• F1000

• Pinterest

• Q&A

Redes de revisión

por pares

• Publons

• PubPeer

Documentos

oficiales

• NICE Evidence

• Intergovernmental

Panel on Climate

Change

• Muchos más…

Fuente:

Fuentes de los datos

https://www.altmetric.com/about-altmetrics/our-sources/news/

Fuentes de obtención de noticias en

Entre otros…

Cómo medir otros impactos: • IdUS

• Scopus

• Altmetric

• ImpactStory

• Kudos

Descargas del fichero

Visitas mensuales al documento

Total visitas al documento

Visitas al documento por país

Visitas al documento por ciudad

Estadísticas de uso en idUS

Otros impactos

Datos altmétricos (Altmetric.com)

Citas en Google Scholar

Número de citas en WoS

Estadísticas de uso en idUS

Otros impactos

Número de citas en Scopus

Scopus Article Level Metrics

Otros impactos

Datos de uso

Gestores de referencias

Menciones en noticias y blogs

Datos de medios sociales

Otros impactos

Citas en Scopus

Datos altmétricos

Percentil en su categoría

https://www.altmetric.com/products/free-tools/bookmarklet/

Marcador Altmetric

Se instala en la barra de marcadores del navegador.

Detecta automáticamente un DOI en la página y presenta las altmétricas para ese artículo.

Permite generar alertas para conocer cambios en las métricas del artículo.

Altmetric.com

Otros impactos

Marcador Altmetric

Permite medir cualquier artículo con DOI en una Web.

Altmetric.com

Otros impactos

Marcador Altmetric

El donut de Altmetricmarca la fuente de las altmétricas obtenidas y el peso otorgado a su conjunto.

Altmetric.com

Otros impactos

El score marca el impacto detectado en la Web social.

También marca el percentil en el conjunto de artículos puntuados por Altmetric.

Marcador Altmetric

Altmetric.com

Otros impactos

El número de lectores de Mendeley está separado. Suponen impacto académico.

Marcador Altmetric

Altmetric.com

Otros impactos

Crear alertas

Marcador Altmetric

Altmetric.com

Otros impactos

Marcador Altmetric

Crear alertas

Altmetric.com

Otros impactos

ImpactStory

Otros impactos

ImpactStory

Otros impactos

ImpactStory

Otros impactos

ImpactStory

Otros impactos

Gracias.

Por favor, ayúdenos tomándose unos segundos para rellenar

esta encuesta de satisfacción

Gracias.

Imágenes con licencia CC0 obtenidas de http://www.publicdomainpictures.net/

Se permite cualquier explotación de la obra,incluyendo una finalidad comercial, así como la creación de obrasderivadas, la distribución de las cuales también está permitidasin ninguna restricción.

Más información:

Víctor M. Moya-Orozco

@vicmoyoro

vmoya@us.es

presentación de powerpoint - universidad de sevilla · 2019-05-21 · biblioteca ciencias de la...

Documents

conozca sus derechos!

conozca megaupload

cómo elaborar citas y bibliografías - universidad de...

conozca nuestro software

conozca dynamentors

conozca los demonios

conozca canada

conozca de empresa

conozca nuestros hogares

conozca su biblia

conozca su computadora

guÍa de citas y referencias bibliogrÁficas … ·...

presentación de powerpoint - bib.us.es · biblioteca de...

conozca nuestra historia

conozca mas

conozca el proceso

conozca al cliente

conozca a renovak

conozca la bvc

conozca el espiritismo