Tendencias internacionales en la evaluación de la ciencia y la tecnología.

Bibliometría y Altmetría

Jornada de intercambio y debate sobre la medición de la producción científico-tecnológica: políticas, experiencias y desafíos. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET), Facultad de Humanidades y Ciencias de la Educación, Universidad Nacional de la Plata , 3 de diciembre de 2013

Zaida Chinchilla-Rodríguez SCImago Research Group – IPP - CSIC

Situación actual de la investigación• Conference themes and Plenary Sessions:

Topic 1 Scientometrics Indicators:- Criticism and new developments- Their disciplinary relevance: Science and Technology, Social Sciences and HumanitiesTopic 2 Old and new of data sources for scientometric studies: coverage, accuracy and reliabilityTopic 3 Citation and co-citation analysisTopic 4 Science Policy and Research Evaluation: Quantitative and qualitative approachesTopic 5 Measuring Innovation and Emergence incl. Patent AnalysisTopic 6 Collaboration studiesTopic 7 WebometricsTopic 8 Visualisation and Science Mapping: tools, methods and applicationsTopic 9 Management and measurement of bibliometric data within scientific organizationsTopic 10 Open Access and ScientometricsTopic 11 Scientometrics in the History of ScienceTopic 12 Sociological and philosophical issues and applications

Social Network AnalysisIntroduction to ORCID The wondrous world of bibliometric indicators:• Citation Indicators• Usage Indicators• Altmetrics

Research Trends

Table Compound Big Datasets and their objects of study. Source: Henk F. MoedThe use of Big Datasets in bibliometric research. Research Trends, 30, september 2012

Desarrollo de Sistemas de Información Científica e Indicadores - SCImago

Totaloutput

Liderazgo y excelencia científica (país o institución)

Participatedoutput

Output as maincontributor

Excellenceoutput

Exclusiveoutput

Author/s only from one domain

Authors from different domains

Excellence Output as

main contributor

Principales Indicadores Latinoamérica

Country % LAC

Cites per

document

% Cited docum

ents

International collaboration

Normalized Citation

% Output in Q1

% Excellence % Leadership% Excellence

with Leadership

Brazil 51,19 7,61 72,39 24,92 0,78 36,64 7,17 86,99 4,76Mexico 17,77 7,33 66,52 38,81 0,77 39,77 7,30 78,40 3,62ARGENTINA 11,60 9,48 75,89 41,50 0,92 48,69 8,45 76,30 4,31Chile 7,43 10,15 74,20 52,42 0,94 46,14 9,62 68,79 4,34Colombia 4,06 7,86 63,49 51,18 0,81 34,93 7,86 67,43 2,50Venezuela 2,74 6,33 58,11 43,38 0,61 31,08 5,65 73,91 2,07Cuba 2,34 4,74 48,70 40,94 0,44 24,13 4,38 75,67 1,85Latin America 100,00 5,84 60,47 32,85 0,78 37,23 7 82,93 4,06

SCImago Institutions Rankings

Literatura científica citada en patentes

Matching Scopus-Patstat

Producción argentina citada en patentes

Patentes en las que ha sido citada

Producción científica UNLP citada en patentes

SIC

Patentes(output tecnológico )

Patentometría)

Web 2.0(motivaciones muy hetereogéneas)

Webometría

Usometría

Altmetría

Publicaciones(output científico)

Bibliometría

Distintas fuentes - Distintos criterios

Métricas alternativas

Altmetrics

• Críticas al modelo tradicional de evaluación y financiación científica

– Descontento generalizado de investigadores, editores y gestores de investigación científica sobre el modelo actual (San Francisco Declaration of Research Assessment) → Factor de impacto de las revistas, no de los artículos → Único indicador de referencia en agencias de promoción y financiación de la investigación →Re-diseñar estrategias y criterios de evaluación de la actividad científica

– Múltiples fuentes de recogida de datos y plataformas abiertas y gratuitas

• Auge del acceso abierto– Criterio para la financiación de la investigación (Leyes nacionales, Comisión Europea, Welcome Trust,

NIH, Russell Group …)– Cumplir mandato institucional– Difusión, divulgación, democratización de la actividad científica, visibilidad…

• Mayor repercusión y visibilidad de la actividad científica– Nuevos canales de comunicación científica → se consolida el concepto de impacto social de la

actividad investigadora? → tercera misión de las universidades? → nuevos criterios de evaluación → pro-actividad de investigadores e instituciones

• Redes sociales– Facebook y Twitter

• Redes sociales académicas– Academia.edu– ResearchGate – Mendeley– SlideShare

• Perfiles bibliográficos– Google Citations– MS Academic Search

Nuevas plataformas y herramientas

Altmetrics.com

Nuevos indicadores

• Medidas generadas a partir de las interacciones de los usuarios con materiales generados por los propios investigadores– Presencia en redes académicas– Número de veces que un trabajo se marca como favorito (bookmarking)– Número de veces que ha sido añadido a una colección bibliográfica– Menciones en blogs y medios de comunicación– Número de retwits…

• Fortalezas:– Aporta una dimensión distinta a la bibliometría convencional– Impacto social de la investigación científica– Proporcionan datos a nivel artículo (documento)– Proporcionan datos en tiempo real de la repercusión de la investigación– Especie de revisión por pares colectiva posterior a la publicación

• Debilidades:– Son muy recientes – Problemas de normalización para la recuperación de la información– Disponibilidad de datos

Facebook

Twitter

Russell Group Universities

Academia.edu

¿Qué es Mendeley?

Creando tu biblioteca

Administrando tus documentos &

referencias

Insertando citas & generando

bibliografías

Compartiendo referencias usando

grupos

Agenda

Academia.edu

Perfil de institución

Perfil de autor en ResearchGate

¿Qué es Mendeley?

Mendeley e un programa académico gratuito (Win, Mac & Linux) para gestionar, compartir, anotar y citar tu bibliografía científica…

...y una red social académica para gestionar tu bibliografía online, descubrir tendencias y estadísticas y conocer a otros investigadores con intereses communes

Perfil de autor en Mendeley

ReaderMeter

SlideShare

Perfiles bibliográficos• Dos nuevas herramientas en la evaluación de la investigación (bases de datos de

citas)

• Diferentes perfiles y funcionalidades– Google Scholar Citations: Perfil creado por el usuario, GS lo actualiza automáticamante.

Permite añadir manual o automáticamente registros, su exportación en distintos formatos y unificar registros duplicados

– MS Academic Search: permite editar el perfil, incorporarlo en una web externa y tienes más funcionalidades que Google Scholar Citations

Google Scholarscholar.google.com

MS Academic Searchacademic.research.microsoft.com

Size +100 million ~40 million

Sources (Un)reliable Reliable

Current Yes No

Quality control At the source By end user

Google Scholar Citations

Ranking de perfiles UNLP

Perfil de autor

Posición de la institución por temáticas

Exploración de red de coautores

PROS• Participación en redes

sociales y académicas• Incremento de visibilidad• Posibilidad de interactuar

con otros grupos • Acceso abierto de los

documentos• Cumplimiento de

mandato institucional

CONTRAS• Evanescencia de los

datos y las fuentes

• Posibilidad de incurrir en ilegalidad por los derechos de autor

• Aumenta el trabajo del investigador

Normalización y recuperación de datos

• Identificadores ORCID

Aumentar la visibilidad

• Incorporación repositorio institucional

• Incorporación páginas personales

• Incorporación al CV

Comprobar en Digital.CSIC y enlazar

Incorporación en páginas personales (I)

Incorporación en páginas personales (II)

Impact Story

Firma correo electrónico – enlazar sitios web –modelo altmetrics en CV

Consejos básicos

• Enlazar nuestras páginas personales con el mayor número posible de sitios (redes sociales, perfiles bibliograficos, web institucionales: IPP, CSIC…) Cualquier enlace es mejor que ninguno

• Subir todo el contenido posible (mayor probabilidad de ser visibles) respetando los permisos de autoarchivo

• Etiquetar los grupos e intereses de investigación

• Poner perfiles o un identificador estandarizado en la firma del correo electrónico

Conclusiones finales…

• Los nuevos indicadores aún no se utilizan en la evaluación pero se recomienda su incorporación paulatina en los currícula

• Resolver problemas de normalización a nivel individual e institucional

• La nueva generación de sistemas de información científica (CRIS) y las métricas basadas en el uso y consumo de la información, pueden aportar nuevos criterios y soluciones en la evaluación científica

• Los nuevos escenarios y plataformas brindan la oportunidad de que el investigador pueda incrementar la visibilidad más allá de la publicación en revistas, ya que puede compartir en muchas otras fuentes de interés

• Cualquier indicador que complemente los que ya existen (bibliométricos, de transferencia tecnológica, etc.) son bienvenidos y hay que explorar sus utilidades y sus limitaciones

Gracias !!!

UNLP, 3 de diciembre de 2013

zaida.chinchilla@csic.es