isidro f. aguillo, josé l. ortega, josé a. prieto, begoña granadino
TRANSCRIPT
Isidro F. Aguillo, José L. Ortega,José A. Prieto, Begoña Granadino
Evaluación: Situación y perspectivas
Importantes sesgos en las herramientas de evaluaciónSobre-representación de las publicaciones anglosajonas y en inglés
Inadecuada presencia de las ciencias sociales y humanas y la tecnología
Errores
Utilización indiscriminada del FI
Diseñado para revistas, se utiliza para el análisis de países, instituciones o individuos
Evaluación de individuos o grupos según las citas esperadas y no las reales
Escasos estudios combinados, considerando otros resultados de la actividad de I+D
Ventajas de la presencia en el Web
EconómicasLa publicación en el Web es más económicaLos servidores y los sistemas de almacenamiento son cada vez más potentes y asequibles
Socio-culturalesEl Web es ubicuo, lo que garantiza una mayor accesibilidad, incluso desde países en vías de desarrollo El carácter distribuido del Web asegura cierta universalidad temática, geográfica, lingüística y cultural
CientíficasLa publicación es más rápidaSe puede aplicar evaluación por paresLa publicación puede ser más rica (datos originales, gráficos y tablas complejas, ficheros media)Refleja la comunicación informal y la realización de un más amplio espectro de actividades
Indicadores cibermétricosMedida del conjunto de la actividad académica e investigadora de una institución
No solo de los trabajos publicados en revistas de prestigio (medida sesgada para tecnólogos, científicos sociales y humanistas)Refleja mejor los procesos de comunicación informal y las actividades complementariasSe mide también ruido, dada la dificultad de identificar la información de calidad
Medida de impacto ampliada a través de la visibilidad hipertextualSe incluye un rango de motivaciones de enlace más amplio y por parte de más actores, no solo de los paresPero la cita bibliográfica es más precisa
Medidas muy útiles a nivel institucionalAdemás del impacto científico, permite la evaluación del consumo de información (impacto social, cultural) o la identificación de relaciones entre instituciones (impacto industrial, económico, triple hélice)Los indicadores cibermétricos se pueden combinar con otros indicadores tradicionales (bibliométricos, patentométricos, cienciométricos)La interpretación no siempre es fácil y quedan por resolver problemas metodológicos
Objetivos
Medir la visibilidad real e impacto de la presencia de instituciones de I+D en el WebComparar las instituciones más productivas de acuerdo a criterios bibliométricos y cibermétricosPosicionar las universidades y centros de investigación respecto a organizaciones de su propio paísEvaluar si existen diferencias entre instituciones y grupos de carácter tecnológico y los dedicados a la investigación científicaPonderar la visibilidad de la actividad científica en los países del Tercer MundoIdentificar el tipo de información que publican las instituciones en sus sedes Web, especialmente las fases de la actividad científica: aspectos teóricos, métodos, herramientas, datos, comunicación científica, divulgación, docencia, explotación de resultadosEstimar la madurez del sistema y el peso relativo de las páginas personales
Poblaciones estudiadas
9330 dominios institucionales de universidades de todo el mundo
Google, Yahoo Search, MSN Search y Teoma (Enero 2005)
100 universidades mejor posicionadasEssential Science Indicators (ISI, 1994-2004)
Academic Ranking of World Universities (Univ. Shanghai, 2004)
World Universities Rankings (The Times, 2004) 947 páginas más visibles del Web hispanohablante
PageRank de Google (Febrero 2005)
50 universidades españolas más productivasSCI-CINDOC (Periodo 1996-2001)
Fuentes
Tamaño
Motores GOOGLE MSN TEOMA YAHOONúmero de páginas 389.369.088 364.891.111 129.659.822 129.205.256Pags/dominio 41.733 39.109 13.897 13.848GOOGLE 1 0,917** 0,731** 0,893**MSN 0,917** 1 0,692** 0,856**TEOMA 0,731** 0,692** 1 0,822**YAHOO 0,893** 0,856** 0,822** 1
Coeficiente de correlación
Tamaño
de Spearman: ** p< 0,01
Correlación positiva estadísticamente significativa entre los datos de tamaño de todos los motores
Los robots de los buscadores recopilan e indizan de forma distinta y el esquema temporal de visitas varía entre ellos. El solapamiento entre resultados es bajo.
La correlación soporta la consistencia de combinar los datos de los motores
Visibilidad
Motores MSN YAHOOVisibilidad Número de enlaces 71.397.027 266.834.855
MSN 1 0,888**YAHOO 0,888** 1
Coeficiente de correlación
de Spearman: ** p< 0,01
Sólo dos motores permiten el cálculo de la visibilidad (enlaces externos recibidos).
Existe una alta correlación entre ambos valores, que es estadísticamente significativa
La correlación positiva confirma la opción de sumar los resultados
Ficheros ricos
Formatos ricos PDF PS DOC PPT XLSNúmero de ficheros 43.930.937 4.516.755 7.021.760 2.089.441 668.374Ficheros/dominio 4.709 484 753 224 72PDF 1 0,612** 0,738** 0,734** 0,670**PS 0,612** 1 0,568** 0,638** 0,607**DOC 0,738** 0,568** 1 0,791** 0,778**PPT 0,734** 0,638** 0,791** 1 0,773**XLS 0,670** 0,607** 0,778** 0,773** 1
Coeficiente de correlación
Ficheros ricos
de Spearman: ** p< 0,01
Los ficheros ricos han sido extraídos merced al buscador Google y el comando filetype
Los tipos elegidos corresponden a los más frecuentemente utilizados, especialmente aquellos reservados a procesos de comunicación académica o científica
Como en casos anteriores, la alta correlación existente justifica su combinación como medida única
Ranking
Indicadores TAMAÑO VISIBILIDAD RIQUEZATAMAÑO 1 0,899** 0,892**VISIBILIDAD 0,899** 1 0,833**RIQUEZA 0,892** 0,833** 1
Coeficiente de correlación
de Spearman: ** p< 0,01
I=2*RS+4*RV+RR
La medida de impacto se construye mediante combinación de las posiciones relativas de cada dominio ( R ) respecto a los tres indicadores descritos (S=tamaño, V=visibilidad, R=ficheros ricos), cuya correlación es alta y significativa
Los pesos se asignan arbitrariamente, considerando cual podría ser la contribución relativa de cada indicador
Análisis comparativo (I)
Rankings ESI-ISI SHANGHAI TIMES WEB
ESI-ISI 1 0,760** 0,426** 0,609**SHANGHAI 0,760** 1 0,638** 0,538**TIMES 0,426** 0,638** 1 0,379**WEB 0,609** 0,538** 0,379** 1
Coeficiente de correlación (n=99)
de Spearman: ** p< 0,01
ESI-ISI: Criterios bibliométricos
Número de citas recibidas en 10 años (desde revistas fuente ISI)
Shanghai Jiao Tong University: Visibilidad
Publicaciones, Premios (Nóbel), Tamaño
Times: PopularidadPublicaciones, encuestas de opinión
Correlación significativa entre todos los rankingsAlta entre ESI, Shanghai y Web
No tan alta con los datos del Times
Análisis comparativo (II)
El ranking Web ...
Complementa los criterios bibliométricos
Ofrece resultados generales similares a los otros métodos
Pero ...
Las universidades tecnológicas aparecen mejor posicionadas
La investigación biomédica no es tan prominente como en el listado ISI
Las grandes universidades de países en vías de desarrollo no aparecen desplazadas
Los países escandinavos aparecen bien representados en un modelo general donde las universidades norteamericanas dominan claramente la escena
Las universidades alemanes están presentes
Las universidades francesas y japonesas aparecen muy retrasadas
PageRank (I)
POSICION UNIVERSIDAD URL15 Universidad de Sevilla http://www.us.es/23 Universidad Complutense de Madrid http://www.ucm.es/27 Universitat de Barcelona http://www.ub.es/54 Universitat Oberta de Catalunya http://www.uoc.edu/59 Universidad Nacional Autónoma de México http://www.unam.mx/70 Universidad Autónoma de Madrid http://www.uam.es/72 Universidad de Granada http://www.ugr.es/81 Universidad Politécnica de Madrid http://www.upm.es/82 Universidad de Salamanca http://www.usal.es/95 Universidad Nacional de Educación a Distancia http://www.uned.es/96 Universitat Autonoma de Barcelona http://www.uab.es/
Universidades
6213
11
44 3 3 2 11
España
México
Argentina
Chile
Colombia
Puerto Rico
Venezuela
Perú
Costa Rica
Ecuador
Web hispanohablante
947 páginas con mayor PR (104 universitarias)
Resultados parecidos pero no iguales al ranking Web
Gran peso de las instituciones académicas en la vertebración del Web hispano
Especialmente de las universidades españolas
Limitaciones
Válido para páginas, no para dominios
No aplicable a escenarios plurinacionales o globales
PageRank (II)
Rankings SCI VISIBILIDAD PAGERANKSCI 1 0,750** 0,776**VISIBILIDAD 0,750** 1 0,881**PAGERANK 0,776** 0,881** 1
Coeficiente de correlación (n=50)
de Spearman: ** p< 0,01
Universidades españolas
50 más productivas según artículos publicados en el SCI en el periodo 1996-2001 (CINDOC, 2004)
Mejora de la posición de las universidades tecnológicas en las rankings basados en el Web
UNIVERSIDADES MAS PRODUCTIVAS SCI VIS PR Universitat de Barcelona ub.es 1 3 2Universidad Complutense de Madrid ucm.es 2 2 3Universitat de València uv.es 3 1 11Universidad Autónoma de Barcelona uab.es 4 8 6UNIVERSIDADES POLITECNICASUniversitat Politècnica de Catalunya upc.es 11 5 7Universidad Politécnica de Madrid upm.es 15 4 8Universitat Politècnica de València upv.es 24 6 10Universidad Politécnica de Cartagena upct.es 49 47 50
Otros indicadores
PDF PS DOC PPT XLSSCI 0,671** 0,543** 0,674** 0,663** 0,457**
Coeficiente de correlación
de Spearman: ** p< 0,01TAMAÑO VISIBILIDAD SUBDIR PERSONAL
TAMAÑO 1 0,973** 0,842** 0,692**VISIBILIDAD 0,973** 1 0,837** 0,684**SUBDIR 0,842** 0,837** 1 0,644**PERSONALES 0,692** 0,684** 0,644** 1
Coeficiente de correlación n=50
Ficheros ricosLa mayor correlación encontrada entre ficheros pdf, doc y ppt con el número de publicaciones indica que estos son un indicador de actividad científica, aunque son formatos también utilizados con fines administrativos
Los ficheros ps, utilizados por ingenieros, físicos o matemáticos, presentan una correlación más baja con el SCI, donde abunda la producción biomédica
Subdirectorios y páginas personalesEl número de subdirectorios puede indicar una mayor madurez del sistema y, por tanto, una mayor capacidad productiva
Se necesita un análisis más fino, ya que es probable que se trate de páginas de grupos de investigación
Sesgos y limitaciones
Sesgos geográficos y lingüísticos
Suma del tamaño de los dominios universitarios por países
Tamaño de Google se normaliza al 100% y se ajusta el resto
Teoma presenta importantes desviaciones
Google parece subestimar los países asiáticos y los eslavos (¿problemas con el alfabeto?)
Porcentaje sobre Google (%) GOOGLE MSN TEOMA YAHOO
EEUU (us) 100 108,58 190,1 160,64CANADA (ca) 100 84,31 104,19 97INDIA (in) 100 135,63 81,9 93,1REINO UNIDO (uk) 100 69,71 122,01 82,95AUSTRALIA (au) 100 71,06 100,42 72,11ISRAEL (il) 100 67,67 326,37 64,39NUEVA ZELANDA (nz) 100 62,18 74,19 61,74REP: SUDAFRICANA (za) 100 69,21 71,26 57,19
TAIWAN (tw) 100 141,24 25,38 33,44COREA DEL SUR (kr) 100 165,99 21,82 24,26JAPÓN (jp) 100 112,22 24,44 21,86R. P. CHINA (cn) 100 87,55 5,72 13,69
RUSIA (ru) 100 155,77 16,21 118,74UCRANIA (ua) 100 116,81 12,83 90,68POLONIA (pl) 100 114,84 11,56 79,28HUNGRIA (hu) 100 126,95 20,4 74,27CHEQUIA (cz) 100 124,63 30,3 62,68
ALEMANIA (de) 100 99,7 21,76 86,78DINAMARCA (dk) 100 96,01 79,62 78,1AUSTRIA (at) 100 97,42 38,9 75,21SUECIA (se) 100 70,19 69,25 72,52ITALIA (it) 100 79,25 31,03 68,51
BRASIL (br) 100 105,71 34,96 101,76MEXICO (mx) 100 84,64 79,89 95ARGENTINA (ar) 100 90,48 47,54 83,44CHILE (cl) 100 110,29 57,67 82,78ESPAÑA (es) 100 83,58 63,53 76,13PORTUGAL (pt) 100 113,74 28,52 73,98
Otros europeos
Países angloparlantes
Países asiáticos
Países eslavos
Países hispano y luso parlantes
Conclusiones
Los indicadores cibermétricos son bastante robustos estadísticamente y pueden ser utilizados para la evaluación de instituciones y grupos.
La combinación de datos de tamaño, visibilidad hipertextual y número de ficheros ricos ofrece un ranking cuyos resultados son comparables a los producidos por otros indicadores de impacto.
Los indicadores basados en el Web parecen reflejar mejor las contribuciones de instituciones de países en vías de desarrollo, de los tecnólogos e ingenieros y posiblemente de científicos sociales y humanistas.
La cibermetría puede ayudar a superar algunas limitaciones de los indicadores bibliométricos, pero es necesario resolver ciertos sesgos geográficos y lingüísticos que presentan los motores de búsqueda.
Más información
Laboratorio de Internet internetlab.cindoc.csic.es
Revista Cybermetricswww.cindoc.csic.es/cybermetrics
Proyecto EICSTES www.eicstes.org
Proyecto WISER www.webindicators.org
Ranking Web www.webometrics.info
Lo que siempre quiso preguntar...
Rompa el hielo