evaluación de la investigación científica la perspectiva de un director de instituto de...

Evaluación de la investigación científica

La perspectiva de un director de Instituto de Investigación

Luis Felipe Arauz Cavallini

Director

Instituto de Investigaciones Agrícolas

Preguntas fundamentales

• ¿Para qué se evalúa?

• ¿A quién se evalúa?

• ¿Qué aspectos se evalúan?

• ¿Cómo se evalúa?

• ¿Quién evalúa?

¿Para qué se evalúa?

• Control de calidad

• Rendición de cuentas

• Optimización en la asignación de recursos

¿A quién se evalúa?

• Niveles de evaluación– Entes que investigan

• La persona que investiga

• La unidad de investigación (Centro o Instituto)

• La institución

• Los sistemas nacionales y supranacionales

– Actividades de investigación• Investigaciones, proyectos y programas

¿Qué aspectos se evalúan?

• Evaluación de de la investigación se da en dos dimensiones :– Proceso científico– Gestión de la investigación

¿Qué se espera del proceso científico?

• Resultados directos (= producción científica, “output”) – Información, reflejada en artículos, informes y otras

publicaciones – patentes, productos, prototipos, procesos

• Resultados indirectos (= consecuencias, indicadores, “outcome”)– innovaciones tecnológicas– número de estudiantes graduados– aumento de la capacidad (“expertise”) de los investigadores y

su institución– contactos con otros investigadores– etc.....

¿Qué aspectos se evalúan?

Criterios para la evaluación del proceso científico

• Calidad– ¿Cumple con los criterios generalmente aceptados

como “método científico”?– ¿Se llevan a cabo las etapas con rigor, corrección

metodológica, y objetividad en la interpretación de los datos?

• Pertinencia– ¿Contribuye al avance del conocimiento?– ¿Contribuye en la solución de un problema?– ¿Contribuye al desarrollo tecnológico?

¿Qué se espera de la gestión de la investigación?

• Uso adecuado de recursos

• Cumplimiento de objetivos

• Relación beneficio:costo

¿Cómo se evalúa?

Herramientas para la evaluación

Herramientas para la evaluación

• Evaluación por pares académicos– Proyecto nuevo (evaluación a priori)– Avance– Publicación (evaluación a posteriori)

• Aspectos técnicos y éticos de la evaluación por pares académicos

El artículo científico como herramienta de evaluación

• Su estructura sigue el método científico.• La evaluación confidencial por pares académicos,

si bien tiene sus debilidades, es el método de evaluación más eficaz inventado hasta ahora.– Es parte de la cultura científica mundial.

• Una vez publicado queda expuesto a la crítica de la comunidad científica.

• Sirve de base para mediciones de impacto

Lo anterior se cumple si la revista es seria, tiene un comité editorial de alto nivel, libre de ataduras y es indexada en los catálogos de

mayor relevancia mundial

Preocupaciones

• Sacrificio en la producción de artículos en aras de la venta de servicios

• Conceptualización de la publicación científica como un simple instrumento de ascenso para el investigador

• Proliferación de revistas ligadas a unidades académicas

Herramientas para la evaluación

• Evaluación por interesados (“stakeholders”)– Entes financiadores– Beneficiarios– Contribuyentes

Análisis de impacto

• Investigación básica vs. Aplicada– Identificación de beneficiarios vs. Aumento de

conocimiento– Análisis bibliométrico– Beneficiarios directos e indirectos

• Relación beneficio:costo

• Seguimiento de resultados

Impacto y seguimiento• Difícil de medir• Los productores

obtienen su tecnología de muchas fuentes

• Excepción:– variedades

– productos

– Ejemplo: CITA 0

20

40

60

80

100

120

140

160

Propia Agroindust Empresa

Nú

mer

o d

e p

rod

uct

os

Llegó al mercado No llegó

ARTÍCULO 51.- Corresponderá específicamente al Vicerrector de Investigación: a) Supervisar, coordinar y estimular la investigación de la Universidad.

ARTÍCULO 123.- La investigación como actividad sustantiva de la Universidad de Costa Rica es coordinada fundamentalmente por la Vicerrectoría de Investigación, la cual cuenta con una estructura de apoyo para realizar su promoción, desarrollo, seguimiento y evaluación

¿Quién evalúa?

¿Quién evalúa a la Vicerrectoría?

¿Quién evalúa?

• La V.I. delega en los comités científicos la evaluación del proceso de investigación

• La gestión de la investigación es evaluada en primera instancia por el centro o instituto y luego la V.I. verifica el cumplimiento en las fechas de entrega de los informes– Se pretende castigar el atraso en los informes.

Esta pretensión refleja mayor interés en los aspectos administrativos que en la calidad de la investigación.

¿Quién evalúa los centros e institutos?

• Evaluación interna: Autoevaluación.• Evaluación externa: Panel de expertos.• Lo ideal: autoevaluación con

verificación externa.• En la UCR: solo autoevaluación, sin

verificación externa.– excepto en lo referente al cumplimiento

de fechas...

Herramientas adecuadas para distintos niveles de evaluación

Énfasis en elproceso

científico

Énfasis en lagestión

La investigaciónindividual

El investigador

La institución

El centro o instituto

El proyectoRevisión por pares

Panel de expertos

Publica-ciones

Competencia del profesorado

Análisis de impacto

Informe de avancePropuesta

Análisis de impacto

Informe de gestión

Publica-ciones

Conclusiones• La evaluación de la investigación es necesaria.• El método de evaluación depende del nivel que se

evalúa y de si el énfasis es en el proceso científico o en la gestión de la investigación.

• La revisión por pares académicos es un método adecuado para evaluar la calidad de la investigación.

• La evaluación de impacto depende del objetivo de la investigación.

• La evaluación de la investigación en la UCR debería contemplar la calidad más que los aspectos administrativos.