-
7/21/2019 importancia de evaluacion en la calidad de investigacion
1/43
EVALUACIN
DE LA CALIDADDE LA
INVESTIGACIN
Mg. Kati Mansilla Torres1
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
2/43
Plan Estratgico Institucional PUCP 2011-2017
Al 2017 (centenario PUCP):
sentar las bases paratransformarnos en una Universidad
de nvesti!aci"n#
2
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
3/43
LAN ESTRATGICO INSTITUCIONAL
2011 2017
(LNEA DE ACCIN DE INVESTIGACIN)
1. Fortalecer la produccin y difusin de las investigacionesrealizadas en la PUCP
2. Poner los resultados de la investigaciones producidas enla PUCP al servicio de la comunidad
3. Asegurar las condiciones que permitan promover unamayor produccin de investigaciones de calidad.
3
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
4/43
DGI
Of. Estrategias
para laPromocin deInvestigacin
Oficina deAdministracinde Proyectos
Of. Evaluacinde la
Investigacin
Oficina deInnovacin
Oficina deDireccin
4
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
5/43
QU ES UNA INVESTIGACINDE CALIDAD?
5
EN
INVESTIGACINProceso de actividades de preparacin, organizacin,
elaboracin de trabajos, ajustes, utilizacin de resultados
DECALIDAD
Metodologa rigurosa para laconduccin de nuevo
conocimiento Cumplimiento de principiosticos
Proceso de pares Gestin de la Investigacin
Comunicacin de resultados
FLEXIBILIDAD
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
6/43
EN
Asignacin de fondosadecuada?Buenos resultados deinvestigacin?Resultados que impactan,generan conocimiento?
Es novedoso el proyecto?La bibliografa esactualizada?La metodologa esadecuada?El presupuesto es
adecuado?
6
Una investigacin ser de calidad en la medida que garantice que segenera nuevo conocimiento, y que este conocimiento ha sido obtenidomediante procedimientos vlidos.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
7/43
POR QU EVALUAR?
7
Evaluacinde la
Investigacin
Generar conocimiento/insumos/ informacin
para apoyar polticas y programasde gobierno destinados a la
investigacin.
Anlisis de inversin.Acercamiento de investigacin y
empresa para desarrolloeconmico y social.
Contexto de polticaseducativas de
produccin y culturade la productividad
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
8/43
La calidad de la investigacin debe ser tomada encuenta durante eldiseo,ejecucin, culminacinydivulgacinde una investigacin.
CUNDO EVALUAR?
Diseo Ejecucin Divulgacin
Culminacin
Evaluacin
preliminar del
proyecto
Seguimiento a
proyecto de
investigacin
Evaluacin deresultados de
investigacin
Medicin de
impacto de la
investigacin
8
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
9/43
QU EVALUAR? ELEMENTOS PARUNA INVESTIGACIN EN Y DE
CALIDAD
EVALUACIN EN CALIDAD EVALUACIN DE CALIDAD
Relevancia temtica
Integridad cientfica
Coherencia argumentativa
Planificacin del trabajo de investigacin
Anlisis presupuestal
Posibles riesgos
Impacto acadmico
Relaciones interinstitucionales
Actividades de divulgacin
9
Relaciones interinstitucionales
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
10/43
10
RELEVANCIA TEMTICA
Gracias por no realizar investigaciones que ya se han hecho.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
11/43
11
INTEGRIDAD CIENTFICA ANTECEDENTES NORMATIVOS
1947 Cdigo de Nremberg
1964, 2013 Declaracin de Helsinki
1966 Pacto Internacional de DerechosCiviles y Polticos
1979 Informe Belmont
1982, 2002 Protocolo tico internacional para lainvestigacin biomdica con seres humanos
2005 Declaracin universal sobrebiotica y derechos humanos
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
12/43
12
INTEGRIDAD CIENTFICA PRINCIPIOS
Anlisis y comunicacin deresultados
Ver, Dr. Henderson No tiene derecho a tratar aestas personas como ratas de laboratorio. Bueno, supongo que somos el grupo de control.
Uso y conservacin de los datosque sirven de base a unainvestigacin
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
13/43
13
COHERENCIA ARGUMENTATIVA
Para respaldar mi teora estn todos los artculosacadmicos publicados en los ltimos 150 aos. Yo tengo esto.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
14/43
14
COHERENCIA ARGUMENTATIVA
Para patentarlo, tendra que entenderlo.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
15/43
15
PLANIFICACIN DEL TRABAJO DEINVESTIGACIN
Considera todas las etapas de la investigacin,incluyendo la divulgacin
El equipo debe tener las capacidades necesarias paradesarrollar el plan de trabajo
Incluir metodologa y herramientas de trabajopertinentes
Contemplar tiempo y presupuesto disponibles
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
16/43
16
ANLISIS PRESUPUESTAL
Overhead
Tcnico delaboratorio
Empresa deimplementoscientficos
Posdoctor
Egresada
Estudiantede pre grado
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
17/43
17
POSIBLES RIESGOS
Considerar dinero de reserva para imprevistos
Considerar mtodos y herramientas alternativas
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
18/43
18
RELACIONESINTERINSTITUCIONALES
PUCPFondosinternacionales
Empresasnacionales RPU
FINCyT
CONCYTEC RED IDi
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
19/43
19
TIPOS DE EVALUACIN DE LAINVESTIGACIN
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
20/43
20
PROYECTOEs hecha por uno o ms expertos en el tema de investigacin,bajo los sistemas de simple ciego o doble ciego
S Tal vez No
!rinda retroalimentacinacad"mica a losinvestigadores
#arantiza una posicinm$s imparcial de la
evaluacin
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
21/43
21
PROYECTOLas opiniones de los pares pueden diferir entre s.
Cmo es que se siente la revisin por pares (a veces)
Revisor 1 Revisor 2
Revisor3
Promueve el de%atecient&fico
!rinda informacin de lasituacin de lainvestigacin
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
22/43
PROYECTO
22
Busca escoger las propuestas ms idneas parafinanciamiento o apoyo.
Permite tener una visin m$samplia' detallada' precisa delos tra%a(os presentados en
una disciplina
Promueve redes y lazosde investigacin
Se desmay. Alguien debe haber enviado una idea original.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
23/43
Directorio de 1100 evaluadores externosnacionales e internacionales!
23
EVALUACIN PRELIMINAR DEL PROYECTO EN LA PUCP
PERFIL DEL EVALUADOR
Grado de DoctorCon experiencia previa enevaluacin para revistasacadmicasNo tener vnculo actual con
la PUCPContar con suficientespublicaciones arbitradas
Pertenecer en la actualidada una institucinacadmica de prestigio
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
24/43
24
"#E$%E& PA'A (#&)A' *)O$+O)A' E+A,#ADO'E&- )epartamentos- Centros' *nstitutos- #rupos de investigacin- *nvitados PUCP en el a+o- ,-*/ 0evistas de prestigio- ,-*/ uestros
evaluadores
)O-PA'A)I$ )O$ (A&E&DE DA%O& I$%E'$A&- i se lo convoc
anteriormente- i es o a sido profesor
PUCP- i cumple con el perfil m&nimo
eigido
I$+I%A)I$*C,0P,0AC*4 --5 )*0-C6,0*,
CA06A )-!*-7-*)A8C,6AC*A )-5
70*
EVALUACIN PRELIMINAR DEL PROYECTO EN LA PUCP
PROCESO DE INVITACIN A PARES EXTERNOS
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
25/43
25
)riterios de Evaluacin
)oncurso Anual de Proyectos deInvestigacin
Punta/e
(yA
Punta/e
ID
'elevancia de la temtica 19 19
)ongruencia entre o2/etivos3 4iptesis ymetodolog5a
:; 39
'esultados e impactos esperados 29 3;
(i2liograf5a 1; 9
Plan de %ra2a/o y )ronograma 1; 19
%otal 100 100
EVALUACIN PRELIMINAR DEL PROYECTO EN LA PUCP
CRITERIOS DE EVALUACIN PRELIMINAR
* Para proyectos interdisciplinarios, se agrega el criterio Justificacin del carcter interdisciplinario de lapropuesta, con puntaje de 15 puntos. El puntaje del resto de criterios se redistribuye.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
26/43
26
EVALUACIN DE RESULTADOS DELA INVESTIGACIN
Como parte de un proceso depublicacin.
Como revisin de cumplimientode objetivos y resultados.
Un blog cuenta como una publicacin?La mayora de cientficos calificaron al nuevo proceso
agilizado de revisin por pares como una mejora.
EVALUACINDERESULTADOSDE
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
27/43
27
EVALUACIN DE RESULTADOS DELA INVESTIGACIN
7erifica el cumplimientode los o%(etivos de lainvestigacin
Asegura que se a
creado nuevoconocimiento a trav"s de
m"todos correctos
Si esta evidencia es correcta, remover los cimientos denuestra propuesta de investigacin.
EVALUACINDERESULTADOSDE
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
28/43
28
EVALUACIN DE RESULTADOS DELA INVESTIGACIN
!rinda retroalimentacinal tra%a(o del investigador
Promueve el de%atecient&fico
Creo que deberas ser ms explcito en el paso 2
Luego, ocurri
un milagro
EVALUACINDERESULTADOSDE
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
29/43
29
EVALUACIN DE RESULTADOS DELA INVESTIGACIN
Prepara los resultadosde investigacin para ser
divulgados
)e%e considerar
confidencialidad deinformacin y derecosde pu%licacin
Y as concluye mi informe federal sobre el estado del calentamiento global. Ahora, elagente especial Coffield los pondr bajo arresto por saber informacin confidencial.
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
30/43
30
EVALUACIN DE RESULTADOS DE LA INVESTIGACIN ENLA PUCP
QU NO SE ENVA A PARES EXTERNOS?
Proyectos que presenten como resultados art&culos en revistasindeadas y ar%itradas pu%licadas o aceptadas para su pu%licacin.
Proyectos que presenten li%ros pu%licados en editoriales con
ar%itra(e o en proceso de edicin
Proyectos que presenten productos concretos concluidos/prototipos' patentes' soft
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
31/43
31
EVALUACIN DE RESULTADOS DE LA INVESTIGACIN ENLA PUCP
CRITERIOS DE EVALUACIN DE RESULTADOS PROYECTOS
INTERDISCIPLINARIOS
)riterio6DepartamentoInterdiscip
linarios
Aporte de los resultados de la investigacin3;
Correspondencia con el proyecto presentado 19
Coerencia argumentativa y8o epositiva 3;Actualidad y pertinencia de las referencias %i%liogr$ficas 1;
Pertinencia de la metodolog&a >
#rado efectivo de interdisciplinaridad de la investigacin
realizada
19
INVESTIGACIN EVALUACIN
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
32/43
32
INVESTIGACIN EVALUACINBIBLIOMTRICA
Rendimientodel investigador
Indicadores Indicadores
NO se est considerando:
Otras bases
de datosacadmicas
(Latindex, INE!S,
EI"#
Impacto noacadmico de
la investigacin
$arias %reas
acadmicas
a&ectadas
(ciencias sociales,
artes, 'umanidades#
epresentatividadde las bases de
datos, sesgos de
idioma y regin
INVESTIGACIN EVALUACIN
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
33/43
33
INVESTIGACIN EVALUACINBIBLIOMTRICA
CRTICAS AL SISTEMA DE INDIZACIN DE REVISTAS
En su presentacin, Timo describe el negocio de la revista Nature:1.Los cientficos nos dan su trabajo gratuitamente.
2.Luego, contactamos a cientficos voluntarios para que lo evalen demanera gratuita.
3.Los unimos y se los vendemos para tener ganancias.
Suena escandaloso, pero loscientficos lo harn porquequieren que sus trabajos sean
publicados.
Les podemos cobrar lo quequeramos. Es, en esencia, unmonopolio
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
34/43
34
MEDICIN DE IMPACTO DE LAINVESTIGACIN
Nmero deCitaciones
Nmero depublicaciones
Colaboracin conEntidadesExtranjeras
Factor deImpacto
ndiceH
36912
3
ndicesBibliomtricos
INVESTIGACIN NDICES
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
35/43
35
INVESTIGACIN NDICESBIBLIOMTRICOS
200520042003
Artculo fuente - publicado en 2005
Citado como referencia - publicado en 2004 y 2003
Citaciones
Factor de Impacto 2005
AllPrevious Years
2002 2006
Factor de Impacto =
Nmero de citaciones de artculos en el mismo perodo
Nmero de artculos publicados por unarevista en los ltimos 2 aos
Time
FACTOR DE IMPACTO
INVESTIGACIN NDICES
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
36/43
36
INVESTIGACIN NDICESBIBLIOMTRICOS
NDICE HUn docente public 185 artculos que fueron clasificados enorden descendente de citas.
El investigador tiene un ndice H de 29 porque 29 de
sus 185 artculos tienen al menos 29 citas cada uno ylos otros 156 documentos (185-29) tienen menos de 29referencias cada uno.
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
37/43
37
Solo tiene una
publicacin importante
Est% escrita en 'ebreo
No tiene re&erencias
Es posible )ue 'aya
creado el universo,
pero no public los
resultados
NO PODRA SER PROFESOR UNIVERSITARIO
MEDICIN DE IMPACTO DE LAINVESTIGACIN
INCONVENIENTES DE LOS INDICADORES BIBLIOMTRICOS
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
38/43
38
MEDICIN DE IMPACTO DE LAINVESTIGACININCONVENIENTES DE LOS INDICADORES BIBLIOMTRICOS
Asegrate de citar todos misartculos!
Lo que quiere el profesor Tansu esque su ndice H crezca! Tpica
autoindulgenciaTengo ms de 1000 autocitaciones!
Profesor, Qu lo hace famoso?
Tengo ms de 2000 citaciones y unndice H de 22.
Segn ISI, el profesor tiene ms
de 1000 autocitaciones y su ndiceH real es 10.
Si puedo decir que soy el investigador
ms joven de la historia, puedo decir loque quiera los medios no saben acercade la autocitacin.
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
39/43
39
MEDICIN DE IMPACTO DE LAINVESTIGACIN
INCONVENIENTES DE LOS INDICADORES BIBLIOMTRICOS
Factor de impacto(corregido)
# veces quecitan tu trabajo
# citaciones quecritican tu trabajo
# veces quecitas tu trabajo(buen intento)
# veces que te citaronpara rellenar laintroduccin
# citaciones que el editoroblig al autor a colocarpara aumentar el factorde impacto de la revista
# artculosinditos que has
escrito
# artculos donde teaadieron por pena o
fines polticos
# artculos no muyoriginales que has
escritoCopiad
oypegado
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
40/43
40
MEDICIN DE IMPACTO DE LAINVESTIGACIN
CONSECUENCIAS OBSERVADAS *bandono de la carrera investigadora+
&rustracin, desmotivacin
!omportamientos oportunistas+ Se
investiga y publica cuestiones m%s
vendibles, revistas m%s accesibles y
coautor-as nocivas
*paricin de otras redes y bases de datos
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
41/43
41
MEDICIN DE IMPACTO DE LAINVESTIGACINAPARICIN DE OPEN ACCESS
Open Access permite difusin gratuitade material cientfico en internet.
La informacin cientfica se encuentraahora disponible para mayor cantidad
de personas.
Mayor cantidad de material puede serconsultado y citado como si fuerapublicado en revistas cientficas.
MEDICINDEIMPACTODELA
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
42/43
42
MEDICIN DE IMPACTO DE LAINVESTIGACIN
PRINCIPAL CRTICA AOPEN ACCESS PRINCIPAL PUNTO A FAVOR DEOPEN ACCESS
Yo apoyo el acceso abierto pero quiero que mi artculosea altamente reconocido
Hay ms de 15 disciplinas, mientras que el preciopromedio de una revista acadmica es S1,000 por ao
MEDICINDEIMPACTONO
-
7/21/2019 importancia de evaluacion en la calidad de investigacion
43/43
43
MEDICIN DE IMPACTO NOACADMICO DE LA INVESTIGACINDivulgacin en medios noacadmicos (blogs, TV, radio,peridicos)
Citaciones en entidadesinteresadas (ONGs,ministerios, empresas, etc)
Transferencia a personasinteresadas en los resultadosde la investigacin
Presencia en redes socialesGeneracin de material paradocencia
Logro de normas