![Page 1: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/1.jpg)
SISTEMAS DE EVALUACION
Anna María Prat
CONICYT-CHILE
![Page 2: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/2.jpg)
Evaluación en muchos niveles
Evaluación de los trabajos a publicar
Evaluación de la revista para ser incorporada a índices y bases de datos
Evaluación de la revista para ser incorporada a la “corriente principal”
Evaluación del autor del trabajo, según el impacto de la revista en la que publicó y el impacto real de su artículo.
![Page 3: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/3.jpg)
Evaluación del artículo a publicar
El objetivo de toda revista es comunicar conocimiento nuevo, de calidad, bien estructurado, confiable y repetible bajo las mismas circunstancias.
Toda revista de calidad científica debe tener un sistema de evaluación de los artículos que publica.
El sistema de evaluación debe ser explícito y conocido por los autores
![Page 4: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/4.jpg)
El objetivo de la evaluación
Conocer el juicio de pares acerca de: Validez de la investigación (¿los resultados son
creíbles y el diseño y metodología apropiados?) Juzgar el significado (¿es un hallazgo importante?) Originalidad. ¿Los resultados son nuevos?. El
artículo se refierer apropiadamente al trabajo hecho por otros?)
Dar opiniones acerca de si el trabajo debe ser publicado, mejorado o rechazado (muchas veces para ser publicado en alguna otra parte)
Mejorar el artículo antes de su publicación
![Page 5: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/5.jpg)
Comité editorial y/o científico
El comité científico de la revista es el que asegura la seriedad y calidad de los artículos a ser publicados.
Sus miembros deben representar una amplia gama de especialidades del tema de la revista
Ayuda al editor a detectar posibles evaluadores para los diferentes artículos.
Realizan una primera revisión
![Page 6: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/6.jpg)
Evaluación por pares
Además de la revisión interna por parte del Comité editorial, debe hacerse una revisión externa.
Estos pares deben pertenecer a buenas instituciones, diferentes a la del autor, no tener relación directa con él, tener trayectoria en su campo, entrenamiento en cuestiones metodológicas
El editor debe conocer o tener antecedentes acerca del evaluador (y por lo tanto ser confiable)
![Page 7: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/7.jpg)
Algunos problemas del proceso
Significa cosas diferentes para diferentes revistas. Las políticas editoriales y de evaluación varían de una disciplina a otraEs lentoEs costosoSubjetivoSesgadoAbierto al abusoPobre al momento de detectar erroresCasi inútil al momento de detectar fraudes
![Page 8: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/8.jpg)
¿Es confiable el sistema?
Se han hecho numerosos estudios que muestran que es todavía el mejor sistema
Se encontró hasta un 73% de acuerdo sobre un mismo artículo entre los evaluadores
Hay más acuerdo cuando se trata de rechazar que de aprobar
En un estudio reciente se dice que se requerirían al menos 6 evaluadores para lograr una aceptación o rechazo estadísticamente significativos
![Page 9: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/9.jpg)
Principales sesgos
Se han encontrado los siguientes sesgos:
Relacionados con el autor: Prestigio (del autor o de la institución a la que
pertenece el autor Género Donde vive (y trabaja)
Relacionados con el trabajo: Resultados positivos Idioma del trabajo
![Page 10: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/10.jpg)
Confidencialidad
Se ha dicho que sólo existen dos sistemas éticamente justificables de revisión por pares: Los totalmente confidenciales o cerrados en los
cuales sólo el editor o su ayudante conocen la identidad del autor y del revisor,
O un sistema completamente abierto. Ultimamente se han implementado en portales Web de muchas revistas, espacios para la discusión y evaluación abierta de los artículos a ser publicados, en ellos puede intervenir abiertamente el autor. Se conoce la identidad del revisor.
![Page 11: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/11.jpg)
Recomendaciones generales para un evaluador
Ser cortés y constructivo.
Recordar que, en general, que el evaluador sugiere, los editores deciden.
El objetivo principal de la evaluación es mejorar la publicación.
Mantener la confidencialidad.
Declarar conflictos de interés.
Responder a tiempo. Si no puede, rechace la invitación.
Principios éticos. No usar en beneficio propio el conocimiento del trabajo revisado
![Page 12: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/12.jpg)
Diversas pautas para revisores
Importancia de la hipótesis o pregunta de la investigación
Originalidad
Validez de la investigación
Aspectos éticos
Presentación del artículo
Otros aspectos
![Page 13: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/13.jpg)
Importancia de la hipótesis o pregunta de la investigación
¿La investigación se centró en una pregunta nueva o que necesitaba respuesta o es simplemente una repetición de algo ya conocido? La pregunta vale más que la respuesta. Si la pregunta era importante y la respuesta válida, entonces no importa que la respuesta sea negativa. ¿Se trata de algo que la comunidad científica, los responsables de la polìtica, o el público necesitan saber?En el caso de la salud, ¿se trata de evidencia orientada al paciente?
![Page 14: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/14.jpg)
Originalidad de la investigación
Idealmente, el evaluador hará una búsqueda en la literatura
¿Ha sido el estudio o el experimento hecho anteriormente?
Si la pregunta había sido ya tratada con anterioridad, ¿este trabajo agrega algo importante? (por ejemplo, un estudio más amplio o con un mejor diseño?)
![Page 15: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/15.jpg)
Originalidad de la investigación II
Recuerde que algunas cosas “bien conocidas” no están basadas en ninguna evidencia.
Si opina que la investigación no es original, por favor envíe referencias de los trabajos previos. No basta con decir “no es original”
Si conoce la existencia de otros estudios de importancia no mencionados por el autor, dé las referencias.
![Page 16: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/16.jpg)
Validez de la investigación
Identifique las fortalezas y las debilidades de la investigación¿El diseño es el correcto para responder la hipótesis o la pregunta planteada?¿Los datos fueron recogidos en forma adecuada, la toma de muestras fue la correcta?¿Se describen adecuadamente los métodos utilizados?¿Los análisis son los correctos, deben repetirse?Recuerde que debe ser constructivo
![Page 17: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/17.jpg)
Validez de la investigación
Si se presentan datos estadísticos y Ud. no es experto en la materia, dígalo
Revise las tablas, si encuentra errores en más de una, es posible que haya más errores
¿Las conclusiones están avaladas por los datos?
¿Los autores llegan a conclusiones más allá de la evidencia presentada?
![Page 18: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/18.jpg)
Aspectos éticos
¿Tiene alguna preocupación ética respecto al trabajo?
Muchos trabajos no plantean abiertamente posibles problemas éticos, aún el las áreas en que este tipo de declaración es necesaria.
Revise los aspectos éticos, aún si se menciona que el trabajo ha sido visado por un comité de ética.
![Page 19: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/19.jpg)
Presentación del artículo
Aunque no es su trabajo, corrija las faltas de ortografía, especialmente en el caso de nombres propios. En los resultados, el balance entre el texto, las tablas y las figuras, es el correcto? (El texto cuenta la historia, las tablas proporcionan los datos, las figuras ilustran la historia). En caso de tener la revista una versión en papel y otra electrónica, tiene alguna sugerencia respecto a qué información debe ir en una u otra versión
![Page 20: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/20.jpg)
Presentación del artículo
El resumen ¿dice relación con lo que se dice en el artículo, especialmente en lo que se refiere a la novedad del estudio? ¿Basta para comprender los principales hitos del estudio ?¿El número y calidad de las referencias es el correcto?En el caso de ciertas revistas, ¿las figuras e ilustraciones son suficientemente claras?¿Deben rehacerse algunas partes del estudio, mejorar el análisis o entregar mayor evidencia y datos?
![Page 21: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/21.jpg)
Para finalizar
Tiene alguna duda acerca de la posibilidad de fraude o conducta científica poco ética?
Si así fuera informe privadamente.
![Page 22: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/22.jpg)
¿Qué puede mejorar la calidad de las revisiones?
¿Pago, reconocimiento, crédito?
Selección cuidadosa (fuentes de información acerca de calidad de evaluadores)
Entrenamiento
¿Mayor visibilidad del trabajo realizado? Como revisión abierta en la Web
¿Interacción entre autor y revisor? (Revisión abierta en tiempo real)
![Page 23: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/23.jpg)
Algunas conclusiones
Solo un adecuado sistema de evaluación por pares asegura buena ciencia y la integridad del conocimiento
El sistema de evaluación por pares es costoso y lento, pero debe ser parte del trabajo y costos editoriales
Solo las publicaciones con sistemas de evaluación rigurosos forman parte de la “literatura de corriente principal”
![Page 24: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/24.jpg)
Algunas conclusiones
Debemos implementar sistemas de información de posibles evaluadores en la región y cooperar en éste ámbito
En muchas áreas se están creando asociaciones o agrupaciones de editores con el fin de discutir estos temas y compartir información y experiencias. Deberían fomentarse estas actividades.
Se sugiere la creación de asociaciones nacionaes para estos fines
![Page 25: SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE](https://reader034.vdocuments.co/reader034/viewer/2022051615/552f66b65503469c2a8b4575/html5/thumbnails/25.jpg)
!Muchas gracias!