El proceso de evaluación de la Acción Estratégica en

Salud Emilia Sánchez Chamorro

Subdirectora General

Instituto de Salud Carlos III

Introducción

La Acción Estratégica en Salud (AES) es una acción programática de carácter específico incluida en el Reto en Salud, Cambio Demográfico y Bienestar , dentro del Programa Estatal de I+D+I Orientada a los Retos de la Sociedad. De sus actividades es órgano gestor el Instituto de Salud Carlos III (ISCIII). LA AES tiene como finalidad contribuir a fomentar la salud y el bienestar de la ciudadanía y a desarrollar los aspectos preventivos, diagnósticos, curativos, rehabilitadores y paliativos de la enfermedad, reforzando e incrementando para ello la competitividad internacional de la I+D+I del Sistema Nacional de Salud y de las empresas relacionadas con el sector, con la vocación de situar a España en un escenario de vanguardia en el que la salud actúe como eje fundamental de desarrollo económico y social.

Introducción

La AES propone un conjunto de actuaciones instrumentales sinérgicas y complementarias que se encuadran en los Subprogramas Estatales de Formación, Incorporación y Movilidad, del Programa Estatal de Promoción del Talento y su Empleabilidad, y en los Subprogramas de Fortalecimiento Institucional y de Generación de Conocimiento, del Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia.

• Todas las propuestas enviadas a la convocatoria de la AES son evaluadas por expertos científicos españoles y/o internacionales

• La evaluación garantiza la selección de aquellas propuestas de mayor calidad científica y técnica, viabilidad, rentabilidad e impacto

• En la evaluación de proyectos colabora la ANEP (Agencia Nacional de Evaluación y Prospectiva)

Introducción

• El proceso de evaluación se efectúa a través de paneles de evaluación (además de

evaluar las solicitudes se hacen propuestas de financiación)

• Los miembros de los paneles son profesionales reconocidos, con una amplia

experiencia en investigación de vanguardia, que desarrollan su actividad en Institutos de Investigación Sanitaria acreditados, hospitales y otros centros con actividad asistencial e investigadora, universidades, organismos públicos de investigación y otros centros de investigación

• El proceso de evaluación del ISCIII garantiza la selección de las propuestas de

mayor calidad y excelencia, la confidencialidad de la información contenida en las propuestas y protege, además, la identidad de los expertos que revisan cada propuesta

Proceso de solicitudes

• Para concurrir a cualquiera de las actuaciones de la AES los solicitantes deben cumplimentar y presentar la documentación señalada en las disposiciones específicas que regulan cada tipo de actuación

• Acceso a todos los documentos normalizados necesarios a través de la sede

electrónica del ISCIII https://sede.isciii.gob.es • Enviar formulario de solicitud acompañado de los documentos específicos que se

establezcan para cada una de las actuaciones

• Presentación de la documentación mediante el registro electrónico del ISCIII.

Comisiones Técnicas de Evaluación (CTE)

• El órgano competente para la instrucción del procedimiento es la Subdirección General de Evaluación y Fomento de la Investigación (SGEFI) del ISCIII para todas las actuaciones reguladas en la convocatoria

• Se constituyen las Comisiones Técnicas de Evaluación (CTE) para acometer los procesos de evaluación según el área temática y el tipo de actuación

• Las solicitudes admitidas son informadas, a requerimiento del órgano instructor,

por expertos nacionales y/o internacionales a través de la ANEP y/o las CTE, teniendo en cuenta los objetivos y prioridades de la AES y los de cada tipo de actuación

Comisiones Técnicas de Evaluación (CTE)

• Los coordinadores de las CTE velan por el correcto funcionamiento de las CTE y la homogeneidad en la aplicación de los criterios de evaluación y en toda la ejecución del proceso de evaluación (Velan, además, por la correcta evaluación de aquellas

solicitudes en las que se evidencien conflictos de interés)

• Las CTE abarcan todas las áreas temáticas y están compuestas por un presidente,

dos o más adjuntos y varios panelistas, cuyo número puede variar en función de cada CTE (12-15) (Si fuera necesario, pueden formar parte de las CTE como evaluadores el número

de expertos preciso para la realización de evaluaciones individuales)

Miembros de las CTE

• La vigencia de los nombramientos de los miembros de las CTE es la del ejercicio natural. Su nombramiento corresponde a la Dirección del ISCIII

La selección de expertos se realiza de acuerdo a los siguientes criterios:

a) Adecuación del área de especialidad a las necesidades de la AES. b) Participación en actuaciones financiadas en convocatorias públicas de los planes nacionales/

estatales. c) Trayectoria contrastada en actividades de I+D+i. d) Participación en programas internacionales de I+D+i. e) Línea de investigación consolidada. f) Producción científica de impacto. g) Capacidad formativa: dirección de tesis, máster, actividad docente. h) Experiencia en evaluación de convocatorias públicas. i) Capacidad de liderazgo y empatía. j) Disponibilidad para la tarea de evaluación. k) Relevancia del centro de vinculación laboral.

Miembros de las CTE

• La composición de las CTE mantiene una representación adecuada y equilibrada de áreas de especialidad, distribución geográfica según el centro de vinculación laboral de los expertos e igualdad de género. (De acuerdo a dichos criterios se renuevan las

CTE de forma periódica.)

• Los nombres de los coordinadores, presidentes y panelistas participantes en las CTE

se hacen públicos tras la Resolución definitiva de concesión de las ayudas, sin vinculación ninguna a la CTE a la que pertenecen ni a las propuestas en cuya evaluación han participado

Proceso de evaluación

• El proceso de evaluación de los proyectos de investigación consta de dos fases:

• Fase 1: Evaluación remota de las propuestas • Fase 2: Evaluación en panel

• Evaluación remota de las propuestas: de forma individual, por expertos nacionales

o internacionales. En esta fase se evalúan, desde una perspectiva científica y estratégica, el equipo de investigación y la propuesta o proyecto, según las prioridades de la convocatoria. Cada propuesta es evaluada por varios expertos de forma individual.

Proceso de evaluación

• Evaluación en panel: Se discuten todas las propuestas, haciendo hincapié en

aquellas en los que las calificaciones presentan discrepancias. Tras una exposición de argumentos, y por consenso de los participantes, se obtiene un informe final. (En el panel de evaluación están representados todos los expertos que han participado en la evaluación de cada propuesta) • Resultado del panel: El informe final incluye, además de la calificación, un texto

que elabora el presidente en colaboración con los adjuntos y que es revisado por los coordinadores. Este texto incluye los motivos por los que el proyecto ha sido considerado favorable o desfavorable en el panel de evaluación.

Imparcialidad y confidencialidad

• La integridad entre el solicitante y el evaluador es esencial, al igual que la relación entre el ISCIII, el solicitante y el evaluador. Los evaluadores deben proporcionar una crítica honesta y constructiva de la propuesta.

• La evaluación debe evitar no solo los conflictos de interés entre los evaluadores y los solicitantes, sino también las situaciones que puedan tener la apariencia de un conflicto de interés. Los potenciales conflictos de interés deben declararse antes de evaluar una propuesta.

• Para garantizar la imparcialidad de la evaluación, los evaluadores deberán

informar al ISCIII sobre cualquier conflicto de interés que pueda surgir durante el transcurso de la evaluación.

Imparcialidad y confidencialidad

• Todos los expertos del proceso de evaluación deben firmar un compromiso ético y de confidencialidad en el momento en que aceptan ser dados de alta como colaboradores del ISCIII, así como en cada panel de evaluación

• Se exige el tratamiento confidencial de toda la correspondencia, documentos y otros materiales del proceso a todas las personas implicadas

Preparación de los paneles

• La composición de los paneles varia en función del número de solicitudes recibidas, siendo lo habitual entre 10 y 15 panelistas. A los paneles asistirán expertos de la ANEP cuando hayan participado en el proceso de evaluación.

• Los nombres de los coordinadores, presidentes y panelistas participantes en las CTE se hacen públicos tras la Resolución definitiva de concesión de las ayudas, sin vinculación ninguna a la CTE a la que pertenecen ni a las propuestas en cuya evaluación han participado

Comisión de selección

• La comisión de selección emite la propuesta en la que se concreta el resultado de la evaluación efectuada. (Tras la finalización del proceso de evaluación llevado a cabo por los

paneles)

• Su función es verificar la correcta aplicación de los criterios establecidos en la

convocatoria durante el proceso de evaluación y, en función de la evaluación realizada por los expertos y de la disponibilidad presupuestaria, establecerá el punto de corte, indicando la concesión o no concesión de las solicitudes así como la condición de favorable o desfavorable.

Alegaciones y recursos

• En aras de una mayor transparencia, se da respuesta de una forma individualizada a todas las alegaciones recibidas a las resoluciones provisionales de resultados. (Aun cuando legalmente el ISCIII no tiene obligación de hacerlo.)

• La Comisión Técnica de Evaluación correspondiente es la responsable de

elaborar la contestación a estas alegaciones.

• En el caso de los recursos, el personal técnico del ISCIII elabora el informe de respuesta apoyado por un informe elaborado por la CTE (cuando así se requiera).

FASE

1

Evaluación por expertos científica y estratégica

FASE

2

Evaluación en panel

Propuesta favorable/

desfavorable

Calificación

FASE

3

Comisión de selección

Punto de corte

AES 2018

0

200

400

600

800

1000

1200

1400

1600

1800

Total IP Varon IP Mujer

AES: Convocatoria proyectos 2018

Solicitados Concedidos

42.8% 53.7% 46.82%

Dotación: 75.754.524 €

Productividad científica: publicaciones, transferencia (clínica / tejido productivo) Capacidad para desarrollar proyectos de investigación: financiación de proyectos de investigación, liderazgo, colaboraciones nacionales e internacionales Adecuación del perfil del candidato a las tareas a realizar.

Investigador solicitante, IP

Evaluación científica

Estructura del grupo: adecuación a la propuesta

Calidad científica de sus miembros: proyectos, publicaciones, transferencia

Complementariedad y valor añadido de la colaboración en proyectos multicentricos

Grupo de investigación

Evaluación científica

Novedad, originalidad e innovación de la propuesta

Relevancia, interés, aplicabilidad

Adecuación de los objetivos: realismo

Metodología (selección, muestreo, diseño, variables, plan de análisis)

Aspectos éticos

Proyecto: Calidad científica

Evaluación científica

Coherencia de objetivos y metodología

Plan de trabajo

Recursos disponibles

Adecuación del presupuesto solicitado

Proyecto : Viabilidad

Evaluación científica

Impacto esperado

Plan de difusión y de transferencia de tecnología /resultados

Potencialidad para generar mejoras

prevención, diagnóstico, tratamiento de las enfermedades

promoción de la salud pública y los servicios de salud

Incrementar las capacidades científico-técnicas de los centros asistenciales del SNS

Evaluación estratégica / de oportunidad

• adecuación de la propuesta a la AES y a los objetivos y prioridades establecidos

• complementariedad con otras actuaciones de I+D+i nacionales, internacionales o

autonómicas.

Evaluación estratégica / de oportunidad

Estudiar el texto de la convocatoria

Comenzar con tiempo la redacción del proyecto

Ponerse en el lugar del evaluador

Elegir bien el área

Fundamentar bien la pertinencia: aportación sustancial, innovación.

Oportunidad

Composición del equipo adecuada al proyecto. Incompatibilidades.

Justificación del presupuesto solicitado (RR.HH.)

La concesión de financiación responde a

Calidad del proyecto Oportunidad estratégica

Disponibilidad presupuestaria

En caso de no concesión Revisar críticamente la propuesta Presentarla de nuevo revisada