consejero técnico científico agencia nacional de...

141
Agencia Nacional de Evaluación y Prospectiva (ANEP) 1 Claves para la evaluación positiva de proyectos de I+D +i Julio Bravo Consejero Técnico Científico Agencia Nacional de Evaluación y Prospectiva Ministerio de Ciencia e Innovación BURGOS - 14 DE ENERO DE 2011

Upload: others

Post on 09-Aug-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

1

Claves para la evaluación positiva

de proyectos de I+D +i

Julio BravoConsejero Técnico Científico

Agencia Nacional de Evaluación y Prospectiva Ministerio de Ciencia e Innovación

BURGOS - 14 DE ENERO DE 2011

Page 2: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

2Dirección General de Investigación

2Dirección General de Investigación

2

Julio Bravo (CV)

Licenciatura CC. Químic.

DoctoradoCC. Químic.Becario FPI

Post DocPolímerosProfesorContrat. yVisitante

Dpto Ciencia e Ingeniería de Materiales

ANEPConsejeroTécnico-Científico

Profesor Titular de Universidad Prof. AsociadoSubdirector EPS

1980 1990 2000 2010

40 papers internacionales40 papers internacionales35 comunicaciones a congresos35 comunicaciones a congresos1 Patente en explotaci1 Patente en explotacióón (Brakets)n (Brakets)1 Tesis doctoral1 Tesis doctoral24 proyectos final de carrera24 proyectos final de carrera

Page 3: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

3Dirección General de Investigación

3Dirección General de Investigación

3

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Criterios por áreas y guía de evaluación

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 4: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

4Dirección General de Investigación

4Dirección General de Investigación

4

• En los últimos 10 años, España ha mejoradosignificativamente los indicadores de I+D: recursos humanos, inversión, producción científica y su impacto.

• Gobierno y agencias buscan continuar impulsando el sistema, identificando y financiando los mejores proyectos, incrementando los recursos humanos y promoviendo la inversión privada en I+D.

• El objetivo es no sólo incrementar la producción científica, sino sobre todo producir una ciencia de más calidad y relevancia.

Contexto nacional de I+D+i

Page 5: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

5Dirección General de Investigación

5Dirección General de Investigación

5

Situación

Inversión en I+D en España (% PIB)

Objetivo en inversión en I+D en España es el 2 % del PIB.

Page 6: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

6Dirección General de Investigación

6Dirección General de Investigación

6

Producción e impacto científico

Países con mayor producción en 2003-2007 (> 1%). España ocupa la posición 14 en impacto relativo de estos países, pero si se tienen en cuenta los de menor producción su posición es 19. 1 indica el impacto medio (4.8 citas/doc). Fuente ISI

1981-1985 2003-2007 1981-1985 2003-2007 1981-1985 2003-2007Estados Unidos 894.855 1.389.809 39,3 32,65 1,36 1,42Reino Unido 200.877 366.880 8,82 8,62 1,2 1,3Japón 148.997 361.575 6,54 8,49 0,88 0,95Alemania 172.828 349.959 7,59 8,22 0,95 1,25China 14.149 295.513 0,62 6,94 0,3 0,63Francia 118.902 249.047 5,22 5,85 0,94 1,13Canadá 105.256 201.757 4,62 4,74 1 1,18Italia 54.237 189.982 2,38 4,46 0,86 1,11España 21.822 141.118 0,96 3,32 0,51 1Australia 52.937 127.487 2,33 2,99 0,98 1,09India 65.322 116.862 2,87 2,75 0,3 0,54Rusia 119.929 116.199 5,27 2,73 0,26 0,48Holanda 40.547 111.458 1,78 2,62 1,24 1,43Corea del Sur 1.883 109.797 0,08 2,58 0,49 0,71Suecia 38.777 81.289 1,7 1,91 1,33 1,32Suiza 32.458 80.920 1,43 1,9 1,58 1,55Brasil 10.906 76.440 0,48 1,8 0,47 0,65Taiwán 3.498 75.676 0,15 1,78 0,48 0,63Turquía 1.884 63.564 0,08 1,49 0,39 0,46Polonia 22.004 62.058 0,97 1,46 0,5 0,71Bélgica 22.253 60.868 0,98 1,43 1,08 1,27Israel 27.111 51.151 1,19 1,2 0,96 1,13Dinamarca 19.707 43.390 0,87 1,02 1,32 1,46

Impacto relativoPaís

Ndocs% Documentos

respecto al mundo

Page 7: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

7Dirección General de Investigación

7Dirección General de Investigación

7

Producción e impacto en UE-27 (2007)

0,00

1,00

2,00

3,00

4,00

5,00

6,00

7,00

8,00

9,00

10,00

Reino U

nido

Aleman

iaFr

ancia Italia

Españ

aHola

nda

Suecia

Polonia

Bélgica

Dinamarc

aAus

triaFinl

andia

Grecia

Rep.C

heca

Portug

alHun

gria

Irland

aRum

ania

Eslova

quia

Eslove

niaBulg

aria

Litua

niaEsto

niLe

tonia

Chipre

Luxe

mburgo

Malta

%D

oc.M

undo

% Doc.MundoCitas / Doc

Nota: la línea recta marca el impacto medio del mundo: 4,82 citas/documento

1,4

1,2

1,0

0,8

0,6

10º5º

Page 8: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

8Dirección General de Investigación

8Dirección General de Investigación

8

Impacto relativo de los 14 países con mayor producción

0,00

0,20

0,40

0,60

0,80

1,00

1,20

1,40

1,60

81-8

5

82-8

6

83-8

7

84-8

8

85-8

9

86-9

0

87-9

1

88-9

2

89-9

3

90-9

4

91-9

5

92-9

6

93-9

7

94-9

8

95-9

9

96-0

0

97-0

1

98-0

2

99-0

3

00-0

4

01-0

5

02-0

6

03-0

7

Impa

cto

rela

tivo

al m

undo

HolandaEstados UnidosReino UnidoAlemaniaCanadáFranciaItaliaAustraliaEspañaJapónCorea del SurChinaIndiaRusia

Page 9: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

9Dirección General de Investigación

9Dirección General de Investigación

99

0,00

0,20

0,40

0,60

0,80

1,00

1,2081

-85

82-8

6

83-8

7

84-8

8

85-8

9

86-9

0

87-9

1

88-9

2

89-9

3

90-9

4

91-9

5

92-9

6

93-9

7

94-9

8

95-9

9

96-0

0

97-0

1

98-0

2

99-0

3

00-0

4

01-0

5

02-0

6

03-0

7

Impa

cto

rela

tivo

al m

undo

UE-27España

Impacto relativo de España vs UE-27

Page 10: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

10Dirección General de Investigación

10Dirección General de Investigación

10

Distribution of PCT patents by type of applicant 2002-2007

% applic.

2007 Private Public Instit. Others University

1 USA 33,6% 87,8% 0,8% 1,1% 10,2% 2 Japan 17,5% 94,8% 2,7% 0,2% 2,2% 3 Germany 11,3% 98,8% 0,0% 0,2% 0,9% 4 Rep. of Corea 4,5% 85,1% 10,9% 0,0% 4,1% 5 France 4,1% 86,2% 11,6% 1,6% 0,7% 6 United Kingdom 3,5% 83,8% 1,3% 1,3% 13,5% 7 China 3,5% 91,9% 1,8% 0,0% 6,3% 8 Netherlands 2,6% 97,1% 0,0% 2,0% 0,9% 9 Switzerland 2,4% 96,3% 0,4% 0,2% 3,1% 10 Sweden 2,3% 99,8% 0,0% 0,2% 0,0% 11 Italy 1,8% 92,2% 3,0% 0,6% 4,2% 12 Canada 1,8% 81,3% 3,7% 1,5% 13,5% 13 Australia 1,3% 64,9% 14,8% 2,9% 17,5% 14 Finland 1,3% 97,9% 0,0% 2,1% 0,0% 15 Israel 1,1% 79,9% 0,2% 0,0% 19,9% 16 Spain 0,8% 51,6% 33,3% 0,0% 15,2%

Patentes Mundiales (PCT)

Page 11: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

11Dirección General de Investigación

11Dirección General de Investigación

11

Cuota mundial productos alta tecnología (2006)

Fuente: Cotec

Países % de cuota

1 China 13,5%

2 Estados Unidos 13,4%

3 Alemania 7,7%

4 Japón 6,4%

5 Singapur 6,2%

6 Reino Unido 5,9%

7 Hong Kong 5,4%

8 Rep. de Corea 4,7%

9 Francia 4,4%

10 Holanda 4,2%

11 Malasia 3,1%

12 México 1,8%

13 Canadá 1,6%

Países % de cuota

14 Irlanda 1,6%

15 Suiza 1,5%

16 Filipinas 1,4%

17 Italia 1,3%

18 Tailandia 1,3%

19 Bélgica 1,2%

20 Suecia 1,0%

21 Hungría 0,8%

22 Austria 0,8%

23 Finlandia 0,7%

24 Rep. Checa 0,6%

25 Dinamarca 0,6%

26 España 0,5%

Page 12: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

12Dirección General de Investigación

12Dirección General de Investigación

12

Indicadores Españoles en 2006: I+D+i

Fuente: ISI, WIPO, Cotec

Producción Científica (ISI) 3,1% 9º R

Patentes PCT 0,8% 16º D

% Productos de alta Tecnología 0,5% 26º I

PIB 2,7 % 8º

Situación de la I+D+i en España

Page 13: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

13Dirección General de Investigación

13Dirección General de Investigación

13

OBJETIVOS DE INVERSION PUBLICA EN I+D+i

ALCANZAR EL 2 % DEL PIB DESTINADO A I+D+i

Page 14: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

14Dirección General de Investigación

14Dirección General de Investigación

14

OBJETIVOS DE INVERSION PRIVADA EN I+D+I

LLEGAR AL 55 % DE LA CONTRIBUCIÓN PRIVADA EN 2010

Page 15: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

15Dirección General de Investigación

15Dirección General de Investigación

15

INCREMENTO Nº DE INVESTIGADORES EN SECTOR PRIVADO

INCORPORAR 1300 DOCTORES AL AÑO EN EL SECTOR PRIVADO

Page 16: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

16Dirección General de Investigación

16Dirección General de Investigación

16

INCREMENTO Nº DE EMPRESAS DE BASE TECNOLÓGICA

CREACIÓN DE 130 NUEVAS EMPRESAS SPIN-OFF ANUALES

Page 17: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

17Dirección General de Investigación

17Dirección General de Investigación

17

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Criterios por áreas y guía de evaluación

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 18: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

18Dirección General de Investigación

18Dirección General de Investigación

18

•Contribuir a mejorar la capacidad del sistema público de Ciencia y Tecnología

•Evaluar la calidad científico-técnica de las propuestas de I+D+i que solicitan financiación, tanto de la Administración pública como de otras instituciones públicas y privadas. De este modo se contribuye a que las decisiones de asignación de recursos para I+D+i se basen en criterios de excelencia y calidad científico-técnica.

•Realizar estudios de prospectiva.

Función de la ANEP

Page 19: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

19Dirección General de Investigación

19Dirección General de Investigación

19

Retos de la ANEPAdaptación al nuevo escenario de Ciencia y Tecnología:

• Revisión de métodos y estrategias. Mejor reconocimiento de todos los aspectos de la excelencia: calidad intelectual, innovación, transferencia de conocimiento, impacto.

• Evaluación de actividades interdisciplinares, áreas emergentes, transferencia de conocimiento, etc.

• Incorporación de indicadores: novedad, innovación, impacto.• Fomento de la incorporación de jóvenes.• Incentivar la colaboración con la industria.

Fomento de una investigación de calidad a nivel internacional:• Calidad vs cantidad.• Internalización de Criterios y métodos (y evaluadores). • Colaboración y coordinación con agencias nacionales, autonómicas

y de otros países (ERC).• Control de calidad y seguimiento de los procesos.

Page 20: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

20Dirección General de Investigación

20Dirección General de Investigación

20

http://www.micinn.es/ciencia/anep

Page 21: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

21Dirección General de Investigación

21Dirección General de Investigación

2121

www.anep.micinn.es

Page 22: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

22Dirección General de Investigación

22Dirección General de Investigación

22

Instituciones para las que evalúa la ANEP Ministerio de Ciencia e Innovación Otros Ministerios: Industria, Sanidad, Agricultura, Medio Ambiente,

Fomento, Asuntos sociales, Asunto Exteriores. Comunidades Autónomas: Andalucía, Asturias, Canarias, Castilla León,

Castilla La Mancha, Extremadura, Galicia, Islas Baleares, Madrid, Murcia, Navarra, País Vasco, Rioja, Valencia, …

Fundaciones públicas y privadas: Arao, Marqués de Valdecilla, Inst. Gutiérrez Mellado, Genoma España, Funcis, Fundaluce, Hospital La Fe, Renal T. Osma, Séneca, Soc. Española Nefrología, Soc. Española Reumatología, Fund. Inv Urología, ONCE, AECC, …

Universidades públicas y privadas: UAH, UA, UB, UAB, Cardenal Herrera, Huelva, Jaén, Jaume I, La Laguna, ULPGC, UPM, UCM, URJC, Málaga, Miguel Hernández, Navarra, UPV, San Pablo CEU, UV, UZ, …

Organismos Públicos de Investigación: INIA, CSIC, Inst. Salud Carlos III. Organismos Internacionales: Euryi, colaboración con ESF, ERC, FONCYT

Page 23: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

23Dirección General de Investigación

23Dirección General de Investigación

23

23.32025.611

23.17424.406

23.158

0

5.000

10.000

15.000

20.000

25.000

30.000

2004 2005 2006 2007 2008 2009 2010

Año

nº S

olic

itude

s

110 convocatorias 23158 solicitudes 66939 Informes11777 expertos evaluadores 175 miembros fijos equipos coordinación

Cifras Año 2009

Page 24: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

24Dirección General de Investigación

24Dirección General de Investigación

24

1. Proyectos de Investigación• Convocatoria anual Plan Nacional: Proyectos de I+D+i, Desarrollo

tecnológico, Estímulo a la transferencia.• Convocatorias específicas de diversos ministerios• Convocatorias de Comunidades Autónomas• Proyectos de cooperación internacional (AECID, Acciones integradas)• Convocatorias de Universidades e Instituciones privadas

Actividad Evaluadora (1/2)

2. Personal de Investigación• Contratos post-doctorales: Ramón y Cajal, Juan de la Cierva• Programas Torres Quevedo y de Técnicos de Apoyo• Becas pre-doctorales (FPU, FPI) y becas de movilidad de

investigadores (FPU, becas fulbright, José de Castillejo, Salvador de Madariaga, estancias de investigadores extranjeros)

• Evaluación de Producción y Trayectoria Científica (programa I3)• Premios de investigación

Page 25: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

25Dirección General de Investigación

25Dirección General de Investigación

25

Actividad Evaluadora (2/2) 3. Evaluación de otras actividades• Institutos del CSIC• Institutos universitarios• Acciones especiales y complementarias• Centros de investigación (CNB, Hospitales)• Infraestructura científica

4. Otras Actividades (estudios y análisis)• Prospectiva• Paridad

Page 26: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

26Dirección General de Investigación

26Dirección General de Investigación

26

Otras actividades de la ANEPRelaciones Institucionales Reuniones de coordinación con Agencias de CC.AA. Reuniones de coordinación con la Red de Agencias Europeas. Coordinación gestión del Plan Nacional.

Actividades de análisis y estudios Análisis mujeres/hombres. Datos estadísticos de evaluaciones en la ANEP. Ejercicio de análisis en colaboración con la ESF. Documentos Comisión Asesora.

Grupos de trabajo Criterios de evaluación del Mérito Tecnológico (2005-06). Criterios de evaluación en Humanidades (2006). Criterios de evaluación en Ciencias Sociales (2007). Criterios de evaluación en Medicina Clínica y Biomedicina (2010-11). Criterios de evaluación en Ciencias Jurídicas (?).

Page 27: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

27Dirección General de Investigación

27Dirección General de Investigación

27

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Como elaborar mejores proyectos

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 28: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

28Dirección General de Investigación

28Dirección General de Investigación

28

Evaluación Científica

• La ANEP es la institución responsable de la evaluación científica de muchas de las actividades de I+D que solicitan financiación, incluyendo evaluación de personal investigador, proyectos e instituciones.

La ANEP no es una agencia de financiación: las decisiones de financiación se basan en los informes de evaluación de la ANEP junto con otros criterios (estratégicos, criterios específicos de la convocatoria).

• Los criterios de evaluación y financiación de convocatorias destinadas a financiar investigación fundamental (e.g. Plan Nacional de I+D) se basan en calidad científica, promueven la libertad y creatividad del investigador evitando interferencias políticas (bottom up). No hay líneas prioritarias.

Los criterios de convocatorias diseñadas por necesidades estratégicasestán relacionados con sus objetivos específicos (top-down).

La ANEP utiliza ambos tipos de criterios dependiendo de los objetivos de cada convocatoria.

Page 29: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

29Dirección General de Investigación

29Dirección General de Investigación

29

DIRECCIÓN

REGISTRO

JEFE DE SECCIÓN

CONSEJERÍA TÉCNICA ADMINISTRACIÓN Y

GESTIÓN ECONÓMICA

SEC. DEÁREA

(FFI, HA, CS)

SEC. DE ÁREA(BMC, AGR)

SEC. DE ÁREA (NF, COM, FI,

TM)

SEC. DE ÁREA

(FFA, IME, IEL)

SEC. DE ÁREA (MTM,

ECO, TA)

SEC. DE ÁREA

(TQ, CT QMC,)

SEC. DE ÁREA

(BMED, BVA, MCLI)

COORDINADORES (27) Y ADJUNTOS (149)

SEC. DE ÁREA (PS,

EDU)

SEC. DE ÁREA (GAN)

SEC. DE ÁREA (EXT,

INTER)

SEC. DE ÁREA (IND)

Estructura

MICINNDIRECCIÓN GENERAL DE INVESTIGACIÓN

ANEP

Page 30: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

30Dirección General de Investigación

30Dirección General de Investigación

30

Proceso de evaluación de proyectos

EXPEDIETE

ANEPCOMUNIDAD CIENTÍFICA

EXPERTOS

SOLICITANTES

EVALUACIÓNINSTITUCIONES CONVOCANTES

EMPRESASMINISTERIOS

FUNDACIONESUNIVERSIDADES

CCAAMICINN

Page 31: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

31Dirección General de Investigación

31Dirección General de Investigación

31

Proceso de evaluación de proyectos

ANEP27 equipos

de coordinación175 expertos/3 años

INFORME CIENTÍFICO

Informes de expertos

Selección de expertos

Aplicación Web de Evaluación Evaluadores

TecnólogosEmpresarios

Gestores

CientíficosInvestigadores

Expertos

Page 32: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

32Dirección General de Investigación

32Dirección General de Investigación

32

AREAS TEMÁTICAS DE LA ANEP(BFS) Biología Fundamental y de Sistemas(BVAE) Biología Vegetal, Animal y Ecología(TA) Ciencia y Tecnología de Alimentos(TM) Ciencia y Tecnología de Materiales(INF) Ciencias de la Computación y Tecnología Informática(TEC) Tecnología Electrónica y de las Comunicaciones(IND) Transferencia de Conocimiento y Desarrollo Tecnológico(ICI) Ingeniería Civil y Arquitectura(IEL) Ingeniería Eléctrica, Electrónica y Automática (IME) Ingeniería Mecánica, Naval y Aeronáutica(BMED) Biomedicina (HA) Historia y Arte(MCLI) Medicina Clínica (AGR) Agricultura(CT) Ciencias de la Tierra (CS) Ciencias Sociales(DER) Derecho (ECO) Economía(FFI) Filología y Filosofía (GAN) Ganadería y Pesca(FI) Física y Ciencias del Espacio (TQ) Tecnología Química (MTM) Matemáticas (EDU) Ciencias de la Educación(QMC) Química (PS) Psicología (EXT) Área Externa (INTER) Área Interdisciplinar

Page 33: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

33Dirección General de Investigación

33Dirección General de Investigación

33

BIOL-BIOMED

BIOL FUND Y SIST.

BIOMEDICINA

MEDICINA CLÍNICA

ALIMENTOS

BIOL VEG. ANI. Y ECOL.

AGRICULTURA

GANADERÍA Y PESCA

INGENIERÍAS

ING. ELECTRICA

ING. MECANICA

COMUNICACIONES

INFORMATICA

MATERIALES

NG. CIVIL Y ARQUIT.

TECNOLOGÍA QUÍMICA

HUMANIDADES

HISTORIA Y ARTE

LITERATURA, LENGUA

CIENCIAS SOCIALES

ECONOMIA

EDUCACION

CIENCIAS JURÍDICAS

PSICOLOGÍA

40% 12%17%FUNDAMENTALES

MATEMÁTICAS

FÍSICA Y C. DEL ESPACIO

QUÍMICA

CIENCIAS DE LA TIERRA

16%

Áreas de la ANEP y Distribución

TRANSFERENCIA DE CONOCIMIENTO Y TECNOLOGÍA: 10 %40% INGENIERÍAS

30% BIO-BIOTEC-BIOMED20% FUNDAMENTAL

10% OTROS

18%

Page 34: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

34Dirección General de Investigación

34Dirección General de Investigación

34

CALIDAD CIENTÍFICA Y RELEVANCIA

CRITERIOS ESTRATÉGICOS

PANEL DE SELECCIÓNEVALUACIÓN FINANCIACIÓN

La ANEP es una agencia independiente de evaluación (no financia)

ANEP INSTITUCION FINANCIADORA

Proceso de Selección y Financiación

Page 35: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

35Dirección General de Investigación

35Dirección General de Investigación

35

SELECCIÓN DE PROPUESTAS FINANCIABLES

CIENTÍFICO

OTROS INFORMES

TÉCNICO (CDTI)

COMISIÓNSELECCIÓN

INFORME ANEP

FINANCIACIÓNINFORME DE LA INSTITUCIÓN FINANCIADORA

ESTRATÉGICO

Page 36: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

36Dirección General de Investigación

36Dirección General de Investigación

36

Investigadores principales de proyectos PNExpertos en transferencia de tecnología e innovaciónExpertos en otras materias (ingenieros, personal sanitario, educación, gestores, etc.)Expertos extranjerosIdentificación de Expertos InterdisciplinaresActualización continua

Base de Datos de Evaluadores (31.000)

Page 37: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

37Dirección General de Investigación

37Dirección General de Investigación

37

Es un experto en el tema: investigadores, tecnólogos, empresarios, gestores, ...

Estudia a fondo el proyecto y elabora informe basado en crítica constructiva (debería llegar al investigador).

Debe ser imparcial y con la mínima relación personal con el equipo investigador.

El informe debe ser motivado, claro y fundamentado, indicando sugerencias para mejorar el proyecto.

La importancia de una buena evaluación científico-técnica es esencial para el funcionamiento del sistema.

Se mantiene el anonimato del evaluador y su evaluación es un documento interno.

Posible recusación de evaluadores (previa)

El evaluador

Page 38: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

38Dirección General de Investigación

38Dirección General de Investigación

38

Investigador de prestigio internacional, experto y buen conocedor de la comunidad científica del área

Estudia el proyecto, asigna evaluadores, y elabora informe final a la vista de informes de expertos.

Debe evitar conflictos de intereses . Mantiene el anonimato de los evaluadores pero el equipo

de coordinación es conocido y se hace responsable de informe final.

Elevada capacidad de trabajo, organización, disponibilidad, sacrificio, …MARAVILLOSOS

El coordinador o colaborador

Universidad de Burgosno tiene coordinadores o adjuntos perotenemos 71 expertos …GRACIAS

Page 39: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

39Dirección General de Investigación

39Dirección General de Investigación

39

• Informes individuales de cada proyecto (mínimo dos), a partir de los cuales el equipo de coordinación elaboraráun informe final (informe oficial).

Tipos de evaluaciones

• Paneles de expertos cuando las evaluaciones han de ser comparativas (homogenizar criterios) y se necesita hacer una priorización.

• Evaluación mixta, en dos fases: evaluación individual y posteriormente evaluación en paneles.

• Evaluación ad hoc. dependiendo de las características de la convocatoria (puede incluir visitas, entrevistas, etc)

Page 40: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

40Dirección General de Investigación

40Dirección General de Investigación

40

Proceso “estándar” de Evaluación y Selección

La evaluación se hace en una aplicación web Cada propuesta se evalúa en un proceso de dos fases La primera fase es “peer review”, por expertos

seleccionados por los coordinadores de la ANEP (27 equipos de coordinación)

El informe de la ANEP lo redactan los coordinadores, basados en los informes de los expertos

Se evalúa a los evaluadores (calidad del informe, disparidad, tiempo, ...)

15% de revisores internacionales La segunda fase es una comisión de evaluación (ANEP+

Institución) con expertos científicos o técnicos: SELECCIÓN

Page 41: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

41Dirección General de Investigación

41Dirección General de Investigación

41

Protocolo para conseguir buena evaluación de una convocatoriaEntidad convocante y ANEP deben contactar: Antes de realizar convocatoria para:

• Fijar criterios de evaluación y peso de cada uno.• Plasmar en la convocatoria los criterios y que la calidad científico-técnica será

evaluada por la ANEP.• Estimar número aprox. de solicitudes y calendario de evaluación.• Establecer tipo de evaluación (por pares, comisión o mixta)

Al cierre del plazo de solicitudes para:• Enviar carta formal de solicitud de evaluación, convenio y presupuesto.• Remitir texto de la convocatoria.• Remitir tabla Excel con solicitudes (ref., IP, título, centro y área ANEP).• Crear convocatoria en aplicación, asignar responsable, “usuario” y “palabra

clave” para que la entidad convocante realice carga.• Realizar carga de documentación (Solicitud, Memoria, CV IP y CVs, ...).

Una vez resuelta la financiación para:• Remitir la resolución.• Resolver las alegaciones.

Page 42: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

42Dirección General de Investigación

42Dirección General de Investigación

42

La ANEP debe:• Colaborar para fijar los criterios de evaluación, si es posible antes de la

publicación de la convocatoria o en la realización del formulario de evaluación.• Cargar texto regulador de convocatoria y formulario de evaluación.• Revisar documentación cargada e iniciar proceso evaluador (nota de reparto).• Remitir los informes finales de la evaluación en el plazo pactado (2 meses).• Recibir y responder las alegaciones que se produzcan sobre la evaluación de la

calidad científico-técnica.

Protocolo para conseguir buena evaluación de una convocatoria

Page 43: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

43Dirección General de Investigación

43Dirección General de Investigación

43

Publicación Convocatoria

meses

Cierre Convocatoria

Revisión Adm. Carga

Fin Evaluación

Resolución

Contacto previo Entidad Convocante con ANEPEstablecer criterios, tipo de evaluación y calendario

Convocante → Envío convenio, convocatoria, tabla ExcelANEP → Abre convocatoria y carga conv. y form. eval.Convocante → Cargan solicitudes

Alegaciones

Nota reparto y asignación a expertos ANEP → Evaluación de expertos (anónimos)

Informe final (Equipo Coordinación)

ANEP → Envía inf. finales → Convocante

Convocante → Resuelve y envía resol → ANEP

Convocante → Envía alegaciones cientif. tecn. → ANEPANEP → Envía respuesta a alegaciones → Convocante

Desarrollo temporal de una convocatoria

Presentación de solicitudes

Page 44: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

44Dirección General de Investigación

44Dirección General de Investigación

44

Coste “directo” de evaluaciónEvaluación por pares (2 evaluaciones):

•Becas, CV, ...: 60 a 150 €/solicitud.•Proyectos: ≥ 250 €/solicitud.•Proyectos complejos: ≥ 350 €/solicitud.

Evaluaciones por comisiones:•145 € por evaluador y jornada (105 por media jornada y 225 por intensiva)

Evaluaciones especiales:•RyC: 225 € × nº días + 35 € × nº evaluaciones.•CENIT: aprox. 350 € × nº días asistencia

Costes de la evaluación de una convocatoria

Coste “indirecto” de evaluación ≥ 80 €/solicitud

Page 45: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

45Dirección General de Investigación

45Dirección General de Investigación

45

Aplicación de Evaluación

Page 46: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

46Dirección General de Investigación

46Dirección General de Investigación

46

Aplicación de Evaluación

Page 47: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

47Dirección General de Investigación

47Dirección General de Investigación

47

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Criterios por áreas y guía de evaluación

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 48: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

48Dirección General de Investigación

48Dirección General de Investigación

48

Criterios de Evaluación de Proyectos

Principales aspectos que se valorar en todas las convocatorias:

• Objetivos científico-técnicos de la propuesta, con énfasis en su relevancia y novedad. ¿Es una buena idea?

• Calidad científico-técnica y capacidad del IP y del equipo de investigación. ¿Tiene el grupo de investigación experiencia? ¿Está bien compensado? ¿Posee los medios necesarios?

• Viabilidad de la propuesta. ¿El plan de trabajo presentado permite alcanzar los objetivos con un riesgo razonable?

• Adecuación del presupuesto a las actividades.

Page 49: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

49Dirección General de Investigación

49Dirección General de Investigación

49

Proyectos de Investigación Fundamental Plan Nacional I+D

Modalidad A: Jóvenes Investigadores Modalidad B: Grupos Consolidados1. Méritos científicos del IP, 15 ptsValorar historial científico del IP en los últimos 5 años: formación, trayectoria y solvencia científica. No debe ser valorado negativamente que inicie una nueva línea de investigación si su potencial científico y capacidad de liderazgo son adecuados. En caso de que presente grupo de investigación, valorar si la capacidad y composición del mismo es adecuada.2. Interés científico-técnico, 25 ptsNovedad y relevancia, avance científico-técnico sobre el estado actual del tema3. Viabilidad de la propuesta, 10 ptsCapacidad del equipo. Metodología propuesta, plan de trabajo y distribución de tareas. Un cierto riesgo es meritorio en un proyecto bien fundamentado.

1. Méritos científicos IP y grupo, 25 pts1.1. Historial científico del IP, 15 pts. Especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo.1.2. Méritos científicos resto del equipo, 10 pts. CV de cada uno de los participantes, valorando positivamente la participación de investigadores en formación. 2. Interés científico-técnico, 15 ptsNovedad y relevancia de la propuesta, su contribución al avance científico-técnico del estado actual del tema3. Viabilidad de la propuesta, 10 ptsCapacidad del equipo. Metodología propuesta, plan de trabajo y distribución de tareas. No se deben valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado.

Page 50: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

50Dirección General de Investigación

50Dirección General de Investigación

50

Contratos Juan de la Cierva (JdC), Ramón y Cajal (RyC)

• Trayectoria científica del solicitante teniendo en cuenta susaportaciones en cuanto al mérito y relevancia científica.

• Calidad de las publicaciones y su contribución personal en las mismas. Autoría de las publicaciones.

• Aportaciones científicas no publicables pero acreditadas, patentes, prototipos, informes, otros.

• Estancias en otros centros y sus contribuciones en los proyectos en los que ha trabajado, intereses científicos, líneas de investigación que considera relevantes y en las cuales le gustaría trabajar.

• Potencial del solicitante como investigador:

Capacidad para liderar un grupo de investigación.• Disposición a emprender líneas de investigación nuevas o

interdisciplinares, que supongan un avance en la frontera del conocimiento o el aprendizaje de nuevos conocimientos y técnicas.

Page 51: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

51Dirección General de Investigación

51Dirección General de Investigación

51

Proceso de evaluación Programas Ramón y Cajal (RyC) y Juan de la Cierva (JdC)

Selección de expertos y aprobación de comisión por CA

Asignación de solicitudes a pares y evaluación telemática

Reunión de comisiones:•Discusión de criterios de evaluación•Méritos de candidatos y lista priorizada•Nota de excelencia de candidatos

Realización de acta e informes finales

Revisión por dirección ANEP de actas y notas de corte

Determinación de notas de corte y comisión de financiación

Page 52: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

52Dirección General de Investigación

52Dirección General de Investigación

52

Selección de miembros de comisiones RyC y JdC

Renovación anual de comisiones

Calidad científica a nivel internacional de miembros

Participación de elevado número de extranjeros

Participación de RyC o JdC de años anteriores

Paridad de sexos y distribución geográfica

Sin conflictos de intereses

Un miembro por cada 8-10 expedientes

Propuesta sujeta a aprobación por CA

Page 53: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

53Dirección General de Investigación

53Dirección General de Investigación

53

Logística de comisiones

Se fijan fechas de comisiones (distribución en 4 semanas)

Invitación a miembros y petición de necesidades

Asignación de evaluaciones (aprox. 1 mes antes de reunión)

Reunión en un hotel en Madrid

Avisos a comisión:•Avisar conflictos de intereses•Identificar cambios de área (permiso IP) e interdisciplinares•Informes finales personales, valorativos, no peyorativos,

rigurosos, sin corrección posterior, …

Page 54: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

54Dirección General de Investigación

54Dirección General de Investigación

54

Programa Ramón y Cajal

•No son proyectos, son solicitudes.

•Lo más importante es el CV del candidato, por eso debe ser evaluado en el área que marca el CV, y no en el del tema en el que va a trabajar (si son diferentes áreas).

•Un candidato debe tener nivel suficiente para liderar una línea de investigación, aunque no todos vayan a hacerlo y muchos se incorporen a grupos estables.

•No penalizar cambios de tema de investigación.

Evaluación y realización de informes (RyC y JdC)

Page 55: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

55Dirección General de Investigación

55Dirección General de Investigación

55

Formulario evaluación Ramón y Cajal - 2010

Page 56: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

56Dirección General de Investigación

56Dirección General de Investigación

56

Page 57: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

57Dirección General de Investigación

57Dirección General de Investigación

57

Evaluación programa Juan de la Cierva

•Se trata de investigadores posdoctorales de mucha calidad, que se incorporan a grupos con calidad científica probada o con potencial evidente.

•Es importante el proyecto y la calidad del grupo receptor.

•No penalizar cambios de tema de investigación

Page 58: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

58Dirección General de Investigación

58Dirección General de Investigación

58

Formulario evaluación Juan de la Cierva - 2010

Page 59: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

59Dirección General de Investigación

59Dirección General de Investigación

59

Page 60: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

60Dirección General de Investigación

60Dirección General de Investigación

60

Actas de comisiones RyC y JdC

Page 61: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

61Dirección General de Investigación

61Dirección General de Investigación

61

Page 62: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

62Dirección General de Investigación

62Dirección General de Investigación

62

Page 63: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

63Dirección General de Investigación

63Dirección General de Investigación

63

Page 64: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

64Dirección General de Investigación

64Dirección General de Investigación

64

Área Juan de la Cierva Ramón Y CajalNúmero Número % Nota Nota Número Número % Nota Nota

Solicitudes Concesión Concesión Corte Excel Solicitudes Concesión Concesión Corte ExcelAGR 94 16 17,0% 79,68 75 105 16 15,2% 67 65BFS 144 24 16,7% 87,50 75 114 17 14,9% 91,5 80BMED 276 46 16,7% 91,20 86 207 31 15,0% 88 85BVAE 126 21 16,7% 96,00 90 86 13 15,1% 97,6 95CS 73 12 16,4% 89,00 80 52 8 15,4% 93 80CT 101 17 16,8% 90,30 80 77 11 14,3% 82,5 70DER 26 4 15,4% 78,50 76 22 3 13,6% 86 80ECO 47 8 17,0% 89,00 85 32 5 15,6% 93 85EDUC 7 1 14,3% 100,00 85 3 0 0,0% 90 90FFI 104 17 16,3% 91,00 90 61 9 14,8% 95 90FI 144 24 16,7% 97,70 91 226 33 14,6% 96,8 86,8GAN 75 12 16,0% 88,00 80 33 5 15,2% 94 85HA 100 17 17,0% 87,50 80 78 12 15,4% 89 88ICI 23 4 17,4% 87,00 80 13 2 15,4% 95 85IEL 31 5 16,1% 91,00 70 15 2 13,3% 93 65IME 25 4 16,0% 84,00 80 15 2 13,3% 87 80INF 76 13 17,1% 88,00 70 42 6 14,3% 95 75MCLI 92 15 16,3% 78,00 74 44 6 13,6% 92 67MTM 69 12 17,4% 88,00 85 54 8 14,8% 92 82PS 35 6 17,1% 88,00 75 22 3 13,6% 95 80QMC 140 23 16,4% 90,00 85 130 19 14,6% 88 82TA 54 9 16,7% 85,00 75 55 8 14,5% 90 80TEC 44 7 15,9% 97,00 90 36 5 13,9% 95 88TM 116 19 16,4% 96,40 70 142 21 14,8% 96 80TQ 82 14 17,1% 94,50 90 37 5 13,5% 98 90

2104 350 16,6% 1701 250 14,7%

Notas de excelencia y corte. Concesiones 2010

Page 65: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

65Dirección General de Investigación

65Dirección General de Investigación

65

Contratados extranjeros y nacionales procedentes del extranjero

Page 66: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

66Dirección General de Investigación

66Dirección General de Investigación

66

Page 67: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

67Dirección General de Investigación

67Dirección General de Investigación

67

Distribución por sexosContratos Ramón y Cajal

Contratos Juan de la Cierva 57% hombres vs 43 % mujeres

Page 68: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

68Dirección General de Investigación

68Dirección General de Investigación

68

Dos modalidades: A. investigadores españoles al extranjero (junior, José de

Castillejo, hasta 10 meses, y senior, Salvador de Madariaga, hasta 12 meses).

B: investigadores extranjeros a grupos españoles (junior, hasta 18 meses, y senior, hasta 12 meses).

Se valora:

• CV y potencialidad del solicitante.

• Interés de la propuesta.

• Calidad del IP y del grupo receptor.

• Para visitantes extranjeros: aportación del solicitante y su propuesta al grupo receptor y a la investigación en España.

Movilidad

Page 69: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

69Dirección General de Investigación

69Dirección General de Investigación

69

Grupos de TrabajoCriterios de evaluación del Mérito tecnológicoMérito tecnológico de investigadores y tecnólogos, calidad de proyectos y de actividades de investigación aplicada y desarrollo experimental, desarrollo tecnológico o innovación. Grupo formado por representantes de empresas, centros tecnológicos, OTRIs, de universidades y OPIs, gestores de la A.G.E. y CC.AA. Abril 2005-junio-2006.

Criterios para las áreas de HumanidadesGrupo formado por 14 expertos investigadores, académicos representantes de EEUU, Iberoamérica, Europa. Universidades. Criterios para la evaluación de proyectos de investigación y CV. Tipos de publicaciones, relevancia de resultados, impacto social, otros. Enero 2006-noviembre 2006.

Criterios para las áreas de Ciencias SocialesGrupo formado por 12 expertos investigadores, académicos de estas disciplinas. Criterios para la evaluación de proyectos de investigación y CV. Tipos de publicaciones, relevancia de resultados, impacto social, otros. Enero 2007-noviembre 2007.

Criterios para las áreas de Medicina Clínica (2010)

Criterios para las áreas de Ciencias Jurídicas (aplazado)

Page 70: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

70Dirección General de Investigación

70Dirección General de Investigación

70

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Criterios por áreas y guía de evaluación

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 71: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

71Dirección General de Investigación

71Dirección General de Investigación

71

Controles de calidad de procedimientos

• Controles para evitar conflictos de interés Los evaluadores certifican ausencia de conflictos de interés y

Confidencialidad. Los equipos de coordinación intentan detectar y corregir sesgos,

incompatibilidades y conflictos de interés. Los investigadores pueden enviar cartas de recusación. Los conflictos de interés con los equipos de coordinación se llevan a

una Comisión Externa.

• Controles para evitar y corregir sesgos Participación de mujeres e investigadores jóvenes. Vigilancia de los criterios que orientan la evaluación.

• Controles de calidad de la evaluación y de evaluadores Evaluación de evaluadores en la aplicación informática. Controles de calidad de la evaluación en colaboración con la ESF. Vigilancia por la Comisión Asesora de la ANEP.

Page 72: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

72Dirección General de Investigación

72Dirección General de Investigación

72

Page 73: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

73Dirección General de Investigación

73Dirección General de Investigación

73

Page 74: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

74Dirección General de Investigación

74Dirección General de Investigación

74

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Criterios por áreas y guía de evaluación

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 75: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

75Dirección General de Investigación

75Dirección General de Investigación

75

Guía para elaboración de solicitudes de financiación para Proyectos de Investigación

ADVERTENCIA

Sólo es una guía y debe ser entendida como tal.

No existe una Receta universal para elaborar proyectos

La utilización de esta guía no garantiza la selección de su proyecto.

Page 76: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

76Dirección General de Investigación

76Dirección General de Investigación

76

Reflexiones“Estudiar el texto de la convocatoria”“Comenzar con tiempo la redacción”“Ponerse en el lugar del evaluador”

“La probabilidad de éxito aumenta con nº de intentos”“La no financiación suele implicar errores pero no

necesariamente que el proyecto o la idea sean malos”“Si tenemos un buen proyecto debemos disminuir las

posibilidades de que sea rechazado”

Page 77: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

77Dirección General de Investigación

77Dirección General de Investigación

77

¿Cómo elaborar mejores proyectos?

Convocatoria y procesos de evaluaciónElegir correctamente Programa y Área Científica.Áreas y Programas de la DGI (Plan Nacional).Comprender el proceso de evaluación . Leer cuidadosamente la convocatoria y seguir las instrucciones.

El proyectoConvencer al evaluador: Un buen proyecto comienza por la

exposición de una idea clara de losobjetivos y de por qué va a significaruna mejora del estado actual y va a tener un impacto científico-técnico.Ser realista en los objetivo

Volumen de los objetivos

Valoración del proyecto

Page 78: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

78Dirección General de Investigación

78Dirección General de Investigación

78

¿Cómo elaborar mejores proyectos?Ser sincero.Los resultados preliminares pueden indicar la viabilidad de un proyecto.Demostrar que se tiene capacidad y conocimiento suficientes.El evaluador no debe aburrirse. El proyecto debe ser interesante.Adelantarse a las posibles críticas y justificar los puntos débiles.Explicar clara y sinceramente las funciones de cada participante.No asumir que los evaluadores saben quién eres y qué has hecho.

Redacción y presentación de la memoriaCuidar la redacción: la impresión personal es importante.Tener las ideas claras y exponerlas claramente al evaluador.Cuidar la estética: Utilizar gráficos, separar diferentes ideas en párrafos, destacar conceptos importantes y añadir espacios en blanco para romper la monotonía.Revisar la memoria y solicitar su lectura crítica a otros colegas.Cumplir plazos: Ni evaluadores ni gestores tienen mucha paciencia.

Page 79: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

79Dirección General de Investigación

79Dirección General de Investigación

79

Antes de hacer la propuestaLa palabra proyecto alude a la representación en perspectiva de una idea o concepto, el término se refiere a un conjunto de actividades concretas, interrelacionadas y coordinadas entre sí, que se realizan con el fin de producir determinados productos o servicios, capaces de satisfacer 

necesidades o resolver problemas.

Tareasinvestigadores

ResultadosIdea

PROYECTO

Page 80: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

80Dirección General de Investigación

80Dirección General de Investigación

80

¿Por qué ahora? Antecedentes, oportunidad y justificación

¿Qué? Objetivos generales, objetivos específicos y metas

¿Quién? Participantes y beneficiarios

¿Dónde? Ubicación y contexto 

¿Cómo? Metodología y plan de trabajo

¿Cuándo? Actividades y cronograma

¿Con qué? Recursos humanos, financieros y técnicos

¿Para qué? Resultados esperados

¿Con Cuánto? Presupuesto

Antes de hacer la propuestapreguntas que nos ayudan a clarificar el proyecto

Page 81: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

81Dirección General de Investigación

81Dirección General de Investigación

81

Para presentar una solicitudRevisar texto de la convocatoria para saber:Finalidad de la ayuda (Inv. Básica, tipos de proyectos, …)Requisitos para presentar las solicitudes (IP, entidades, …).Plazos de presentación de solicitudes.Forma de presentación de solicitudes (procedimiento 

telemáticos, documentos necesarios para presentar la solicitud, con sus formatos correspondientes , firmas de colaboradores y representantes legales, …)Criterios de evaluación.Redactar una buena propuesta

Page 82: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

82Dirección General de Investigación

82Dirección General de Investigación

8282

Para redactar la propuestaFinalidad de la ayuda (1/3)

Page 83: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

83Dirección General de Investigación

83Dirección General de Investigación

8383

Para redactar la propuestaFinalidad de la ayuda (2/3)

Page 84: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

84Dirección General de Investigación

84Dirección General de Investigación

8484

Para redactar la propuestaFinalidad de la ayuda (3/3)

Page 85: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

85Dirección General de Investigación

85Dirección General de Investigación

8585

Para redactar la propuestaRequisitos para presentar las solicitudes (1/2)

Page 86: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

86Dirección General de Investigación

86Dirección General de Investigación

8686

Para redactar la propuestaRequisitos para presentar las solicitudes (2/2)

Page 87: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

87Dirección General de Investigación

87Dirección General de Investigación

8787

Para redactar la propuestaPlazos de presentación de solicitudes

¡¡No apurar plazos!!

Page 88: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

88Dirección General de Investigación

88Dirección General de Investigación

8888

Para redactar la propuestaForma de presentación de solicitudes (1/4)

Page 89: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

89Dirección General de Investigación

89Dirección General de Investigación

89

Para redactar la propuestaForma de presentación de solicitudes (2/4)

Page 90: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

90Dirección General de Investigación

90Dirección General de Investigación

90

Para redactar la propuestaForma de presentación de solicitudes (3/4)

Page 91: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

91Dirección General de Investigación

91Dirección General de Investigación

9191

Para redactar la propuestaForma de presentación de solicitudes (4/4)

Page 92: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

92Dirección General de Investigación

92Dirección General de Investigación

92

Para redactar la propuestaCriterios de evaluación (1/2)

Page 93: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

93Dirección General de Investigación

93Dirección General de Investigación

93

Para redactar la propuestaCriterios de evaluación (2/2)

Page 94: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

94Dirección General de Investigación

94Dirección General de Investigación

94

Para redactar la propuesta

• Contar con un diccionario y corrector.• Utilizar un lenguaje sencillo y de fácil comprensión para todos. Utilizar frases coherentes, legibles, construidas con pocos de adjetivos; buscar la frase correcta.

• Estructurar bien contenido de memoria.• Corregir lo escrito en etapas sucesivas.• Involucrar a los miembros del equipo en la redacción de partes de la propuesta (antecedentes, tareas, presupuestos, …)

• Someter propuesta redactada a corrección de otros colegas• Facilitar respuesta a criterios de evaluación“la redacción de la propuesta es un proceso constante de enriquecimiento y 

de eliminación de razones para la no financiación”

Page 95: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

95Dirección General de Investigación

95Dirección General de Investigación

95

Para redactar la propuestaEstructurar bien contenido de memoria (1/10)

Si está especificada en la convocatoria deberá respetarse.

Si no está completamente especificada se sugiere:

1.­ Título y acrónimo.2.­ Introducción y Antecedentes3.­ Objetivos4.­Metodología y plan de trabajo5.­ Cronograma6.­ Plan de difusión de resultados7.­ Presupuesto8.­ Historial investigador del grupo y capacidad formativa

Page 96: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

96Dirección General de Investigación

96Dirección General de Investigación

96

Para redactar la propuestaEstructurar bien contenido de memoria (2/10)

1.­ Título y acrónimo.

•El título es muy importante … es la primera impresión.

•Primera referencia de equipo de coordinación para buscar evaluadores

•Primera imagen sobre objetividad, facultades creativas, o  capacidad de síntesis del IP.

•Congruente con el contenido del proyecto, original, sugerente y breve (no más de 2 líneas)

•Un buen acrónimo capta atención y da imagen de “marca” (fibrodont, nanoterm, …)

Page 97: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

97Dirección General de Investigación

97Dirección General de Investigación

97

Para redactar la propuestaEstructurar bien contenido de memoria (3/10)

2.­ Introducción y antecedentes.  “¿Por qué? y ¿Por qué ahora?

•Pretende demostrar que existe una base científica suficiente para plantear los objetivos de este proyecto y que el autor está al corriente.

•Es fundamental expresar las limitaciones existentes y la novedad que aportará este proyecto. ¿Porqué este proyecto será relevante?

•Fundamental seleccionar bien las citas porque da idea de la calidad científica del IP y de la capacidad para evaluar el trabajo de otros equipos y de extraer lo que es importante.

•Debe recoger las publicaciones relevantes más recientes.

•No tratar con descortesía el trabajo de otros grupos. 

Page 98: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

98Dirección General de Investigación

98Dirección General de Investigación

98

Para redactar la propuestaEstructurar bien contenido de memoria (4/10)

3.­ Objetivos. “¿Qué?”

•La parte central del proyecto Deben existir un objetivo general y varios objetivos específicos.

• Deben ser relevantes, originales e innovadores, concretos, evaluables y medibles, factibles y congruentes.

•La redacción del objetivo general  debe comenzar con un infinitivo: “escribir…”, “determinar …”, “desarrollar …”, …

•Los objetivos específicos deben corresponder con acciones concisas y pretenden una meta alcanzable.

•El número total de objetivos no debe ser muy elevado.

Page 99: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

99Dirección General de Investigación

99Dirección General de Investigación

99

Para redactar la propuestaEstructurar bien contenido de memoria (5/10)

4.­Metodología y Plan de Trabajo.     “¿Cómo?” “¿Con qué?” ”¿Con Quién?”•Mostrar en forma organizada, clara y precisa, cómo se alcanzarán cada uno de los objetivos específicos .• Base para planificar todas las actividades que demanda el proyecto y determinar los recursos humanos y financieros  requeridos.•Reflejar la estructura lógica y el rigor científico del proceso, indicándose el proceso a seguir en la recolección de la información, así como en la organización, sistematización y análisis de los datos.•Es preciso plantear el contexto del proyecto, los objetivos propuestos y la metodología para abordarlos: Para...se realizarán determinaciones de...  mediante la técnica de...•Detallar los procedimientos, técnicas, actividades y estrategias metodológicas, pero no es una mera lista de cosas a hacer. 

Page 100: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

100Dirección General de Investigación

100Dirección General de Investigación

100

Para redactar la propuestaEstructurar bien contenido de memoria (6/10)

4.­Metodología y Plan de Trabajo.

•Mostar los medios humanos, materiales y financieros con los que se cuenta y justificar como los recursos solicitados complementan a los existentes y son necesarios en el desarrollo del proyecto.•Plantear acciones a realizar ante posibles desviaciones.

Page 101: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

101Dirección General de Investigación

101Dirección General de Investigación

101

Para redactar la propuestaEstructurar bien contenido de memoria (7/10)

4.­Metodología y Plan de Trabajo

• El plan de trabajo permite plantear y dar seguimiento a todas las actividades que permiten obtener los objetivos específicos:

•Técnicas para recolección de información sobre la población o muestras a las que se extenderá el estudio.•Técnicas y métodos empleados en el análisis de los resultados.•Posibles limitaciones y desviaciones que puedan aparecer.•Personas que participarán y responsable de cada tarea.•Algunas son tareas propiamente de estudio o producción científica y otras organizativas (redacción de informes, recepción y puesta a punto de equipos, …)•Debería cuantificar las horas que cada miembro del equipo dedicará a cada tarea.

Page 102: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

102Dirección General de Investigación

102Dirección General de Investigación

102

Para redactar la propuestaEstructurar bien contenido de memoria (8/10)

5.­ Cronograma “¿Cuándo?

• Es una planificación temporal del plan de trabajo. 

•Permite planear y dar seguimiento a la realización y cumplimiento de cada una de las tareas.

•Suele hacerse en base mensual pero puede ser trimestral o semanal.

•Debe ser realista, cronogramas muy ajustados están abocados a no ser cumplidos y muy dilatados indican inseguridad, baja productividad, …

•Da una primera idea de la viabilidad temporal del proyecto.

Page 103: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

103Dirección General de Investigación

103Dirección General de Investigación

103

Para redactar la propuestaEstructurar bien contenido de memoria (8/10)

6.­ Plan de difusión de resultados.

•Manera pública de comunicar resultados de proyecto.

• Justificación de financiación concedida.

•Acorde con los objetivos, los medios empleados y el rendimiento histórico de IP y del Grupo de investigación.

•Carácter internacional, social, aplicado, …

•Publicaciones internacionales de alto impacto (1er ¼), patentes (explotación, internacionales, …), comunicaciones a congresos, publicaciones nacionales, libros, bases de datos, modelos de utilidad, …

•Debe darse una previsión de la cantidad de resultados que se difundirán y de las fechas en que se producirán (congresos a los que se asistirá, publicaciones que se prevé obtener y revistas a las que se pretenden enviar, …)

Page 104: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

104Dirección General de Investigación

104Dirección General de Investigación

104

Para redactar la propuestaEstructurar bien contenido de memoria (9/10)

7.­ Presupuesto “¿Con Cuánto?”

• Costo total del proyecto, desglosado por partidas (¿convocatoria?):

•Costes directos:•Gastos de personal•Gastos de ejecución del proyecto (equipamiento cientifico‐técnico, material bibliográfico, material fungible, viajes y dietas, seminarios, conferencias, estancias, utilización de servicios generales, ...

•Costes indirectos (hasta 21 % de costes directos en PN en caso de modalidad de costes marginales, justificados)

•Presupuesto razonable y en concordancia con el tamaño del grupo (EDP óEJC), número de doctores del mismo y productividad científica del equipo. 

•Fundamental aportar datos de cofinanciación o de cualquier otro tipo de  aportación de las entidades participantes.

Page 105: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

105Dirección General de Investigación

105Dirección General de Investigación

105

Para redactar la propuestaEstructurar bien contenido de memoria (9/10)

7.­ Presupuesto

•Fundamental aportar datos de cofinanciación o de cualquier otro tipo de  aportación de las entidades participantes.

•Es fundamental ser riguroso, presentar presupuestos realistas (no inflados, inventados, …), equilibrado en partidas.

•Cualquier desequilibrio debe ser justificado perfectamente, sino seránegativo en la evaluación.

•Los equipos no son de uso exclusivo de los grupos de investigación y debe conocerse la disponibilidad de equipos similares a los solicitados en entidades del entorno y su disponibilidad.

•Para equipos inventariables es positivo mostrar que todo está planificado (espacio donde será instalado, obras de instalación necesarias, posible cofinanciación, investigadores capaces de investigar con ellos, …)

Page 106: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

106Dirección General de Investigación

106Dirección General de Investigación

106

Para redactar la propuestaEstructurar bien contenido de memoria (10/10)8.­ Historial investigador del grupo y capacidad formativa. “¿Quién?”

• Debe contener un resumen del CV del IP y del grupo investigador

•Breve, se trata de dar una visión general de la experiencia y los méritos de IP y grupo, no de impresionar.

•Lo fundamental es demostrar que se tiene capacidad para alcanzar los objetivos propuestos basándose en la experiencia anterior.

•Si el IP ha desarrollado proyectos similares en años anteriores lo mejor es mencionar los más significativos exponiendo los resultados más relevantes que se han obtenido de ellos. Un grupo “rentable” debe ser financiado.

•Lo ideal sería financiar a los grupos que han demostrado su capacidad y a aquellos que comienzan y plantean bien ideas novedosas.

•La capacidad formativa siempre es bien valorada y fundamental si se pide personal.

Page 107: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

107Dirección General de Investigación

107Dirección General de Investigación

107

Situaciones negativas comentadas por evaluadores

Se pide un técnico de laboratorio y no se justifica qué va a hacer en el proyecto. Todo el mundo necesita personal de apoyo, pero se estáevaluando un proyecto, no las necesidades generales del grupo investigador.

El equipo x se sabe que cuesta la mitad de lo que se dice en lamemoria. El evaluador tenderá a pensar que también está “inflado” el resto del presupuesto.

Un grupo consolidado necesita 18 meses de estudio previo en un tema del que tiene experiencia.

El proyecto es muy aplicado, pero no se ha conseguido que haya empresas interesadas.

El proyecto es muy aplicado, hay empresas muy interesadas, perono hacen nada en el proyecto (no aportan material, ni financiación, ni personal, ni seguimiento de las tareas, etc.)

Page 108: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

108Dirección General de Investigación

108Dirección General de Investigación

108

Situaciones negativas comentadas por evaluadores

Proyecto con interés social pero sin interés científico-técnico. Habráque elegir correctamente dónde encaja un proyecto así, que no seráen una convocatoria estándar de I+D+I.

Grupo investigador numeroso, integrado por personas maduras y con escaso CV, que piden 5 becarios. Seguramente se trata de un proyecto desenfocado y que se pretende que sea realizado, casi exclusivamente, por los becarios.

Grupo investigador sin publicaciones relevantes ni en congresos ni en revistas “indexadas”, que presenta un plan de difusión de resultados con numerosas publicaciones relevantes. Se juzgará como poco probable. Es mejor ser realista.

Grupo investigador con experiencia industrial, buenas realizaciones prácticas pero casi sin currículum científico-técnico. Evaluación incierta (dependerá mucho del evaluador). Deben mejorar su currículum científico-técnico.

Page 109: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

109Dirección General de Investigación

109Dirección General de Investigación

109

¡¡¡¡SI NO HAY CONCESIÓN DE FINANCIACIÓN!!!!

•Difícil aceptarlo para el ego de muchos investigadores.

•La mejor forma es darle la justa dimensión que merece.

•No tomarlo como un fracaso sino como una oportunidad para reflexionar. Hacer cuidadoso análisis autocrático que permita identificar las debilidades del proyecto/propuesta.

• Hacer las correcciones necesarias para volver a intentarlo en la siguiente convocatoria (todo proyecto es mejorable).

•Buscar fuentes alternas de financiamiento .•Evitar caer en la “parálisis creativa”.

Page 110: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

110Dirección General de Investigación

110Dirección General de Investigación

110

Múltiples razones por las que un proyecto pueden no ser financiado

La disponibilidad presupuestaria es mucho menor que lo solicitado por los proyectos de buena calidad.

Rara vez la finaciación supera el 30 ó 40% de la petición de solicitudes y suele financiarse menos del 50% de las 

solicitudes.

Algo falló … necesario mejorar

Page 111: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

111Dirección General de Investigación

111Dirección General de Investigación

111

Múltiples razones por las que un proyecto pueden no ser financiado

No se ha elegido bien el tipo de convocatoria

Un proyecto básico pide financiación en una convocatoria tecnológica o un proyecto social, sin base científica, en una 

básica.

Por ejemplo, reforestación de selva amazónica en Plan Nacional, investigación básica no orientada.

Page 112: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

112Dirección General de Investigación

112Dirección General de Investigación

112

Múltiples razones por las que un proyecto pueden no ser financiado

No adecuación a los criterios de “oportunidad”fijados por la entidad convocante

Líneas estratégicasImpacto social (regional o local)

Grupos específicosCosto del proyecto

Page 113: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

113Dirección General de Investigación

113Dirección General de Investigación

113

Múltiples razones por las que un proyecto pueden no ser financiado

No tenemos un buen proyecto o no está maduro

Buena idea pero difícil de materializarRealización enésima de una misma ideaRiesgo excesivo no fundamentado o nulo

Pastiche de ideas no convergentes

Page 114: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

114Dirección General de Investigación

114Dirección General de Investigación

114

Múltiples razones por las que un proyecto pueden no ser financiado

No se elabora una buena solicitud

Incompleta o mal planteadaDesequilibrada (personal, presupuestos, …)

Poco convincente (sin fuerza, redactada a “trozos”, …)No se demuestra capacidad

…“Los proyectos bien elaborados se

distinguen de los demás”

Page 115: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

115Dirección General de Investigación

115Dirección General de Investigación

115

Múltiples razones por las que un proyecto pueden no ser financiado

Nos hicieron una evaluación “muy dura”

¿Enemigos?¿Proyecto interdisciplinar no bien justificado?

Page 116: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

116Dirección General de Investigación

116Dirección General de Investigación

116

1. Contexto Nacional I+D+i ↔ Producción e impacto científico

2. Función de la ANEP ↔ Actividad evaluadora

3. Procedimientos de evaluación

4. Criterios de evaluación y ejemplos de procesos de evaluación

4.1 Proyectos Plan Nacional

4.2 Contratos Ramón y Cajal, Juan de la Cierva y movilidad

4.3 Criterios por áreas y guía de evaluación

5. Controles de Calidad de procedimientos de evaluación

6. Guía para elaboración de solicitudes de financiación para Proyectos de Investigación.

7. Convocatoria Plan Nacional 2010-2011.

Contenido

Page 117: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

117Dirección General de Investigación

117Dirección General de Investigación

117

Financiación concedida en el año 2010

117

Formación e Incorporación de Investigadores 255.745.206 € 39 %

Proyectos de Investigación (Proyectos, Acciones, CONSOLIDER)

408.000.154 € 61 %

Infraestructura Científica

TOTAL 663.745.360 €

Nota: Infraestructura Científica convocada en 2010, se resolverá en 2011.

Page 118: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

118Dirección General de Investigación

118Dirección General de Investigación

118118

PROGRAMASNº €

Formación de Personal Investigador 1054 71.834.485 €

Juan de la Cierva 350 35.343.000 €

Ramón y Cajal 231 44.462.880 €

Torres Quevedo 1655 88.262.861 €

Personal Técnico de Apoyo 298 15.841.980 €

Proyectos de Investigación Fundamental no orientada 3378 370.472.413 €

Acciones Complementarias 988 12.527.741 €

Proyectos CONSOLIDER 7 25.000.000 €

Infraestructura Científica*

TOTAL 7.961 663.745.360 €

Financiación concedida en el año 2010

* Convocada en 2010, se resolverá en 2011.

Page 119: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

119Dirección General de Investigación

119Dirección General de Investigación

119119

Financiación concedida en el año 2010

Page 120: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

120Dirección General de Investigación

120Dirección General de Investigación

120120

FormaciFormacióón e Incorporacin e Incorporacióón de n de InvestigadoresInvestigadores

Page 121: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

121Dirección General de Investigación

121Dirección General de Investigación

121

Formación de Personal Investigador – FPI

121

FPI 2010: Resolución definitiva

Page 122: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

122Dirección General de Investigación

122Dirección General de Investigación

122

Programa Juan de la Cierva – JdC

122

Page 123: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

123Dirección General de Investigación

123Dirección General de Investigación

123

Programa Ramón y Cajal – RyC

123

Page 124: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

124Dirección General de Investigación

124Dirección General de Investigación

124

Programa Torres Quevedo

124

Page 125: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

125Dirección General de Investigación

125Dirección General de Investigación

125

Programa Torres Quevedo

Page 126: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

126Dirección General de Investigación

126Dirección General de Investigación

126

Concesión por beneficiario. 2004-2010

Programa Torres Quevedo

Page 127: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

127Dirección General de Investigación

127Dirección General de Investigación

127

Personal Técnico de Apoyo

127

Page 128: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

128Dirección General de Investigación

128Dirección General de Investigación

128128

Proyectos de InvestigaciProyectos de Investigacióónn

Page 129: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

129Dirección General de Investigación

129Dirección General de Investigación

129

Proyectos de Investigación

129

Page 130: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

130Dirección General de Investigación

130Dirección General de Investigación

130

Proyectos de Investigación

130

956,4

863,9

723,9

877,9876,1863,0

732,1

940,8

279,3 288,2 298,9374,9 398,4 419,5 429,8

370,5

Nota: Las cantidades indicadas en las barras están en Millones de euros

Page 131: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

131Dirección General de Investigación

131Dirección General de Investigación

131131

Proyectos de Investigación

Page 132: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

132Dirección General de Investigación

132Dirección General de Investigación

132132

Proyectos de Investigación

Page 133: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

133Dirección General de Investigación

133Dirección General de Investigación

133133

Programa CONSOLIDER

Page 134: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

134Dirección General de Investigación

134Dirección General de Investigación

134134

Programa CONSOLIDER

Nota: Las cantidades indicadas en las barras están en Millones de euros

293,6

484,8

419,0392,1390,1

25,0

46,047,3

149,9

82,1

Page 135: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

135

CIFRAS DE CONVOCATORIA de PROYECTOS 2010-11: 6.000 solicitudes (previsto) 430 M€, igual que la última convocatoria (375 - 380 M€)

CONVOCATORIA de PROYECTOS:

- PROYECTOS TIPOS A y B. Se permite solicitar a los Proyectos C-2007

- FAVORECER los PROYECTOS TIPO A

- FAVORECER COORDINADOS, TIPO B con TIPO ANo se permite que un Proyecto A sea Coordinador

- TÉCNICOS de APOYO: desaparece. PARTIDA de PERSONAL

- Nueva SALIDA IMPRESA, menos papel. FIRMA ELECTRFIRMA ELECTRÓÓNICANICA

DIRECCIÓN GENERAL de INVESTIGACIÓN y GESTIÓN del PLAN NACIONAL de I+D+i

Page 136: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

136

RECEPCIÓN SOLICITUDES: 31 ENERO

CARGA PROYECTOS: 7 FEBREROEn paralelo: ANEP, Gestores, Revisión Administrativa

REVISIÓN ADMINISTRATIVA: 31 MARZO

NOMBRAMIENTO COMISIONES: 15 MARZO

ACTUACIÓN COMISIONES: 9 MAYO - 17 JUNIO

COMUNICACIÓN con INVESTIGADORES: 1 – 15 JULIO

PRESENTACIÓN ALEGACIONES: 15 – 30 JULIO

RESOLUCIÓN ALEGACIONES: JULIO - SEPTIEMBRE

RESOLUCIÓN: OCTUBRE PAGO: NOVIEMBRE

DIRECCIÓN GENERAL de INVESTIGACIÓN y GESTIÓN del PLAN NACIONAL de I+D+i

Page 137: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

137

FORMULARIOS EVALUACIÓN PROYECTOS TIPOS A y B, ligeramente distintos, como el año pasadoPROYECTOS COORDINADOS: cada subproyecto debe recibir

evaluaciones independientes, INCLUYENDO el 00INCLUYENDO el 00PROYECTOS ESPECIALES, no coordinados

Comisión Especial, base históricaCOORDINACIÓN SGPI - ANEP: reuniones previas,

más evaluaciones cuando haya discrepancias, consideración de la no coincidencia de áreas

TODOS los INFORMES de EVALUACIÓN deberán estar DISPONIBLES, en la aplicación ANTES de las COMISIONESCALIFICACIÓN ACOTADA

según Tabla adjuntaINFORME FINAL responsabilidad del GESTOR y su equipo

Modelo anteriorALEGACIONES: Comisiones con participación de Gestores,

Coordinadores y Expertos elegidos

DIRECCIÓN GENERAL de INVESTIGACIÓN y GESTIÓN del PLAN NACIONAL de I+D+i

Page 138: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

138

FORMULARIOS EVALUACIÓN PROYECTOS TIPOS A y B, ligeramente distintos, como el año pasado

PROYECTOS COORDINADOS: cada subproyecto debe recibir evaluaciones independientes

PROYECTOS ESPECIALES, no coordinadosComisión Especial, base histórica

COORDINACIÓN SGPI - ANEP: reuniones previas, más evaluaciones cuando haya discrepancias, consideración de la no coincidencia de áreas

TODOS los INFORMES de EVALUACIÓN deberán estar DISPONIBLES, en la aplicación ANTES de las COMISIONES

CALIFICACIÓN ACOTADAsegún Tabla adjunta

INFORME FINAL responsabilidad del GESTOR y su equipoModelo anterior

ALEGACIONES: Comisiones con participación de Gestores, Coordinadores y Expertos elegidos

Calificación alfabética A B C D E

Puntuación numérica 50 - 43 42 - 34 33 - 25 24 - 16 15 - 0

Calificación nominal EXCELENTE BUENO ACEPTABLE CUESTIONABLE NO RECOMENDABLE

DIRECCIÓN GENERAL de INVESTIGACIÓN y GESTIÓN del PLAN NACIONAL de I+D+i

Page 139: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

Evaluación ANEP Mínimo 2/proyecto

Evaluación ComisiónAnálisis proyecto a proyectoPor cada área de gestiónCalificación por consenso,

única por proyectoFormada por representantes ANEP, evaluadores SGPI.

Científica, grupo, IP, metodología, plan de trabajo, etc.

Evaluación SGPI Mínimo 2/proyecto

Oportunidad, beneficios, presupuesto, prioridad

DIRECCIÓN GENERAL de INVESTIGACIÓN y GESTIÓN del PLAN NACIONAL de I+D+i

Page 140: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

140

FINANCIAR CALIDAD:- Seguir subiendo en número de artículos publicados- Aumentar índices de impacto y de citaciones

AJUSTAR PRESUPUESTOS - Recursos necesarios- El importe medio de los proyectos va bajando

AUMENTAR la PARTICIPACIÓN de JÓVENES y de MUJERES

AUMENTO del NÚMERO de MUJERES en las COMISIONES de EVALUACIÓN

CREACICREACIÓÓN del N del ÁÁREA MULTIDISCIPLINAR REA MULTIDISCIPLINAR –– GESTIGESTIÓÓN INDEPENDIENTEN INDEPENDIENTE

DIRECCIÓN GENERAL de INVESTIGACIÓN y GESTIÓN del PLAN NACIONAL de I+D+i

Page 141: Consejero Técnico Científico Agencia Nacional de ...nunez/.../mtt1516/Tema1Metodos/...Julio_Brav… · 2. Función de la ANEP ↔Actividad evaluadora 3. Procedimientos de evaluación

Agencia Nacional de Evaluación y Prospectiva (ANEP)

Dirección General de Investigación y Gestión del Plan Nacional 141

¡¡Muchas gracias! Muchas gracias!

¡¡Sobre todo a nuestros Sobre todo a nuestros colaboradores!colaboradores!