evaluacion de proyectos tecnologicos

Evaluación de Proyectos de C&T

Análisis del Documento

“Metodología de Evaluación de

Proyectos de C&T” por INVERTEC


¿Porqué evaluar? Apoyo a la definición de prioridades y políticas Gran demanda por “accountability” y

eficiencia de los recursos Justificar costos elevados en C&T Necesidad de retroalimentación Ex ante Análisis de cumplimiento de metas Exigencias de OI y nacionales para otorgar

financiamiento


Problemática de la evaluación de PC&T Basada en la estratificación y gestión de un

análisis subjetivo Métodos complicados,

+ Tiempo en su implementación Precisión depende de supuestos El Desarrollo es difícil de anticipar Resultados, difícilies de predecir y de medir

Controversia Resultados “generalmente” productos intermedios La priorización es crucial Gasto es discrecional


Principios Fundamentales (2) Evaluación como componente del proceso de gestión

Científico y Tecnológico Importancia del seguimiento de proyectos Propósitos relevantes de la evaluación Evaluación y tipos de proyectos El buen proyecto Tipos de Mecanismos Dificultades caracteristicas en la gestión de la

evaluación Proyectos en la interfase Ciencia – Tecnología Claves de éxito de los procesos de evaluación Evaluación como contructor de valor real


Evaluación como componente del proceso de gestión Científico y Tecnológico Proceso de gestión

Convocatorio, evaluación, selección, etc... Caracteristicas Relevantes

Define políticas, orienta, asigna recursos Dinámicas Diferentes

Sistema abierto - cerrado Fase del ciclo CTI

Nivel de incertidumbre – factores controlantes Requerimientos Principales

Permanencia – Credibilidad – Confiabilidad etc...


Importancia del seguimiento de proyectos Mejoran los proyectos

Aumenta los niveles de exigencia

Crea medios para analizar situaciones criticasAdaptación a las condiciones cambiantes

Aumenta el flujo de conocimiento Retroalimenta Posibilita anticipar Permite identificar los efectos inesperados


Propósitos relevantes de la evaluación Calidad

Potencial y viabilidad de ideas

PertinenciaPrioridades del país

RelevanciaApliación, ruptura y creación de nuevos paradigmas

ImpactoEconómico, social, institucional, ambiental

Apropiabilidad


Evaluación y tipos de proyectos Debe tener presente la naturaleza de lo

evaluado. Desarrollo de infraestructuraFormación de personalInvestigación y DesarrolloInnovación tecnológicaTranferencia de tecnologíaDivualgación y valoración de la C&T

Desafío:Superar el “sindrome de la simulación” que efectuan

los actores


El buen proyecto La imagen de un “buen” proyecto puede ser definida a

través de la constitución de algunos componente significativos, tales como:Creación de Valor Formación de Equipos de Trabajo Ambito de impacto: vinculación y tranferenciaCapacidades: equipamiento e infraestructuraMetodologías y Herramientas Actores: forma de participación, aportes, alianzas Apalancamientos Efectos Inesperados

Estas imágenes ayudan a orientar ya sea adhiriendo a ellas o a discrepando de ellas, sirviendoles de referente


Tipos de Mecanismos Concurso Horizontal (o transversal) Concurso Vertical ( o selectivos)

Necesarios cuando la demanda supera a la ofertaMayor transparencia al sistema

Licitaciones Para aquellos proyectos que el Estado le interesa impulsar

en forma particular. Estimular trabajos en temas considerados estratégicos

Ventanilla Flexible, permite recibir en cualquier momento

Negociación Directa Concursos de programas


Dificultades caracteristicas en la gestión de la evaluación Temor frente al cambio Insuficiente compresión Complejidad Recursos insuficientes Efectos de falsas autoridades intelectuales Riesgo de burocratización Riesgo de desgobierno Riesgo de “clientización”


Proyectos en la interfase Ciencia – Tecnología Son proyectos que vinculan a universidades, institutos

tecnológicos y empresas, revisten características peculiares que es necesario tener presente en los procesos de evaluación:Naturaleza diferente: razón científica, acción tecnológica Espacio de integraciónGran creación de ValorCirculación de talentosRuptura de mitos: “científicos no les interesan los

problemas de la industria” “empresarios no les interesa la ciencia”, “Cientificos no les interesa el dinero”.

Potenciación de la actividad científica, tecnológica y económico - social


Claves de éxito de los procesos de evaluación Valoración positiva a priori Gradiente de competencia favorables a

sistemas de evaluación Atributos notables de la gestión

Independencia, transparencia, eficiencia, respeto Logros efectivos Generación y difusion de proyectos “estrella” Desarrollo de cultura de valoración y

evaluación entre los actores


Evaluación como contructor de valor real La evaluación trasciende y supera lo evaluado,

produciendo beneficios para una comunidadGradiente de valor con respecto a activos sociales

existentesDesencadenador de ideas-fuerza y nuevos

paradigmasArticulador de eslabones aislados en cadenas y

redes de valorPrecipitador y dinamizador de cambios


Bases de diseño de la metodología (3) Integridad y transparencia Sinergia Diversidad y pluralismo Confidencialidad Diseño Operacional

Simple y riguroso; flexible y ágil;Bien promocionado

Diseño Técnico


Diseño Técnico = Metodología de Evaluación Permita evaluar con flexibilidad una gama amplia de

proyectos Que acepte la existencia de “fronteras difusas” Sea adaptable a las orientaciones y tendencias de los

“policy makers” Que contemple como criterios críticos de evaluación

conceptos de: Impacto y Relevancia PertinenciaRentabilidad Social Viabilidad de lograr los resultados propuestos


Naturaleza de los proyectos Ciencia Básica

Contribuir al conocimiento de la naturaleza y sociedad Ciencia Aplicada

Generar conocimiento con una aplicabilidad eventual a la realidad del pais en m y l plazo

Investigación Precompetitiva Desarrollar y aplicar en el c.p. Tecnologías de baja

apropiabilidad y de amplio espectro en el S.P Tecnología Competitiva

Generar y aplicar tecnologías de alta apropiabilidad para uso competitivo por una empresa o un grupo reducido de ellas.


Naturaleza del proyecto

Tipos de Metodologías

Evaluación por Pares

Evaluación Complementaria

Consejo y Comité Evaluación Económica

Ciencia básica o pura

TradicionalComplemento con

bibliometría y otros datos relevantes

Científico - Tecnológico

No aplica

Ciencia con aplicaciones potenciales relevantes

Investigación precompetitiva de baja apropiabilidad

Participación de “no

académicos”

Análisis estratégico Académico, privado y gobierno

Evaluación económica

social

Tecnología de mercado de alta apropiabilidad

Conocedores mundo

empresarial

Evaluación integral interna o restringida (confidencial)

EmpresarialEvaluación económica

privada


Diferente tipos de metodología Priorización de los proyectos (lógica difusa)

Descomponerlos en sus elementos constitutivos para darles una estructura jerárquica

Evaluación por Pares Pertinencia (alineamiento con un planteamiento

estratégico) Impacto y Relevancia (efectos directos e indirectos) Rentabilidad Social (beneficos) Viabilidad (probabilidad de éxito)

Del Entorno, de postulantes, metodológicas, productivas Evaluación Económica-social

análisis costo-beneficios Basada en supuestos razonables y realistas

TIR, VAN, VAN/I, VAN/I&D, Probabilidad de éxito


Evaluación económica-social (ejemplo TIR)

Evaluación por pares (ejemplo algoritmo)

Proyectos a aprobar


Procesos Sustantivos (4) Actores del proceso

PostulantesComités TécnicosConsejos de EvaluaciónCONACYT Ejecutivos de cuenta

Proceso Global de los ProyectosConvocatoria Ingreso Evaluación Análisis La formalización El Seguimiento La evaluación del impacto


Ingreso Proyecto Elegibilidad Evaluación

Sale del Proceso Informe al Comité

Reunión del Comité

A reformular

AprobadoContrato y línea de base

Ejecución y seguimiento

Sí

No

No

Perfil (optativo)

Informe final y evaluación impacto

Flujograma


Principales Etapas del proceso de evaluación de proyectos Clasificación Definición de los parámetros de Elegibilidad (1er filtro) Calibración del algoritmos de evaluación (relevancia) Bases y Formatos (presentación) Apoyo a la formulación (evaluación fluida e informada) Recepción de perfiles (2do filtro) Proceso de elegibilidad de proyectos Aplicación de evaluación “por pares” (3er filtro) Evaluaciones complementarias Análisis de los resultados y selección de proyectos Resultados Línea de base Firma de Convenios


Criterios y algoritmo de evaluación de proyectos (5) Asignación de valores en función a su

Naturaleza Asignación de criterios por la calidad

Muy alto /muy bueno 5Alto / bueno 4Regular 3Bajo/malo 2Muy bajo / muy malo 1No aplica N

Evaluación de Proyectos de C&TCRITERIOS DE EVALUACIÓN DE PERTINENCIA*En anexos se presenta una descripción del “Fondo Sectorial o Mixto”

SUB-CRITERIOS MANDATORIOS DE CUMPLIMIENTO NECESARIO

C CONCLUSIONES Y RECOMENDACIONE

S

Pertinencia en relación a los objetivos del Fondo

Pertinencia en relación a las políticas del Fondo (incluir descentralización y creación de nuevos grupos)

Pertinencia en relación a las demandas específicas

SUB-CRITERIOS CUYO CUMPLIMIENTO ADICIONA VALOR A LA PERTINENCIA


S

El proyecto se acerca al criterio de política "D" definido por el Fondo

El proyecto se acerca al criterio de política "E" definido por el Fondo

El proyecto se acerca al criterio de política "F" definido por el Fondo

El proyecto se acerca al criterio de política "G" definido por el Fondo

CRITERIOS DE EVALUACIÓN DE IMPACTO Y RELEVANCIA

SUB-CRITERIOS DE IMPACTO CIENTÍFICO-TECNOLÓGICOS C CONCLUSIONES Y RECOMENDACIONE

SPotencial contribución a la creación de nuevo conocimiento significativo

Originalidad de la propuesta en relación con el estado del arte actual

Atención a la solución del problema o necesidad u oportunidad

Ventajas comparativas de los resultados C&T esperados en comparación con resultados, productos o tecnologías competitivas.

SUB-CRITERIOS DE IMPATO EN FORTALECIMIENTO DE CAPACIDADES


SContribución a la creación de nuevos RRHH para la C&T (considere nivel y cantidad)

Contribución a la creación de nueva infraestructura para la C&T (sin duplicar)

Contribución a la creación de redes y alianzas estratégicas valiosas nacionales o internacionales

SUB-CRITERIOS DE IMPACTO SOCIAL C CONCLUSIONES Y RECOMENDACIONE

SPotencial Contribución al mejoramiento efectivo de la calidad de vida en salud, educación, cultura, vivienda, seguridad u otros

Aporte al acervo cultural del país.

Conservación del medio ambiente, utilización óptimo de recursos naturales (rescate de especies en extinción)

SUB-CRITERIOS DE IMPACTO ECONÓMICO C CONCLUSIONES Y RECOMENDACIONE

SPotencial Contribución al mejoramiento efectivo de la producción, las ventas, las utilidades, las exportaciones y la generación de empleo en el sector productivo.

Desarrollo de nuevos productos o procesos. Mejoras en calidad, competitividad o eficiencia. Sustitución de exportaciones.

Oportunidades que se aprovechan o potencian en el país.

CRITERIOS DE EVALUACIÓN DE RENTABILIDAD ECONÓNIMA SOCIAL

SUB-CRITERIOS DE RENTABILIDAD ECONÓMICA-SOCIAL C CONCLUSIONES Y RECOMENDACIONE

S

Los impactos directos previstos para el proyecto, comparados con los recursos solicitados.

Nivel de cuantificación de los resultados del proyecto

Los impactos indirectos y externalidades del proyecto, comparados con los recursos solicitados.

Potencialización de recursos ofrecidos en especie Vs los recursos solicitados al Fondo

Potencialización de recursos ofrecidos en efectivo Vs los recursos solicitados al Fondo

Costos de la instrumentalización de los productos obtenidos Vs los recursos solicitados al Fondo.

CRITERIOS DE EVALUACIÓN DE VIABILIDADSUB-CRITERIOS DE VIABILIDAD DEL ENTORNO C CONCLUSIONES Y

RECOMENDACIONES

Probablidad que el proyecto se desarrolle sin restricciones económicas, técnicas, ambientales, jurídicas o regulatorias que permitan predecir ......

Los factores de riesgo del proyecto están adecuadamente previstos y son manejables.

Se han considerado todos los esfuerzos del entorno que pueden complementar la iniciativa, evitar duplicaciones y optimizar sinergias.

Las articulaciones interinstitucionales y/o empresariales requeridas por el proyecto están claramente establecidas y son viables.

SUB-CRITERIOS DE VIABILIDAD DE LOS POSTULANTES C CONCLUSIONES Y RECOMENDACIONES

La experiencia y trayectoria de la o las instituciones/empresas solicitantes asegura el cumplimiento de los objetivos.

La experiencia y trayectoria académica, técnica y de gestión del responsable del proyecto y de otros participantes asegura el cumplimiento de los objetivos.

Solvencia financiera, infraestrctura y capacidad de cumplir con los compromisos económicos

SUB-CRITERIOS DE VIABILIDAD DE LA METODOLOGÍA C CONCLUSIONES Y RECOMENDACIONES

La metodología y el plan de trabajo/plan de negocios para la ejecución del proyecto permiten asegurar adecuadamente el logro de los objetivos.

Calidad de la propuesta (formulación del estado del arte, objetivos, metas medibles, productos, etc.)

La organización y gestión del proyecto es adecuada.

SUB-CRITERIOS DE VIABILIDAD DE PRODUCTIVIDAD C CONCLUSIONES Y RECOMENDACIONES

La transferencia tecnológica y difusión del proyecto entre sus usuarios potenciales (personas, empresas e instituciones) está adecuadamente prevista y diseñada, y es factible de lograr.

La demanda por el producto o servicio está identificada, es significativa y capaz de internalizar el cambio tecnológico (probablidad de adopción).

Claridad en términos de manejo de la propiedad intelectual.

Capacidad emprendedora

Evaluación de Proyectos de C&TEVALUACIÓN GLOBAL

MARQUE CON UNA X CONCLUSIONES Y RECOMENDACIONES

EXCELENTE PROYECTO

BUEN PROYECTO

PROYECTO REGULAR

MAL PROYECTO

PROPOSICIÓN TÉCNICA

MARQUE CON UNA X EXIGENCIAS, MODIFICACIONES C&T, ORGANIZACIONALES, DE GESTIÓN, MERCADO,

AMBIENTALES, OTRASAPROBAR

APROBAR CON MODIFICACIONES

NO APROBAR


Elementos para la guía de apoyo a evaluadores Definición de objetivos Definición de la Política Específica Marco Concpetual y metodológico Introducir criterios que permitan con facilidad sopesar

de diferente manera los proyectos de acuerdo a su naturaleza

Introducir criterios de pertinencia Introducir criterios de Impacto Introducir criterios de Viabilidad


Formato Para Empresas (6) Presentacion General

Titulo proyecto, naturaleza, razon social, etc. Pauta de Presentación

Sintesis del proyecto Antecedentes de la organización Proyectos de Innovación

Objetivo, justificación, merito innovador, plan de trabajo, metodologia, escalamiento, análisis de viabilidad, análisis de mercado, impactos esperados, personal relevante.

Formación de RRHH Fortalecimiento de Capacidades C&T Presupuesto analítico Apoyos Públicos Curucula del personal relevante Anexos


Formato Para IES o C de IyD Presentacion General

Titulo, duración, naturaleza, beneficiarios, responsables, costos. Pauta de Presentación

Sintesis del proyecto Antecedentes de la organización Proyectos de IyD

Objetivo, justificación, estado de arte y merito C&T, plan de trabajo, metodologia, tranferencia tecnológica, escalamiento, análisis de viabilidad, entorno, impactos esperados, antecedentes personal relevante.

Formación de RRHH Fortalecimiento de Postgrados Fortalecimiento de Capacidades C&T Presupuesto analítico Apoyos Públicos Curucula del personal relevante Anexos


Elementos Generales Administración de proyectos

Contabilidad, documentación, comunicados Causales de reformulación

No reunir los requisitos, incompleta, baja calidad Contraparte y recorte

No se infle los recursos solicitados Propiedad intelectual

Definición de cómo apoyar a los beneficiariosDefinición de a quien le corresponden la propiedad


Prueba Piloto (7) (Conclusion) Se requerirán instructivos y formularios muy claros y explícitos. El evaluador debe disponer del algoritmo completo de evaluación, con los

ponderadores ya definidos por el Comité. Debe analizarse la posibilidad, cuando hayan concursos muy “científicos”,

de “customizar” las formatos y pautas, de manera que, respetando la metodología y el concepto general, se eliminen algunos términos “ofensivos”.

Debe haber un cuidadoso trabajo en el Comité de cada Fondo, para definir su política, ajustar los parámetros del algoritmo, y diseñar convocatorias nítidas y precisas, congruentes con los criterios de evaluación.

Dado el ambiente general, es fundamental que la adopción de este nuevo modelo de evaluación vaya acompañado de

a) una fuerte campaña de difusión y explicación, con buena anticipación y b) de un proceso rápido y expedito de tramitación de solicitudes.

Si hay tardanzas y deficiencias de gestión en el proceso, no hay modelo posible de evaluación que vaya a ser aceptado por la comunidad.


Casos Internacionales (8) Argentina

Pertinencia, Calidad intrínseca

Uruguay (Potenciar la innovación)Pertinencia, Probabilidades de transferencia de

resultados

Colombia Pertinencia, el uso eficiente de los recursos

ChilePertinencia, viabilidad del proyecto

evaluacion de proyectos tecnologicos

Documents