2014 investigación evaluativa conceptualizacion

1

Tejada, ene-15

Jos Tejada Fernndez Grupo CIFO

UAB

Investigacin evaluativa

INVESTIGAR EN EDUCACI II: metodologa, instruments i estratgies

Curso 2014-2015

Tejada, ene-15

POLTICAS PBLICAS

despliegue

Decisiones Actividades Medidas

PLANES

PROGRAMAS

PROYECTOS

com

ple

jidad

+

-

Conceptualizacin

2

Tejada, ene-15

CONCEPTUALIZACIN

Evolucin del concepto

De metas contables a impactos sociales De eficiencia/eficacia a impacto

Definicin aceptada Coherencia de la intervencin Eficacia de la intervencin Eficiencia de la intervencin Impacto de la intervencin

Anlisis ex-ante del impacto de las intervenciones

Investigacin evaluativa

Tejada, ene-15

DEFINICIN

Entendemos por evaluacin de programas o proyectos sociales una actividad programada de reflexin sobre la accin, basada en

procedimientos sistemticos de recoleccin, anlisis e interpretacin

de informacin, con la finalidad de emitir juicios valorativos

fundamentados y comunicables sobre las actividades, resultados e

impactos de esos proyectos o programas, y formular recomendaciones

para tomar decisiones que permitan ajustar la accin presente y

mejorar la accin futura (Nirenberg, Braverman y Ruiz, 2000:32))

Evaluacin de programas

3

Tejada, ene-15


Planificacin/Desarrollo

y resultados Evaluacin

Definicin del programa (qu, por qu, para qu)

Diseo del programa)

Implementacin, desarrollo, gestin del programa

Resultados

Evaluacin del contexto Evaluacin de necesidades Evaluacin de la viabilidad

Evaluacin del diseo (calidad) Evaluacin de la evaluabilidad

Evaluacin implementacin Evaluacin cobertura, gestin Evaluacin proceso

Evaluacin producto Evaluacin impacto

Fuera de programa Eval. de los efectos de la evaluac Evaluacin de la evaluacin

Tejada, ene-15

Obtencin de

conclusiones y toma de

decisiones.

Valoracin de los resultado en

relacin con los objetivos y

necesidades: eficacia,

eficiencia, etc.

Equipo Evaluador DEL PRODUCTO

Ejecucin del programa. Anlisis del desarrollo del

programa: estrategias,

procedimientos, niveles de

ejecucin, coordinacin,

participacin comunitaria.

Profesionales y

participantes en el

programa

DEL PROCESO

Diseo y planificacin del

programa.

Anlisis de criterios

programticos, justificacin,

coherencia y pertinencia del

diseo.

Expertos y

profesionales en

programar y planificar

DEL DISEO

Diagnstico, planificacin

y toma de decisiones.

Estudio previo de la realidad:

problemas, necesidades,

recursos, conflictos, etc

Territorio y sociedad:

comunidad, grupos,

sujetos, etc.

DEL CONTEXTO

/NECESIDADES

MBITO DE

APLICACIN

TAREA REFERENTE TIPO DE

EVALUACIN


4

Tejada, ene-15

PROGRAMA

Funcionamiento normal de la

Institucin

Situacin de materializacin

de los efectos de la accin

formativa

Evaluacin

formativa

POST 2

POST 1

Funcionamiento de la

Institucin tras el

proceso de formacin

Mejora

conseguida

Situacin a la

finalizacin de la

accin formativa

Decisin de formacin Necesidades formacin Fijacin de objetivos Diseo de la accin Diseo de la evaluacin

Situacin previa a la

accin formativa

Evaluacin

diagnstica PRE

Evaluacin

de gestin y

de eficcia

Evaluacin de

efectividad

CAMPO

Autoevaluacin de

resultados. POST de la actividad

Auditoria POST

Autoevaluacin de la

situacin previa de la

actividad formativa.

Auditoria PRE

Esquema bsico de las implicaciones de la evaluacin de la formacin


Tejada, ene-15

Aspectos de la evaluacin de la formacin como proceso continuo

ANLISIS DEL CONTEXTO

NECESIDADES DE

FORMACIN

DISEO DEL CURSO

IMPARTICIN

DEL CURSO

APROVECHAMIENTO

DEL CURSO

APLICABILIDAD

DE LO ENSEADO

MEJORA DE LA

ORGANIZACIN

Cmo est la situacin?

cules son las necesidades formativas?

Cmo se traduce lo que se quiere

conseguir en objetivos de aprendizaje?

Cmo se han estructurado los

elementos formativos?

Cmo se ha desarrollado el

proceso de formacin?

Qu se ha conseguido con

la imparticin del curso?

Cmo se aplican en el escenario profesional

los nuevos aprendizajes?

Cmo se ha mejorado el

funcionamiento de la organizacin?


5

Tejada, ene-15

Propsitos y funciones

CONTROL

RENDIR CUENTAS

INTERS

CRECIMIENTO

CONFIANZA

PROFESIONALISMO

RESPONSABILIDAD

PODER Datos duros Sumativa Indicadores Standares Externa

Flexibilidad comprensin

Planeamiento Racionalidad

Evaluacin interna

Autoevaluacin

producto proceso

Finalidad PARA QU?

Tejada, ene-15

Informe de evaluacin

Toma de decisiones

Toma de decisiones a partir del

informe evaluativo

5.- Utilizacin de la

evaluacin

Recogida de informacin

Anlisis e interpretacin de la informacin

Ejecucin del proceso de evaluacin 4.- Ejecucin de la

evaluacin

Listado de los componentes bsicos

Eleccin de los ms relevantes

Anlisis crtico de la posibilidad de

analizarlos

Anlisis a priori de la credibilidad y

utilidad de la evaluacin a realizar

Reordenacin de la misma

2.- Valoracin de la

evaluabilidad

Definir la audiencia

Determinar el propsito

Identificar los aspectos relevantes

Identificacin y precisin de la

naturaleza de la evaluacin

1.- Formulacin de la

evaluacin

ACTIVIDADES QUE IMPLICA PROPSITO FASE

Eleccin del modelo

Determinacin de la metodologa

Elaboracin del diseo

Elaboracin del plan de evaluacin 3.- Planificacin de la

evaluacin

Eleccin de los criterios evaluativos

Anlisis y valoracin a partir de los criterios

Evaluacin de la evaluacin 6.- Metaevaluacin

El proceso de evaluacin de programas (a partir de Mateo, 1994)

Procedimientos y estrategias CMO?

6

Tejada, ene-15

Ideograma de flujo en evaluacin de programas (a partir de Jimnez, 1996)

TRABAJO INTERNO TRABAJO DE CAMPO

IDEA DEL PROYECTO

INFORME FINAL

PRESENTACIN

LTIMA PUESTA EN COMN

ANLISIS DE LA INFORMACIN

COMPROMISO

DOCUMENTACIN PRESENTACIN

DISEO

SISTEMATIZACIN ORGANIZACIN

ANLISIS DOCUMENTAL INSTRUMENTALIZACIN

AMPLIACIN Y CONTRASTACIN

RECOGIDA DE LA INFORMACIN

NEGOCIACIN

REF

LEX

IN

EN

EQ

UIP

O


Tejada, ene-15

Modelos Cuantitativos/Objetivistas/Conductistas:

Tyler, Cronbach, Alkin

Modelos de transicin Cuantitativa/Cualitativa: Stuffelbeam (CIPP), Scriven, Stake (Countenance)

Modelos Subjetivistas/Interpretativos: Stake (Respondente), Parlett y Hamilton (Iluminativa),

McDonald (Democrtica)

Modelos Sociocrticos: Modelos Cuasijudiciales: Owens y Wolf

Modelos Crtica Artstica: Eisner

Clasificacin de modelos generales segn paradigmas


7

Tejada, ene-15

Modelo integrador de Evaluacin de Programas (Tejada, 1991)

Contexto/input Proceso

ANTECEDENTES TRANSACCIONES RESULTADOS

Producto

EVALUACION

DIAGNSTICA

Contexto general

Necesidades

Contexto instructivo

Programa

Instrumentos

Medios y recursos, etc.

Motivacin,

Expectatives

Conocimientos

Destrezas,

Actitudes,

Autoconcepto,

Etc.

EVALUACIN INICIAL EVALUAC. CONTINUA EVALUACIN FINAL EVALUAC. DIFERIDA

EVALUACIN

DESTINATARIOS

EVALUACIN

PROGRAMAS

(REDISEO)

ADECUACIN PROGRAMA

(REDISEO)

ADECUACIN PROGRAMA

EVALUACION

FORMATIVA

Programa actual

Secuencia instructiva

Temporalizacin

Recursos, dinmica

Interaccin

Etc.

EVALUACION

SUMATIVA

Cambio en:

Conocimientos

Destrezas,

Actitudes,

Autoconcepto,

Etc.

Cambio en:

Conocimientos

Destrezas,

Actitudes,

Autoconcepto,

Etc.

Cambio en:

Conocimientos

Destrezas,

Actitudes,

Autoconcepto,

Etc.

Mrito

Valor

Impactos

Eficacia

Eficiencia

efectividad.

EVALUACIN

SUMATIVA

(REDISEO)

ADECUACIN PROGRAMA


Tejada, ene-15


EVALUACIN PROGRAMAS

CUANTIFICACIN INCLUSIVA

GLOBAL PARCIAL MIXTA

LOCALIZACIN ESPACIAL

INTERNA EXTERNA MIXTA

8

Tejada, ene-15

Evaluacin interna-evaluacin externa

EVALUACIN INTERNA EXTERNA

Conocimiento del currculum

Conocimiento del contexto

Experiencia tcnica

Implicacin afectiva

Evaluacin formativa

Evaluacin sumativa

+-

+

-

+

+

-

-+

-

+

-

-

+

Relevancia de las estrategias combinadas


Tejada, ene-15

Identificar usuarios y usos de la evaluacin

Evaluadores y fuentes de informacin QUIN?

quin?

USUARIOS USOS FORMATIVA

(Mejora)

SUMATIVA (Rendicin

cuentas)

PERSONAL INSTITUCIONAL

Directivos

Profesores/monitores

Personal de Apoyo

Alumnos

OTROS USUARIOS

Padres

Contribuyentes

Agencias acreditativas

Administracin Educativa

Centros

Empresas

x

x

x

x

x

x

x

x

x

x

x

x

x

x

9

Tejada, ene-15

Identificar

las necesidades

y caractersticas

del contexto

Identificar las

caractersticas

de los

destinatarios

Valorar la

pertinencia

del programa

Momento evaluativo CUNDO?: Evaluacin INICIAL

Contexto-necesidades

Destinatarios

Programa

Organizacin

Clima-cultura

recursos

Nec. Individuales

Nec. sociales

..................

Conocimientos

Destrezas

Actitudes

Aptitudes

Motivacin

Intereses

necesidades

Expectativas

Historia acadmica

Historia profesional

................

Objetivos

Contenidos

Actividades

Estrategias

Recursos

Evaluacin

...........

Pertinencia

Suficiencia

Actualizacin

Objetividad

Aplicabilidad

Relevancia

Coherencia

Utilidad

Disponibilidad

Factibilidad

Viabilidad

Anlisis de

contenido

Anlisis por

jueces

Cuestionarios

Escalas

Entrevistas

Observacin

Pruebas de

rendimiento

Inventarios

Expertos

externos

e internos

Gestores de

formacin

Destinatarios

Directivos

Determinacin de la

Poltica de formacin,

elaboracin del

programa, introduccin

de nuevos recursos,

reorganizacin de los

existentes,

etc.

Admisin, orientacin,

establecimiento de

grupos de aprendizaje

Adaptacin, ajuste e

implementacin del

programa

FINALIDAD OBJETO INDICADORES CRITERIOS INSTRUMENTOS /

FUENTES INFOR DECISIONES

Tejada, ene-15

Identificar los

puntos crticos en

el desarrollo del programa.

Optimizar el

programa para

su desarrollo.

Mejorar las

posibilidades

de los participantes

Aumentar la

informacin

posteriores decisiones

Dar informacin

sobre su evolucin y progreso.

Momento evaluativo CUNDO? Evaluacin DESARROLLO

Programa

actual

Clima social

Resultados parciales:

- previstos

- no previstos

Actividades

Estrategias

Temporalizacin

recursos

Dinmica

Interaccin

Formador

.........

Relaciones

Implicacin

Participacin

Motivacin

Interacciones

.............

Conocimientos

Actitudes

Destrezas

..............

Conformidad

Pertinencia

Suficiencia

Actualizacin

Aplicabilidad

Relevancia

Coherencia

Utilidad

Disponibilidad

Satisfactoriedad

Idoneidad

Cuestionarios

Escalas

Entrevistas

Observacin

Pruebas de

rendimiento

Anlisis de

prcticas

Registros

anecdticos

Diarios

Expertos

externos

e internos

Gestores de

formacin

Destinatarios

Formadores

Adaptacin de

actividades

E-A (tiempo,

recursos,

motivacin,

estrategias,

rol docente, etc.)

Reubicacin de

alumnos y profesores

Incorporar nuevos

recursos



10

Tejada, ene-15

Verificar la

Consecucin

de los objetivos.

Valorar los

cambios

previstos y no previstos

Verificar la

vala del

programa de cara a la

satisfaccin

de las necesidades

sobre su

evolucin y

progreso.

Momento evaluativo CUNDO? Evaluacin RESULTADOS

Logros (previstos y no previstos)

(final del desarrollo)

Impacto

(diferida)

Costes

(diferida)

Conocimientos

Destrezas

Actitudes

Satisfaccin

Motivacin

Relaciones

.........

Satisfaccin de

necesidades

Transferencia

aprendido

Nivel de cambio

en el contexto

de actuacin

...........

Recursos humanos

Recursos materiales

Eficacia

Eficiencia

Comprensividad

Efectividad

Aplicabilidad

Relevancia

Suficiencia

Satisfactoriedad

Pruebas de

rendimiento

Cuestionarios

Escalas

Entrevistas

Observacin

Informes

econmicos

Auditorias

Participantes

Formadores

Expertos externos

Responsables

Colegas

Directivos

Promocin,

certificacin,

acreditacin,

reconsideracin

de los participantes

Modificacin del

contexto

de actuacin

Aceptacin o rechazo

del programa



Tejada, ene-15

Referentes

Referentes y criterios EN FUNCIN DE QU?

adecuacin con las finalidades definidas por la poltica de formacin/prevencin/intervencin

adecuacin a las necesidades formativas del contexto inmediato

adecuacin a los principios psicopedaggicos de la intervencin

adecuacin a los participantes

11

Tejada, ene-15

POLTICA DE

FORMACIN

Se enmarca en programas ms amplios de promocin y gestin

de empleo, de desarrollo cultura, personal, prevencin,?

Favorece la insercin y movilidad en el mercado de trabajo,

contexto,..?

Considera la formacin de base?

CONTEXTO

Satisface demandas presentes o futura del contexto?

Responde a necesidades de contexto? a la realidad laboral?

Se ubica donde hay necesidades?

.

PRINCIPIOS

PSICOPEDAG.

Parte del anlisis de los escenarios socioculturales, econmicos?

Respeta los principios psicopedaggicos del aprendizaje adulto?

Se realiza la formacin en situaciones similares a las del

escenario sociolaboral?

Referente y cuestiones de evaluacin

PARTICIPANTES

Incorpora o contempla las necesidades e intereses?

Considera las experiencias de los participantes?

Facilita la participacin e implicacin de los participantes en la

planificacin desarrollo y evaluacin?

..


Tejada, ene-15

PERTINENCIA Adecuacin de un programa con la poltica de

formacin y el contexto de formacin

ACTUALIZACIN Adecuacin de los objetivos del programa y

necesidades reales (sociales e individuales)

OBJETIVIDAD Adecuacin a las leyes y principios cientficos

APLICABILIDAD Posibilidad de puesta en prctica de los objetivos

propuestos

SUFICIENCIA Grado con que un programa satisface las necesidades

detectadas

Criterios en la evaluacin de programas


12

Tejada, ene-15

EFICACIA Nivel de logro de objetivos asignados

EFICIENCIA Grado de implicacin de recursos humanos, materiales

y funcionales

RELEVANCIA Grado de importancia del programa para cubrir las

necesidades individuales y sociales

COHERENCIA Grado de adecuacin entre s de los distintos

elementos- componente de un programa

COMPRENSIVIDAD grado de optimizacin alcanzado

Criterios en la evaluacin de programas

COBERTURA proporcin de la poblacin destinataria alcanzado


2014 investigación evaluativa conceptualizacion

Documents