la evaluación de las acciones formativas · 2011-04-16 · formación ocupacional, ponencia f,1...

1

2

Àrea de Règim Interior, Hisenda i PlanificacióServei de Formació Local

Papers de Formació Municipal

Número 93, setembre 2002

La evaluación de las accionesformativas

Les persones aprenen per adquirir nousconeixements, incorporar noves habilitats i assumirnoves actituds; i les persones es formen percanviar els seus comportaments i aplicar-los en elsseus entorns, bé sigui familiars, socials o laborals.Per tal de fer eficient els processos formatius caldissenyar-los adequadament a partir d'una bonadetecció de necessitats i, un cop finalitzadal'activitat formativa, valorar quins han estat elsresultats obtinguts. Això darrer s'aconsegueix apartir de diverses tècniques, tot i que les méscomunes són els mètodes avaluatius. Per aquestmotiu s'ha considerat sempre aquesta etapa de laplanificació formativa com: l'avaluació de laformació.En aquest Papers de Formació es reprodueixendos capítols del informe "La evaluación de lasacciones formativas del Instituto Nacional deAdministración Pública". Aquest document, escrit ainicis del anys 90 per Ricardo Santos Diez,representa una aproximació, seriosa i rigorosa, altema de l'avaluació de la formació promoguda peruna institució pública. L'enfoc adoptat per aquestdocument representà una novetat pel temps en quefou escrit. Com que tot text és fruit d'un context,això justifica les mancances o la poca insistència enalguns temes que avui s'han incorporat en l'anàlisidels resultats de la formació, com poden ser el ROIi l'anàlisi dels beneficis socials dels aprenentatges.Però, tot i aquests detalls, el document esdevé unareferència obligada i ofereix un marc teòricexcel·lent per situar tota la reflexió que es vulgui fersobre l'anàlisi avaluatiu dels resultats de la formacióen les Administracions Públiques.

Papers de Formació Municipal, Núm.93, setembre 2002 - Pàg. 3

1 ASPECTOS GENERALES DE LA EVALUACION

Enmarcando el estudio concreto que se desarrolla acontinuación, parece oportuno analizar - aunque seamínimamente- algunos aspectos generales de la evaluación,que hacen referencia, fundamentalmente, a su concepto,elementos, clases y finalidades

1.1 APROXIMACION AL CONCEPTO DE EVALUACIÓN 1

Dado que el presente trabajo tiene como objeto básico laevaluación, parece oportuno iniciar el estudio concreto con unbreve análisis de tal concepto.

Sin entrar en análisis lingüísticos del vocablo, la primeraconcreción del concepto en el ámbito administrativo llevaría ala evaluación de cualquier inversión pública (grado de satisfac-ción en la prestación de un servicio público, grado de eficaciade la inversión en un proyecto de obra pública, etc.). A fin decuentas, la formación es -como se ha indicado en el epígrafe1.2.1., en el fondo, una inversión como otra cualquiera: unconjunto de recursos -(personales, materiales y financiero -funcionales), tendentes a la consecución de un findeterminado.

En tal sentido, si se toma como referencia una inversión en unaobra pública - por ejemplo, la ampliación y mejora de unacarretera -, existirá una situación inicial, previa a la inversión-que puede servir de elemento de contraste - que,precisamente, por no ser la adecuada, ha propiciado larealización de la actuación en cuestión. Hay una serie desituaciones intermedias - durante la actuación inversora - quepueden dar lugar o no a resultados parciales; hay una situaciónfinal, justamente en el momento de terminación de las obras, y,por último, una situación de materialización de los efectos de laactuación, posterior a aquélla, en la que se debieran haberalcanzado los resultados esperados de la inversión. Dichosmomentos pueden observarse en la Fig. 1.1.

1 Los puntos 1.1 y 1.1.1 podrían reestructurarse en función de las diferenciasconceptuales existentes en las diversas escuelas.


En el ámbito de la formación, la evaluación permite saber si losobjetivos pretendidos y enunciados previamente al hecho de laformación. La misión de cualquier proyecto de evaluación de laformación es determinar la adecuación entre un objetivoprevisto, que se pretende alcanzar a través de un determinadodiseño de acción formativa, impartido según unos criteriosdocentes, y unos resultados posteriores conseguidos .

Ilustración 1-1 Esquema básico de la materialización deuna actuación inversora y del análisis de sus efectos.

Por tanto, la evaluación depende estrechamente del nivel deconcreción y perfección de los enunciados de los objetivos y dela capacidad de medir la consecución de los mismos a travésde la impartición de las acciones formativas.

Evaluar significa dar un valor, y por consiguiente, la evaluacióndebe permitir obtener da tos cualitativos y cuantitativosrelativos al grado de cumplimiento de los objetivos previstos.En efecto, evaluar, en el contexto de las acciones formativas,significa dar un valor a los resultados de un esfuerzo formativoa través de un proceso continuo de comparación entre losobjetivos marcados y los objetivos alcanzados a través deldesarrollo de las acciones formativas.


No obstante todo lo anterior, y vista la importancia de los finesde la evaluación en la formación, en muchas ocasiones ésta hasido mal entendida, concebida como un elemento de control,cuando en realidad es un elemento básico de la acciónformativa2.

CONCEPTO DE EVALUACION EN EL AMBITO DE LAFORMACION OCUPACIONAL.

Existen numerosos conceptos de evaluación en el ámbito de laformación y, en particular, en el ámbito de la "educación". Eneste último ámbito, la finalidad de la evaluación prácticamentese agota en la propia formación es decir, si los conocimientos,actitudes o destrezas que se han impartido en el procesoformativo han sido totalmente transferidos del profesor alalumno podría decirse que la evaluación de la actuación -aunmanifestando defectos y reajustes necesarios - dará comoresultado que ésta ha alcanzado un alto grado de éxito.

Pero por la propia diferenciación conceptual entre la formaciónocupacional y la formación "educativa", en el ámbito de laevaluación también se producirán diferencias básicas entreambos tipos de formación.

En efecto, el aspecto más importante de la evaluación en uncontexto de una organización es determinar la relación entre elnivel de aprovechamiento de los participantes y el nivel de apli-cabilidad de las contenidos desarrollados en la situación detrabajo. Lo que se añade a la evaluación en otros tipos deformación es, precisamente, su aplicabilidad en el puesto detrabajo. De ello se deduce que este requisito ha de ser elelemento de referencia esencial para cualquier evaluación quese realice en el ámbito ocupacional.

Históricamente, el único concepto de evaluación de laformación utilizado provenía del sector educativo y se refería ala clasificación, por parte del docente, del nivel de aprendizaje

2 Puede verse el trabajo de TEJADA FERNANDEZ, José, La evaluación en laformación ocupacional, Ponencia F,1 Congrés Internacional de Formació Ocupacional,La Formación Ocupacional en la década de los 90, Departamento de Pedagogía yDidáctica, Universidad Autónoma de Barcelona, Barcelona, 25-27 setiembre 1991,Area de Didáctica y Organización Escolar, pág. 87 y ss., del que se toman algunaspanes en el presente documento.


de los alumnos mediante calificaciones. Este modelo resultainsuficiente - aunque, por supuesto, continúa siendoimprescindible - dentro de un contexto de una organización,donde lo importante es determinar la relación existente entre elnivel de aprovechamiento de los participantes y el nivel deaplicabilidad de los contenidos desarrollados en la situación deaprendizaje, y, aún más, el grado de mejora en elfuncionamiento de la organización.

En este sentido, la evaluación adquiere una dimensión integralen la que concurren, además de otros aspectos, lasapreciaciones del docente respecto del grado de transferenciaproducida en el aprendizaje del alumno, el grado de utilidadque lo aprendido tiene para los participantes por su aplicaciónen el puesto de trabajo y el dictamen de los responsables de laorganización sobre los resultados de la acción formativa en lamejora de su funcionamiento.

La finalidad última de la evaluación es determinar si losobjetivos, el diseño y la impartición responden o no a lasverdaderas necesidades actuales de la organización, si esosobjetivos son alcanzados de la forma más eficaz y, por último,si ello mejora el funcionamiento de la organización,determinando, en su caso, qué cambios y/o procesos demejora hay que introducir para obtener un mayor nivel deadecuación. Porque una evaluación sin toma de decisiones notendría su verdadero sentido3.

Es un proceso continuo, no aislado, que empieza cuando seestán determinando los objetivos del curso y termina cuando elparticipante aplica lo aprendido en su práctica cotidiana en elpuesto de trabajo (Fig. 1.2).

Entendida, pues, la formación ocupacional comoesencialmente dirigida al puesto de trabajo, las distintas fasesde la evaluación de la formación en sentido amplio, a que se hahecho anteriormente referencia (y que han de ser objetivos deevaluación), están indicadas de manera gráfica en la (Fig. 1.3)

Es decir, en el ámbito ocupacional la formación no deberíaterminar, en ningún caso, proceso. Es importante la aplicación

3 No obstante, dándose por sobreentendida, no se reiterará esta idea constantementea lo largo del presente trabajo, dado que habría que añadirla en muchos gráficos.


de lo impartido en la acción formativa en el puesto de trabajo(verdadera razón de ser de la formación ocupacional). Y, porúltimo, es esencial conocer el grado de mejora delfuncionamiento de la empresa o institución como consecuenciade la impartición de la correspondiente formación.

Dicho de otra forma, en la formación ocupacional no se trata deque el participante en una acción formativa adquiera sólo losconocimientos y destrezas, y modifique sus actitudes oimpartidas, sino que éstas sean útiles en su puesto de trabajo.Si ello no ocurre así, la formación habrá sido insatisfactoria4

4 No se trata tanto dedecir que existe una evaluación aplicativa o de efectividad, decampo, que posibilitará el conocimiento de tal aplicación, sino que -en el mundoocupacional- ésta es la auténtica evaluación de la formación. No sería muy razonableque una empresa de una rama determinada impartiera formación en conocimientos,habilidades o actitudes que no fueran a utilizarse en su propia actividad fabril omercantil.


Ilustración 1-2 Aspectos de la evaluación de la formacióncomo un proceso continuo. FUENTE: Elaboración propia, a partir deldocumento de la Subcomisión de Evaluación, pág. 11

Por último, si se considera la evaluación con un enfoque globaly sistemático5, se entenderá como tal un "proceso sistemático yplanificado de recogida de información para enjuiciar y valorarsi las metas, componentes, el proceso y los resultados de una

5 TÉCNICAS DE FORMACION EMPRESARIAL, S.L.. Instituto Valenciano deAdministración Pública, Necesidades de Formación de las AministracionesValencianas. Establecimiento de pautas y criterios directivos para la implantación deun plan plurianual deformación, Marzo, 199 1, pág. 35.


sesión, acción o plan de formación se adecuan a lasnecesidades y a los criterios previamente establecidos, convistas a la torna de decisiones para mejorar el sistema".

Ilustración 1-3 Esquema de las posibles "ganancias" oresultados de la acción formativa, tras su impartición y en suaplicación en el puesto de trabajo

Por tanto, recogiendo las anteriores ideas podría aproximarseun concepto de la evaluación en la formación ocupacionalcomo el conjunto de los siguientes elementos:

§ proceso sistemático y planificado de recogida deinformación; como tal proceso requiere,necesariamente, una planificación

§ para emitir un juicio de valor, tomar una decisión,


§ relativa al cumplimiento (total o parcial) de los objetivospreestablecidos, con base en un

§ estudio de necesidades de formación, así como a otrosaspectos parciales, elementos, etc.

§ a través de la realización de una determinada actuaciónen materia de formación ocupacional

§ en función de la aplicabilidad en el puesto de trabajo delos conocimientos, actitudes o

§ destrezas adquiridas en el proceso de formación y delas mejoras conseguidas en el funcionamiento de laorganización

§ con el fin de poder tomar decisiones sobre dichaactuación.

De todo ello se deduce que, aparte de la constante de la tomade decisiones, hay tres elementos esenciales en la evaluación:

§ El grado de transferencia o de aprendizaje producido enel proceso de formación (evaluación del proceso deenseñanza-aprendizaje en sentido estricto o eficacia dedicho proceso).

§ El grado de transferencia o aplicación en el puesto detrabajo de lo aprendido en la formación (evaluación deefectividad, aplicativa o de aplicación de lo aprendido)6,y

§ El grado de mejora en el funcionamiento de laorganización (evaluación de rendimiento del proceso deformación en la institución por la mejora de dichofuncionamiento).

Esquemáticamente pueden expresarse como:

§ Transferencia de aprendizaje producido§ aplicación de lo aprendido en el puesto de trabajo§ mejora en el funcionamiento de la institución

La verdadera razón de ser de la formación ocupacional lleva altercer tipo de evaluación, que es la fundamental. En el ámbito

6 Pueden verse a estos efectos de las transferencias de aprendizaje y de aplicación lasdenominadas T1, T2 y T del ANEXO 2.


exclusivo de la institución docente, solamente serán deutilización las dos primeras formas de evaluación7

CONCEPTO ESPECIFICO DE EVALUACION EN LASACCIONES FORMATIVAS DEL INAP.

A partir del concepto genérico indicado en el epígrafe anterior,así como de los tres aspectos esenciales a evaluar, parececlaro que si los objetivos de modernización de laAdministración tienden a conseguir, entre otros fines, laimplantación de una nueva cultura administrativa y un mejorfuncionamiento de las Administraciones Públicas y, comoconsecuencia de tal reflexión, se ha establecido comorelevante el proceso de formación y, finalmente, el INAP tieneencomendadas unas funciones importantes en tal materia, eltipo de evaluación que deberá presidir, como objetivo final, lasactuaciones formativas del personal al servicio de lasAdministraciones Públicas habrá de ser, precisamente, laevaluación de la mejora del funcionamiento es decir, la queposibilite el conocimiento de la mejora del funcionamiento delas Administraciones Públicas de acuerdo con los objetivos demodernización establecidos.

No obstante, aun reconociendo la trascendental importancia detal tipo de evaluación y la necesidad de conseguir de losdiferentes entes administrativos su total colaboración en talsentido -lo que conlleva un análisis de las necesidades deformación individualizado, una selección de los participantes,por cada Unidad, en función de tales necesidades, y unaevaluación de funcionamiento tras las acciones formativas querefleje una mejora debida a la formación---, la evaluación de laformación en el INAP podría limitarse, en un primer estadio, alos otros dos tipos de evaluación, evaluación del proceso deaprendizaje y de la aplicabilidad de lo aprendido.

7 Como idea gráfico - analítica de este concepto de evaluación en la formaciónocupacional, puede ser de interés profundizar en el valor cuantitativo de los aspectosparciales de la evaluación de un curso (por ejemplo), aproximando el criterio de que elmodelo o paradigma de la evaluación de la formación ocupacional tendría la forma deuna rama de hipérbola equilátera (véase ANEXO 2). En este sentido, se denominaráT1 el grado de transferencia de aprendizaje producida, T2 el grado de transferencia deaplicación de lo realmente aprendido y T el grado de transferencia final, siendo T1 x T2= T, de manera que pudiendo ser conocidos directamente los valores de T1 y T,podrían investigarse las causas y los problemas que han producido un deficiente valorde T2 (y, por supuesto, de T1 y T).


Aun cuando el INAP imparte una formación que podríadenominarse "educativa" ---como el Curso de Postgrado deAdministración Pública, dirigido a Licenciados Universitarios eIngenieros Técnicos Superiores de cualquier especialidad - ytambién otra que podría denominarse "profesional" -como loscursos selectivos tras la aprobación de la correspondienteoposición (ejemplos, los del Cuerpo Superior deAdministradores Civiles del Estado o los de los Cuerpos deAdministración Local con habilitación de carácter nacional -, lamayor parte de su actividad es deformación ocupacional,dirigida a su aplicación en el puesto de trabajo, por lo quehabrá de adoptarse como concepto de evaluación, en lamayoría de las acciones formativas del INAP, el indicadoinmediatamente antes del inicio del presente epígrafe.

Si la aplicabilidad en el puesto de trabajo es consustancial conla formación ocupacional, es consustancial con la formaciónocupacional, todo el sistema de formación y de evaluacióndebería articularse alrededor de esta premisa. Los objetivos delas actuaciones de los planes de formación o de las accionesformativas - elementos primarios de contraste para lasoperaciones de evaluación - deberían ser fijados yexplicitados no tanto en el sentido de "conocimiento","capacitación" etc., sino en el de aplicabilidad al puesto detrabajo de los conocimientos, actitudes y destrezas impartidasen dichas acciones.

1.2 ELEMENTOS BASICOS DE LA EVALUACION8

En el presente apartado sólo se hará una rápida menciónacadémica generalista de presentación de los elementosbásicos de la evaluación, dado que en el apartado 2 seprofundizará de manera especial sobre muchos de ellos: qué(objeto), quién (sujeto), cómo, con qué, etc.

ELEMENTOS SUBJETIVOS

8 Algunos los del presente apartado, así como de los 1.3 y 1.4, serán desarrollados enel apartado 2.


Comprenden tanto los sujetos pasivos como los activos de laevaluación:

§ Los alumnos - participantes en las acciones formativas.§ Los superiores jerárquicos de los alumnos -

participantes en las acciones formativas.§ La organización de donde provienen los alumnos -

participantes.§ Los clientes" o receptores del trabajo profesional de los

participantes en las acciones formativas y de lacorrespondiente organización.

§ Los docentes o profesores.§ La institución que imparte la formación y su equipo

directivo y de gestión.§ Los implicados en la evaluación (el equipo de evaluación

y, posteriormente, los decisores de la institución).

ELEMENTOS OBJETIVOS

Se refieren a qué se debe evaluar. En función del criterioclasificatorio que se considere pueden establecerse diversosgrupos de objetos de evaluación.

El objeto de la evaluación formativa puede ser:

§ Una acción formativa concreta y unitaria (un curso, oparte del mismo)

§ Una plan o programa - Una institución formativa.

Dentro de cada uno de los objetos básicos de la evaluaciónformativa, los cursos, objetivamente, pueden evaluarse losdiversos elementos o aspectos parciales:

§ los objetivos§ los alumnos§ los profesores§ el contenido§ el material didáctico§ la aplicabilidad de la acción formativa§ etc.

pero sobre todo será preciso evaluar


§ el grado de aprendizaje alcanzado por losalumnos-participantes (transferencia T1) y

§ el grado de aplicación en el puesto de trabajo de loimpartido en la acción formativa (transferencia T).

Otros aspectos objetivos de la evaluación son los propioscuestionarios (estándar, estándar reducido, "ad hoc", etc.) yotros instrumentos de evaluación.

ELEMENTOS FORMALES O DE ACTIVIDAD

Se refieren a cómo se debe evaluar la metodología de laevaluación, el plan de evaluación. En todo caso, la evaluacióndeberá de ser sistematizada y planificada conforme a unosobjetivos establecidos previamente.

La evaluación podrá ser diferente según sea el soporte materialde sus instrumentos de evaluación, pudiéndose diferenciar, amodo de ejemplo:

§ evaluaciones estándar o sistematizadas (realizadassistemáticamente con cuestionarios estándar).

§ evaluaciones parciales (por muestreo), aplicándose unatécnica más sornera (incluso con cuestionarios re-ducidos).

§ evaluaciones puntuales, específicas o intensivas (concuestionarios "ad hoc" y otros instrumentos específicosde evaluación).

1.3 TIPOS DE EVALUACION.

Se pueden hacer tantas clasificaciones como criteriosclasificatorios se establezcan. Así, en el ámbito de la formaciónocupacional, las evaluaciones, en función del criterioclasificatorio elegido, pueden ser:

Por el objeto de la evaluación:

§ Evaluación de cursos§ Evaluación de planes


§ Evaluación de instituciones formativas

Por el fin perseguido:

§ Evaluación de la eficiencia (de coste/beneficio)§ Evaluación de la eficacia (del grado de aprendizaje)§ Evaluación de la efectividad (del grado de aplicación al

puesto de trabajo)§ Evaluación de resultados de la formación por la mejora

del funcionarniento de la institución.

Por el momento temporal (en el que se realiza la encuesta o seaplica otro instrumento de recogida de información).

§ Auto-evaluación o auditoría de funcionamiento§ Evaluación diagnóstica, inicial§ Evaluación formativa continua o sumatíva final,§ Evaluación aplicativa, diferida, y§ Auto-evaluación o auditoría de funcionamiento POST

Por su finalidad (en conexión con la anterior):

§ Evaluación diagnóstica§ Evaluación formativa§ Evaluación sumativa§ Evaluación "aplicativa"§ Evaluación "de resultados" de mejora del

funcionamiento de la organización9

Por los contenidos impartidos:

§ Evaluación de conocimientos.§ Evaluación de destrezas.§ Evaluación de actitudes.

Por su profundidad:

§ Evaluación estándar o sistemática. - Evaluación mássomera, reducida o parcial (por muestreo).

§ Evaluación intensiva, puntual o especifica10

9 Idem. a nota anterior.10 Parece importante reflexionar sobre los cursos "estrella" a efectos de evaluación, talcomo se hace en el apartado 6.4.


En particular, la evaluación de las acciones formativas delINAP, sin perder ninguna de las posibilidades anteriores, debentomar en consideración diversos aspectos específicos11

§ La evaluación de rendimientos en la mejora delfuncionamiento de las instituciones deberá ser propug-nada, en la medida de lo posible, por el INAP en la líneade los correspondientes estudios de necesidades.

§ La diversidad de cursos implicará la existencia de unoscursos estrella, cuya evaluación deberá ser del tipo másprofundo posible.

§ Los cursos deberán conformarse en grupos o paquetes,a efectos del establecimiento de modelos-tipo deinstrumentos de evaluación, etc.

1.4 LAS FINALIDADES DE LA EVALUACION.

Sin perjuicio de su tratamiento especifico en el apartado 5.1(función de la evaluación: para qué), en el presente seestablecerán las bases genéricas de las mismas.

Las finalidades de la evaluación de las actuaciones formativaspara adultos son variadas, y en función de cuáles seandeberán establecerse diferentes sistemas o técnicas deevaluación.

Parece claro que toda evaluación de una inversión se rea lizacon la finalidad de conocer los resultados de la actuacióninversora, es decir, cuál ha sido el grado de ajuste de losresultados obtenidos a los previstos en el momento de laplanificación o proyecto de la actuación. Pero no debe quedarahí la finalidad de la evaluación: la actuación ha de conseguir"los mejores" resultados, de manera que la evaluación debeponer de manifiesto posibles actuaciones, colaterales oparciales, de mejora para conseguir un mayor éxito, una mayoraplicabilidad, de la actuación implantada, es decir, la finalidadúltima será la torna de decisiones sobre los resultadosobtenidos con una determinada actuación.

11 Puede verse el apartado 6.4 a efectos de la normalización delas acciones formativas del INAP.


Parece oportuno diferenciar nuevamente la finalidad de laevaluación en la formación "educativa" y en la formación"ocupacional" diferencias que nacen de la propia esencia decada una de dichas formaciones. Como sela indicado, laformación "educativa" tiende a un desarrollo personal, a laimpartición de conocimientos, habilidades o destrezas "enabstracto", independientemente de su aplicación. La formaciónen tal caso se agota con el cumplimiento de una adecuada ysuficiente transferencia de las materias impartidas12: laevaluación se satisfará con una adecuada evaluación sumativa(además de las instrumentales diagnóstica y formativa). Lafinalidad última de su evaluación sería el conocimiento de losresultados de la propia impartición de la acción formativa, parapoder tomar decisiones, en su caso, al respecto.

En el ámbito de la formación ocupacional, hay, pues, diversasfinalidades de la evaluación:

§ diagnóstica, o previa para verificar el contexto deaplicación de un programa (alumnos, recursos, etc.) yacomodar la acción formativa o el contexto a la acción.En particular sirva para conseguir homogeneidad en elgrupo diana y el conocimiento del punto de partida.

§ formativa, o modificativa de la actuación sobre lamarcha, para conseguir los mejores resultados posibles,

§ sumativa, al final de la actuación,§ aplicativa, en el puesto de trabajo,§ de resultados en el funcionamiento de la institución o

empresa.

Y siempre para la toma de decisiones, si se considera oportunosu adopción, para la mejora de los aspectos que se hayanencontrado no suficientemente satisfactorios.

La formación "ocupacional" no tiene como único objetivo undesarrollo personal, sino que tiende a que los conocimientos,habilidades o destrezas impartidos sean de aplicación en elpuesto de trabajo, para mejorar el funcionamiento de lainstitución. La formación en tal caso no se agota con elcumplimiento de una adecuada y suficiente transferencia de lasmaterias impartidas, sino que lo relevante es la transferencia

12 T1 en el modelo del ANEXO 2.


total producida en el puesto de trabajo13y la mejora que condicha formación se consiga en el funcionamiento de lainstitución. En tal caso, la evaluación de dicha precisará comofinalidad esencial de primer nivel el conocimiento del grado demejora en el funcionamiento de la organización, como finalidadde segundo nivel el conocimiento del grado de aplicación en elpuesto de trabajo de las materias objeto de aprendizaje, ycomo finalidad de tercer nivel el grado de aprendizajeconseguido; y siempre para poder tomar decisiones, en sucaso, al respecto.

Aun reconociendo, por tanto, la importancia de todas lasanteriores finalidades de la evaluación, como fases intermedias(dado que la evaluación tiene que analizar todas las diversasfases del proceso), la verdadera y auténtica finalidad de laevaluación en la formación ocupacional debe ser,precisamente, la mejora de los resultados en el funcionamientode la organización14.

Es decir, la finalidad última de la evaluación es determinar silos objetivos, el diseño y la impartición responden o no a lasverdaderas necesidades actuales de la Organización, si esosobjetivos son alcanzados de la forma más eficaz y, por último,determinar qué cambios y/o procesos de mejora hay queintroducir para obtener un mayor nivel de adecuación. Todoello para la mejora del funcionamiento de la Organización.

Todo lo indicado anteriormente, en el caso de la Administraciónes preciso adaptarlo a las especiales circunstancias de laformación de los empleados públicos, por sus especialescaracterísticas derivadas de sus circunstancias laborales,estatutarias, y por la realidad organizativa y procedimental, loque provocará ajustes metodológicos, pero no de los principiosfundamentales15

13 T en el modelo del Anexo 214 Esta evaluación del rendimiento del funcionamiento de la organización, aunque noresulte fácil de ejecutar, deberá ser el objetivo que no se puede olvidar.15 Es, por tanto, relevante significar que dicha evaluación ha de pretender averiguar,con una visión global, el grado de cumplimiento de los objetivos de un curso, (pero nosólo éstos, ya que pueden cerrarse en sí mismos, por ejemplo "conocer" y no facultarpara aplicar"), de un plan (con la misma observación) y, sobre todo, la incidencia de laformación en la consecución de los propios objetivos de la Administración.


2 DISEÑO DE LA EVALUACION. LOSPARAMETROS DE LA, EVALUACION. DISEÑO DELA EVALUACION DE LAS, ACCIONESFORMATIVAS DEL INAP

Analizados ya el concepto de evaluación en la formaciónocupacional (apartado 1) y aquellos aspectos del diseño de laacción formativa que son relevantes a la hora de incrementar elnivel de evaluación (apartado 4) se pasará a analizarseguidamente, con algún detalle, los elementos de laevaluación, que responden, en esencia, a las preguntas paraqué (apartado 2.1), qué (apartado 2.2), quién (apartado 2.3),cómo (apartado 2.4), con qué (apartado 2.5) y cuándo(apartado 2.6) de la evaluación, esbozadas en la Fig. 2.1.

De la contestación que se haga en concreto a estas seispreguntas resultarán las líneas maestras sobre las que seconfigura el sistema de evaluación propuesto.

No obstante, y como premisa previa, es preciso resaltar que alser la evaluación un proceso16 requiere, necesariamente, unaplanificación, para su puesta en práctica.

2.1 FUNCION O FINALIDAD DE LA EVALUACION (PARAQUÉ DE LA EVALUACION)

Antes de iniciar el presente apartado es preciso sentar unasbases firmes sobre los fines de la evaluación y otros aspectosconexos con ellos, a efectos que no incurrir en erroresconceptuales a lo largo del desarrollo del mismo.

Como se ha indicado en los epígrafes 1.1.1 y 1.4, la finalidadde la evaluación es -en último extremo - poder tomardecisiones sobre una determinada actuación. Por tanto, esafinalidad genérica enmarcará el conjunto de las posiblesfinalidades específicas de la evaluación.

16 Puede verse el epígrafe 1.1 1.


En efecto, podrán diferenciarse básicamente las siguientesfinalidades de la evaluación:

§ Finalidad diagnóstica: para poder tomar decisiones enrelación con el grupo de alumnos participantes (y elcontexto), a efectos de que la acción formativa tenga lasmayores probabilidades de éxito. Ayuda a la seleccióndel grupo diana17 y establece el punto de partida de losconocimientos, actitudes y habilidades o destrezas delos alumnos - participantes.

§ Finalidad formativa: para poder tomar decisiones enrelación con el desarrollo de la acción formativa, duranteel mismo, a efectos de ajustar los elementos que seconsideren necesarios para mejorar sus resultados.

§ Finalidad sumativa: para poder tomar decisiones enrelación con el desarrollo de la acción formativa,concluida la misma, para conocer sus resultados yvalorarlos, así como Ir' para introducir las mejorasoportunas para ulteriores versiones de la misma.

§ Finalidad aplicativa: para poder tomar decisiones enrelación con el grado de aplicación de lo aprendido porlos participantes, en su puesto de trabajo, transcurridoun tiempo desde el fin de la acción formativa.

§ Finalidad de resultados del funcionamiento de laorganización: para poder tornar decisiones en relacióncon los resultados obtenidos por la organización de queprocedan los participantes en la acción formativa, en lamedida en que haya mejorado su funcionamiento comoconsecuencia de la misma, a medio plazo.

Excluyendo de momento la última, por lo argumentadoanteriormente, quedan las finalidades diagnóstica,formativa,sumativa y aplicativa.

En relación con ellas, la evaluación de la acción formativa sepuede contemplar, básicamente, desde tres criterios o

17 Conjunto de alumnos-participantes en la acción formativa.


perspectivas complementarias, ofreciendo, en conjunto, unavisión global del esfuerzo y de los efectos18de la formación:

§ Criterio de eficiencia (cumplimiento de las previsionescon un óptimo resultado económico: máximo deacciones formativas con mínimo coste; relación de logrode objetivos respecto de la implicación de recursos).

§ Criterio de eficacia (aprendizaje en las mejorescondiciones de entorno; relación objetivos propuestosrespecto de objetivos logrados).

§ Criterio de efectividad (aplicabilidad de lo aprendido enel puesto de trabajo).

18 No debe olvidarse que en la formación ocupacional no es suficiente el esfuerzoformativo realizado; lo más importante es el efecto que produzca la formación en elempleado público, en su puesto de trabajo y en la mejora del funcionamiento de lapropia organización.


Ilustración 2-1 Elementos básicos de la evaluación en losprocesos formativos. FUENTE: Elaboración propia, a partirde gráfico semejante de José Tejada Fernández La evaluaciónen la formación ocupacional, Primer Congrés Internacional deFormación Ocupacional, La Formación en la década de los 90pág. 88, Ponencia F, Barcelona, 1991, sobre el que se hanincorporado algunas modificaciones.

Estos tres criterios de la evaluación están interrelacionadosentre sí, por lo que muchos items informativos (preguntas o


cuestiones) utilizados para el conocimiento de los datos signifi-cativos de cada uno de ellos son comunes a dos o tres de ellos(Fig. 2.1), variando en función de los otros elementos (finalidady momento de aplicación).

Pero dichas finalidades se pueden medir en función dedeterminados criterios y en diferentes momentos temporales,conforme se expone en la FIG. 5.1-1.

EVALUACION DE LOS CURSOS

CLASE DE EVALUACION DIAGNOSMA PORMATMA SUMATIVA APLICATIVA

POR SU FINAUDADCRI71ERIO DE LA EVALUACION Eficacia Eficacia Eficacia Eficiencia Eficacia Efectividad

(Gegtión)MOMENI70 DE LA EVALUACION Instancia- Continua Continua Fina Final Diferida

Inicial (POST1) (POST2)

Ilustración 2-2 Finalidades, criterios y momentos de laevaluación de una acción formativa ocupacional. FUENTE:Elaboraci6n propia, conforme a las indicaciones de JoséTejada Fernández.

Coexistiendo con lo anterior, como se ha esbozado en losepígrafes 1.1.1 y 1.1.2, la evaluación de la formaciónocupacional, en sentido amplio, conlleva los tres grandes tiposde evaluación, evaluación del proceso enseñanza-aprendizaje(la acción formativa en sentido estricto), de la aplicabilidad enel puesto de trabajo y de los resultados en la mejora delfuncionamiento de la organización. Excluyendo esta última, porser realizada por la propia organización administrativa, laatención se centrará, de momento, exclusivamente en laevaluación del proceso ensenanza - aprendizaje (acciónformativa en sentido estricto), ya sea con finalidad diagnóstica,formativa o sumativa, y de la aplicabilidad de las enseñanzasrecibidas en el puesto de trabajo.

La finalidad de la evaluación -aun consistiendo siempre elanálisis de datos para la toma de decisiones - será diferentesegún pretenda el diagnóstico, la modificación de la formacióndurante ella, dicha modificación tras su finalización, la mejora


de la aplicabilidad o los resultados en el funcionamiento de laorganización, todo ello, en función de cuál sea el criterio deevaluación que se considere.

Ilustración 2-3 Solapamiento de items informativos en lastres perspectivas básicas de la evaluación eficiencia,eficacia y efectividad). FUENTE: Elaboración propia.

En efecto, del cruce de las 4 finalidades indicadas--diagnóstica, formativa, sumativa y aplicativa - con los trescriterios de evaluación -eficiencia, eficacia y efectividad -pueden desprenderse las diversas alternativas básicas deevaluación en la formación ocupacional19 tal como se indicanen la Fig.2.3. En dicha Figura se resalta cuál sea el aspectofundamental que se pretende evaluar: los medios puestos adisposición de la acción formativa, el aprendizaje conseguido yla aplicación de lo aprendido en el puesto de trabajo. (Todo ellosin olvidar la evaluación de la mejora del funcionamiento de laorganización con las autoevaluaciones inicial y final y, en todocaso, la toma de decisiones como resultado de la evaluación).

1. La evaluación de los medios puestos a disposición de laacción formativa (básicamente sumativa, al final de ésta)con criterio de eficiencia tiene como finalidad,fundamentalmente, conocer la adecuación de los mediosempleados y la acción formativa realizada. Trataría deobtener la información sobre la realidad de lo acaecido aefectos de conseguir realizar el máximo de formación con elmínimo de medios empleados (finalidad sumativa concriterio de eficiencia).

19 Sin olvidar las esenciales autoevaluaciones inicial y final del funcionamiento de laorganización, tal como se ha reiterado en el presente estudio.


FINALIDADES DE LA EVALUACIONASPECTOSOBREEL QUESEDECIDE

CLASES DEEVALUACION POR SUFINALIDAD(Denominación)

CRITERIOSDEEVALUACION

FINALIDADESBÁSICAS-GENERALES

INSTRUMENTALESDE LAEVALUACION DEEFICACIA

Losmediospuestos adisposición

Sumativa Eficiencia Conocer la adecuaciónde lautilización de losrecursos

Diagnóstica

Conocer lascaracterísticas delGrupo.Diana para queexista totalcorrespondenciaentre lasnecesidadesformativas y laacción docente(2.1.4)

Formativa

Conocer la marchade la acciónformativa para suposible modificacióndurante la misma entodos los demásaspectos (2.1.5)

El procesodeaprendizaje

Sumativa

EficaciaConocer el grado deaprendizaje conseguidopor los alumnos-participantes [T](2.1.2)

Conocer losresultados delprograma: ver si losobjetivos docentesse han cumplido entodos los demásaspectos [2.1.6)


Laaplicaciónen elpuesto detrabajo deloaprendido

Aplicativa Efectividad

Conocer el grado deaplicación de lasenseñanzas impartidasen el puesto de trabajo[TI [Los objetivos enformación ocupacionaldeben ser aplicativos altrabajo (2.1.3)

Ilustración 2-4 Finalidades básicas-generales de laevaluación y finalidades instrumentales así como criteriosde evaluación de los distintos tipos de la evaluación de laacción formativa ocupacional

2. La evaluación del proceso de enseñanza-aprendizajecontiene uno de los elementos esenciales de laevaluación ocupacional (la transferencia TI), además deotros aspectos colaterales. El criterio de evaluación aemplear será el de la eficacia, dando lugar a cuatrofinalidades de evaluación: una esencial, conocer el gradode aprendizaje conseguido por el alumno finalizada laacción formativa (finalidad sumativa con criterio deeficacia, centrada en el aprendizaje del alumno), y tresfinalidades instrumentales en la evaluación de dichoproceso de aprendizaje:

§ Conocer las características del "grupo diana" (conjuntode participantes en una acción formativa) para queexista la máxima correspondencia posible entre las ne-cesidades formativas de los alumnos y la accióndocente (finalidad diagnóstica con criterio de eficacia,necesaria como referencia de lo aprendido en la acciónformativa), así como para servir de elemento dereferencia para conocer el aprendizaje que ha supuestola acción formativa.. Es decir, además de servir paraconfigurar dicho grupo diana, servirá para conocer losconocimientos, destrezas y actitudes de los alumnos enel momento de iniciar la acción formativa.

§ Conocer la marcha de la acción formativa para suposible modificación durante el proceso formativo(finalidad formativa con criterio de eficacia).


§ Conocer los resultados inmediatos o directos de laacción formativa, al final del proceso formativo, pero nosólo en el grado de aprendizaje conseguido por elalumno (finalidad esencial), sino también en cuanto atodos los demás elementos de la formación (finalidadsumativa con criterio de eficacia).

3. La evaluación del grado de aplicación en el puesto detrabajo de lo impartido en la acción formativa contiene elsegundo de los tres elementos esenciales de laevaluación ocupacional (la transferencia T). El criterio deevaluación a emplear será el de la efectividad (finalidadaplicativa con criterio de efectividad).

Se analizarán a continuación, las seis finalidades de evaluaciónresultantes, tres básicas y tres instrumentales. En todo caso,no se olvide que en la formación ocupacional los aspectosbásicos de la evaluación son el grado de aprendizaje delalumno, el grado de aplicación en su puesto de trabajo de loimpartido en la acción docente y el grado de mejora delfuncionamiento de la organización.

FINALIDAD 1era CONOCER LA ADECUACION DE LOSMEDIOS EMPLEADOS CON LA ACCION FORMATIVAREALIZADA (EVALUACION SUMATIVA CON CRITERIO DEEFICIENCIA).

Como ya se ha indicado, hace referencia a la adecuación de lagestión de los recursos asignados para el desarrollo de laacción formativa en un entorno organizativo: debe tender aponer de manifiesto el grado de optimización de la relacióncoste / beneficio del "esfuerzo "formativo.

Debe también explicitar el grado de ajuste del desarrollo decada acción formativa y del Plan de Formación en su conjuntocon lo programado. Por tanto, su misión deberá ser.

§ estimar el grado de cumplimiento de las previsionesfijadas y

§ estimar el grado de optimización de la relacióncoste/beneficio del esfuerzo motivo.


Es claro que al considerar la formación como una inversión, espreciso analizar si la misma se ha realizado con la necesariaeconomía y si los resultados formativos, aplicativos yorganizacionales conseguidos son adecuados con los recursosempleados a tal efecto.

Por ello, deberá realizarse una evaluación de la eficienciaeconómica; pero la finalidad de adecuación de los recursos esmás genérica, más amplia, debiendo predicarse la misma deun conjunto de acciones, de un plan de formación.

Este tipo de evaluación recoge de modo sistematizadoinformación sobre:

§ Número de acciones formativas.§ Número de horas de media por cada acción formativa.§ Número de alumnos.§ Análisis de los costes.§ Cumplimiento de las previsiones relacionadas con las

variables que componen la acción formativa.§ Grado de cumplimiento de las fechas.§ Relaciones formación intema/formación externa.§ etc..

La información recogida puede condensarse posteriormente enindicadores o ratios que permiten cuantificar la formación yestablecer comparaciones. Estos indicadores o ratios suelenser, entre otros, de tres tipos:

§ Los que relacionan las horas de formación empleadascon el número total de horas trabajadas al año. Sedenomina media de dedicación.

§ Los que relacionan el número de alumnos-participantescon el número total de efectivos de la organización oinstitución de procedencia. Se denomina extensión de laoferta.

§ Los que relacionan el presupuesto de formación o losgastos directos de formación con el total de los gastosde personal de la organización o institución deprocedencia. Se denomina gasto en formación porempleado.


A partir de ellos pueden obtenerse diversas cuantificacionesconcretas (información elaborada) sobre dedicación, extensiónformativa, coste de formación, etc.20, hasta un mínimo de sieteíndices, que permiten analizar la situación de la eficienciaformativa de una organización. Incluso, si su utilización seextendiera, sería factible la comparación entre las diferentesunidades que componen una organización así como entrediferentes organizaciones. En todo caso, servirán para analizarla evolución de los mismos a lo largo del tiempo, análisis queresulta de interés para la institución que imparte la formación.

Los resultados obtenidos en cuanto a estos índices sereflejarán en un Informe Mensual21 de la Eficiencia de laFormación, en el que además habría que destacar, desde unpunto de vista cualitativo, cada uno de los logros significativoshabidos en ese período, relativos al diseño de determinadasacciones, al desarrollo de los programas de formación, a laelaboración novedosa de un material concreto, etc

FINALIDAD 2ª : CONOCER EL NIVEL DE APRENDIZAJECONSEGUIDO POR EL ALUMNO CON LA ACCIONFORMATIVA. (EVALUACION SUMATIVA CON CRITERIO DEEFICACIA22

Este aspecto es uno de los esenciales en la formaciónocupacional.

Realmente, la eficacia, entendida como se ha indicado, de unaacción formativa se podrá determinar al final de la misma(evaluación sumativa con criterios de eficacia). No obstante,previa, simultánea e internamente es posible analizar,instrumentalmente, aspectos parciales (obsérvese que se

20 Para un mayor detalle puede verse el documento de la Subcomisión de Evaluación,a que se ha hecho referencia en la Presentación, págs. 14 y 15.21 Podría ser semestral o por otro plazo, conforme se establezcan las programacionesde formación y la planificación de la evaluación. Otro tanto podría decirse respecto delos plazos indicados más adelante para otros informes.22 Este aspecto no agota la evaluación de la eficacia, que como se ha podidocomprobar anteriormente hace referencia también a otros extremos. Pero es suaspecto fundamental.


introduce también el factor "momento" de realización de laevaluación) de la acción formativa. Así aparecen lasdenominadas evaluación inicial o diagnóstica, la evaluaciónformativa, que junto con la evaluación sumativa seránanalizadas más adelante, todas ellas con criterios de eficacia.Pero el aspecto esencial es lo aprendido al finalizar la acciónformativa (transferencia TI), siendo las evaluaciones en losmomentos intermedios acciones instrumentales "a cuenta".

La eficacia de la acción formativa, entendida en su sentidoestricto, es decir, el grado de aprendizaje conseguido por elalumno-participante al finalizar aquélla, debe observarse desdedos perspectivas diferentes:

§ Desde la perspectiva del docente23: evalúa el nivel deaprovechamiento de los alumnos-participantes(¿Qué calificación le merecen?).

§ Desde la perspectiva de los alumnos-partici pantesque:

expresa las expectativas que se tenían sobre laacción formativa (¿qué se quiere o queríaaprender?)evalúa el nivel y la forma de lo expuesto en laacción formativa (¿qué y cómo seha aprendido?24

23 Se ha resaltado en versales esta perspectiva dada la gran importancia de lacalificación que, por los medios que se establezcan o decida el profesor o profesores,otorgue el docente por el grado de aprovechamiento a cada alumno y, por media, alconjunto de los alumnos (puede verse el epígrafe 6.4.2, que hace referencia a"ejercicios clásicos de evaluación" y a "situaciones de prueba", como algunos de losmodos de obtener dicha calificación, existiendo, no obstante, otros.24 Esta segunda parte se integraría en los "otros aspecto? de la evaluación

instrumental formativa y sumativa de la eficacia de la formación.


Ilustración 2-5 Evaluación de la eficacia. Esquema de losaspectos más relevantes. Evaluación propia.

Si la evaluación sumativa de la eficacia trata de determinar elnivel de aprendizaje conseguido por el alumno, parece claroque será el profesor (o profesores) la persona más cualificadas para facilitar la calificación correspondiente.

La Fig. 2.5. resalta gráficamente ambas perspectivas básicasde esta clase de evaluación.

En tal sentido, los dos tipos indicados de perspectivas de laeficacia del aprendizaje pueden medirse desde tres aspectos:

§ Medidas realizadas por el docente, siempre son"POST": Permiten apreciar el nivel de conocimientos,


destrezas o nuevas actitudes adquirido por losalumnos-participantes

No obstante, el carácter POST de la realización dedichas medidas no significa que hayan de realizarsenecesariamente a la finalización de la acción formativa.Sin prejuicio de ser esencial su realización al final de latotalidad de la misma, es posible realizar medidas POSTcada vez que se termine un determinado "paquete" omateria concreta o, incluso, en determinados momentosexpresamente señalados como partes parciales delcurso completo 25.

La evaluación formativa y sumativa de la eficacia delaprovechamiento del alumno-participante realizada porel profesor pondrá de manifiesto:

§ Como elemento esencial, de valoración, la calificaciónque le merecen los alumnos en función de losaprendizajes que hayan adquirido 26. La gananciaconseguida será la diferencia entre la calificaciónobtenida y la evaluación diagnóstica inicial27

§ Como elementos colaterales, coadyuvantes de laformación, la validez, entre otros28, de los siguienteselementos:

Adecuación de los objetivos de aprendizaje.Adecuación del diseño de la acción formativa

25 El símil de todos conocido podría ser los "exámenes parciales" y los "exámenesfinales" aun cuando aquí no se está haciendo referencia, necesariamente, a ningúntipo de prueba específica, sino a una evaluación del profesor que permita calificar al

alumno.26 No obstante, es preciso destacar que, por economía, el sistema no es puro. Laúnica forma fiable de saber % que ha aprendido" el alumno es establecer la diferenciaentre "lo que sabe» en el momento de la terminación de la acción formativa y "lo quesabía" al iniciarla (evaluación instrumental diagn6stica). Obsérvese el sistema seguidoen los cursos de idiomas (y que no extrañe a nadie), en los que se realiza una pruebainicial para la clasificación de los alumnos, a modo de evaluación diagnóstica de losconocimientos preexistentes.27 En un primer estadio, si se supone que el conocimiento inicial era nulo, la"ganancia" será precisamente la calificación final realizada por el profesor.28 Que, en realidad, forman parte de las finalidades quinta y sexta, expuestas en losepígrafes 1.1.5 y 1.1.6.


Idoneidad de la maqueta, corrección de lametodología y acierto en la elección delprofesorado.Adecuación del desarrollo de la acciónformativa,etc.,

pudiendo así conocer cuál o cuáles de estos elementos hanpodido influir de forma negativa (o positiva) en los resultadosde la acción formativa.

§ Medidas realizadas por los participantes: Soncomplementarías de la medida o evaluación esencialde eficacia, que es la calificación de los alumnosrealizada por el profesor.

- Medida inicial o "PRE" realizada por el alumno:permite analizar las expectativas que tienen losalumnos ante la acción formativa, así como lasituación inicial que sobre la materia tienen, parapoder conocer el nivel del que se parte.

- Medida (continua o) final. "POST" realizada por elalumno: permite evaluar la acción formativa en cadauna de las variables que la componen, apreciandoel nivel y la forma de la formación impartida, asícomo el grado en que ésta ha incrementado susaprendizajes, a juicio de los propios participantes,siendo éste el aspecto esencial.

La diferencia de los resultados obtenidos del aprendizaje quese tenía con la medida PRE y los que se tienen con la medidaPOST, ambas del alumno (o salvando las diferencias, delalumno y del profesor), indica la variación de losconocimientos, habilidades o actitudes debida al aprendizaje,siempre que las demás variables hayan permanecidoconstanteS4629.

Todos los datos recopilados, resultantes de las medidasanteriores, se reflejarán en un Informe Trimestral de Eficaciade la Formación que, en sentido estricto30, recogerá la

29 Sería la transferencia T1 del ANEXO 2.30 Además de que, instrumentalmente, recogerá otros aspectos que se indican en elepígrafe 5.1.6


calificación global -resultado de las calificacionesindividualizadas - de los alumnos, por el grado de aprendizajerealizado (transferencia31de conocimientos, actitudes odestrezas). Fundamentalmente32, recogerá la calificación delos alumnos realizada por el profesor, de manera que en estacalificación global se deberán facilitar también valores devariables estadísticas pre -establecidas: media, desviacióntípica máximo, mínimo, etc..

FINALIDAD 3era: CONOCER EL GRADO DE APLICACION ENEL PUESTO DE TRABAJO DE LAS ENSEÑANZASIMPARTIDAS EN LA ACCION FORMATIVA (EVALUACIONAPLICATIVA CON CRITERIO DE EFECTIVIDAD)

Dado que se entiende por efectividad el grado de aplicación delo aprendido en el puesto de trabajo, la evaluación deefectividad habrá de hacerse tras la finalización de lasactividades formativas y cuando el participante se hareincorporado a su puesto de trabajo, habiendo transcurrido unplazo prudencial que garantice la continuidad de lo que seaplique.

Sin perjuicio de la importancia de la evaluación de la eficacia,dado que se está haciendo siempre referencia a la formaciónocupacional, la evaluación de efectividad será especialmenteimportante, pudiéndose decir que es la auténtica evaluación endicho ámbito33.

Este procesó está, evidentemente, mediatizado por el análisisde las necesidades deformación que se haya realizado. Sin elconocimiento de estas necesidades, en función del puesto detrabajo, no se pueden establecer unos objetivos deformaciónadecuados, ni diseñar las acciones formativas que permitanadquirir los conocimientos y/o habilidades necesarios para ob-

31 Sería la transferencia T1 del ANEXO 2.32 Por supuesto, deberá compararse el grado de aprendizaje alcanzado en opinión delos particip4ntes con el resultante de la medida calificatoria realizada por el profesor33 En efecto, si la evaluación sumativa con criterio de eficacia (transferencia T1 delANEXO 2) ha sido totalmente satisfactoria y, sin embargo, la evaluación aplicativa deefectividad (transferencia total T del ANEXO 2) ha sido negativa, insuficiente u otrocalificativo análogo, la que realmente es importante es esta segunda, pudiendoafirmarse que la formación ocupacional realizada ha adolecido de defectos importantes(escaso valor de la desconocida transferencia T2 del ANEXO 2), entre los que sepueden señalar, a modo de ejemplo, la inadecuada selección de los participantes, laescasa implicación de la organización donde radica el puesto de trabajo en. losobjetivos de la acción formativa, etc..


tener el cambio de rendimiento en el puesto de trabajo que sepretende con la formación.

En definitiva, la evaluación de la efectividad indica el nivel detransferencia de las materias impartidas en la acción docente aldesarrollo del trabajo diario34.

El método más eficaz para realizar la evaluación de efectividades el constituido por series recurrentes, que consiste enefectuar varias medidas35 del desempeño del puesto de trabajo(Fig. 2.6). Puede apoyarse en mediciones colaterales oinstrumentales.

§ Por parte del participante:

- Opinión que tiene (expectativas de aplicabilidad)antes del período de formación (medida PRE oinicial).

- Opinión que tiene (expectativas de aplicabilidad) enel momento de finalización del período de formación(medida POST surnativa o parcialmente formativa).

- Realidad de la aplicabilidad en el puesto detrabajo después de un período posterior a laformación (medida diferida o de CAMPO).

§ Por parte del superior jerárquico del participante:

- Después de un período posterior a la formación(medida diferida o de CAMPO).

(Una dificultad de este método estriba en identificar en quémedida las diferencias individuales influyen en el nivel deaprendizaje y de desempeño de los puestos de trabajo.)

34 Sería la transferencia total T del ANEXO 2.35 Que podrían reducirse a una al alumno y otra a su superior jerárquico. No obstante,si se realizan varias, dilatadas en el tiempo, sería de interés el seguimiento de lasseries, como se indica en el ANEXO 4.


Ilustración 2-6 Evaluación de la efectividad. Esquema delos aspectos más relevantes.

La diferencia entre la medida POST de lo aprendido (enfunción de la evaluación sumativa de eficacia, ya sea a travésde la medida del profesor, del alumno o de ambos) y la medidade CAMPO o diferida (ya sea con base en la informaciónsuministrada por el superior jerárquico o por el alumno) indicael grado de transferencia de lo aprendido al desarrollo delpuesto de trabajo36.

La diferencia entre la medida diagnóstica instrumental PRE(conocimientos, destrezas o actitudes iniciales del alumno) y lamedida de CAMPO o diferida (ya sea con base en lainformación suministrada por el superior jerárquico o por elalumno) establece el incremento de conocimientos (destrezas

36 Sería la transferencia T2 del ANEXO 2.


o actitudes) aplicados como consecuencia de la acciónformativa37

Es evidente que si la evaluación aplicativa se realiza paraconocer el efecto que con posterioridad a la acción formativaejerce ésta en el funcionamiento de la organización, esimportante el interés de la propia organización en esteconocimiento, así como en los aspectos previos a dicha acción,tales como en el conocimiento de necesidades de formación,definición de expectativas de la formación, etc

Puede aportarse, en relación con la evaluación aplicativa concriterios de efectividad, un ejemplo esclarecedor 38 en que serepresenta gráficamente en la Fig 2.7 Un organismo de laAdministración que fabricase determinadas piezas odocumentos, por ejemplo, ha observado que se produce unexcesivo número de piezas rechazadas por el control decalidad (a través del índice de piezas rechazadas o dedocumentos recurridos), debido a los defectos de conocimien-tos y destrezas de su personal. Por ello decide proceder arealizar una acción formativa. Tras la misma, vueltos losparticipantes a su puesto de trabajo y transcurridos tres meses,se realiza de nuevo la medida del índice de piezas rechazadaso de documentos recurridos. Se observa que ha disminuido demanera importante este índice. La evaluación aplicativa deefectividad -a través de la constancia de que las enseñanzasrecibidas se han aplicado en el puesto de trabajo, lo que hapermitido reducir fuertemente el índice de piezas rechazadas -ha demostrado el éxito de la acción formativa.

Finalmente, con ello se producirá una mejora en elfuncionamiento de la institución debida, claramente, al procesode formación.

La evaluación de la aplicación de lo aprendido con criterios deefectividad no siempre es tan fácil de apreciar como en elejemplo anterior. Sin embargo, si se establecen unos cri-terios previos, siempre es posible comprobar cuál ha sidola evaluación de los participantes en la acción formativa,con respecto a los mismos. 37 Guardaría relación con la transferencia total T del ANEXO 2.38 Extraído básicamente del documento de la Subcomisión de Evaluación, pág. 19.


El Informe Semestral de Efectividad de la Formacióndeberá estructurar la ¡información obtenida en esta facetaevaluativa, al menos, en los siguientes aspectos:

Ilustración 2-7. Ejemplo de la evaluación aplicativa concriterios de

§ Necesidad de rediseñar acciones formativas, en funciónde la experiencia observada en el puesto de trabajo conposterioridad a su impartición.

§ Readaptación de perfiles de profesores.§ Redimensión de los contenidos en cuanto al tiempo

dedicado a la impartición.§ Análisis y reajuste de los contenidos.§ Nivel de aplicabilidad de los conocimientos adquiridos.

Variables facilitadoras.


Variables perturbadoras.Variables bloqueadoras.

§ Remodelación del aspecto práctico de las accionesformativas.

Todos los datos recogidos en los tres Informes citados (deeficiencia, de eficacia y de efectividad) se resumirán en lacorrespondiente Memoria Anual de Evaluación de laFormación, en la que, además 39, se efectuarán comparacionesentre lo previsto y lo realizado, y entre lo realizado en el añocorriente y lo llevado a cabo en años anteriores. Estascomparaciones proporcionarán una perspectiva evolutiva deldesarrollo del plan de formación.

Conforme se ha indicado en el epígrafe 1.1.1, la evaluación serealiza para emitir un juicio de valor relativo a los resultadosobtenidos (la consecución de los objetivos preestablecidos, conbase en las necesidades de formación detectadas) con larealización de una determinada actuación en materia deformación ocupacional, en función de la aplicabilidad en elpuesto de trabajo de los conocimientos, actitudes o destrezasimpartidas en el proceso de formación, así como de lasmejoras conseguidas en el funcionamiento de la organización,con el fin de poder tomar decisiones sobre dicha actuación.

Al principio se ha hecho referencia a las tres formas genéricasde evaluación de la formación ocupacional: evaluación delproceso de enseñanza-aprendizaje en sentido estricto, evalua-ción de su aplicabilidad y evaluación de la mejora en elfuncionamiento de la organización. Y se añadía que laverdadera razón de ser de la formación ocupacional lleva altercer tipo de evaluación, que es la fundamental. En la medidaque no se pudiera llegar a ella y, por otra parte, en el ámbitoexclusivo de la institución docente, solamente serían deutilización las dos primera s formas de evaluación.

Pues bien, en relación con la evaluación del proceso deenseñanza-aprendizaje en sentido estricto y con la evaluaciónde su aplicabilidad, únicas a las que se ha prestado atenciónespecífica en las páginas anteriores, en las evaluacionesdiagnóstica, formativa o sumativa con criterios de eficacia, es

39 Por supuesto que sería deseable conocer algunos datos sobre el resultado de laformación en la mejora del ftincionamiento de la Organización.


preciso realizar determinadas medidas o evaluacionesparciales, complementarias o de apoyo de las tres anteriores,de carácter más bien instrumental para conseguir los objetivosde formación propuestos. Son la evaluación diagnóstica (concarácter de inicial), la evaluación o evaluaciones formativascomplementarias y la evaluación sumativa complementaria,esta última coincidente con la finalización de la acciónformativa y, por ello, con la evaluación de eficacia como básicao esencial del aprovechamiento de los alumnos-participantes.

A continuación se analizarán, brevemente, esas tresevaluaciones parciales, complementarias o instrumentales y,por supuesto, las finalidades que persiguen.

FINALIDAD 4arta PARCIAL E INSTRUMENTAL: CONOCERLAS CARACTERISTICAS DEL GRUPO DIANA (CONJUNTODE PARTICIPANTES EN UNA ACCION FORMATIVA) YSERVIR DE REFERENCIA PARA CONOCER LA EFICACIADEL k Ir APRENDIZAJE CONSEGUIDO CON LA MISMA(EVALUACION DIAGNOSTICA INICIAL CON CRITERIO DEEFICACIA).

Lo primero es preciso a efectos de que exista una totalcorrespondencia entre las necesidades formativas de losparticipantes y el contenido, metodología, etc. de la accióndocente. También sirve para detectar el estado de la situación,así como para determinar si el contexto de aplicación delprograma es adecuado o no. Si no se acomodan los diversosaspectos a lo establecido o deseado será preciso proceder a laacomodación de la acción formativa y sus elementos.

Esta primera fase diagnóstica de la evaluación deberárealizarse antes del inicio de la acci6n formativa40 y no,precisamente, en el inicio, dado que del resultado de la mismase podrá desprender la inadecuación del planteamientoprevisto respecto de los asistentes al curso (por exceso odefecto de profundidad del curso previsto, por la metodología a

40 Por supuesto que antes habría que haber realizado la autoevaluación de laorganizaci6n, de donde se desprenderá que entre los problemas a solucionar algunospodrán mejorarse a través de la formación, se habrían detectado las necesidades defonnación, etc


emplear o por otras circunstancias). En muchos casos lahomogeneidad de los asistentes será deseable por favorecer laconsecución de los objetivos de la acción formativa; en otroscasos será deseable, precisamente, la heterogeneidad (deprofesiones, de procedencia geográfica o funcional, etc.) de losmismos.

Este aspecto guarda relación con la problemática de lasinstancias y del proceso de selección de los participantes enlas acciones formativas.

Lo segundo, servir de referencia para conocer la eficacia delaprendizaje conseguido con la acción formativa, es unelemento de apoyo básico, ya que no será fácil llegar asatisfacer la finalidad indicada en segundo lugar si no serealiza este diagnóstico inicial.

FINALIDAD 5ta, PARCIAL E INSTRUMENTAL: CONOCER LAMARCHA DE LA ACCION FORMATIVA, A EFECTOS DEPODER INTRODUCIR MODIFICACIONES DURANTE ELPROCESO FORMATIVO (EVALUACION FORMATIVAINSTRUMENTAL O ADICIONAL CON CRITERIO DEEFICACIA).

Iniciada la acción formativa y hasta su final es posible que seapreciso introducir modificaciones respecto a los elementoscomponentes de la misma (programa, metodología, profeso-rado, etc.), para mejor poder cumplir los objetivos deaprendizaje establecidos, en función de las concretasnecesidades y circunstancias de los participantes.

Para ello, es preciso, transcurrido un tiempo desde la iniciaciónde la acción formativa y restando todavía tiempo suficientepara su finalización, proceder a recabar información -tanto deprofesores como de alumnos- a efectos de detectar lasposibles disfuncionalidades del funcionamiento de la misma.Debe haber un plazo mínimo de funcionamiento de laimpartición de la acción formativa para poner en práctica estaevaluación; de la misma manera, debe haber un tiempo mínimoque debe restar para la finalización de la misma41. Entre los 41 Aunque estos plazos pueden, por supuesto, ser muy variables dependiendo de lamateria impartida, puede estimarse como mínimo una semana para cada uno de ellos.


aspectos sobre los que puede ser oportuno obtenerinformación42 pueden indicarse los siguientes:

§ Interés personal por la materia tratada.§ Interés profesional por la materia tratada.§ Opinión general sobre la acción formativa.§ Evaluación de las características pedagógicas del

profesor y de su interés por el buen desarrollo de laacción formativa.

§ Relación de la extensión y profundidad de la materiarespecto al tiempo empleado.

§ Opinión sobre los contenidos que componen lamateria tratada.

§ Valoración de las sesiones de carácter práctico.§ Opinión43 sobre la posibilidad de aplicación de lo

aprendido al puesto de trabajo (la contrastación deesta opinión se realizará de manera diferida con laevaluación de efectividad -punto siguiente---)

Parece claro, por tanto, que en las acciones formativas decorta duración no será posible proceder a este tipo deevaluación formativa instrumental con criterios de eficacia (yaque si se hiciera de tal manera que los resultados de la mismano fueran de aplicación en el curso correspondiente, auncuando pudieran ser de utilidad para otras ediciones delmismo, no se podría entender como evaluación formativa, esdecir, modificadora de la acción)44

42 Al igual que en el punto siguiente pero con diferente finalidad.43 Obsérvese que esta opinión sería una primera pauta "PRE" de lo que pudieraesperar como evaluación de efectividad o de aplicabilidad de las enseñanzas de laacción formativa en el puesto de trabajo.44 Obsérvese que, en principio, este tipo de evaluación no sería de utilidad para cursosde menos de tras semanas (15 días, aproximadamente 60 horas); es decir, sólo seríade interés, aproximadamente, para el 10% de los cursos del INAP (véase ladistribución estadística indicada en ANEXO 3).


FINALIDAD 6ta, PARCIAL E INSTRUMENTAL: CONOCERLOS RESULTADOS DOCENTES DE LA ACCIONFORMATIVA, DEL PROGRAMA, PARA VER SI SE HANCUMPLIDO LOS OBJETIVOS PREESTABLECIDOS, AL FINALDEL PROCESO FORMATIVO (EVALUACION SUMATIVAINSTRUMENTAL 0 ADICIONAL CON CRITERIO DEEFICACIA).

Como se ha indicado en el epígrafe 2.1.2 anterior, lasevaluaciones formativa y sumativa de eficacia tienen comofinalidad esencial conocer el nivel de aprendizaje conseguidopor el alumno. Ese es el aspecto básico de la formación (y surazón de ser). Pero además de dicho aspecto esencial de laevaluación del proceso de enseñanza-aprendizaje es necesarioconocer todos los demás aspectos -importantes perocolaterales- inherentes a la acción formativa, como pueden serla satisfacción de los alumnos con el cuerpo docente, laadecuación del material didáctico, idoneidad del diseño,adecuación de los objetivos, etc..

Si esta diferenciación parece artificiosa, podrían llegar aconfundirse ambos aspectos; no obstante, parece oportunomantenerla para connotar el aspecto sustantivo, esencial, de laevaluación de eficacia del aprovechamiento delalumno-participante (epígrafe 2.1.2) y el aspecto instrumentalde la evaluación de eficacia de todos los aspectoscoadyuvantes (presente epígrafe).

Cualquiera de las seis finalidades anteriormente indicadasjustifica por sí sola la evaluación de la formación; sin embargo,la coherencia del sistema implica la realización de todas ellas.

Dado que cualquiera de las evaluaciones indicadas vanencaminadas a conocer el grado de cumplimiento de losobjetivos que a distintos niveles (o tiempo) se han previsto parala acción formativa es preciso que estos objetivos de laorganización administrativa, de aplicación de lo aprendido en elpuesto de trabajo del alumno-participante y del proceso deenseñanza-aprendizaje en sentido estricto estén perfecta yclaramente explicitados y sean coherentes y ordenados entresí. En efecto, unos objetivos ambiguos o mal determinadosllevan a una evaluación insatisfactoria.


Por todo lo indicado, retornando el discurso genérico enrelación con las tres formas sustantivas de evaluación de laformación indicadas más arriba, la finalidad sería diversa segúnla forma genérica de evaluación que se considere:

§ La finalidad de la evaluación del proceso deenseñanza-aprendizaje en sentido estricto seráconocer el grado de consecución conseguido de losobjetivos formativos, es decir, principalmente elgrado de transferencia de aprendizaje conseguida,así como de la adecuación de la impartición de lasenseñanzas (epígrafe 2.1.2).

§ La finalidad de la evaluación de la aplicabilidad delas materias impartidas en la acción formativa alpuesto de trabajo es, precisamente, conocer en quémedida los conocimientos, habilidades o actitudesimpartidos a lo largo de la acción formativa sonaplicados por el empleado público (anteriormentealumno) en su puesto de trabajo (epígrafe 5.1.3).

§ La finalidad de la evaluación de la mejora en elfuncionamiento de la organización consiste enaveriguar el grado de mejora que, a igualdad de lasdemás variables, ha representando la formación delpersonal de la organización en el funcionamiento deésta respecto de la situación preexistente antes de laacción formativa.

Estas finalidades genéricas podrían plasmarse en las seisfinalidades concretas anteriormente indicadas, tres esencialesy tres instrumentales.

la evaluación de las acciones formativas · 2011-04-16 · formación ocupacional, ponencia f,1...

Documents