indicadores de evaluación de la calidad en el procedimiento de evaluación y acreditación de...

PROCEDIMIENTO DE EVALUACIÓN Y

ACREDITACIÓN DE COMPETENCIAS

EVALUACIÓN DE LA CALIDAD DEL PROCEDIMIENTO:

INDICADORES

- Indicadores de resultados

- Indicadores de procesos

- Indicadores de satisfacción

-2-

INDICADORES DE RESULTADOS

Para analizar las características de los candidatos se poden utilizar estos indicadores:

1. Porcentaje de candidatos inscritos que llegan a la fase de asesoramiento

2. Porcentaje de candidatos admitidos en el asesoramiento, que llegan a la fase de

evaluación.

3. Porcentaje de candidatos evaluados que obtienen el total de las unidades de

competencia solicitadas.

4. Porcentaje de candidatos evaluados que no obtienen ninguna de las unidades de

competencia solicitadas.

5. Porcentaje de candidatos que en menos de tres años han conseguido un título o un

certificado de profesionalidad, utilizando las U.C. acreditadas.

A su vez si se quiere tener información mas sesgada por sexo y por edad se podría optar por:

Indicador Total sexo Edad

Mujeres Hombres <30 30 a 39 40 a 49 50 o >50

Indicador 1

Indicador 2

Indicador 3

Indicador 4

Indicador 5

Otra opción es realizar el sesgado de sexo y edad en un indicador que fuese “candidatos

inscritos” y luego solamente tener como indicador el total de los cuatro indicadores

propuestos.

Para analizar las características de las unidades de competencia se podría utilizar este

indicador por cada unidad de competencia:

1. Porcentaje competencias evaluadas positivamente respecto al total solicitadas.

Es decir, pondríamos todas las unidades de competencia:

Unidades de

competencia

Candidatos inscritos

en la U.C.

Candidatos evaluados

positivamente en la U.C.

Porcentaje

U.C. 1 50 45 90 %

U.C.2

U.C.3

U.C.4

Con este indicador, se analizará la “dificultad” o “facilidad” para la acreditación positiva de

cada una de las unidades de competencia.

-3-

INDICADORES DE PROCESOS

PROCESO DE ASESORAMIENTO

Para analizar el Proceso de Asesoramiento, se podrán contar con los siguientes indicadores:

1. Nº de entrevistas personales del asesor con el candidato. Como mínimo saldrá 1 en el

indicador..

2. Tiempo (en horas) empleado en la asesoría con el candidato presente.

3. Tiempo (en horas) empleado en la asesoría sin el candidato.

Estos tres indicadores, serían por cada candidato. La función de ellos será la de medir la

eficacia de la documentación y la eficiencia del procedimiento de asesoría. El problema, como

casi siempre en los indicadores, es el recoger estos datos. Quizá en algún sitio del informe

final del candidato se pudiese meter un cuadro pequeño en el que se indicase para cada

candidato: nº entrevistas; tiempo con el candidato presente; tiempo sin el candidato.

Aprovechando este cuadro de recogida de datos, sería muy útil recoger también: nº de horas

de formación aportadas, nº de años de experiencia laboral aportadas (se sobreentiende que

estén relacionadas con las U.C. que se quieren acreditar)

Aprovechando ya estos datos recogidos, se podrá crear los indicadores:

4. Nº de horas de formación aportadas por candidato

5. Nº de años de experiencia laboral aportado por candidato

Estos indicadores, nos mostrarán por donde se mueven los límites entre los informes

favorables o los informes desfavorables de los distintos asesores.

Por último se podrán utilizar los indicadores de resultado de este proceso:

6. Porcentaje de candidatos inscritos en este proceso y sale con informe. Es decir, ha

terminado el proceso.

7. Porcentaje de U.C con informes favorables

8. Porcentaje de U.C con informes favorables que se inscriben en la siguiente fase

(evaluación)

9. Porcentaje de U.C. con informes desfavorables que se inscriben en la siguiente fase

(evaluación)

El indicador 6 será por candidato y nos indicará si hay abandono o no del procedimiento. Por

último los indicadores 7, 8, 9 son por unidad de competencia y nos mostrará los posibles

desfases entre los criterios de los distintos asesores.

-4-

PROCESO DE EVALUACIÓN

Para analizar el Proceso de Evaluación, se podrán contar con los siguientes indicadores:

1. Número de entrevistas personales con el candidato. Como mínimo saldrá 1 en el

indicador

2. Tiempo empleado por evaluador-candidato. (Sumar todas las horas empleadas, sin

incluir pruebas de evidencia, dividirlo por el nº de candidatos y multiplicarlas por los

evaluadores presentes)

3. Número de “nuevas evidencias” aportadas por el candidato. Se pueden contar en global

o por candidato.

4. Número de candidatos a los que se les hace pruebas de evidencia.

5. Tiempo empleado en realizar estas pruebas: Tiempo-candidato-evaluador. Tiempo total

empleado dividido por el número de candidatos y por el número de evaluadores

presentes en la prueba.

Con estos indicadores analizaríamos las eficiencia de la comisión de evaluación.

6. Porcentaje de U.C. con informes favorables de los asesores

7. Porcentaje de U.C con resolución positiva de los que tenían informes faborables del

proceso de asesoramiento. Para calcular este porcentaje utilizar sólo las U.C. con

informes favorables.

8. Porcentaje de U.C con resolución positiva, que tenían informes desfavorables del

proceso de asesoramiento. Para calcular este porcentaje utilizar solo las U.C. con

informes negativos.

Con estos indicadores mediremos la eficacia de los informes de los asesores

9. Numero de reclamaciones de los candidatos. Se podría dar en porcentaje de candidatos

evaluados.

10. Porcentaje de reclamaciones resueltas desfavorablemente a su exigencia. Es decir, que

se les ha podido revocar con argumentos objetivos.

Con estos indicadores mediríamos la eficacia del proceso de evaluación

PROCESO DE ACREDITACIÓN Y REGISTRO

Este proceso por su relativa sencillez, no había que destinar muchos recursos, adquiriendo

datos para sus indicadores. Así que vamos a indicar dos sencillos de completar:

1. Días transcurridos desde la última acta de la última sesión del equipo de evaluación

hasta la entrega de la acreditación al último candidato.

2. Días transcurridos desde la última acta de la última sesión del equipo de evaluación

hasta la cumplimentación del último candidato en el registro correspondiente.

Con ello mediríamos la eficiencia. Sí se quisiera medir la eficacia se podría poner un tercer

indicador con el número de reclamaciones de candidatos que no les ha llegado la

acreditación. Pero creo que siempre sería cero, ya que si “llaman” para reclamar, se les

envía su petición y no quedará registro de esa llamada.

-5-

INDICADORES DE SATISFACCIÓN

Ahora nos queda evaluar la satisfacción del cliente. En este caso examinaremos dos clientes

distintos: el externo (candidatos a acreditar) y el interno (Asesores y Evaluadores)

CANDIDATOS

Aprovechando las encuestas que tenemos que realizar para conocer la satisfacción por el

procedimiento, recogeremos de paso otros datos que nos pueden ser de utilidad para otras

convocatorias.

Para realizar estudios sesgados se incluyen los siguientes datos en la encuesta:

1. Edad

2. Sexo

3. Nivel de estudios

4. Estado laboral actual

5. Informe de asesoría desfavorable

Estos datos me parecen importantes para sesgar los resultados, ya que podrían darnos pistas de

actuación para siguientes convocatorias.

Las respuestas a las preguntas siempre son 4. Para analizarlas hay que darles valor, pero

cuando se han redactado, ya estaba pensando en que la primera respuesta tiene el valor de 1

punto, la segunda 2 puntos y así sucesivamente. Es decir se evaluarán, tal y como se han

evaluado hasta de ahora. Excepcionalmente habrá alguna pregunta que convendrá analizarla

por porcentajes de cada una de las respuestas.

ASESORES – EVALUADORES

Al igual que en las encuestas anteriores, se han dado respuestas que se pueden ponderar del 1

al 4 para hacer los estudios numéricos.

La última pregunta, puede que no este bien ubicada en esta encuesta y se deba de quitar. Todo

depende si nos planteamos, o no, la utopía de que la función de este procedimiento es el de

detectar e impartir la formación necesaria para cubrir aquellas lagunas formativas existentes

en todas las U.C.

Con todas estas encuestas, en función de las conclusiones que queramos obtener y lo que es

mas importante, en función de la disponibilidad de recursos humanos que tengamos para

realizar el análisis podremos sacar unos indicadores u otros. Estos datos volcados a un

programa de estadística, se pueden obtener todo tipo de datos totales y sesgados.

-6-

REFLEXIONES DEL AUTOR

Los comentarios que voy a realizar son apreciaciones personales del procedimiento y como

tales hay que interpretarlas. Estas son fruto de mis cuatro años de participación como

evaluador en las convocatorias de “transporte sanitario”, y ahora como redactor de este

documento.

Primero: Hay que tener claro el objetivo social de este procedimiento:

- Dar “títulos” a personas que de otra manera no pueden trabajar (por la nueva ley que va

a exigir titulación para desempeñar puestos que hasta de ahora no lo exigían). O

- Detectar lagunas formativas para intentar cubrirlas con una formación a medida.

A priori parece que debería dar igual cual es el objetivo social, ya que lo único que tenemos

que hacer es contrastar evidencias y lo que se haga con el resultado no importa al PEAC. Pero

no es cierto, si nuestro objetivo es dar títulos evaluaremos las evidencias con una cierta

bondad, por el contrario si queremos detectar las lagunas que existen se buscaran y por

supuesto se encontraran. Digo por supuesto, porque todos venimos del mundo de la enseñanza

y sabemos que si queremos buscar las deficiencias de un alumno, se las encontramos.

Segundo: El sistema de gestión de la Calidad en el proceso. El nuevo R.D. 1224/2009 hace

mucho hincapié en el proceso de Gestión de la Calidad. Por ello compruebo que se están

“inventando” muchos indicadores, procesos, encuestas, planes de mejora, auditorias internas y

externas etc. Pero desgraciadamente no tendremos todos los medios humanos necesarios para

todo ello. Entonces ¿hasta donde llegaremos?. Nos puede pasar dos cosas:

- Que utilicemos muchos recursos humanos en recoger datos que luego no haya nadie

para analizarlos. O

- Obsesionarnos en el Plan de Calidad y perder de vista el objetivo principal (que para mi

es sacar personas bien asesoradas, y lo que es mas importante, bien FORMADAS)

Quizá este no sea el lugar ni el momento mas idóneo para realizar estas reflexiones, pero

después de estar trabajando unos cuantos días en este tema tenía que desahogarme. Pido

disculpas y si hay que presentar este documento en algún sitio para trabajar hay que borrar esta

última parte de “REFLEXIONES DEL AUTOR”

-7-



CUESTIONARIOS DE EVALUACIÓN DE LA CALIDAD DEL

PROCEDIMIENTO:

GOBIERNO DE ARAGÓN

-14-



CUESTIONARIOS DE EVALUACIÓN DE LA CALIDAD DEL

PROCEDIMIENTO:

JUNTA DE ANDALUCÍA

indicadores de evaluación de la calidad en el procedimiento de evaluación y acreditación de...

Documents