la evaluación del desempeño en la comunidad autónoma de canarias: comienzo de una andadura luis...

La Evaluación del Desempeño en la Comunidad Autónoma de Canarias:

Comienzo de una andadura

Luis F. Díaz VilelaUniversidad de La Laguna

I Jornadas Canarias de Evaluación del Desempeño en la Función Pública (Enero 2011)

El primer contacto

• Algunos inconvenientes previstos:– RPT insuficiente• Falta de concreción en las funciones: «Las propias del

puesto»• Ausencia de inventarios de tareas

– Expectativas de resistencia a la intervención• Por desconfianza en la trascendencia del proyecto• Por desconfianza sobre las consecuencias

– Falta de «cultura de cambio» y de «cultura de evaluación»

Necesidad de un análisis de puestos para elaborar un inventario de tareas válido y fiable

Información, transparencia, perseverancia, rigor y paciencia

Más perseverancia y paciencia, mucha paciencia!

Formalización del proyectoDISEÑO DE UN SISTEMA DE EVALUACIÓN DEL DESEMPEÑO PARA LOS

EMPLEADOS PÚBLICOS DE LAS ADMINISTRACIONES PÚBLICAS CANARIAS

• Convenio entre el Gobierno de Canarias y las dos universidades públicas de la Comunidad Autónoma (Enero 2009).– Departamento de Psicología Cognitiva, Social y

Organizacional de la ULL (4 profesores y 3 técnicos).

– Departamento de Economía Aplicada de la ULPGC (2 profesores y 3 técnicos).

Estructura del proyecto• 5 fases:

– Presentación y publicidad de los contenidos y objetivos en todo el ámbito de aplicación.

– Análisis de puestos necesario para el desarrollo de la evaluación del desempeño. Dos técnicas complementarias:• Estructuradas (cuestionarios)• Semi-estructuradas (entrevistas)

– Elaboración de un cuestionario de evaluación del desempeño.– Implementación de este cuestionario en la (actual) Viceconsejería de

Turismo.– Análisis de los resultados obtenidos con dos objetivos y orientaciones

principales:• Ofrecer una medida de desempeño, individualizada para cada ocupante de los

puestos de la unidad.• Detectar posibles modificaciones necesarias en el cuestionario o el

procedimiento utilizado para facilitar la evaluación en las subsiguientes unidades a evaluar.

Presentación y Publicidad• Acto público en el que participaron el Consejero de

Presidencia, Justicia y Seguridad del Gobierno de Canarias y los rectores de ambas Universidades, en enero de 2009.

• Reunión informativa con representantes sindicales del Gobierno de Canarias (Junta de Personal).

• Reunión informativa con el Secretario General Técnico:– Contenidos del proyecto– Planificar las acciones de información al personal y la recogida

de datos.• Participación en dos actos de la (antes) Consejería de

Turismo:– Presentación del proyecto a jefes de servicio.– Seguimiento de la primera fase con jefes de servicio.

A.P.: Técnicas estructuradas• PAQ (PAQ Services, Inc.; Dpto. de Psicología Cognitiva, Social y Organizacional)

– Instrumento cuantitativo de análisis de puestos. Cumplimentado por el analista.– 194 preguntas relacionadas con conductas del trabajador. 6 dominios:

• Entrada de información.• Procesos mentales.• Acciones.• Relaciones con otros.• Contexto físico y social del puesto.• Otras características del puesto (ej.: ritmo y estructura).

– 13 dimensiones secundarias: Tomar decisiones, Operar máquinas, Actividades de oficina, Actividades técnicas, Actividades de servicios, …

• O*NET (Red de Información Ocupacional D.T. EEUU)– Adaptación al contexto cultural. Cumplimentado por el empleado. Cinco cuestionarios:

• Conocimientos• Habilidades• Contexto de trabajo• Estilos de trabajo • Actividades

Utilizados para crear familias de puestos o grupos profesionales, mediante análisis de conglomerados contrastados con opiniones cualificadas

Grupos profesionales1 ADMINISTRATIVOSAdministrativoAuxiliarAuxiliar AdministrativoJefe de NegociadoTelefonista

2 APAREJADORES

3 TITULADOSInstructorPeriodistaSociólogoTitulado MedioTitulado SuperiorHabilitado

4 SUBALTERNOSConductorConductor SubalternoOrdenanzaSubalternoSubalterno ConductorSubalterno Ordenanza

5 INSPECTORESInspector de TurismoSubinspector de Turismo

6 SECRETARIAS

7 OPERADORES DE SISTEMAS

8 JEFES SECCIÓN Y DE SERVICIO

A.P.: Técnica semi-estructurada

• Entrevistas y reuniones de grupos: Obtener los contenidos más relevantes a incluir en el cuestionario de ED.– Entrevistas de Análisis de Puestos (AP)• Previamente se pidió a cada empleado que

cumplimentara un formulario de:– Identificación– Localización– Funciones– Tareas

• Objetivo: Inventario de tareas por grupos profesionales

Tareas del grupo Administrativos (103)

• Recibir documentación y/o información.• Acordar con superior jerárquico la concesión de ayudas al personal.• :• Contactar presencial y/o telefónicamente con otros Organismos Públicos y/o empresas.• Controlar el gasto asociado a partidas presupuestarias.• :• Escanear, fotocopiar, plotear y/o imprimir documentación.• :• Inventariar material de oficina.• Revisar justificaciones de pagos y/o subvenciones.• :• Inventariar mobiliario de oficina.• Controlar y hacer seguimiento de mobiliario de oficina.• Buscar información relacionada con diversas materias.• Plotear planos.

Escanear, fotocopiar, plotear y/o imprimir documentación

Plotear planos

Inventariar material de oficina

Inventariar mobiliario de oficina

Tareas de la unidad

• 4368 tareas en total asociadas a 951 funciones.

• Número excesivamente elevado y un alto número de repeticiones.

• Desarrollo y aplicación del Inventario de Tareas.

• Primera criba de tareas reagrupando y eliminando repeticiones: menos de 1200 tareas.

Inventario de tareas

• Un cuestionario para cada grupo profesional con las tareas propias:– Frecuencia de realización de cada tarea que se

realiza.– Importancia de cada tarea si se realiza.– Complejidad de cada tarea si se realiza.

NÚM. TAREA

Marque X

si la realiza

FRECUENCIA 1 = Casi nunca. 2 = Ocasionalmente. 3 = Frecuentemente. 4 = Muy frecuentemente. 5 = Continuamente.

1 Actualizar aplicaciones informáticas. 1 2 3 4 5 2 Asesorar sobre aspectos técnicos. 1 2 3 4 5 3 Asistir a comisiones, comités, juntas, mesas, sesiones y/o reuniones. 1 2 3 4 5

IMPORTANCIA1 = Poco importante.2 = Algo importante.3 = Importante.4 = Muy importante.5 = Extremadamente imp.

1 2 3 4 51 2 3 4 51 2 3 4 5

COMPLEJIDAD1 = Muy fácil.2 = Fácil.3 = Difícil.4 = Muy difícil.5 = Extremadamente difícil.

1 2 3 4 51 2 3 4 51 2 3 4 5

EL COMITÉ DE EVALUACIÓN

Comité eDCan_Turismo: Componentes

• Al menos los siguientes componentes:– 1 representante de Función Pública.– 5 jefes de servicios y técnicos de la (Vice)Consejería.

• Elegidos por tamaño, diversidad geográfica y diversidad de puestos en los servicios.

– 1 representante sindical– 4 investigadores (dos por cada Universidad)– 2 técnicos

• Reuniones en ambas capitales conectadas por videoconferencia

Comité eDCan_Turismo: Funciones• Ultimar el Inventario de tareas y el desarrollo de los cuestionarios

– Desempeño individual:• Cuestionario de desempeño en la tarea.

– Detectar tareas muy poco relevantes para cada grupo profesional.– Detectar tareas relevantes no incluidas en cada grupo profesional

• Cuestionario de desempeño contextual:– Conductas de ciudadanía organizacional. Detectar posibles mejoras en el lenguaje utilizado.– Conductas contraproductivas. Detectar problemas de sesgo en las futuras respuestas.

• Otras medidas: Formación, absentismo, etc.– Desempeño grupal:

• Cuestionario de cumplimiento de objetivos del servicio

• Diseñar el procedimiento de evaluación del desempeño– Sistema de 270º.

• Ocupante• Supervisor• Compañero/s

– Sistema compositivo para la puntuación de desempeño individual• Decidir si se ponderan algunas tareas en función de su frecuencia, importancia y/o complejidad.• Ponderación de los desempeños individuales.

– Sistema múltiple para el Desempeño:• Individual• Grupal.

• Decidir quién va a ser informado de qué, una vez hecha la evaluación del desempeño.

Resultados del comité sobre desempeño en la tarea

• 157 tareas y macro-tareas relevantes en total, para las 149 posiciones analizadas.

• Cada tarea asociada con uno o varios grupos profesionales

• Cada tarea genera una pregunta de desempeño• Cada tarea tiene una frecuencia, importancia y

complejidad asociadas a cada posición, puesto, grupo profesional, o unidad.

• Cada grupo profesional tiene un cuestionario con sus tareas propias

Resultados del Comité eDCan_Turismo

Extracto del inventario de tareas/preguntas

TAREAS PREGUNTAS DE EVALUACIÓN

GRUPOS QUE LAS

REALIZAN NN

TOT % GR % TOTAbrir y cerrar dependencias (incluye puertas, alarmas, etc.).

Abre y cierra dependencias (incluye puertas, alarmas, etc.) metódicamente.

Subalternos 4 4 33,33 2,68

Actualizar contenidos en página web y/o bases de datos.

Actualiza contenidos en página web y/o bases de datos correcta y puntualmente.

Administrat. 4 9 7,55 6,04

##### Jefes secc./Serv.

5 14,29

Actualizar expedientes con nuevos documentos.

Actualiza expedientes con nuevos documentos regular y adecuadamente.

Administrat. 37 96 69,81 64,43

##### Titulados 22 84,62 ##### Inspectores 8 80,00 ##### Jefes

secc./Serv.29 82,86


Cuestionario eDCan_Tar

• Grupo profesional de administrativos (60 preguntas):

Actualiza expedientes con nuevos documentos regular y adecuadamente.

1 2 3 4 5 6 7 8 9 10

Casi nunca

Sólo algunas veces Lo normal Más de lo esperable

Siempre No se aplica

Actualiza contenidos en página web y/o bases de datos correcta y puntualmente.

1 2 3 4 5 6 7 8 9 10

Casi nunca



Almacena material adecuadamente.

1 2 3 4 5 6 7 8 9 10

Casi nunca




Aplicación de eDCan_Tar

• Aplicación 270º:– Autoevaluación.– Evaluación del supervisor (Jefe de Servicio / Jefe de

Sección).• Selección según número y cercanía.

– Evaluación de un compañero.• Selección consensuada con el supervisor.

• Aplicación 180º para Jefe de Servicio:• Autoevaluación.• Evaluación por todos los miembros de su servicio con

cuestionario especial.


Resultados del comité sobre desempeño contextual

• Adaptación previa del cuestionario de Coleman y Borman (1999):– Traducción previa del equipo técnico.– Discusión en el Comité sobre la redacción de cada

pregunta manteniendo el sentido original.– Elaboración del cuestionario definitivo.– 27 preguntas.

• Decisión de aplicarlo en 270º.


Cuestionario eDCan_OCB1. Manifestar un entusiasmo constante al realizar su trabajo.

No le caracteriza en absoluto Es lo que le caracteriza1 2 3 4 5 6

2. Mostrar un esfuerzo superior al normal en su trabajo.


3. Mostrar disposición para llevar a cabo tareas que no forman parte de su puesto de trabajo.


4. Ayudar a otros compañeros en la Consejería.


5. Cooperar con otros compañeros de la Consejería.


6. Seguir las normas y procedimientos de la Administración.


indique la puntuación que usted cree que describe mejor su forma de comportarse en el trabajo

Propiedades de eDCan_OCB

• 130 cuestionarios contestados.• Puntuación media de 4,7.• Fiabilidad: α = ,96.• 4 factores:

• Solución final estable de un único factor.

eDCan Coleman y Borman (1999)

Compromiso Seguir reglas y procedimientos

Compañerismo Ayudar y cooperar con otros

Esfuerzo Persistir con entusiasmo y esfuerzo

Servicio Apoyar y defender la Organización

Ayuda personal ***


Resultados del Comité sobre conductas contraproductivas

• Se desestimó su medida:– Momento inapropiado.– Problemas metodológicos asociados a su

naturaleza.• Altísimo sesgo natural a la izquierda.• Falta de expectativas de sinceridad: sesgo artificial.

– Posible competencia de la Inspección.


Resultados del Comité sobre desempeño grupal

• Elaboración de la cadena de valor.• Explicación y acuerdo con jefes de servicio.• Desarrollo de objetivos a partir de la cadena de

valor.• Desarrollo y aplicación a Jefes de Servicio del

cuestionario de establecimiento de objetivos (eDCan_CEO) a un año vista (Resultados en proceso de análisis).

• Desarrollo del cuestionario eDCan_ECO a aplicar tras el período de un año.


Cuestionario eDCan_CEOMediante este cuestionario se pretende recoger, al objeto de la evaluación del desempeño, los objetivos de rendimiento de los diferentes servicios que integran su Consejería. Defina, por favor, para su servicio, entre 3 y 5 objetivos de rendimiento a alcanzar en el año 2011. Para ello debe tener en cuenta lo establecido en la cadena de valor de la Consejería de Turismo, respecto a su servicio, y lo recogido en el anexo “Requisitos para la fijación de objetivos”. Además, cada objetivo debe tener asociada una unidad de medida, el indicador a lograr, la fecha tope en la que se debe alcanzar, y la forma prevista de justificación.

A modo de ejemplo mostramos el siguiente objetivo y la información asociada.

Nº OBJETIVO

UNIDAD DE

MEDIDA INDICADOR

FECHA TOPE

(dd/mm) FORMA DE

JUSTIFICACIÓN

1 Conseguir que la Agencia de Calidad Turística Canaria se constituya y reúna al menos dos veces durante el año 2011

Sesiones 2 05/11 Actas de reuniones

SERVICIO:

Defina, para su servicio, los objetivos en el siguiente cuadro

Nº OBJETIVOS

UNIDAD DE

MEDIDA INDICADOR

FECHA TOPE

(dd/mm) FORMA DE

JUSTIFICACIÓN

1

2


Cuestionario eDCan_ECOCUESTIONARIO DE VERIFICACIÓN DEL GRADO DE LOGRO DE LOS OBJETIVOS DE LOS SERVICIOS

Mediante este cuestionario se pretende recoger, al objeto de la evaluación del desempeño, el nivel en que los diferentes servicios que integran su Consejería han logrado sus objetivos de rendimiento. Para cada uno de los objetivos que describió en el cuestionario de establecimiento de objetivos, señale, por favor, su grado de logro y conteste las preguntas que siguen a continuación.

SERVICIO:

OBJETIVO N. 1

GRADO DE LOGRO No alcanzado

(< 50%) Alcanzado parcialmente

(50%-89%) Alcanzado o superado

(>=90%)

P1. ¿Conoce su superior el grado de logro de este objetivo? Sí No

P2. ¿Se explicó a las personas de su servicio en qué consistía este objetivo?

No se explicó Se explicó a algunos Se explicó a todos

P3. ¿Conocen las personas de su servicio el grado de logro para este objetivo?

No lo conocen Lo conocen algunos Lo conocen todos

P4. En caso de haber señalado “No alcanzado” o “Alcanzado parcialmente”, indique los motivos o realice los comentarios que considere oportunos.


Recordemos: Funciones del Comité• Ultimar la criba de tareas y el desarrollo de los cuestionarios

– Desempeño individual:• Cuestionario de desempeño en la tarea.

– Detectar tareas muy poco relevantes para cada grupo profesional.– Detectar tareas relevantes no incluidas en cada grupo profesional

– Desempeño contextual:• Conductas de ciudadanía organizacional. Detectar posibles mejoras en el lenguaje utilizado.• Conductas contraproductivas. Detectar problemas de sesgo en las futuras respuestas.

– Otras medidas: Formación, absentismo, etc.– Desempeño grupal:

• Cuestionario de cumplimiento de objetivos del servicio

• Diseñar el procedimiento de evaluación del desempeño– Sistema de 270º.

• Ocupante• Supervisor• Compañero/s

– Sistema compositivo para la puntuación de desempeño individual• Decidir si se ponderan algunas tareas en función de su frecuencia, importancia y/o complejidad.• Ponderación de los desempeños individuales.

– Sistema múltiple para el Desempeño:• Individual• Grupal.

• Decidir quién va a ser informado de qué, una vez hecha la evaluación del desempeño.

• Decidir quién va a ser informado de qué, una vez hecha la evaluación del desempeño.– Se decidió informar individual y confidencialmente a

cada persona vía eMail de sus resultados de autoevaluación:• Resultados propios.• Promedio de su servicio.• Promedio de su grupo profesional.• Promedio de la Unidad.

– Falta por decidir cómo informar sobre la evaluación de terceros:• Probablemente se informará sobre la media de ambos.

Resumiendo• Cuestionarios:

– eDCan_OCB: Desempeño contextual - Igual para todos -.– eDCan_Tar: Desempeño en la tarea - Específico para el grupo profesional -.– eDCan_CEO: Establecimiento de objetivos - Igual para todos -.– eDCan_ECO: Evaluación de cumplimiento de objetivos – Específico para el

servicio -.• Para no jefes de servicio:

– Autoevaluación desempeño en tarea y contextual.– Evaluación por el Jefe de Servicio o Sección en desempeño en tarea y

contextual.– Evaluación por el Compañero en desempeño en tarea y contextual.

• Para jefes de servicio:– Autoevaluación en desempeño en tarea y contextual.– Evaluación por parte de los empleados del servicio en desempeño en tarea y

contextual.– Establecimiento y evaluación del desempeño grupal (CEO y ECO).


ALGUNOS RESULTADOS

Validez percibida y sinceridad manifestada

VALIDEZ MEDIA PERCIBIDA 6,56

SINCERIDAD eDCan_Tar 9,18

SINCERIDAD eDCan_OCB 9,11

INV.TAR. E.D. DIF. % S/IT

95 60 :

23 39 16 169,627 48 21 177,827 42 15 155,618 28 10 155,637 46 9 124,331 46 15 148,429 43 14 148,327 35 8 129,614 33 19 235,730 47 17 156,722 40 18 181,8

:27,29 39,86 12,57 146,06

VALIDEZ MEDIA PERCIBIDA 6,56

SINCERIDAD eDCan_Tar 9,18

SINCERIDAD eDCan_OCB 9,11

Desempeño Contextual• Solo autoevaluación por el momento.• Puntuación ponderada según peso factorial (0-

10):– Media para 135 casos : 7,29– Media para 113 casos sin problemas de tendencia de

respuesta: 6,90• Controles a posteriori:– Puntuación superior a media + 1 D.T.– Tendencia de respuesta sesgada a la derecha más de

lo normal (media de sesgo + 1 D.T.).– Se excluyen temporalmente 22 casos: «REVISAR».

Desempeño en la tarea• N variado según el tipo de informantes.– Autoevaluación:

• 135 autoevaluaciones cumplimentadas en 17 de 18 servicios (a falta de uno con un empleado).

• Media sin controlar: 7,16• Media controlada: 6,83

– Evaluación por el supervisor:• 66 evaluaciones realizadas en 5 de 18 servicios.• Media sin controlar: 7,82• Media controlada: 7,30

– Evaluación por un compañero:• 20 evaluaciones en 9 de 18 servicios.• Media sin controlar: 7,28• Media controlada: 6,99

Controles de datos

Decisión de evaluación• Evaluación directa si no hay problemas en datos de

ningún evaluador:– eDCan_OCB: 113 personas (84%)– eDCan_Tar Autoevaluación: 106 personas (78%)– eDCan_Tar Supervisor: 49 personas (36%)– eDCan_Tar Compañero: 26 personas (19%)

• Entrevista de revisión cuando aparecen problemas en alguno de los cuestionarios.

• No hay puntuación de desempeño hasta no tener justificadas las puntuaciones.

• Actualmente hay 9 personas con todas sus puntuaciones.

OCB AUTO SUPERV COMPA DESEMPEÑO:REVISAR REVISAR 7,452 6,8137,117 6,762 7,000 No eval.REVISAR REVISAR No eval. No eval.5,900 8,452 No eval. No eval.REVISAR REVISAR 9,118 6,073REVISAR REVISAR No eval. No eval.REVISAR REVISAR REVISAR No eval.6,144 6,673 N/A 7,839 7,3628,650 6,704 REVISAR 6,655REVISAR REVISAR N/A No eval.5,349 5,500 No eval. No eval.7,575 7,717 9,697 No eval.REVISAR REVISAR 8,615 No eval.4,206 6,313 5,478 4,833 5,051:

NUM. CASOS 9MEDIA 6,580D.T. 0,798MIN 5,051MAX 7,362

PESOS NOR PESO S/4 SUPERV PESO S/3

OCB 1 25,00% 0,5 16,67%

AUTO 0,25 6,25% 0,5 16,67%

SUP 1,75 43,75%

PAR 1 25,00% 2 66,67%

4 3

CONCLUSIONES

Algunas conclusiones• Su diseño es altamente costoso y laborioso, pero su

aplicación es muy simple.• La calidad y utilidad de la información que ofrece la ED

compensan con creces su coste.• Se puede hacer, se puede hacer bien, y se puede

mejorar:– El procedimiento:

• Es necesario mejorar los sistemas de información antes, durante y después de la implantación del protocolo.

• Es conveniente mejorar los anclajes de las preguntas de ED.• Es conveniente tender a un sistema informatizado que

individualice la evaluación para cada empleado.– Las actitudes y valores:

• Es necesario implementar en nuestras mentes el valor de la ED: cambio cultural.

• Es necesario que creamos en el buen fin de los resultados.

La ED no debe ser una amenaza, ni siquiera un reto.

La ED debe ser una oportunidad y un medio para mejorar.

MUCHAS GRACIAS

la evaluación del desempeño en la comunidad autónoma de canarias: comienzo de una andadura luis...

Documents