Laurentino Salvador. José M. Osoro. Evaluación de programas...
Evaluación de la Calidad
2
CONTENIDO:
1. Concepto y sistema de calidad
2. Modelos de calidad
3. Calidad y educación
4. Enlaces a webs sobre calidad
3
Conjunto de características de un producto o servicio, que lo convierte en satisfactorio
para el cliente o consumidor.
¿Qué es calidad? ¿Qué es calidad?
Conjunto de cualidades que constituyen la manera de ser de
una persona o cosa.
4
¿Por qué es ahora más necesaria la calidad?¿Por qué es ahora más necesaria la calidad?
Razones Externas
Razones Internas
Globalización.
Clientes exigentes.
Competitividad.
Costes de mala calidad.
Implicación del personal.
Nuevas tecnologías.
5
INSATISFACCION INEVITABLE
CALIDAD IDEALSATISFACCION
PLENA
SATISFACCIÓN DEL TRABAJO ÚTIL PARA EL
CLIENTE
INSATISFACCIONEVITABLE
ESFUERZOSINÚTILES DE
DISEÑO
CALIDADAMENAZADA
SATISFACCIÓNCASUAL
TRABAJOREALIZADO
INUTILMENTE
CALIDAD QUE DESEA EL CLIENTE
CA
LID
AD
PRO
GR
AM
AD
A
CA
LIDA
D
REA
LIZAD
A
CALIDAD TOTAL: LAS TRES CALIDADESCALIDAD TOTAL: LAS TRES CALIDADES
6
Logrando la satisfacción de los clientes.
Con la formación permanente.
Con el apoyo incondicional de la dirección.
Con la participación y cooperación de todos.
Mejorando e innovando de forma continua.
¿Cómo se consigue?¿Cómo se consigue?
7
tiempo
nivel decalidad
MEJORA CONTINUA
Ciclo PDCA (rueda de Shewhart o de Deming)
P
Plan: Planifique lo que va a realizar Identifique los grupos de interés Analice sus necesidades o expectativas Defina características para satisfacerlas Diseñe un proceso adecuado
D
Do: Desarrolle lo que planificó
C
Check: Compruebe los resultados de su acción
A
Act: Actúe para modificar lo que hace o para asegurar los resultados con mayor calidad
Planificar, Desarrollar, Comprobar y Actuar
8
Del control de la calidad a la excelencia organizacionalDel control de la calidad a la excelencia organizacional
Excelencia
Gestión
Sistema
Proceso
Producto
Normas UNE-EN ISO 9000:2000
9
CONSISTE ENCONSISTE EN
CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE
RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS
Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO
LA GESTIÓN DE LA CALIDAD.LA GESTIÓN DE LA CALIDAD.
LA DEFINICIÓN Y EJECUCIÓN DE UN MÉTODO DE TRABAJO QUE ASEGURE QUE EL PRODUCTO O
SERVICIO CUMPLE CON UNAS ESPECIFICACIONES PREVIAMENTE ESTABLECIDAS PARA SATISFACER
LAS NECESIDADES DEL CLIENTE.
¿Qué es un sistema de calidad?¿Qué es un sistema de calidad?
10
DARSE CUENTA (sensibilización “cultura de la calidad”).
DECISIÓN (ANTES FORMARSE E INFORMARSE).
COMPROMISO.
ELEGIR UN MODELO DE REFERENCIA: ¿ISO 9000:2000?.
¿BENCHMARKING DE UNA ORGANIZACIÓN SIMILAR CONSIDERADA EXCELENTE?.
¿MODELO EUROPEO DE GESTIÓN DE LA CALIDAD TOTAL?.
ACTUACIÓN (SISTEMA; MÉTODO; OBJETIVOS; PLANIFICACIÓN;
ORGANIZACIÓN; CALENDARIO; PERSONAS Y MEDIOS).
CONTROL. MEJORA CONTINUA. Contratos-programa y planes estratégicos
¿Cómo implantar un sistema de calidad?¿Cómo implantar un sistema de calidad?
11
Funciones de los sistemas de calidad y mejora Funciones de los sistemas de calidad y mejora
Preparar los mecanismos para la acreditación de instituciones o programas.Preparar los mecanismos para la acreditación de instituciones o programas.
Mejorar la docencia, la investigación y la gestión.Mejorar la docencia, la investigación y la gestión.
Servir de instrumento para rendir cuentasal gobierno y a la sociedadServir de instrumento para rendir cuentasal gobierno y a la sociedad
Suministrar información pública y transparenteal estudiante y al mercado laboral.
Suministrar información pública y transparenteal estudiante y al mercado laboral.
Operar como mecanismos para decidir unafinanciación diferencial de los centros.Operar como mecanismos para decidir unafinanciación diferencial de los centros.
12
13
ES UNA ESTRATEGIA O MODELO DE GESTIÓN DE UNA
ORGANIZACIÓN
ES UNA ESTRATEGIA O MODELO DE GESTIÓN DE UNA
ORGANIZACIÓN
MODELO ISO 9000MODELO ISO 9000MODELO ISO 9000MODELO ISO 9000 MODELO DE EXCELENCIAMODELO DE EXCELENCIAMODELO DE EXCELENCIAMODELO DE EXCELENCIA
CUALQUIER PROCESO DE IMPLANTACIÓN DE UN SISTEMA DE CALIDAD, QUE NO IMPLIQUE LOS PRINCIPIOS DE LA CALIDAD TOTAL, CORRE EL RIESGO DE QUEDARSE EN MERO GASTO
ES UN SISTEMA PARA ES UN SISTEMA PARA VERIFICAR LA CALIDAD DEL VERIFICAR LA CALIDAD DEL
PRODUCTO O SERVICIOPRODUCTO O SERVICIO
ES UN SISTEMA PARA ES UN SISTEMA PARA VERIFICAR LA CALIDAD DEL VERIFICAR LA CALIDAD DEL
PRODUCTO O SERVICIOPRODUCTO O SERVICIO
Dos enfoques de la Calidad TotalDos enfoques de la Calidad Total
14
Modelo ISO 9000:2000Modelo ISO 9000:2000
15
16
LiderazgoLiderazgo ProcesosProcesos Resultadosclaves
Resultadosclaves
Gestión del Personal
Gestión del Personal
Política y Estrategia
Política y Estrategia
Alianzas yRecursos
Alianzas yRecursos
Resultados en las personas
Resultados en las personas
Resultados enlos cliente
Resultados enlos cliente
Resultados en la sociedad
Resultados en la sociedad
Agentes facilitadoresAgentes facilitadores ResultadosResultados
Innovación y aprendizajeInnovación y aprendizaje
Modelo Europeo de Gestión de la Calidad Total (EFQM)Modelo Europeo de Gestión de la Calidad Total (EFQM)
17
EL MODELO EUROPEO DE GESTIÓN DE CALIDAD
Agentes 500 puntos (50%) Resultados 500 puntos (50%)
Liderazgo 100 Puntos (10%)
Gestión de personal 90 puntos (9%)
Planificación y estrategia 80 puntos (8%)
Recursos 90 puntos (9%)
Procesos 140 Puntos 14%
Satisfaccióndel personal 90 puntos (9%)
Satisfacción del cliente 200 puntos (20%)
Impacto en la sociedad 60 puntos (6%)
Resultados del centro educativo 150 puntos (15%)
EFQM
18
Evaluación de la calidadEvaluación de la calidad
Debate político
Control Evaluación
Decisión sumatoria
Autorregulación
Debate técnico
¿Cómo? ¿Para qué?
Indicadores De rendimientoJuicios de
expertos
Decisión sumatoria
Mejora y Apoyo a la
unidad
19
� Que no hay clientes propiamente dichos
� Que la educación tiene una importanciarelativa en muchos sectores
� Que los productos finales son difusos
� Que los procesos son variables
� Que podemos contemplarlo (endeterminados niveles) como un serviciopúblico al margen de los resultados.
José M. Osoro - Dept. Educación UC
20
Comparación PNECU-PCU y ANECA
PNECU-PCU ANECAObjetivos Mejora continua Homologación
Metodología Cuantitativa y cualitativa Cuantitativa
Datos Evidencias: datos, opiniones contrastadas…
Evidencias: indicadores y documentos
Aspectos a evaluar Dimensiones Criterios
Proceso Evaluación interna y externa
Externa
Papel de los evaluadores “cómplices” de la mejora Auditores
Resultados Propuestas de mejora
contratos-programa Plan estratégico
Informe Acreditación
Agencias responsables Agencias autonómicas ANECA MEC
21
Programa de Evaluación Institucional Programa de Evaluación Institucional
EtapasEtapas
Autoevaluación
Evaluación Externa
Final
Informe de autoevaluación
Informe de Evaluación Externa
Plan de Mejoras
Comité de Autoevaluación, Unidad Técnica, Comunidad Universitaria
Comité de Autoevaluación, Unidad Técnica, Comité de Evaluación Externa, Comunidad Universitaria
Comité de Autoevaluación, Unidad Técnica, Equipo de Gobierno
Agentes implicadosAgentes implicados ResultadosResultados
Asesoramiento de la ANECA
22
PLAZOS PARA LA EJECUCIÓN DEL PEI 2004-2005
Momentos clave del proceso PlazosResponsabilidad
Fase de AutoevaluaciónDel 21 de
octubre al 31 de marzo
Unidad evaluada
Envío Informe de Autoevaluación a la ANECA
Hasta el 31 de marzo
Unidad evaluada
Visitas de Evaluación ExternaDel 1 de abril al 15 de mayo
Unidad evaluada-ANECA
Envío del informe de Evaluación Externa
Antes del 15 de junio
ANECA
Período para la realización de comentarios al Informe de Evaluación
Externa, en su caso
Del 15 de junio al 1 de
julioUniversidad
Revisión del Informe de Evaluación Externa y realización de las
modificaciones oportunas, en su caso
Del 1 de julio hasta el 15 de
julioANECA
Envío del Plan de MejorasHasta el 15 de
noviembreUniversidad
Programa de Evaluación InstitucionalPrograma de Evaluación Institucional
23
Visión Global del ProcesoVisión Global del Proceso
DIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓNDIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓNDIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓNDIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓN
Recursos Recursos HumanosHumanos
Recursos Recursos MaterialesMateriales
OrganizaciónOrganización de lade la
EnseñanzaEnseñanza
Proceso Proceso FormativoFormativo
Programa Programa FormativoFormativo ResultadosResultados
Plan de MejorasPlan de Mejoras
VISITA A LA TITULACIÓN VISITA A LA TITULACIÓN DEL COMITÉ EXTERNODEL COMITÉ EXTERNO
VISITA A LA TITULACIÓN VISITA A LA TITULACIÓN DEL COMITÉ EXTERNODEL COMITÉ EXTERNO
Informe de Autoevaluación
Informe de Evaluación Externa
Áreas de Mejora
Comité de AutoevaluaciónComité de Autoevaluación
Fuentes de información
FASE FASE
AUTOEVALUACIÓNAUTOEVALUACIÓN
FASE FASE
EVALUACIÓN EVALUACIÓN
EXTERNAEXTERNA
FASEFASE
FINALFINAL
Comité de AutoevaluaciónComité de Autoevaluación
Miembros de la Comunidad Universitaria
Documentación, Informes y estudios
24
COMUNICACIÓNCOMUNICACIÓN Y DIFUSIÓNY DIFUSIÓN
COMUNICACIÓNCOMUNICACIÓN Y DIFUSIÓNY DIFUSIÓN
Modelo de Evaluación de la ANECA Modelo de Evaluación de la ANECA
PLANIFICACIÓN PLANIFICACIÓN DEL P.F.DEL P.F.
PLANIFICACIÓN PLANIFICACIÓN DEL P.F.DEL P.F.
OBJETIVOS
Proceso de captación y selección de alumnos
ALUMNO DE NUEVO
INGRESO
Perfil de ingreso: conocimientos y competencias
PROGRAMA FORMATIVO
ORGANIZACIÓN DE LA ENSEÑANZA
Gestión plan de estudios (contenido, coherencia, flexibilidad, factibilidad, revisión y actualización)
Proceso enseñanza -aprendizaje
Metodología enseñanza - aprendizaje
Metodología evaluación
Programas de acción tutorial
Prácticas externas Movilidad
Formación integral
Programas de acogida
Programas apoyo al aprendizaje
Programas orientación profesional
Actividades formación integral
RESULTADOS
EGRESADO
SOCIEDAD
Perfil de egreso: conocimientos y competencias
RECURSOS
HUMANOS
RECURSOS
MATERIALES
Aulas
Bibliotecas
Espacios de trabajo alumnos
Espacios de trabajo RRHH
Infraestructuras destinadas a prácticas externas
Laboratorios, talleres y espacios experimentales
PDI
PAS
Resultados de I+D+I
Gestión de horarios de
clase
- ESQUEMA DEL MODELO DE EVALUACIÓN -
MMEEJJOORRAA
CCOONNTTÍÍNNUUAA
Gestión de recursos
Gestión de procesos
25
FUNDAMENTACIÓNDE LOS JUICIOS DE VALOR
* Estadísticas de Gestión: Alumnos, Profesores, Recursos, ....
* Documentos: Planes de Estudio, Guías Académicas, Reglamentos, Protocolos de exámenes, Actas órganos de gobierno,Encuestas de opinión, memorias, estudios, ...
* Opiniones de implicados:Dirección Centro/Departamentos, alumnos,profesores, graduados, empleadores, ...
* Conocimiento del propio Comité
EVIDENCIA: Datos objetivos - Consenso intersubjetivo
26
Contenido del Autoinforme
LO DESCRIPTIVO1. Información objetiva (cuantitativa o cualitativa)2. Información documentada basada en opiniones
miembros comunidad
LO VALORATIVO3. Inferencias/juicios apoyados en datos y/o
documentación. + / - EVIDENCIA
4. Inferencias/juicios sin apoyo en datos y/o documentación. + / - CONSENSO
LO DESCRIPTIVO1. Información objetiva (cuantitativa o cualitativa)2. Información documentada basada en opiniones
miembros comunidad
LO VALORATIVO3. Inferencias/juicios apoyados en datos y/o
documentación. + / - EVIDENCIA
4. Inferencias/juicios sin apoyo en datos y/o documentación. + / - CONSENSO
27
ACREDITACIÓNACREDITACIÓN
1. Programa formativo: 1. Programa formativo: objetivos y plan de estudiosobjetivos y plan de estudios
2. Organización2. Organización de la enseñanza:de la enseñanza:• Dirección y planificaciónDirección y planificación• Gestión y organizaciónGestión y organización
3. Recursos humanos:3. Recursos humanos:• Personal académicoPersonal académico• PASPAS
4. Recursos materiales:4. Recursos materiales:Aulas, espacios de trabajo, laboratorios, bibliotecaAulas, espacios de trabajo, laboratorios, biblioteca
5. Proceso formativo:5. Proceso formativo:• Atención al alumno yAtención al alumno y formación integralformación integral• Proceso enseñanza-aprendizajeProceso enseñanza-aprendizaje
ACREDITACIÓN DE LAS TITULACIONESACREDITACIÓN DE LAS TITULACIONESCRITERIOS - ANECACRITERIOS - ANECA
ACREDITACIÓN DE LAS TITULACIONESACREDITACIÓN DE LAS TITULACIONESCRITERIOS - ANECACRITERIOS - ANECA
6. Resultados:6. Resultados:• del programadel programa• de los egresadosde los egresados• en la sociedaden la sociedad
El proceso de acreditación
28
Descripción de la situación
El programa formativo tiene definidos sus objetivos entre los que se encuentran los conocimientos y las capacidades que los alumnos debe tener al concluir sus estudios.
1.1. Objetivos del programa formativo
Protocolo para la elaboración del IAProtocolo para la elaboración del IA
29
Valoración semicuantitativa
1. PROGRAMA FORMATIVO
A B C D EI
1.1. Objetivos del programa formativo
El programa formativo tiene definidos sus objetivos entre los que se encuentran los conocimientos y las capacidades que los alumnos deben tener al concluir sus estudios.
Protocolo para la elaboración del IAProtocolo para la elaboración del IA
30
Fortalezas, debilidades y propuestas de mejora
1. PROGRAMA FORMATIVO
FORTALEZAS DEBILIDADES PROPUESTAS DE MEJ ORA URGENCIA IMPORTANCI A
Protocolo para la elaboración del IAProtocolo para la elaboración del IA
31
1.- Asociación Española de la Calidad, www.aec.es 2.- European Foundation for Quality Management (EFQM). www.efqm.org 3.- International Standardizaron Organization (ISO), www.iso.ch 4.- Entidad Nacional de Acreditación (ENAC). www.enac.es 5.- Asociación Española de Normalización (AENOR). www.aenor.es 6.- Proyecto Norma de Calidad. www.ongconcalidad.org 7.- Comunidades autónomas:
•Fundación Vasca para la Calidad, www.esukalit.net •Fundación Navarra para la Calidad, www.gnavajra.com •Fundación Valenciana para la Calidad, http://turia.gva.es/fvq •Club Asturiano de Calidad, www.club-calidad.es •Institut Balear de Desenvolupament Industrial, www.idi.es
8.- Investors in People. www.investorsinpeople.com 9.- European Organization for Quality (EOQ). www.eoq.org 10.- TÜV Rheinland. www.tuv.es 11.- Bureau Veritas. www.bureauveritas.com 12.- Club de Gestión de la Calidad, http://www.clubcalidad.es/ 13.- Instituto de la Calidad Turística Española (ICTE). www.icte.com 14.- Madrid Excelente, www.madridexcelente.com 15.- Un buen glosario de temas de calidad lo encontrareis en www.qualityadvisor.com 16.- Observatorio de Calidad para los Servicios Públicos, www.ocsp.arrakis.es 17.- European Society for Quality in Health Care. http://www.esqh.net/ 18.- Fundació Avedis Donabedian, www.fadg.org 19.- La página del proyecto de Responsabilidad Social. www.accountability.org 20.- La página del proyecto Sphere. www.sphereproject.org21.- La página del proyecto de la ONU. www.unglobalcompact.org 22.- ANECA. www.aneca.es
23.- The European Network for Quality Assurance in Higher Education (ENQA). http://www.enqa.net/ 24.- Instituto Nacional de evaluación y calidad del sistema educativo. http://www.ince.mec.es/25.- Consejo de Coordinación Universitaria. http://www.mec.es/consejou/calidad/index.html
Enlaces Web sobre calidad: