eLA ADAPTACIÓN DEL PLAN NACIONAL DE EVALUACIÓN DE LA

CALIDAD DE LAS UNIVERSIDADES AL CONTEXTO DE UNAUNIVERSIDAD CON ESTRUCTURA MATRICIAL DE CENTROS Y

DEPARTAMENTOS: EL CASO DE LA UNIVERSIDADPOLITÉCNICA DE CATALUÑA

LLUÍS JOFRÉ I ROCA (0)JORDI ROTGER ESTAPÉ (*)

INTRODUCCIÓN

En estos últimos años la universidadespañola se halla sometida a profundoscambios debidos, básicamente, a la granmasificación que ha soportado y a la cadavez mayor exigencia de la sociedad haciaesta institución. La universidad debe darrespuesta a los problemas planteados porla universalización del servicio y por la ma-yor trascendencia de su impacto social.Para ello desde diferentes instancias se handesarrollado iniciativas dirigidas a incre-mentar los niveles de excelencia a fin deequipararlos a los estándares de las gran-des universidades europeas. En esta línease debe inscribir la introducción progresivade la «cultura de la evaluación» como unode los pensamientos básicos que impulsanlos procesos de mejora continua de la cali-dad en nuestro sistema universitario.

El Consejo de Universidades ha desa-rrollado una importante actividad en la di-fusión de la importancia que tiene laevaluación como instrumento para la me-jora en las universidades. Un claro resulta-do donde confluyen los esfuerzos de todos

(*) Universidad Politécnica de Cataluña.

Revista de Educación, núm. 316 (1998), pp. 329-339

los agentes lo encontramos en la respuestacon que las universidades españolas hancontestado a la convocatoria del Plan Na-cional de Evaluación de la Calidad de lasUniversidades (PNE).

La UPC ha participado en los distintosproyectos de evaluación promovidos en elámbito europeo, estatal y de la comunidadautónoma, y en todos los casos con unaimplicación en su participación al máximonivel:

• en el Plan Experimental de Evaluación• en el Plan Piloto Europeo de Evalua-

ción de la Enseñanza Superior• en el actual Plan Nacional de Evalua-

ción de la Calidad de las Universida-des, promovido por el Consejo deUniversidades y en Cataluña por la«Agencia per a la Qualitat del SistemaUniversitari a Catalunya».La participación de la UPC en estas ex-

periencias así como su grado de implica-ción en las mismas reflejan abiertamente lapreocupación de nuestra institución por lacalidad. Esta preocupación también tieneuna vertiente interna, la cual se refleja enlos diversos acuerdos que sobre temas re-

329

lacionados con la mejora cle la calidad sehan ido aprobando en los últimos Claus-tros Generales, y que son los que hanmarcado las líneas maestras de nuestra ac-tuación en este campo. Entre otras actua-ciones, se han dado los siguientes pasos:

• Referente a la evaluación:—Se ha definido un marco global

para la evaluación de la docencia, apartir del cual:• Se ha redefinido la encuesta de

los estudiantes y de los titulados.• Se ha definido una encuesta para

conocer la opinión de los estu-diantes sobre las asignaturas.

• Se han fijado las bases para laevaluación cruzada entre centrosy departamentos.

— Se han definido mecanismos para laevaluación de la actividad investiga-dora y de transferencia tecnológica.

—Se han definido mecanismos para laevaluación de los quinquenios do-centes.

—Se han definido criterios para elcambio de tipo retributivo del pro-fesorado asociado.

—Se ha definido un nuevo marcopara la evaluación del Personal deAdministración y Servicios.

• Referente a la explicitación de objetivos:—Se aprobó el Plan Estratégico de la

UPC, en el que se definía la misión ylas lineas estratégicas de la universidad.

— Se ha iniciado la planificación estra-tégica de los centros, departamen-tos e institutos.

—Se han elaborado Planes Sectoria-les, como por ejemplo: el Plan deRelaciones Internacionales, el Plande Medio Ambiente, el Plan Escherde las Bibliotecas...

—Se inició la elaboración de planesde mejora de los servicios.

• Referente a la toma de decisiones:—Se reformuló el presupuesto de la

universidad estructurándolo por

programas y explicitando los objeti-vos perseguidos y sus indicadores.Se han consolidado los mecanismosde asignación de recursos a partirde los resultados obtenidos, básica-mente en las partidas descentraliza-das de las unidades, pero tambiénen las que hacen referencia a ayu-das a la investigación y a los meca-nismos de asignación de plantillas.

La planificación estratégica y la intro-ducción de procesos de evaluación pro-movidos por la Administración Pública,son dos elementos básicos que configuranla actualidad de la UPC. Consciente de estarealidad el Claustro General del 1996 apro-bó una moción que dice:

La Universidad Politécnica de Cataluñamanifiesta su voluntad de colaborar con laAdministración en el desarrollo de herra-mientas para la evaluación de la calidad delas universidades, aprovechando su parti-cipación en las experiencias previas. Estasherramientas se han de adaptar a las espe-cificidades de las diferentes instituciones afin de que éstas puedan ser utilizadascomo mecanismo interno para la mejora ycomo mecanismo externo para la rendi-ción de cuentas.

La experiencia adquirida a través de laparticipación en las sucesivas propuestasque desde la administración educativa sehan ido promoviendo así como su propiaexperiencia en procesos de evaluación in-terna ha permitido que la UPC evolucionehacia formulaciones del proceso de eva-luación que se ajustan mejor a su estructu-ra organizativa, consiguiendo de estemodo una mayor rentabilidad del esfuerzoque un proceso de estas característicasrepresenta en cualquier organización.

EL MARCO PARA LA EVALUACIÓNEN LA UPC

La voluntad que como institución pú-blica tiene la UPC por posicionarse frente ala realidad de nuestro entorno, juntamente

330

con la exigencia cada vez más evidente,tanto por parte de nuestro entorno social,como por el de la propia comunidad uni-versitaria, de una mejora en la calidad denuestras instituciones hace imprescindiblela definición de políticas que permitanavanzar en esta dirección. Esto exige unamayor claridad en la definición de los ob-jetivos, en su priorización, en la valoraciónde los resultados obtenidos y en el conoci-miento del grado de satisfacción de los dis-tintos usuarios respecto de los serviciosofrecidos. Todos estos elementos son bá-sicos para la gestión de la calidad, que seha de entender como una filosofía degestión orientada a reducir la distanciaentre lo que se espera de nosotros y loque ofrecemos.

Para avanzar en el camino de la cali-dad, la UPC se dotó de su propio Sistemade Calidad, basado en la evaluación, laplanificación y las acciones de mejora. Elcarácter cíclico de este proceso permiteque las unidades puedan acceder al mismoen cualquiera de sus fases, ya que hay queconsiderarlo como un sistema dinámico demejoras que puede integrar distintas inicia-tivas y niveles de desarrollo estratégico delos centros, departamentos, institutos, ser-vicios y personas.

Los instrumentos que sustentan cadauna de las fases del sistema son, básica-mente, los nombrados en la introducciónde este documento junto con otros que es-tán pendientes de implantación:

• Por lo que se refiere a la fase deplanificación, el Plan Estratégico dela UPC ha facilitado la generaciónde los Planes Sectoriales, los Planesde Mejora de los Servicios y de losPlanes Estratégicos de las UnidadesEstructurales. Estos deben concre-tarse en objetivos por parte de lasunidades, y éstos a su vez posibili-tarán la fijación de objetivos paralas personas que integran dichasunidades. El Encargo Académicopara el profesorado y la fijación de

objetivos para el personal de admi-nistración y servicios son los instru-mentos previstos para la definiciónde los resultados esperados de laspersonas y que han de orientarse ala consecución de los objetivos desus respectivas unidades.

• En la fase de evaluación, es necesa-rio poner especial énfasis a las Me-morias de las Unidades y de lapropia Universidad. Estos instru-mentos han de ir adquiriendo unpapel preponderante en el procesode evaluación de las unidades.

• En la fase de mejoras, los Planes Es-tratégicos de las unidades y los Pla-nes de Mejora de los servicios hande ser los documentos que recojanlas propuestas de mejora, los planesde actuación y los mecanismos deevaluación de sus resultados.

EL MODELO PROPUESTO

Las universidades para avanzar en estecamino de la mejora de la calidad, tambiénhan adaptado metodologías propias deotros ámbitos como pueden ser las ISO ola de la European Foundation for the Qua-lity Management (EFQM). La UPC ha adop-tado un modelo basado en,la filosofía de laEFQM como marco instrumental de eva-luación, por considerar que es el que me-jor permite que las unidades puedangestionar la calidad de manera global y de-cidir sus planes de acción a fin de conse-guir mejorar la calidad. Esto significa queen los próximos protocolos, los actualescontenidos, se estructurarán y complemen-tarán, siguiendo la formulación propuestapor la EFQM, en los nueve elementos delmodelo: liderazgo, gestión del personal,política y estrategia, recursos, procesos,satisfacción del personal, satisfacciónde los clientes, impacto en la sociedady resultados.

331

El Claustro General de la UPC encargóa su Junta de Gobierno que elaborase unmodelo de evaluación de la institución quese pudiera integrar en el marco de la plani-ficación estratégica y de la mejora de la ca-lidad. Este modelo debería contemplar:

• Una evaluación horizontal, regularen el tiempo y basada fundamental-mente en el seguimiento de los in-dicadores de las actividades y de losplanes sectoriales más significativosde la universidad.Esta evaluación de los aspectoscuantitativos ha de basarse en la uti-lización de los indicadores que lainstitución usa habitualmente parael seguimiento de la actividad do-cente, de la actividad de investiga-ción y transferencia tecnológica,para el seguimiento del presupues-to por programas y los vinculados alos planes estratégicos, las activida-des y los planes sectoriales.

• Una evaluación vertical de las unida-des estructurales, más integradora ycualitativa, con una periodicidad liga-da a los ciclos de mejora previstos ensus respectivos planes estratégicos.Para esta evaluación vertical, la ex-periencia en procesos institucionales,el marco propio de evaluación y losinstrumentos descritos anteriormente,han permitido ir definiendo un siste-ma de evaluación propio que, aligual que el PNE, está basado en unproceso de evaluación interna que seformaliza en un documento de au-toevaluación que se somete poste-riormente al contraste externo de uncomité formado por académicos ypor representantes del entorno em-presarial vinculados a la actividadprincipal sujeto de evaluación.La elaboración de los autoinformesse hace a partir de una adaptaciónde las guías y protocolos propues-tos por el Consejo de Universidadesque se comentaran posteriormente.

En todo este proceso se consideraque las Memorias de las unidadesestructurales, donde se recoge elcompendio de toda la actividad quehan desarrollado a lo largo del año,han de ir tomando un papel cadavez más relevante.

Al definir este modelo se tomaroncomo punto de partida los siguientes crite-rios generales:

• Los objetivos del proceso de eva-luación debían de contemplarsebajo una doble vertiente, una inter-na para la mejora de la calidad yotra externa para la rendición decuentas.

• A fin de garantizar la eficiencia delproceso de evaluación, éste debede basarse en los principios de volun-tariedad de las unidades evaluadas, hade ser un proceso participativo y des-centralizado, global y significativoen su contenido, simple y de resul-tados consensuados.

• La metodología utilizada ha de ba-sarse en principios comunes de losdistintos sistemas europeos de eva-luación y por lo tanto debe contem-plar una evaluación interna y unaevaluación externa, ha de recogerla opinión de los clientes/usua-rios y ha de concluir con un in-forme final en el que se recojanlos puntos fuertes, los puntos dé-biles y las propuestas de cambioy mejora que deberán ser incorpo-radas en sus correspondientes planesestratégicos.

Esta introducción al modelo de eva-luación de la UPC debería servir para enmar-car la particular adaptación que desde estainstitución se ha hecho del modelo propues-to por el Consejo de Universidades.

Así pues, la idea básica es ajustar elproceso de evaluación propuesto tanto a larealidad organizativa de nuestra institu-ción, como al hecho de tratarse de una or-

332

ganización en pleno proceso de planifica-ción estratégica y con un determinado gradode madurez en la «cultura de evaluación».Partiendo de estos condicionantes se hallegado al modelo de evaluación que seexpone a continuación.

LA ESTRUCTURA ORGANIZATIVA DE LAUPC Y LAS UNIDADES BÁSICAS DEEVALUACIÓN

La promulgación de la LRU condujo ala UPC a modificar su estructura organiza-tiva para adaptarse a los nuevos requisitosque aquélla exigía. La opción escogidarepresentó un profundo cambio que con-solidó un sistema claramente matricial conun protagonismo distribuido entre centrosy departamentos. Hoy el profesorado de laUPC se agrupa en 38 departamentos y ladocencia se imparte en 15 centros. Estadistribución comporta que la mayoría delos departamentos impartan docencia enmás de un centro, cuatro de media, con ladificultad, en general, de poder vincularun departamento a un centro y más aún auna titulación.

El hecho de que no se pueda asociarun centro a cada departamento es la difi-cultad básica con la que se encuentra unaorganización matricial como la nuestra a lahora de aplicar los protocolos del Plan Na-cional de Evaluación de la Calidad de lasUniversidades donde se vincula la evalua-ción de la docencia de una titulación conla investigación desarrollada por el o losdepartamentos mayoritarios en aquellatitulación.

En nuestro modelo organizativo, sóloseis departamentos de los 38 existentes,tienen su actividad docente restringida aun solo centro.

Por esta razón, en nuestra institución,la asociación de departamentos a titulacio-nes presenta distintas dificultades, comopor ejemplo:

• la posible marginación del procesode evaluación de departamentosque imparten asignaturas comunesen varias titulaciones y que puedenconformar una unidad de gran im-portancia a nivel global de universi-dad aunque no sea mayoritario enninguna titulación,

• o bien que se evalúe diversas vecesa un mismo departamento por re-sultar mayoritario en más de unatitulación.

Obviamente estos casos son fácilmen-te identificables y corregibles, pero tam-bién se dan problemas más complejoscomo:

• departamentos mayoritarios enuna titulación siendo el profesora-do del departamento implicado enella minoritario y poco significati-vo en el conjunto de profesoresdel departamento.

Ante casos como éste se hace difícilpensar que pueda existir una asociaciónunívoca entre la actividad investigadoradesarrollada por el departamento y la do-cencia impartida por un grupo minoritariodel mismo en la titulación considerada.

En universidades donde los departa-mentos estén mucho más vinculados a loscentros, los ejemplos comentados difícil-mente pueden producirse, ya que el mo-delo de evaluación propuesto se adecúamejor a su organización interna, pero enmodelos organizativos con departamentoshorizontales, que imparten docencia envarios centros distintos, generalmente seproducirán disfunciones de la misma índo-le que las que aquí se han expuesto.

Éstas son algunas de las consideracio-nes que nos llevaron a pensar que aceptaresta vinculación no sustentaría un modelode evaluación adecuado a nuestra reali-dad y nos condujo a acercar la evalua-ción de la actividad docente y laevaluación de la actividad investigadora asus unidades responsables.

333

En el marco de la evaluación de la adi-vidad docente se analizan los distintos fac-tores que intervienen en el procesointrínseco de la generación y desarrollo delplan de estudios de una titulación concre-ta, a la vez que se evalúan las políticas ylos servicios de soporte necesarios parahacer viable la implantación de dicha titu-lación. En los casos en que la titulaciónque se esté evaluando sea la única que seimparte en un determinado centro, quedaclaro que las políticas que define el centroasí como los servicios de soporte a la acti-vidad docente que éste ofrezca son los dela titulación. En los centros donde se im-parten distintas titulaciones, difícilmente sepodrán distinguir e identificar los servi-cios propios de una titulación o sus políticasespecíficas.

Por ello consideramos conveniente to-mar el centro como unidad de evaluaciónpara la actividad docente reglada, especifi-cando inequívocamente cuál de sus titula-ciones es el objeto central del proceso deevaluación.

Si en la evaluación de la docencia con-sideramos el centro como unidad de evalua-ción es lógico plantearnos al departamentocomo unidad de evaluación de la investi-gación, aunque no sea ésta la única activi-dad propia de los mismos.

Al hablar de docencia universitaria de-bemos distinguir los distintos tipos de en-señanza que desde estas instituciones seofrecen: la reglada, la de doctorado, la detercer ciclo, los títulos propios y la vincula-da a la formación continua. Un análisis delcontenido de la propuesta del PNE nos in-dica que su objetivo básico en cuanto a laevaluación de la docencia se centra en laevaluación de la docencia reglada, dejan-do a un lado las otras actividades docentes.

Si consideramos como unidades bási-cas de evaluación los centros y los depar-tamentos, podremos recuperar alguno delos elementos clave en la actividad univer-sitaria no recogidas en la propuesta dePNE, ya que al analizar la actividad de los

departamentos no se puede obviar la rela-cionada con el doctorado y el tercer cicloen general.

Si considerásemos como unidades deevaluación únicamente a los centros y a losdepartamentos, dejaríamos fuera del mo-delo a todos aquellos servicios que se ofre-cen de manera centralizada. Por esto, en elmodelo adaptado por la UPC se definentres unidades de evaluación: los centros,los departamentos y los servicios universi-tarios comunes.

Con esta propuesta, la evaluación delos servicios contenida en la propuesta dePNE queda, en gran parte, incorporada a lade la unidad responsable de su gestión seael centro o el departamento. Unicamentedeberán tratarse de modo específico aque-llas políticas que se gestionan de un modocentralizado.

Con esta elección entendemos que lapropuesta se ajusta mejor a la estructuraorganizativa de la institución y que los su-jetos del proceso de evaluación son a suvez los que tienen la capacidad de llevar acabo las propuestas de mejora que se pue-dan inferir del mismo.

PROTOCOLOS PROPUESTOS

Una vez decididas las nuevas unidadesbásicas de evaluación, tuvo que empren-derse la tarea de ajustar los protocolos pro-puestos en el PNE a la nueva estructuracióndefinida para dar una respuesta más apro-piada a la estructura organizativa de laUPC. En este proceso se procuró en todomomento mantener los contenidos funda-mentales contenidos en los protocolos delPNE, así como el de conservar los mismoscontenidos en la información que ha deconfigurar el soporte cuantitativo de losautoinformes.

Los protocolos surgidos de estas refle-xiones son los que se comentan a conti-nuación.

334

LA EVALUACIÓN DE CENTRO/TITULACIÓN

Al evaluar una titulación en un centroconcreto evaluamos por un lado, el diseñoy el desarrollo del plan de estudios de la ti-tulación considerada y por otro las políti-cas y los servicios de soporte a la actividaddocente ofrecidos por el centro.

Para ello se ha desarrollado un proto-colo que mantiene los contenidos del pro-tocolo de docencia del PNE, añadiendobásicamente un apartado de valoración delos servicios y otro que trata de la relacióncon los departamentos. Analizamos losapartados propuestos:

Los primeros apartados han de servirpara situar el centro y la titulación en elcontexto de la universidad y de su entornosocial y conocer su posicionamiento estra-tégico:

• Contexto institucional.• Metas y objetivos.Los tres apartados siguientes están de-

dicados a evaluar los elementos intrínsecosdel proceso de implantación y desarrollode la titulación:

• El programa de formación.• El desarrollo de la docencia.• Los resultados de la docencia.Los otros dos apartados están dedica-

dos a evaluar las políticas seguidas para lacaptación, integración en la institución ypreparación para su inserción en el merca-do laboral así corno sus resultados:

• Los estudiantes.• Los titulados.

Si los estudiantes son los actores bási-cos del proceso docente, el profesorado essu agente fundamental y por lo tanto de-ben analizarse tanto las relaciones entre elcentro y los departamentos que impartendocencia en él, como la propia actividaddel profesorado y el soporte que el centroles da para el correcto desarrollo de su ac-tividad. De aquí se derivan los apartadossiguientes:

• La relación del centro con los de-partamentos implicados en sus titu-laciones.

• El profesorado asignado al centro.En los siguientes apartados se evalúan

las instalaciones de que dispone el centroasí como sus recursos y servicios. Los ser-vicios a que hace referencia este apartadoson los propios del centro, o sea, los servi-cios básicos de soporte a la docencia: ma-triculación, punto de información,reprografía, salas de estudio, biblioteca,etc. Para su evaluación se han diseñadoprotocolos específicos en los que juega unpapel preponderante la percepción delusuario:

• Instalaciones y recursos.• Valoración de los servicios.En todos los protocolos elaborados se

ha procurado centrar su contenido en te-mas que sean de la competencia de la uni-dad evaluada, evitando pronunciamientossobre áreas que sean responsabilidad deotras instancias. Esta reflexión, que consi-deramos básica, puede serlo todavía máscuando se trata de personas. Por lo tanto elsiguiente apartado debe de aplicarse úni-camente en los casos en los que se cumpladicha premisa:

• El personal de administración y ser-vicios.

La valoración de la relación entre elcentro evaluado y su entorno social y uni-versitario se contempla en el penúltimoapartado de este protocolo:

• Relaciones externas.El último apartado tiene carácter de re-

sumen donde se agrupan las fortalezas ydebilidades detectadas en el proceso deevaluación del centro:

• Puntos fuertes y débiles.Estos epígrafes son los que configuran

el protocolo de centro propuesto. Está cla-ro que es difícil recoger la complejidad delas tareas que puede desarrollar un centroy que el protocolo comentado recoge las

335

actividades básicas de los mismos. Paraevaluaciones más complejas se consideranotros protocolos adicionales.

Una de las aportaciones importantesde la reforma de los planes de estudio es laciclicidad. Por esta razón, y en el marco dela evaluación de la docencia, debemos si-tuar el protocolo de evaluación de la cicli-cidad, que con carácter optativo se ofrecea los centros que evalúan titulaciones sus-ceptibles de ser centros generadores decandidatos a cursar algún segundo ciclo obien a centros que imparten segundos ci-clos a los que se puede acceder desde de-terminados segundos ciclos. Para aplicareste protocolo debe cumplirse que ambastitulaciones, la generadora de la demanday la teórica receptora de la misma, estén deacuerdo en aplicarlo. En este protocolo separte de un análisis de los datos existentessobre la demanda y del grado de satisfac-ción de la misma. Una vez determinada lapoblación objeto de estudio, estudiantesdel segundo ciclo procedentes del primerciclo considerado, se analiza su rendimien-to, comparándolo con el de otros estudian-tes procedentes de otras vías de acceso, yse recoge su opinión respecto al grado deadecuación entre los planes de formación.Otros elementos objeto de análisis son lavaloración que se hace del proceso detránsito entre las dos titulaciones, sobre lacoordinación entre ellas y sobre la inciden-cia que tienen los estudiantes procedentesdel primer ciclo en el planteamiento do-cente del segundo ciclo.

LA EVALUACIÓN DE LOS DEPARTAMENTOS

A diferencia del protocolo de centrosque mantiene una estructura muy parecidaal de la evaluación de docencia propuestoen el PNE, los protocolos usados para laevaluación de los departamentos y servi-cios no satisfacen esta condición. La razónpor la cual sólo se han evaluado dos de-partamentos y un servicio horizontal hay

que buscarla en el carácter experimentalde la propuesta. La buena acogida expre-sada tanto por los miembros de las propiasunidades como por los expertos externos,nos permite intuir que los protocolos con-siderados están en la dirección correcta.

El protocolo de evaluación de losdepartamentos mantiene grandes para-lelismos con el utilizado en la evalua-ción de los centros, especialmente enlos puntos más generales, las lógicas di-ferencias aparecen en las valoraciones desus actividades.

Los dos primeros apartados guardanuna gran similitud con los primeros apar-tados contenidos en el protocolo de do-cencia del PNE y en el de centros antescomentado:

• Descripción del contexto propio deldepartamento.

• Los objetivos del departamento:cómo se han formulado y cómo sepretenden alcanzar.

Con los dos siguientes apartados se pre-tende valorar el tratamiento que el departa-mento da a los temas relacionados con lacontratación y formación del profesorado:

• Los procedimientos internos de pre-visión, selección y seguimiento delpersonal académico.

• La formación del personal académico.A continuación se aborda la valoración

de las actividades básicas de los departa-mentos, que no son otras que la de susprofesores, o sea, la docencia, la investiga-ción y la transferencia tecnológica. La do-cencia reglada de ler. y 2 9 se diseña yestructura desde los centros, pero la impar-ten desde los departamentos, por lo tantoésta debe ser considerada como una de susactividades capitales:

• La investigación y la transferen-cia tecnológica realizada por eldepartamento.

• Respecto a la docencia:• La organización de la enseñanza

reglada de l cr y Y ciclo.

336

• La docencia de 3er ciclo.• La docencia de postgrado.

• Repercusión de la actividad de in-vestigación en la docencia.

Al igual que en el protocolo de centrolos dos últimos apartados se dedican uno ala evaluación de sus recursos e instalacio-nes y el otro a hacer un recuento de lasfortalezas y debilidades detectadas a partirdel proceso de evaluación:

• Instalaciones y recursos.• Puntos fuertes y débiles.Para la cumplimentación de este pro-

tocolo se ponen a la disposición de losevaluadores encuestas para conocer el gra-do cíe satisfacción con las condiciones detrabajo existentes y el nivel de integracióndel personal académico en el departamen-to, así como encuestas dirigidas a conocerla valoración que los estudiantes hacen dela actividad docente del departamento encada una de sus modalidades. Las encues-tas cruzadas entre centro y departamentopermitirán conocer la opinión que unaunidad tiene respecto de la otra.

LA EVALUACIÓN CRUZADA ENTRE CENTRO YDEPARTAMENTO

La investigación y la transferencia tec-nológica son actividades de gran importan-cia por sí mismas y como tales formanparte de las obligaciones del profesoradouniversitario, y por esto se les dedica unapartado completo del protocolo para suevaluación. La evaluación de estas activi-dades tiene muchos antecedentes y por lotanto existen metodologías para su valora-ción. Otra cosa muy distinta es valorar lainfluencia de la actividad investigadora enla calidad de la actividad docente.

Para poder disponer de elementos quenos permitan valorar el impacto que la ac-tividad investigadora tiene sobre la actividaddocente, hemos agrupado las titulacionesque la UPC imparte en grandes subáreas,

(tecnologías de la producción, tecnologíasde la información y la comunicación, civily de la construcción y la científico-técnica)y hemos hecho esta misma agrupaciónpara los departamentos, un departamentopertenece a la subárea en la que desarrollamayoritariamente su actividad docente. Deeste modo tendremos agrupados los de-partamentos responsables de un grupo detitulaciones, y los departamentos implica-dos en distintas subáreas pasaran a ser mi-norita rios. Al considerar estas nuevasagrupaciones se tendrá la oportunidad deestablecer posibles correlaciones entre laactividad docente y la investigadora.

La valoración de la influencia de la ac-tividad investigadora del profesor o del de-partamento en el desarrollo de su actividaddocente se plantea a partir de la evalua-ción cruzada entre centro y departamento,y se realiza mediante la cumplimentaciónde dos cuestionarios:

• Uno por parte del centro, en el quese analiza el desarrollo de la activi-dad académica del departamentoen el centro y se valora la inciden-cia de su actividad investigadora yde transferencia tecnológica en suquehacer docente.

• Otro por parte del departamento,en el que se analizan las propuestasformativas del centro, su propuestametodológica, la infraestructura dela que dispone y su organizacióndocente.

Con estas encuestas, que se proponeque sean cumplimentadas por los respon-sables de las unidades, se pretende dotar alas unidades implicadas de otro elementode contraste que posibilite la mejor com-plementación entre la actividad docente yla investigadora.

LA EVALUACIÓN DE LOS SERVICIOS

Los objetivos prioritarios que se pre-tenden cubrir con la evaluación de los ser-

337

vicios universitarios son, por un lado laadecuación de los mismos a los objetivosde la institución y por el otro el grado desatisfacción de sus usuarios.

Para su elaboración se siguieron lassugerencias emanadas de los modelos másvigentes entorno a la evaluación de la ges-tión (ISO 9004-2, EFQM, Malcom Baldridge,modelo econométrico ASCII), que conside-ran que cualquier proceso de mejora debepartir de la percepción que los clientes tie-nen de dicho servicio.

La convocatoria del PNE nos llevó a laadaptación del modelo a la metodologíaque lo caracteriza, un proceso de evalua-ción interna (autoevaltiación) y una pos-terior evaluación por parte de expertosexternos.

El marco metoclológico propuesto secompone de las siguientes partes:

• Detección de los clientes/usuariosdel servicio e identificación de lasprestaciones.

• Encuestas a los distintos colectivosde clientes/usuarios para conocersu nivel de satisfacción respecto elservicio recibido y el proceso deprestación.

• Análisis de la integración de los ob-jetivos del servicio con los objetivosde la UPC.

• Medida cle los indicadores de activi-dad del servicio.

• Entrevistas con el personal del ser-vicio para analizar el marco de traba-jo en que se desenvuelven, siguiendolas directrices de la ISO 9004-2.

De este modo obtenemos:

• Información subjetiva (basada enpercepciones).

• Información objetiva (basada en in-dicadores y en información cielmarco habitual de trabajo).

• De calidad interna (cumplimientode las normas ISO y eficiencia enindicadores).

• De calidad externa (la percibida porlos clientes del servicio).

La elaboración de las encuestas asícomo su tratamiento se realiza por parte deun equipo técnico que elabora su informe.Este informe sirve de base para que unacomisión interna, en la que están presentesresponsables políticos del servicio y repre-sentantes de las distintas categorías delpersonal adscrito al mismo, analice los re-sultados del informe y haga propuestas demejora.

El informe técnico, el análisis del mis-mo y las propuestas de mejora elaboradaspor la comisión conforman el informe deautoevaluación que deberá ser contrastadopor la comisión de expertos externos.

LOS PLANES DE MEJORA

La evaluación no es una finalidad en símisma, sino que es un medio para la con-secución de un objetivo: la mejora. Delcontraste entre los informes internos y ex-ternos ha de elaborarse el informe final enel que, como elemento prioritario, se ha dehacer constar los puntos fuertes y débilesde la unidad así como las propuestas demejora acordadas. Estas propuestas de me-jora han de configurar la base de las actua-ciones futuras cle la unidad evaluada, y lavaloración del grado de cumplimiento de es-tas propuestas ha de ser objetivo principaldel siguiente proceso de evaluación.

El camino escogido para la detecciónde las debilidades y fortalezas cle las uni-dades y la elaboración de propuestas demejora, puede considerarse un proceso untanto complicado, pero debe de reconocér-sele también grandes ventajas. La mayor deéstas (ventajas) hay que buscarla en el hechode que este proceso propicia la participaciónde todo el colectivo implicado tanto en ladetección de debilidades y fortalezas, cornoen la adopción de las medidas que de ella sederiven. Esto debe de considerarse cornouna garantía de que el análisis y sus resul-

338

tados sean ampliamente consensuados porparte de todos los implicados.

La consecución de este consenso de-bería facilitar la puesta en marcha de laspropuestas de mejora planteadas. El pasode las propuestas a acciones concretas,con sus responsables, sus indicadores decumplimiento y su prioridad es un procesocomplejo pero absolutamente básico parapoder garantizar el éxito de la propuesta.

El logro de los objetivos contenidosen los planes de mejora o los planes es-tratégicos surgidos de este proceso deevaluación deben de ser los puntos departida de la próxima iteración. El gra-do de cumplimiento de estas propues-tas será sin duda la mejor valoración deeste proceso en el que la gran mayoríade las universidades españolas se hanimplicado.

339