1

Medición de la Calidad en Programas de Postgrado

Álvaro E. Padilla Omiste, PhD.1

“….la garantía de calidad es una función esencial en la enseñanza superior contemporánea y debe contar con la participación de todos los interesados”.

Comunicado de Conferencia Mundial sobre la Educación Superior - 2009: La nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo (UNESCO, 2009).

Contenido

Introducción .................................................................................................................. 21. El concepto de medición de la calidad de programas de postgrado ........................ 42. Marco referencial de la medición de la calidad de los programas de postgrado ..... 43. Medición de la calidad .............................................................................................. 64. Marco normativo de la medición de la calidad del postgrado .................................. 7

4.1. Leyes de la Dirección Educacional .................................................................... 74.2. Leyes de la Cualimetría ..................................................................................... 8

5. Conclusiones .......................................................................................................... 126. Referencias ............................................................................................................ 13

Resumen: El trabajo presenta y discute las posibilidades innovadoras en la medición de la calidad de programas de formación de postgrado, a partir de la aplicación de modelos como el de la AUIP. Para ello, se sustenta en las leyes de la Cualimetría así como las de la Dirección Educacional Institucionalizada, ambas ciencias relativamente recientes.

Palabras clave:

Medición, Calidad, Postgrado, Cualimetría.

1 Álvaro E. Padilla Omiste, Cochabamba, Bolivia. Email:apadilla@icloud.com

2

Introducción

Vivimos tiempos signados por el paradigma de la calidad. Se habla mucho de calidad de productos, procesos industriales y servicios. La naturaleza universal e imperativa de una tendencia expansiva del uso de la cuantificación como una importante herramienta cognitiva ya fue sucintamente expresada por Galileo: “Medir lo que es medible y hacer medible lo que no lo es”.

Del lat. qualitas, -atis, la calidad es un concepto abstracto, que la Real Academia Española de la Lengua define como un carácter atributivo: “La propiedad o conjunto de propiedades inherentes a una cosa, que permiten apreciarla como igual, mejor o peor que las restantes de su especie”.

El concepto de calidad ha evolucionado en el tiempo, haciendo que tanto lo referente a su función como a su ámbito como a su objeto de control, hayan variado hasta nuestros días.

Muchas de las actuales teorías económicas así como las prácticas económicas habituales, emplean en éste contexto interpretaciones ambiguas y comunes para términos como calidad. Adoptamos para este ensayo el concepto de calidad entendido en general como un modelo de gestión y un estilo de dirección que se implanta en empresas e instituciones que buscan ser o mantenerse como líderes, incluyendo entre ellas a las universidades.

En educación la calidad es conceptualizada como “la expresión viva de los valores, logros y aspiraciones a las que tiene derecho una comunidad”, siendo sus protagonistas los maestros, estudiantes, autoridades y sociedad en general (Villarruel Fuentes, 2010). El concepto es cada vez más empleado en términos de la Dirección Educacional Institucionalizada, una de las ciencias de la educación más recientes.

UNESCO señala puntualmente que: “La garantía de calidad es una función esencial en la enseñanza superior contemporánea y debe contar con la participación de todos los interesados”; y que ésta “es una tarea que exige, tanto la implantación de sistemas para garantizar la calidad, de pautas de evaluación, así como el fomento de una cultura de la calidad en los establecimientos” (UNESCO, 2009).

La medición de la calidad atañe fundamentalmente a todos los procesos propios de la educación superior, particularmente a aquellos que dan como resultado la formación de los talentos humanos que demanda la sociedad. La evaluación de la calidad de los programas de grado o “carreras”, con fines de ajuste, mejora y/o acreditación es cada vez más aceptada y practicada por las universidades latinoamericanas. Así mismo las Instituciones de Educación Superior enfrentan actualmente la exigencia social de evaluar y acreditar la calidad de los programas a nivel de postgrado, entendido éste como: “proceso formalizado, orientado a transformar la realidad y a sus propios participantes, mediante la integración de

3

actividades científico docentes y laborales en el más alto nivel de la enseñanza”, que tiene la finalidad de formar especialistas altamente calificados en campos específicos del conocimiento y del ejercicio profesional, así como docentes y científicos que respondan a la demanda social (Añorga Morales et al., 1994).

Dentro de los modelos de evaluación de la calidad de programas o carreras de pregrado más destacados en la región, se encuentran el “Sistema ARCUSUR”, originado en el Mecanismo Experimental de Acreditación, MEXA del Mercosur Educativo (MERCOSUR, 2001, 2008), que funcionó entre el 2002 y el 2007; y el modelo del Sistema Centroamericano de Evaluación y Armonización de la Educación Superior, SICEVAES, generado por el Consejo Superior Universitario Centroamericano (CSUCA, 2006).

Una característica común de estos y otros modelos iberoamericanos de evaluación de la calidad de la educación superior es que se sustentan sobre bases eminentemente cualitativas, conduciendo por ello esencialmente a evaluaciones con un alto grado de subjetividad.

En otras latitudes (sistemas y universidades anglosajones) predominan modelos dominantemente cuantitativos, esto es, basados fundamentalmente en objetivos, que han posibilitado el desarrollo de los cada vez más difundidos rankings de calidad.2

Los modelos señalados han sido diseñados esencialmente sobre las variables, dimensiones e indicadores propios de la evaluación de la calidad de los programas de formación a nivel de pregrado y no pueden automáticamente aplicarse al postgrado.

El postgrado se conceptualiza como los estudios superiores que pueden ser cursados por profesionales que posean un título de educación superior. Con estos estudios se aspira a desarrollar una mentalidad innovadora y creativa, así como capacidades en los individuos para la renovación continua de sus conocimientos y para el cambio permanente de su práctica profesional, conformada por dos vertientes de trabajo: la formación académica (maestrías, doctorados y post-doctorados) y la especialización.

El presente trabajo resume la preocupación de vincular la medición de la calidad de programas de formación profesional en Bolivia y en otros ámbitos (Mercosur y CSUCA-SICEVAES), así como el postgrado (AUIP), con las leyes que sustentan las ciencias de la educación. Para ello, se presenta una propuesta de aplicación de una ciencia relativamente reciente: la Cualimetría, que permite la vinculación dialéctica de los aspectos subjetivos y objetivos de la medición de la calidad, sin perder las perspectivas académica y pedagógica de tal desafío.

2 Nos referimos a los Rankings, como THE, QS, Universia, Webometrics y otros.

4

1. El concepto de medición de la calidad de programas de postgrado

La medición de la calidad de los programas de postgrado está conectada directamente con los procesos universitarios en una lógica referencial irrebatible, al tiempo que se muestra un camino eficaz para medir la calidad a partir de un balance entre los aspectos objetivos y subjetivos.

Conceptualizamos la medición de la calidad de un programa de postgrado como: “el momento central del proceso de evaluación, que compara un marco normativo académico, para la emisión de juicios de valor respecto de las capacidades y logros del programa y en correspondencia con ello, sustentar la toma de decisiones encaminadas a mejorar los insumos, productos y procesos propios de la Dirección Universitaria”.

2. Marco referencial de la medición de la calidad de los programas de postgrado

Evaluar la calidad del postgrado, trátese de un programa (especialidad, maestría, doctorado) o de una organización de formación de postgrado implica dificultades propias que son abordadas desde hace bastante tiempo por instituciones como la Asociación Universitaria Iberoamericana de Postgrado (AUIP), a cuyos desarrollos nos referimos en esta exposición.

La Asociación Universitaria de Postgrado (AUIP), es una organización conformada por más de 130 instituciones de educación superior de España, Portugal, Latinoamérica y el Caribe, cuyo objetivo principal es el de promover estudios de Postgrado y Doctorados en Iberoamérica y actualmente constituye un marco general de referencia para la evaluación y acreditación de los programas de postgrado en Iberoamérica.

Para la AUIP el reconocimiento de la calidad de un programa de postgrado es un proceso por el cual se verifica el cumplimiento de requisitos mínimos de calidad, siendo útiles para su mejora y ajustes, así como para su reconocimiento público y acreditación de la calidad del programa en cuestión.

La AUIP (Abreu, Cruz, & Martos, 2014) considera tres niveles de formación de postgrado: Especialización, Maestría Académica o de Investigación, Maestría Profesional y Doctorado.

El proceso de evaluación de la calidad comprende las siguientes variables: 1) estudiantes; 2) profesores; 3) plan de formación; 4) investigación científica, desarrollo tecnológico, innovación y desempeño profesional de calidad; 5) gestión; 6) entorno y

5

pertinencia; 7) egresados e impacto; y 8) evaluación y mejora continua. Estas variables se operativizan de la siguiente manera:

y se ponderan con la lógica que se muestra en el mapa mental de la Figura 1

Figura 1. Ponderación de Variables AUIP

Fuente: Elaboración propia

6

3. Medición de la calidad

Con el surgimiento de la Cualimetría en 1968 (Azgaldov, 1971; Azgaldov & Azgaldova, 1971; Glichev, Panov, & Azgaldov, 1968), disponemos de una ciencia que busca “medir lo no medible” y que hoy en día se constituye en una herramienta para mejorar la eficiencia en cualquier actividad (Azgaldov, Kostin, & Padilla Omiste, 2015).

El término cualimetría (del Latín qualis, “de qué tipo” y del Griego µέτρησης, “para medir”) fue inicialmente aplicado a una disciplina científica encargada del estudio de la metodología y los problemas de la evaluación cuantitativa de la calidad de diversos objetos, principalmente productos industriales. Con el crecimiento de la conciencia acerca de la necesidad de expandir su campo de aplicación, pasando de la calidad del producto, que era el foco de algunos investigadores, a la calidad de los objetos, sea cual fuese su naturaleza; incluyendo objetos socio-económicos y dentro de estos, los servicios, hasta objetos tan abstractos y sensibles como la educación.

En la medición y el control de la calidad por vía cualimétrica se consideran varias categorías o características:

Objeto: una cosa, un proceso, un producto; en nuestro caso un programa o una organización (programa, escuela, departamento universidad) de postgrado.

Propiedad: una característica o peculiaridad de un objeto, que se pone de manifiesto durante su uso, consumo, funcionamiento, o aplicación; por ejemplo, en el caso del postgrado, la creación, uso o aplicación de conocimiento, el desarrollo y/o mejora de la competitividad del profesional, el posicionamiento político, académico o financiero de la organización, etc.

Calidad: Es una propiedad que representa un conjunto de aquellas y únicamente aquellas propiedades, tanto deseables como indeseables, que caracterizan los resultados del uso, consumo o desarrollo de un objeto o servicio (un programa u organización de postgrado), excluyendo sus costos de creación, financiamiento y consumo o uso.

Se incluyen en esta característica sólo las propiedades asociadas a los resultados obtenidos por el consumo o uso de un objeto y no aquellas que tienen que ver con los costos necesarios para el logro de dichos resultados.

Rentabilidad: Este es un concepto aplicable a toda acción económica en la que se movilizan unos medios materiales, humanos y financieros con el fin de obtener unos resultados (la organización y funcionamiento de un programa o unidad de formación postgradual no escapa a esta característica). Comprende la totalidad de las propiedades que caracterizan el empleo de capital para los procesos que se llevan adelante: los de enseñanza-aprendizaje, de I+D y los de

7

vinculación con el entorno social (la conocida “Tercera Misión” de las universidades). Esta es la categoría que permite medir, principalmente, la viabilidad económica y financiera de un programa de postgrado y que tiene mucha importancia, tanto en los programas que surgen de emprendimientos privados (universidades privadas), como también de los públicos (universidades públicas).

Como quiera que normalmente los consumidores o usuarios sólo se preocupan por la calidad de un objeto o servicio, ignorando su rentabilidad (los participantes del programa de postgrado) o a la inversa (los gobernantes, o los directivos o socios de la institución), es necesario contar con una característica o categoría que comprenda el conjunto completo de propiedades, tanto las asociadas al consumo de un objeto o uso de un servicio (su calidad) como los costos en los que se incurre (su rentabilidad). Denominamos a esta característica: Calidad integral, que definimos como la propiedad de un objeto o servicio que representa la suma de su calidad y su rentabilidad.

4. Marco normativo de la medición de la calidad del postgrado

4.1. Leyes de la Dirección Educacional

La medición de la calidad recae en el ámbito de acción de una de las más recientes ciencias de la educación: la Dirección Educacional Institucionalizada.

Según Bringas, J. las leyes de la Dirección Educacional son las mismas leyes del proceso docente - educativo, sólo que expresadas en el plano formal de las relaciones de dirección.” (Bringas Linares, 1999):

1) Ley de la pertinencia social de la Dirección. Al igual que el proceso docente – educativo, debe cumplir con el encargo social asignado. De acuerdo con esta ley, las necesidades de la sociedad con la entidad educativa se presentan como problema, el cual determina el carácter de su dirección y se traduce en determinadas visión y misión, de las cuales se derivan el resto de los componentes del proceso directivo, como la planificación y evaluación.

2) Ley de la conjugación armónica entre lo social e individual. Considera en el mismo nivel de importancia la satisfacción de las necesidades sociales, como las personales. Esta relación es reiterada y esencial, ya que en el centro de ambos procesos se halla el ser humano.

3) Ley de la integración y diferenciación. Establece las relaciones internas entre los componentes de la Dirección, mediante la tríada que se muestra en la Figura 2.

8

Figura 2. Integración y Diferenciación de los Componentes de la Dirección

4.2. Leyes de la Cualimetría

Las leyes de la Cualimetría permiten asegurar un balance apropiado entre lo objetivo (cuantitativo) y lo subjetivo (cualitativo), y la comparabilidad (desarrollo de estándares). Sus relaciones esenciales se producen entre lo cualitativo-cuantitativo, objetivo-subjetivo, planificado-logrado, aseguramiento de la calidad y gestión y rendición de cuentas (accountability).

Aplicación de las leyes de la Cualimetría

Se resumen a continuación algunos principios derivados de las mencionadas leyes.(Padilla Omiste, 2012)

1) La calidad es una combinación de las propiedades de los objetos, asociadas con su uso y finalidad, que aparecen durante su consumo.

2) Algunas de la propiedades, simples o complejas pueden ser medidas por el indicador absoluto Qi (i=1,n), donde 𝑛 = 𝑛! de propiedades valorables del objeto. El valor resultante del parámetro Q puede expresarse en las unidades específicas de cada propiedad, cuyas mediciones pueden ser hechas por metrología, juicio experto o aplicación de métodos analíticos específicos.

3) Todas las propiedades que constituyen la cualidad forman una estructura jerárquica que toma la forma de un “árbol de calidad”, donde la propiedad más compleja constituye la raíz del árbol y las propiedades más simples ocupan las ramas.

4) Para comparar propiedades medidas en diferentes escalas, se emplea Ki, un parámetro relativo adimensional que refleja el grado de aproximación del indicador absoluto Q con los valores de referencia 𝑄!!"# y de rechazo 𝑄!!"# establecidos de antemano. Las medidas relativas están descritas por la

9

relación 𝐾! = 𝑓 𝑄,𝑄!!"#,𝑄!!"# , que en el caso de un método cualimétrico simplificado puede ser representado por la función de normalización:

𝐾! =𝑄! − 𝑄!!"#

𝑄!!"# − 𝑄!!"#

5) Para comparar la importancia relativa de todas las propiedades pertenecientes al "árbol de propiedades" se utilizan los coeficientes adimensionales de ponderación 𝐺!. Por conveniencia usualmente se toma: 0 < 𝐺! < 1 , así como 𝐺! = 1!

!!! . Los factores de ponderación son calculados por juicio experto o empleando métodos analíticos específicos.

6) El resultado de una evaluación cuantitativa de la calidad se expresa por un indicador 𝜑 (función aditiva): 𝐾! = 𝜑 𝐾! ,𝐺!𝐾! . Cuando se aplica un método cualimétrico simplificado(Azgaldov et al., 2015), la función puede expresarse por la fórmula: 𝐾! = 𝐾! 𝐾!!

!!! 𝐺!

Árboles de Calidad

Cuando el árbol de evaluación de la calidad responde al modelo cualimétrico simplificado, (que es el caso del modelo pedagógico y cualimétrico de esta presentación), el mismo que tomando como base la operacionalización de las Variables AUIP, se describiría como sigue:

Calidad del Programa de formación de postgrado: "𝑲𝒌"

𝐾! = 𝑓 𝜑,𝑄!𝐾! ,𝐺! → 𝜑 ∗ 𝐾!

!

!!!

∗ 𝐺!

Donde:

𝐾!: es la estimación cuantitativa de la calidad del programa

𝜑 : es el Parámetro de calidad aditiva

𝑄! : es el Parámetro cuantificable en unidades determinadas

𝐾! : es un Normalizador del parámetro 𝑄! (adimensional)

𝐺! : es un Factor de ponderación, que denota la importancia del parámetro.

Variable: "𝑸𝒙"

Para la Variable 1:

Parámetro absoluto: 𝑄!!"# < 𝑄! < 𝑄!!"#

Parámetro normalizado: 𝐾! =!!!!!!"#

!!!"#!!!!"#

10

Factor de Ponderación (importancia): 0 < 𝐺! < 1

Calidad Aditiva:

𝜑 = 𝜑!! ∗ 𝐾!! ∗ 𝐺!! + 𝜑!" ∗ 𝐾!" ∗ 𝐺!" +⋯+ 𝜑!! ∗ 𝐾!! ∗ 𝐺!!

asi, sucesivamente.

Aspecto: "𝑸𝒙𝒚"

Para el Aspecto 1 de la Variable 1: "𝑄!!"

Parámetro absoluto: 𝑄!!!"# < 𝑄!! < 𝑄!!!"#

Parámetro normalizado: 𝐾!! =!!!!!!!!"#

!!!!"#!!!!!"#

Factor de Ponderación (importancia): 0 < 𝐺!! < 1

Calidad Aditiva:

𝜑!! = 𝜑!!! ∗ 𝐾!!! ∗ 𝐺!!! + 𝜑!!" ∗ 𝐾!!" ∗ 𝐺!!" +⋯+ 𝜑!!! ∗ 𝐾!!! ∗ 𝐺!!!

así, sucesivamente

Sub-aspecto: "𝑸𝒙𝒚𝒛"

Para el Sub-aspecto 1 del Componente 1 de la Dimensión 1: "𝑸𝒙𝒚𝒛"

Parámetro absoluto: 𝑄!!!!"# < 𝑄!!! < 𝑄!!!!"#

Parámetro normalizado: 𝐾!!! =!!!!!!!!!!"#

!!!!!"#!!!!!!"#

Factor de Ponderación (importancia): 0 < 𝐺!!! < 1

Calidad Aditiva: 𝜑!!! = 𝜑!!!! ∗ 𝐾!!!! ∗ 𝐺!!!! + 𝜑!!!" ∗ 𝐾!!!" ∗ 𝐺!!!" +⋯+ 𝜑!!! ∗ 𝐾!!!! ∗ 𝐺!!!!

Indicador: "𝑸𝟏𝟏𝟏𝟏" Para el Indicador 1 del Criterio 1 del Componente 1 de la Dimensión 1: "𝑄!!!!"

Parámetro absoluto: 𝑄!!!!!"# < 𝑄!!!! < 𝑄!!!!!"#

Parámetro normalizado: 𝐾!!!! =!!!!!!!!!!!!"#

!!!!!!"#!!!!!!!"#

Factor de Ponderación (importancia): 0 < 𝐺!!!! < 1

etc.

En la Figura 3 se ilustra un árbol de calidad correspondiente a esta descripción.

11

Figura 3. Arbol Cualimétrico de Calidad de un Programa de Postgrado

Fuente: Elaboración propia

12

5. Conclusiones

Por razones de una creciente demanda social de rendición de cuentas (accountability) y competitividad, las universidades precisan demostrar su calidad así como mejorar y acreditar sus programas de formación, tanto a nivel de pregrado como de postgrado.

La evaluación es históricamente uno de los procesos básicos de la educación y se constituye en problema, objeto y campo de acción de Pedagogía, la Didáctica y otras ciencias de la educación más recientes, como la Dirección Educacional Institucionalizada.

Los actuales modelos de evaluación empleados por las universidades de la región, como los del Mercosur Educativo y el SICEVAES para medir la calidad de los programas de formación, principalmente a nivel de pregrado, se caracterizan por su alta subjetividad y no son fácilmente replicables para medir la calidad en el nivel de postgrado.

La Cualimetría, o ciencia de la medición de la calidad, proporciona un sustento teórico y metodológico adecuado para evaluar la calidad de una variedad de objetos y servicios, como los programas de formación de postgrado de las universidades, dado que permite lograr un adecuado balance entre los aspectos subjetivos (cualitativos) y objetivos (cuantitativos) de tan delicada tarea.

El modelo AUIP cuenta con respaldo científico y el suficiente desarrollo y aplicación en la evaluación de los programas de postgrado en Iberoamérica y ofrece posibilidades de innovarse aplicando herramientas que ofrece la Cualimetría, mejorando así la credibilidad y la confiabilidad de sus resultados.

Cochabamba, Bolivia, 02 de noviembre de 2015.

Álvaro E. Padilla Omiste.

13

6. Referencias

Abreu, Luis Felipe, Cruz, Víctor, & Martos, Francisco. (2014). Guía de Autoevaluación 6a. Edición (AUIP Ed. 6 ed.). Salamanca, España: AUIP.

Añorga Morales, Julia, Robau Shelton, Dora Luisa, Magaz Cáceres, Giselda, Caballero Cárdenas, Elvira, De Toro González, Aida Julia, & Capote Obregón, Rosa María. (1994). Glosario de Términos de la Educación Avanzada. (pp. 31). La Habana: CENESEDA.

Azgaldov, Garry Gaikovich. (1971). Use value and it's measurement. Moscú, Rusia: Economics.

Azgaldov, Garry Gaikovich, & Azgaldova, L. (1971). Quantitative assessment of quality (qualimetry). Moscú, Rusia: LABRATE.

Azgaldov, Garry Gaikovich, Kostin, Alexander V, & Padilla Omiste, Alvaro E. (2015). The ABC of Qualimetry, Toolkit for measuring the immeasurable. Moscow, Russia: Ridero.

Bringas Linares, José Antonio. (1999). Propuesta de modelo de planificación estratégica universitaria. (Doctor en Ciencias Pedagógicas Tesis doctoral), Universidad Pedagógica Enrique José Varona, La Habana.

CSUCA. (2006). Documentos CSUCA. San Salvador.: Universidad de El Salvador.

Glichev, A.V., Panov, V. P, & Azgaldov, G.G. (1968). What is Quality? . Moscú: Ekonomika.

MERCOSUR. (2001). ACTA 1/2001. Reunión de Agencias Nacionales de Acreditación, RANA. Santiago de Chile.

MERCOSUR. (2008). Manual de procedimientos del Sistema ARCUSUR 2008-2010 (pp. 34). San Miguel de Tucumán, República Argentina: MERCOSUR EDUCATIVO.

Padilla Omiste, Alvaro Enrique. (2012). Autoevaluación de la Calidad de Programas Universitarios de Formación Profesional. Cochabamba, Bolivia: Gráfica "JV" Editora.

UNESCO. (2009, 08/07/2009). La nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo. Paper presented at the Conferencia Mundial sobre la Educación Superior 2009, Paris.

Villarruel Fuentes, Manuel. (2010). Calidad en la Educación Superior: Un análisis reflexivo sobre la gestión de sus procesos en los centros educativos de

14

América. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación., 8(5), 110-118.