Evaluación de la calidad de la educación mediada por las tecnologías de la información y la comunicación. El caso mexicano.

Francisco Javier Chávez MacielMaría del Refugio Barrera Pérez

Profesores del Instituto Politécnico Nacional

ResumenEn este trabajo se sintetizan algunos de los resultados del proyecto interinstitucional de investigación “Calidad, evaluación y acreditación de la educación mediada por las TIC” que tiene como objetivo el análisis comparativo de los enfoques de calidad y evaluación, así como de las buenas prácticas, criterios e indicadores aplicados en la valoración y acreditación de la calidad de los programas educativos mediados por las TIC. Se describen los orígenes del debate sobre la calidad educativa en las modalidades mediadas por TIC, se describen algunas de las propuestas mexicanas que se han construido para evaluarla y se identifican algunos puntos de la agenda pendiente para la evaluación y acreditación de programas educativos mediados por las TIC.

Palabras clave: Educación mediada por TIC, Calidad, Evaluación, Acreditación.

Introducción

La evaluación de la calidad de la educación mediada por TIC se está dando en un contexto mundial caracterizado, entre otras, por una tendencia evaluadora de bienes y servicios en los ámbitos públicos y privados derivada de los cambios vertiginosos en el entorno económico, social y político inherentes a las sociedades del conocimiento que exigen transformaciones radicales en los sistemas educativos en todas sus modalidades y formas. Por otra parte, es ya un lugar común afirmar que esta tendencia evaluadora de la calidad en los bienes y servicios proviene del ámbito económico y se ha transpolado al campo de la educación en general (Santana, 2007; Sarramona, 2004) y específicamente al de la educación mediada por las TIC en sus múltiples formas (educación a distancia, teleformación, educación virtual, e-learning, b-learning, m-learning, etc.). Describir aunque sea sumariamente cómo se ha dado esta transición hasta llegar a las múltiples formas en la que se manifiesta la educación mediada por TIC, es el propósito que anima el presente trabajo. Para ello se describirán muy brevemente los elementos contextuales que la enmarcan, los factores que están exigiendo la evaluación de su calidad, los enfoques y modelos evaluativos que se están aplicando y la agenda pendiente para el caso mexicano.

El contexto de la evaluación de la calidad educativa

La evaluación de la calidad de la educación mediada por las TIC se está dando en el marco del “Estado evaluador” (Neave, 1991), que ha sido sucesor del “Estado planificador” de los años setentas del siglo pasado cuyos resultados fallidos en educación para América Latina resumió Ander Egg (1994) en términos de “superávit de planes y déficit de acciones”. En el ámbito mexicano la tendencia evaluadora del Estado, bajo los principios de la rendición de cuentas y la transparencia, se ha manifestado en políticas educativas reiteradas y traducido en la creación de múltiples agencias y programas evaluadores públicos y privados, que se orientan a la acreditación, certificación y diagnósis de instituciones, programas y personas, muchos de ellos relacionados con la asignación de recursos públicos. Para el caso mexicano Díaz Barriga (2010) resume muy bien la proliferación de programas relacionados con la evaluación en el ámbito educativo articulada, en la mayoría de los casos, a la asignación de recursos públicos, cuyo resumen se presenta en la siguiente tabla:

1

Tabla 1: Principales programas de evaluación de instituciones, programas educativos y personas

vigentes en México. 2011

Programa Objetivo Instancia que lo opera

Programa integral de fortalecimiento institucional

Impulsar estrategias de planeación y evaluación institucional para la calidad y apoyar con recursos económicos

Subsecretaría de Educación Superior

Ingreso a la FIMPES Contribuir a elevar la calidad educativa de las instituciones afiliadas

Federación de Instituciones Mexicanas Particulares de Educación Superior A.C.

Evaluación de programas educativos

Evaluar por pares académicos programas de licenciatura y posgrado con fines diagnósticos

Comités Interinstitucionales para la Evaluación de la Educación Superior A.C.

Acreditación de programas educativos

Otorgar un reconocimiento oficial a la calidad de programas de educación superior

Organismos evaluadores acreditados por el COPAES A.C.

Programa nacional de posgrados de calidad

Evaluar programas de posgrado para ingreso al Padrón de posgrados de calidad

Consejo Nacional de Ciencia y Tecnología

Sistema Nacional de Investigadores

Evaluar la producción de los investigadores, otorgarles un reconocimiento oficial y estimularlos económicamente

Consejo Nacional de Ciencia y Tecnología

Becas al desempeño docente

Otorgar un estímulo económico a los profesores mediante la evaluación a su desempeño docente

Secretaría de Hacienda/ Instituciones de educación superior

Carrera docente Evaluar el desempeño docente para promoción de categoría académica

Secretaría de Hacienda/ Instituciones de educación superior

Programa para el Mejoramiento del Profesorado

Apoyar económicamente la obtención del grado y la infraestructura requerida

ANUIES/SES

Examen de ingreso a Evaluar el rendimiento Centro Nacional de

2

diversos niveles educativos

académico de los estudiantes para el ingreso a un nivel educativo

Evaluación de la Educación Superior A.C.

Examen de egreso Permitir la titulación de los egresados

Centro Nacional de Evaluación de la Educación Superior A.C.

Certificación de competencias

Certificar competencias laborales de las personas, con base en Estándares de Competencia (EC) publicadas ante el CONOCER.

Centro Nacional de Evaluación de la Educación Superior A.C.

ENLACE Evaluar la calidad de los aprendizajes de los estudiantes de los niveles básico y medio con fines diagnósticos.

Secretaría de Educación Pública

Fuente: Concentrado y actualización a partir de Díaz Barriga, Ángel y Teresa Pacheco (comps.) (2007). Evaluación y cambio institucional. Paidós. Pág.62

Cada uno de los programas mostrados aplica obviamente diversos procedimientos, criterios e indicadores en función de los propósitos pretendidos.

El surgimiento rápido de la educación mediada por las TIC en México se enmarca en este contexto de énfasis evaluador y se potencia adicionalmente a partir de los siguientes factores: a) el crecimiento impresionante tanto de ofertas educativas nacionales como transfronterizas b) la relativa desconfianza imperante de diversos sectores de la sociedad respecto a la educación a distancia c) las limitaciones y lagunas normativas nacionales para la regulación de la calidad de estas modalidades y c) el reciente reconocimiento público dentro de las políticas educativas nacionales e institucionales como opciones para ampliar la cobertura con calidad y equidad.

Crecimiento de la educación a distancia en México

A principios de esta década el Diagnóstico de la Educación Superior a Distancia, publicado en 2001 por la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), reporta que el 85 % de las instituciones afiliadas ofrecían programas educativos en esta modalidad a nivel de educación media, superior y posgrado, en los que se atendían a 13 mil estudiantes: 52% en licenciatura; 12 % en posgrado y 36 % en medio superior.

Actualmente, las ofertas educativas a distancia se han diversificado y, según información recabada de los portales de internet de instituciones que publicitan sus programas educativos, se observa un crecimiento imponente de programas y matrícula de estudiantes. Por ejemplo el Espacio Común de Educación Superior a Distancia, que agrupa a 39 universidades públicas, presenta en su portal una oferta de 57 programas de licenciatura y uno de Doctorado.

Por su parte, la Secretaría de Educación Pública a través de un Programa de Educación Superior Abierta y a Distancia, ofrece 13 programas de técnico superior universitario y 12 de licenciatura que atiende a más de 57 mil estudiantes.

Respecto a la educación media superior abierta y a distancia, el sistema de estadísticas continuas de la Secretaría de Educación Pública reporta un crecimiento impresionante de la

3

matrícula en este nivel educativo, según se muestra en la tabla siguiente, en la que, sin embargo, no se incluye la matrícula de los bachilleratos universitarios a distancia:

Tabla 2: Crecimiento de la educación media superior abierta y a distancia. 2009

Subsistema Alumnos Activos %Prepa Abierta 189,117 40.9%Sistema Tecnológico Abierto y a Distancia 159,123 34.4%Educación Media Superior a Distancia (EMSAD) 76,074 16.5%Certificación Acuerdo 286 29,659 6.4%

Colegio de Bachilleres DF a Distancia 7,368 1.6%Semiescolarizado (SEAD) 1,015 0.2%Total 462,356 100.0%

Fuente: Secretaría de Educación Pública (2009). Sistema de estadísticas continuas.

Por otra parte, habrá que considerar la proliferación de ofertas educativas transfronterizas a distancia, cuya magnitud de alumnos atendidos resulta complejo cuantificar.

Varios autores (García Aretio, 2001) señalan una serie de factores que han propiciado el surgimiento y desarrollo de las modalidades de enseñanza-aprendizaje abiertos y a distancia:

El incremento de la población.

Los procesos de democratización social que exigen mayor igualdad de oportunidades.

El aumento de la demanda social por educación. Nuevos grupos sociales emergentes han empezado a exigir atención a sus necesidades básicas, entre las cuales está la educación y fue necesario atender a sectores que por razones de tipo económicas, geográficas, de género, de edad u otras no estaban en condiciones de asistir a centros de educación formales.

La incapacidad de la educación formal para dar respuesta a estas demandas.

Los cambios en los paradigmas educativos en el sentido de que la educación no sólo se recibe en la institución escolar sino que se trata de un proceso al cual se debe tener acceso durante toda la vida, y al que las instituciones educativas convencionales no están en condiciones de responder. Esta necesidad de siempre estar aprendiendo, se empezó a manifestar en gran número de trabajadores que necesitaban actualizarse a través de la educación permanente dentro de sus centros de trabajo.

La necesidad de combinar educación y trabajo.

El alto costo de los sistemas de educación tradicionales que limita cubrir la demanda, y sostener los costos de la educación.

Los avances tecnológicos en el campo de la comunicación y de la informática.

Por otra parte, el crecimiento de la educación a distancia y las ofertas educativas transnacionales se han caracterizado en México por realizarse sin normas nacionales mínimas que cuiden la calidad y pertinencia respecto a las necesidades del país. Además, a pesar de que desde décadas pasadas la política educativa ha enfatizado la necesidad de evaluación, acreditación y certificación de programas educativos y de personas mediante organismos establecidos para ello, los procedimientos y estándares específicos para las modalidades abiertas y a distancia apenas han empezado a construirse y a aplicarse como se detallará más adelante.

4

Credibilidad de la educación a distancia

En amplios sectores de la población en general y en los académicos en particular se debate la credibilidad que pudieran tener las ofertas educativas a distancia en el sentido de si tiene trascendencia, si produce aprendizajes similares, inferiores o superiores a la ofrecida convencionalmente.

Este debate se incrementó a raíz de la publicación del reporte de Phipps, Ronald A. and Jamie P. Merisotis. What´s the difference? A review of contemporary research on the effectiveness of distance learning in higher education que apareció en 1999, bajo los auspicios del Institute for Higher Education Policy y también a partir de la publicación del libro de Thomas Russell The No Significant Difference Phenomenon. En ellas se analiza la efectividad de la educación a distancia en comparación con la ofrecida cara a cara y concluyen, contrario a lo que muchos esperaban, en la similitud de los resultados de aprendizaje entre ambas modalidades.

Posteriormente Lundberg, Castillo y Dahmani (2008) analizando diversos estudios comparativos concluyen que más que la modalidad de impartición, el éxito de aprendizaje en los estudiantes en ambas modalidades, depende de otros factores que habrá que investigar, y que hipotéticamente podrían ser: la motivación, los métodos de enseñanza, el tiempo dedicado al estudio, etc.

Sin embargo, sigue vigente en nuestro medio una generalizada percepción de que la educación a distancia constituye una modalidad educativa de escasa calidad. Por ello, surge la imperiosa necesidad de desarrollar investigaciones rigurosas para valorar la calidad educativa en la educación mediada por TIC, bajo qué condiciones se da en sus insumos, procesos y resultados, así como difundirlas para revertir las percepciones negativas en los sectores de la población que desconfían de ella.

La evaluación de la calidad de la educación a distanciaPor lo dicho anteriormente en varios países, sobre todo en Estados Unidos y en Europa, diversas agencias y programas se han dado a la tarea de identificar los estándares de la calidad educativa en las ofertas a distancia y on line y de adoptar una postura ante organismos acreditadores como el Distance Education and Training Council (DETC)1, el Council for Higher Education Accreditation (CHEA)2, la European Network for Quality Assurance in Higher Education (ENQA)3 y Open and Distance Learning Quality Council (ODLQC)4, la European Association of Distance Teaching Universities (EADTU)5. Estos organismos han elaborado o promovido la creación de directrices, estándares, criterios e indicadores de calidad para los programas educativos mediados por las tecnologías de la información y las comunicaciones (TIC).

En América Latina, en el marco de la Red Iberoamericana para la Acreditación de la Calidad de la Educación Superior (RIACES)6 ha sobresalido el Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia (CALED)7, con sede en la Universidad Técnica Particular de Loja, Ecuador, que ha construido una extensa propuesta de criterios, subcriterios, objetivos e indicadores para la calidad. También han sobresalido las propuestas del Consejo Nacional de Acreditación de Colombia que desde 2006 ha establecido

1 Véase http://www.detc.org/2 Véase http://www.chea.org/3 Véase http://www.enqa.eu/4 Véase http://www.odlqc.org.uk/odlqc/index.htm5 Véase http://www.eadtu.nl/6 Sitio web http://www.riaces.net/7 Su sitio web es http://www.utpl.edu.ec/caled/

5

“indicadores para la autoevaluación con fines de acreditación de programas de pregrado en las modalidades a distancia y virtual”8

Los modelos de evaluación que han sobresalido para valorar la calidad de la educación a distancia se han inspirado en los siguientes:

Modelo de la Fundación Europea de Gestión de la Calidad (EFQM).

Modelo de la Fundación Iberoamericana para la Gestión de la Calidad (FUNDIBQ).

Modelo de Malcolm Baldrige.

El Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia realizó ajustes y adecuaciones a los anteriores dando como resultado el “Modelo CALED”, que se ilustra en la siguiente figura:

Figura 1: Modelo CALED

Fuente: Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia (2010). Creación y puesta en marcha del CALED. Universidad Técnica Particular de Loja. Ecuador.

De cada uno de los nueve criterios se derivan subcriterios, objetivos, estándares que se traducen en 333 indicadores.

Desde nuestro punto de vista, estos modelos surgidos de la lógica del mundo empresarial en el contexto de las corrientes de la filosofía de la calidad total se han extrapolado con algunos ajustes al mundo de la educación en general y, en particular, al de la educación a distancia, sin haber considerado suficientemente la lógica de los procesos educativos en general y, en particular, las peculiaridades de las modalidades educativas mediadas por las TIC. Por otra parte han enfatizado enfoques cuantitativistas de raigambre positivista como si el número de indicadores a cumplir fuera directamente proporcional a la calidad educativa. Se descuida el planteamiento de que la calidad no depende tanto de la cantidad de los indicadores que se cumplan sino de su calidad, relevancia y significancia.

8 Véase http://www.cna.gov.co/1741/articles-186376_ind_ae_acr_prog_preg_mod_dis_vir.pdf

6

Propuestas metodológicas para valorar la calidad de la educación a distancia en México

En nuestro país de entre las diversas propuestas que se han discutido, solamente han prosperado y se han aplicado formalmente la de los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) que persigue propósitos de diagnóstico, la del Consejo Nacional de Ciencia y Tecnología (CONACYT) que valora la calidad de los posgrados a distancia con el objeto de incorporarlos al Programa Nacional de Posgrados de Calidad (PNPC) y la de la Federación de Instituciones Mexicanas Particulares de Educación Superior (FIMPES) que orienta su actividad a evaluar instituciones educativas exclusivamente particulares con el propósito de acreditarlas como miembros de esta asociación federada y para ello establece criterios de elegibilidad, entre los que se encuentran los referidos a la educación a distancia. A continuación se abundará más sobre cada una de las propuestas.

Criterios e indicadores de los CIEES

Los CIEES fueron creados en 1991 como organismos de carácter no gubernamental, cuyas función específica es la evaluación diagnóstica interinstitucional de programas académicos, mediante metodologías y marcos de evaluación que comprenden un amplio repertorio de categorías y componentes, en cuya definición se han tomado en cuenta criterios y estándares internacionales. Aún cuando en el momento de su creación también se le atribuyó la función de acreditación de programas, en la actualidad su función se restringe a la evaluación diagnóstica.

Los CIEES están integrados por nueve comités colegiados, a saber:1. Comité de Administración y Gestión Institucional2. Comité de Artes, Educación y Humanidades3. Comité de Ciencias de la Salud 4. Comité de Ciencias Sociales y Administrativas   5.  Comité de Ingeniería y Tecnología6.  Comité de Arquitectura, Diseño y Urbanismo  7.  Comité de Ciencias Agropecuarias  8.  Comité de Ciencias Naturales y Exactas   9.  Comité de Difusión, Vinculación y Extensión de la Cultura

Cada uno de los comités establece marcos de referencia específicos para su área de conocimiento y se aplican a los programas educativos presenciales. No existe un comité para las modalidades a distancia, pero se elaboró un documento metodológico para evaluar programas educativos en esta modalidad que ha tenido dos ediciones. La última fechada en 2009 se denomina “Metodología General para la Evaluación de Programas de Educación Superior a Distancia.2010”. El documento contiene, entre otros:

1. Un marco conceptual de la educación a distancia2. Lineamientos para estructurar el informe de autoevaluación3. Una Tabla Guía de autoevaluación que contiene los indicadores agrupados en 4

ejes y once categorías (ver tabla Tabla 3), así como un instructivo para su utilización.

4. Contiene, además, varios instrumentos complementarios como: a) cuestionario para apoyar la autoevaluación b) tablas de contenido de las carpetas de verificación y un glosario.

7

Tabla 3: Clasificación de los indicadores establecidos por los CIEES según categorías y ejes

Eje Categoría Indicadores

Intencionalidad 1. Normatividad y políticas generales2. Planeación-evaluación 10

Estructura 3. Modelo educativo y plan de estudios4. Alumnos5. Personal académico6. Servicios de apoyo a los estudiantes

31

Infraestructura 7. Instalaciones, equipo y servicios 11

Resultados 8. Trascendencia del programa9. Productividad académica10. Vinculación con los sectores de la sociedad11. Aplicación de la plataforma tecnológica

28

Fuente: Comités Interinstitucionales para la Evaluación de la Educación Superior (2009). Metodología General para la Evaluación de Programas de Educación Superior a Distancia.2010.

El proceso de evaluación comprende varias fases que se pueden agrupar como sigue:1. La decisión institucional para solicitar formalmente a los CIEES evaluar alguno de

sus programas académicos (licenciatura o posgrado).2. Autoevaluación del programa académico por parte de los responsables de éste y

con base en los indicadores enunciados. La autoevaluación se concretiza en un informe estructurado y detallado por indicador con sus respectivas evidencias documentales (medios de verificación) y en cada una de las 11 categorías se realiza un análisis FODA incompleto (fortalezas y debilidades) que desemboca en acciones para superar las debilidades y consolidar las fortalezas de la categoría en cuestión. Al final del informe se realiza una autovaloración global del programa académico. El informe se entrega a los Comités de Pares

3. Evaluación externa por pares académicos (un experto en educación a distancia y otro en contenidos disciplinarios) que revisan el informe de autoevaluación, visitan la institución, corroboran las evidencias documentales en cada uno de los indicadores y obtienen información complementaria de diversas fuentes para sustentar sus juicios de pares. La evaluación se traduce en un informe de evaluación externa que se envía al Comité de Pares correspondiente.

4. Dictaminación por parte del Comité de Pares correspondiente, realizada a partir de los informes de autoevaluación y de evaluación externa que ubica el programa académico evaluado en alguno de los tres niveles.

5. Elaboración de recomendaciones de mejora y su entrega formal a la institución.6. Seguimiento de las recomendaciones.

Los CIIES clasifican los programas evaluados en tres niveles: Nivel 1 correspondiente a los programas que cumplen satisfactoriamente todos

los indicadores establecidos en la Tabla Guía. Nivel 2 que se otorga a los programas que no cumplen a cabalidad los

indicadores pero que podrían lograrlo en un periodo de uno o dos años y Nivel 3 asignado a los programas que requerirían tres o más años para satisfacer

los indicadores completos.

8

Criterios del CONACyT

El CONACyT fue creado el 29 de diciembre de 1970 como un organismo público descentralizado federal responsable de elaborar las políticas de ciencia y tecnología en México. Dentro de sus múltiples programas opera el denominado Programa Nacional de Posgrados de Calidad (PNPC) que fue creado con la misión de “fomentar la mejora continua y el aseguramiento de la calidad del posgrado nacional, que dé sustento al incremento de las capacidades científicas, tecnológicas, sociales, humanísticas, y de innovación del país”. Desde su creación se orientó a los posgrados ofrecidos convencionalmente en la modalidad presencial. Pero a partir del 2011 incluyó los posgrados a distancia, aunque no para todas las orientaciones y niveles.

En el PNPC se clasifican los programas de posgrado por vertiente, nivel y orientación como se muestra en la tabla siguiente:

Tabla 4: Clasificación de los programas del Padrón Nacional de Posgrado

Vertiente Nivel Orientación

Padrón Nacional de Posgrado

(PNP)

Competencia internacional Investigación

Consolidado

Programa de Fomento a la Calidad

(PFC)

En desarrollo

ProfesionalReciente creación

Fuente: Consejo Nacional de Ciencia y Tecnología (2011). Marco de Referencia para la Evaluación y Seguimiento de Programas de Posgrado en la Modalidad No-Escolarizada (a Distancia). Pág. 27

Al respecto el CONACyT considera solamente a los posgrados a distancia que se pudieran ubicar en los niveles de “Competencia Internacional”, “Consolidados” y “En Desarrollo” y que correspondan a programas de especialización o de maestría con orientación “profesional”. Los programas a distancia de doctorado y de maestría orientados a la investigación no son considerados para formar parte del PNPC.

El proceso de evaluación y seguimiento para el ingreso al PNCP comprende tres fases como se explica en el Marco de Referencia:

1. La evaluación “ex ante” que incluye una autoevaluación y su respectivo plan de mejora.

2. La evaluación externa que implica pre-evaluaciones, una evaluación plenaria, una evaluación in situ y un seguimiento o evaluación intermedia.

3. La evaluación “ex post” en cuanto a la evaluación de resultados y del impacto del programa de posgrado admitido al PNPC.

El proceso de ingreso al PNPC inicia con la solicitud institucional que se cumplimenta en línea a través del llenado de pantallas que piden información específica sobre:

La planeación institucional del posgrado. La autoevaluación del programa de posgrado de acuerdo con los criterios y

subcriterios establecidos. La página WEB del programa a evaluar y La información estadística del programa.

En el Marco de Referencia para la Evaluación y Seguimiento de Programas de Posgrado en la Modalidad No-Escolarizada (a Distancia) se establecen los criterios, subcriterios y estándares que deben cumplir las especializaciones y maestrías para ingresar al PNPC y se encuentran clasificados en categorías como se muestra en la tabla siguiente:

9

Tabla 5: Categorías, criterios y subcriterios de CONACyT para evaluar posgrados a distancia

Categoría Criterios Subcriterio

Estructura del Programa Plan de estudios Justificación del programa Objetivos y metas Perfil de ingreso Perfil de egreso Congruencia del plan de

estudios Mapa curricular Actualización del plan de

estudios Opciones de graduación Idioma

Proceso de enseñanza aprendizaje

Flexibilidad curricular Evaluación del desempeño

académico de los estudiantes

Estudiantes

Ingreso Selección de estudiantes

Trayectoria escolar

Movilidad

Becas mixtas Codirección de tesis Cursos con valor curricular Participación en eventos

académicos

Tutorías y/o asesorías

Dedicación exclusiva al programa

Personal académico Núcleo académico básico

Perfil Tiempo de dedicación Distinciones académicas Organización académica Programa de superación Evaluación del personal

académico

Líneas de generación y/o aplicación del conocimiento

Congruencia Participación de los

estudiantes

Infraestructura

Espacios y equipamiento Aulas Espacios para profesores y

estudiantes

Laboratorios y talleres Espacios, equipos y servicios Materiales y suministros Programación y utilización

Información y documentación Biblioteca e instalaciones Acervos y servicios

Tecnologías de información y comunicación

Equipo e instalaciones Redes Atención y servicios

Trascendencia, cobertura y evolución del programa

Alcance y tendencia de los resultados

Cobertura Evolución

10

Resultados Pertinencia del programa Satisfacción de los egresados Proyección

Efectividad del programa Eficiencia terminal y de graduación

Contribución al conocimiento Investigación y desarrollo Tecnología e innovación Dirección de tesis Publicación de resultados Participación de profesores y

estudiantes en encuentros académicos

Retroalimentación de la investigación y/o del trabajo profesional al programa

Cooperación con otros actores de la sociedad

Vinculación Beneficios Cooperación académiica

Financiamiento Recursos aplicados a la vinculación

Ingresos extraordinarios

Plan de Mejora

Fuente: Consejo Nacional de Ciencia y Tecnología (2011). Marco de Referencia para la Evaluación y Seguimiento de Programas de Posgrado en la Modalidad No-Escolarizada (a Distancia). Pág. 33-35

Al término de cada categoría se presenta un auto análisis FODA de dos elementos (fortalezas y debilidades) con sus respectivas acciones para superar las debilidades y afianzar las fortalezas.

Criterios de la FIMPES

La FIMPES es una asociación civil creada en 1982 que agrupa actualmente a 109 instituciones particulares de educación superior con la misión de contribuir a elevar la calidad educativa institucional. Las instituciones particulares que libremente desean afiliarse a este organismo deberán cumplir con 10 criterios de elegibilidad y si imparten programas educativos a distancia deberán satisfacer adicionalemente un criterio once de acuerdo con el siguiente procedimiento:

1. Solicitud de ingreso 2. Envío de los requisitos de ingreso a la institución interesada.3. Integración del expediente y presentación al Consejo Directivo.4. Realización del diagnóstico5. Visita de verificación 6. Informe sobre la visita y recomendación. 7. Presentación de solicitud a la Asamblea General8. Resolución de la Asamblea General.

Los criterios de elegibilidad se especifican en rubros más operativos y se presentan como “debes” o deberes o estándares a cumplir. Un concentrado de los mismos se muestra en la tabla siguiente:

11

Tabla 6: Concentrado de criterios aplicados por la FIMPES para la eligibilidad de las instituciones

particulares que solicitan asociarse

Criterio Deberes1. Filosofía institucional 42. Planeación y efectividad 103. Normatividad, Gobierno y Administración 94. Programas académicos 475. Personal académico 316. Estudiantes 187. Personal administrativo 48. Apoyos académicos 169. Recursos físicos 1010. Recursos financieros 711. Educación a distancia 24

Fuente: Elaboración a partir de FIMPES (2011). Criterios de acreditación. En http://www.fimpes.org.mx/index.php?option=com_content&view=article&id=14&Itemid=21 Recuperado el 14 de marzo de 2011.

Cada uno de los criterios se desglosa en rubros y cada uno de éstos en “debes”. Al enfocarse al criterio once que establece los rubros y “debes” en torno a la educación a distancia se identifican los siguientes elementos referidos a la institución educativa:

Tabla 7: Concentrado de rubros y deberes que deben cubrir las instituciones educativas particulares que

tienen oferta educativa a distancia y desean afiliarse a la FIMPES

Rubro Deberes1. Congruencia con la

Misión Institucional Sea congruente con la misión institucional. Contar con un modelo pedagógico. Tener un proceso de planeación, programación,

presupuestación y normatividad. Garantizar la misma identidad institucional en sus materiales y

documentos. Contar con un fundamento académico y operativo.

2. Validez Oficial de Estudios

Haber registrado el programa ante instancias correspondientes.

Otorgue un reconocimiento con validez oficial.3. Admisión Estar claramente determinadas las características personales

y académicas de los estudiantes. Sean definidos, difundidos y aplicados los requisitos de

admisión.4. Profesorado Asegurar grado académico mínimo requerido por el perfil

educativo. Asegurar la capacitación pedagógica y técnica acorde a la

modalidad. Asegurarles beneficios, servicios, derechos y obligaciones a la

par que los presenciales.

12

5. Servicios de Apoyo a Estudiantes

Proveerles información académica, técnica y administrativa sobre el programa educativo.

Asegurar el acceso a recursos y medios necesarios para la modalidad.

Asegurar acceso a todos los servicios de apoyo, técnico, académico y administrativo la par que los presenciales.

Asegurar tiempos suficientes para que los alumnos desarrollen las actividades académicas en tiempo y forma.

Asegurar la migración a esquemas presenciales.6. Evaluación Establecer mecanismos continuos y sistemáticos para evaluar

la calidad de sus programas. Elaborar, difundir y aplicar un sistema de evaluación para los

docentes. Elaborar, difundir y aplicar un sistema de evaluación para el

aprendizaje. Elaborar estudios que le permitan identificar el índice de

retención y el grado de satisfacción estudiantil. Recabar y utilizar la opinión de sus profesores, egresados y

comunidad, para apoyar el diseño, revisión o actualización de los programas educativos.

Garantizar mecanismos de evaluación del desempeño académico estudiantil, competitivos y equivalentes a los de sistemas presenciales.

Extender a alumnos y egresados mismos derechos, cualidades y reconocimientos que en otras modalidades educativas.

Fuente: Elaboración a partir de FIMPES (2011). Criterios de acreditación. En http://www.fimpes.org.mx/index.php?option=com_content&view=article&id=14&Itemid=21 Recuperado el 14 de marzo de 2011.

Las instituciones educativas particulares con oferta educativa a distancia que satisfagan, además de los otros diez criterios mencionados, los rubros y sus “debes” anteriores serán elegibles para pertenecer a la FIMPES.

Pero aún con estos esfuerzos, cabe señalar que falta camino para llegar a un consenso reconocido por las instancias públicas y los organismos acreditadores en cuanto a los criterios e indicadores de calidad. Concretamente el Consejo para la Acreditación de la Educación Superior (COPAES) y las 27 instancias autorizadas para acreditar los programas de educación superior aún no cuentan con criterios e indicadores para acreditar programas educativos a distancia. Además no existen propuestas para la educación media y educación continua a distancia.

Consideraciones a las propuestas anteriores

Una revisión de las propuestas de criterios e indicadores aplicados a los programas educativos mediados por TIC en sus múltiples formas, nos induce a plantear las siguientes consideraciones:

Por lo común los criterios e indicadores aplicados y pensados para los servicios en general sin mayores distingos y aplicados a la educación cara a cara se transfieren acríticamente también a la educación a distancia con la idea de que la calidad es una para ambas.

Se advierte una tendencia al énfasis numérico de los indicadores, bajo el supuesto de que en cuanto mayor sea el número de indicadores a cumplir mayor será la calidad obtenida. Se descuida el planteamiento de que la calidad no

13

depende tanto de la cantidad de los indicadores que se cumplan sino de su calidad, relevancia y significancia.

Se observa una diversidad y confusión en el lenguaje de evaluación. Ante la existencia de múltiples metodologías y supuestos teóricos y de valores implícitos en ellas, emergen divergencias en los significados de los conceptos y términos usados en la evaluación. Las nociones de calidad educativa, de criterio, de indicador o de estándar suelen ser confusas o deficitarias en operatividad lo que dificulta la operación empírica. Si bien todo proceso de evaluación parte de lo empírico pero no se agota en él, implica una interpretación cualitativa que se deriva de supuestos teóricos y de valores sobre la educación, sobre la calidad educativa y sobre la educación a distancia.

El tema de la calidad en estas modalidades es un debate abierto y ha llevado al planteamiento de algunas preguntas en torno a ella: ¿Calidad educativa es un concepto unívoco para todos los niveles y modalidades de educación? ¿Tiene especificidades para cada una de ellos? ¿Si las tiene, en qué consisten las especificidades? ¿Cuáles son los criterios, componentes, indicadores y estándares que definen la calidad en la educación a distancia? Para contribuir a responder a estas y otras preguntas, ha dado inicio el proyecto de investigación interinstitucional Calidad, evaluación y acreditación de la educación mediada por las TIC9, cuyo objetivo es analizar:

1. los enfoques de calidad y evaluación,

2. las buenas prácticas de calidad,

3. los criterios e indicadores que se aplican nacional e internacionalmente para valorar y acreditar la calidad de los programas educativos mediados por las TIC.

Lo anterior permitirá sustentar una propuesta de criterios e indicadores estratégicos viables y apropiados para la educación media y superior mexicana.

En esta lógica se está desarrollando en el marco del Espacio Común de la Educación Superior a Distancia (ECOESAD) el pilotaje de una metodología para valorar la calidad de los programas educativos a distancia sustentándose en los siguientes pasos:

Identificación de los campos estratégicos o críticos de la EaD. Identificación de los principios generales apropiados a la EaD aplicables en lo

general a los campos estratégicos e Identificación de los principios específicos para cada uno de los campos

estratégicos en particular. Identificación de los indicadores estratégicos para la calidad de la EaD.

Hasta la fecha ya se identificaron los indicadores y se están probando en siete programas educativos a distancia que se ofrecen en seis universidades públicas del país.

El pilotaje implica las siguientes fases, de las cuales ya se concluyeron la primera y la segunda:

1. Capacitación a los equipos de las licenciaturas participantes y a los equipos multidisciplinarios de evaluación externa en la naturaleza, indicadores, instrumentos, herramientas tecnológicas y procedimientos del ejercicio de pilotaje.

2. Autoevaluación de las licenciaturas con los indicadores y herramientas tecnológicas acordados, así como opinión sobre la pertinencia, suficiencia, claridad y viabilidad de los indicadores y herramientas tecnológicas usadas.

9 Este proyecto forma parte de la Red de Investigación e Innovación en Sistemas y Ambientes Educativos (RIISAE) del Espacio Común de la Educación Superior a Distancia (ECOESaD) y participamos investigadores del Instituto Politécnico Nacional, Benemérita Universidad Autónoma de Puebla, Universidad de Guadalajara, Universidad Veracruzana y Universidad Autónoma de Chapingo.

14

3. Evaluación externa por pares académicos de expertos integrados en equipos multidisciplinarios10. así como opinión multidisciplinaria sobre la pertinencia, suficiencia, claridad y viabilidad de los indicadores, procedimientos de evaluación y herramientas tecnológicas usadas.

4. Depuración de indicadores, procedimientos y herramientas tecnológicas que se concretice en una nueva propuesta metodológica para valorar la calidad de los programas educativos a distancia.

5. Presentación de la propuesta a las agencias evaluadoras y acreditadoras oficiales para su consideración.

Para los puntos dos y tres se diseñaron dentro del Observatorio de la Educación en Ambientes Virtuales instrumentos y pantallas que están usando los autoevaluadores y los equipos multidisciplinarios de evaluación externa para la integración de sus informes de evaluación, así como para obtener información útil en torno a sus opiniones y sugerencias sobre los criterios, indicadores y experiencias en el ejercicio piloto. Las herramientas tecnológicas del Observatorio permiten la organización y sistematización instantánea de la información capturada generando reportes estadísticos y gráficas con desgloses que serán muy útiles para realizar análisis detallados de los informes y de las opiniones de los participantes.

Con el acervo de información contenido en el Observatorio se procederá a las etapa 4 que se espera se concretice en una metodología nueva para valorar la calidad de los programas educativos a distancia.

Agenda pendiente para la evaluación y acreditación de la educación a distancia en México

La agenda pendiente para la evaluación y acreditación de la educación a distancia puede describirse en los siguientes términos:

Generalización del reconocimiento formal de la educación a distancia por parte de las instituciones educativas y las agencias acreditadoras oficiales. El reconocimiento formal deberá reflejarse en las normatividades nacional e institucional.

Establecimiento de sistemas nacionales e institucionales de gestión de la calidad de la educación a distancia.

Construcción de metodologías sustentadas en la investigación para valorar la calidad de la educación a distancia. La metodología incluiría procedimientos, mecanismos, criterios, indicadores y estándares apropiados a la modalidad, a los niveles educativos y a la naturaleza de los programas. Ante los procesos de internacionalización es preciso identificar metodologías de evaluación y acreditación comunes en sus aspectos básicos, pero diferenciados en sus contextos regionales y locales.

Es urgentísimo establecer sistemas especializados de información válidos y confiables para la evaluación e investigación sobre las ofertas educativas no convencionales que usan intensivamente las TIC y hacerlos accesibles a los diseñadores de las políticas públicas, a los evaluadores, a los investigadores y a la sociedad en general.

10 El equipo de evaluación externa se integra por un experto en diseño educativo de programas a distancia, un experto en tecnologías, un experto en gestión de programas educativos a distancia y un experto en el área disciplinaria. Los evaluadores externos seleccionados cumplen los siguientes perfiles académicos: estudios de posgrado, experiencia mayor de dos años en educación a distancia y dominio del área de experticia correspondiente.

15

Aunado a lo anterior habría que transitar, por medio de la investigación, a la identificación y construcción de nuevas formas de evaluar con enfoques cualitativos y cuantitativos o combinados.

Recuperación del sentido genuino de la evaluación hacia la mejora continua que evite las diversas formas de pseudoevaluación.

BIBLIOGRAFÍAAnder Egg, Ezequiel (2001). Introducción a la planificación. Madrid: Siglo XXI.

Asociación Nacional de Universidades e Instituciones de Educación Superior (2001). Diagnóstico de la Educación Superior a Distancia. ANUIES. México.

CIEES (2009). Metodología General para la Evaluación de Programas de Educación Superior a Distancia 2010. Comités Interinstitucionales para la Evaluación de la Educación Superior.

CONACYT (2011). Marco de Referencia para la Evaluación y Seguimiento de Programas de Posgrado en la Modalidad No-Escolarizada (a Distancia). Consejo Nacional de Ciencia y Tecnología, México. En http://www.conacyt.gob.mx/Becas/Calidad/Paginas/Becas_ProgramasPosgradosNacionalesCalidad.aspx. Consulta 14 de marzo de 2011.

Díaz Barriga, Ángel y Teresa Pacheco (comps.) (2007). Evaluación y cambio institucional. Paidós.

FIMPES (2009). Criterios de acreditación. En http://www.fimpes.org.mx/index.php?option=com_content&view=article&id=14&Itemid=21 Consulta el 14 de marzo de 2011.

García Aretio, Lorenzo. (2001). La educación a distancia. De la teoría a la práctica. Barcelona: Ariel.

Gento Palacios, S. (1996) Instituciones educativas para la calidad total. Madrid, España: La Muralla.

Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia (2010). Creación y puesta en marcha del CALED. Universidad Técnica Particular de Loja. Ecuador.

López Rupérez, F. (1994) La gestión de la calidad en educación. Madrid: La Muralla.

Lundberg, Johan; Castillo, David; Dahmani, Mounir (2008). “Do Online Students Perform Better than Face-to-face Students? Reflections and a Short Review of some Empirical Findings”. In: “The Economics of E-learning” [online monograph]. Revista de Universidad y Sociedad del Conocimiento (RUSC). Vol. 5, no. 1. UOC. Consultado el 2 de julio de 2008. En http://www.uoc.edu/rusc/5/1/dt/eng/lundberg_castillo_dahmani.pdf

Neave, G. y Van Vught, F (1991) Prometeo Encadenado. Estado y Educación Superior en Europa. Gedisa.

Phipps, Ronald A. and Jamie P. Merisotis. (1999). What’s the Difference? A Review of Contemporary Research on the Effectiveness of Distance Learning in Higher Education. Washington, DC: American Federation of Teachers and National Education Association. Consultado el 15/08/2008 en http://www.ihep.org/assets/files//publications/S-Z/WhatDifference.pdf.

Rubio Gómez María José, Ruth Aguilar Feijoo, Priscilla Massa Sánchez, Judith Maldonado, Iliana Ramírez Asanza (2005). Proceso de autoevaluación de los programas de educación a distancia basado en el proyecto: “Centro Virtual para el Desarrollo de Estándares de Calidad para la Educación Superior a Distancia en América Latina y el Caribe”. Documento introductorio. Loja, Ecuador. Disponible en

16

http://www.utpl.edu.ec/centrovirtual/documentos-estandares/INTRODUCTORIO.pdf (consulta 23/08/2009).

Russell, Thomas L. (1999). The No Significant Difference Phenomenon. Chapel Hill, NC: Office of Instructional Telecommunications, North Carolina State University.

Santana Bonilla P. J. (1997). ¿Es la gestión de calidad total en la educación: un nuevo modelo organizativo?. Universidad de La Laguna. Islas Canarias. Disponible en http://www2.uca.es/HEURESIS/heuresis97/v1n1-1.html

Sarramona, Jaume (2004). Factores e indicadores de calidad en la educación. Biblioteca Latinoamericana de educación. Ediciones Octaedro. España.

Secretaría de Educación Pública (2009). Sistema de estadísticas continuas. Disponible en http://www.sep.gob.mx/es/sep1/ESTADISTICA_EDUCATIVA

17