la evaluación de programas en la modalidad a distancia. reflexión sobre un modelo

14
La evaluación de programas en la modalidad a distancia. García, Magaña, Arellano. 1 ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx J u n i o 1 0 La evaluación de programas en la modalidad a distancia. Reflexión sobre un modelo Verónica García Martínez [email protected] Dra Deneb Elí Magaña Medina [email protected] Soledad Arellano Quintanar [email protected] INTRODUCCIÓN L a evaluación es una actividad más o menos reciente en el ámbito educativo. Influida por principios de la administración sobre eficiencia social, ha sido su- jeta a muchas críticas y cuestionamientos, dada la orientación ponderativa de sus elementos y procesos. Sin embargo, como señala de la Garza (2004) “las evalua- ciones no se apartan de la parsimonia inherente a las investigaciones científicas”, debido al rigor y complejidad que exigen en el diseño metodológico y a la vali- dez de la información que se obtiene con ellas. Actualmente se puede encontrar gran cantidad de literatura al respecto, en la cual se ofrecen fórmulas y criterios para el diseño de programas de evaluación educativa. Ésta, representa para las Instituciones de Educación Superior (IES), una necesidad, debido a la urgencia que tienen de acreditar sus programas educativos ante órganos oficiales para de- mostrar su calidad y poder seguir operando. En México, la evaluación educativa en los últimos veinte años se ha inten- sificado, con la creación de organismos e instituciones dedicadas a ponderar los indicadores de las IES, como la Comisión Nacional de Evaluación (CONAEVA), el Centro Nacional de Evaluación para la Educación Superior (CENEVAL), los Comi- tés Interinstitucionales para la Evaluación de la Educación Superior y los orga- nismos integrados en el Consejo para la Acreditación de la Educación Superior (COPAES); pero además se establecieron otros mecanismos como el Programa Integral de Fortalecimiento Institucional (PIFI) creado para estimular la evalua-

Upload: jose-ruben-campos

Post on 04-Sep-2015

213 views

Category:

Documents


0 download

DESCRIPTION

Evaluación de Sistemas de Educación a Distancia

TRANSCRIPT

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 1

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    Junio

    10

    La evaluacin de programas en la modalidad a distancia.

    Reflexin sobre un modelo

    Vernica Garca [email protected]

    Dra Deneb El Magaa [email protected]

    Soledad Arellano [email protected]

    INTRODUCCIN

    La evaluacin es una actividad ms o menos reciente en el mbito educativo. Influida por principios de la administracin sobre eficiencia social, ha sido su-jeta a muchas crticas y cuestionamientos, dada la orientacin ponderativa de sus elementos y procesos. Sin embargo, como seala de la Garza (2004) las evalua-ciones no se apartan de la parsimonia inherente a las investigaciones cientficas, debido al rigor y complejidad que exigen en el diseo metodolgico y a la vali-dez de la informacin que se obtiene con ellas. Actualmente se puede encontrar gran cantidad de literatura al respecto, en la cual se ofrecen frmulas y criterios para el diseo de programas de evaluacin educativa. sta, representa para las Instituciones de Educacin Superior (IES), una necesidad, debido a la urgencia que tienen de acreditar sus programas educativos ante rganos oficiales para de-mostrar su calidad y poder seguir operando.

    En Mxico, la evaluacin educativa en los ltimos veinte aos se ha inten-sificado, con la creacin de organismos e instituciones dedicadas a ponderar los indicadores de las IES, como la Comisin Nacional de Evaluacin (CONAEVA), el Centro Nacional de Evaluacin para la Educacin Superior (CENEVAL), los Comi-ts Interinstitucionales para la Evaluacin de la Educacin Superior y los orga-nismos integrados en el Consejo para la Acreditacin de la Educacin Superior (COPAES); pero adems se establecieron otros mecanismos como el Programa Integral de Fortalecimiento Institucional (PIFI) creado para estimular la evalua-

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 2

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    cin y la planeacin. Todas estas acciones promovidas por el gobierno federal, tienen como fin ltimo el inducir a las instituciones a mejorar los elementos y los procesos implicados en sus actividades cotidianas, y as avanzar hacia el asegura-miento de la calidad1.

    Esta demanda de calidad es una idea emanada tambin del mbito adminis-trativo, y generada por las exigencias de un entorno global que establece estn-dares para toda clase de productos sociales. Las universidades, han implantado en sus discursos este concepto, y en sus planes desarrollo institucional, acciones tendientes a alcanzarla. Los planes y programas de estudio principalmente en el nivel superior forman parte de esta gama de elementos evaluados; la evaluacin de stos comienza en Mxico desde los noventa, y ha seguido en una escalada cada vez ms ancha que devino en la aparicin de instancias acreditadoras para diferentes reas del conocimiento2. Pero ahora, adems de stas reas disciplina-res, se est tomando en consideracin la forma en que se distribuye y construye este conocimiento, debido a la irrupcin en el espacio educativo de las Tecnolo-gas de Informacin y Comunicacin (TIC) que han permitido nuevas formas de enseanza y aprendizaje en modalidades que se denominan de muchas mane-ras3, pero que en este estudio llamaremos de manera genrica a distancia.

    La modalidad a distancia es aquella que no se desarrolla conforme al modelo clsico presencial, sino que utiliza otro tipo de medios para establecer la comuni-cacin entre el profesor, los estudiantes y contenidos. En virtud de que las relacio-nes entre los actores no se llevan a efecto de manera regular, ni en el mismo tiempo y espacio, es necesaria la instrumentacin de mecanismos que propicien la interac-cin entre ellos. La misma ANUIES (1998) en el documento La educacin Superior en el Siglo XXI, lneas estratgicas para su desarrollo, destac la importancia que modalidades como la a distancia tendran para las IES, especialmente en la amplia-cin y diversificacin de la oferta educativa, la formacin de recursos humanos a nivel profesional y para la capacitacin de los profesionistas en activo. Adverta el documento que la demanda que se avizoraba para el siglo XXI difcilmente podr ser atendido con los sistemas tradicionales (pp. 178). Dos aos despus (2001), public el Diagnstico de la educacin superior abierta y a distancia, donde haca 1 Martnez Rizo (1999) seala que una evaluacin objetiva es un estmulo poderoso para el mejoramiento institucional, y no

    es un fin en s misma. Tiene sentido en la medida en que contribuye a mejorar la calidad; si no sabemos si algo est bien o

    mal, en qu aspecto y medida, no podremos orientar el esfuerzo institucional ni desarrollar estrategias de superacin.2 Como los CIEES, algunos de los primeros como Ciencias Agropecuarias, Ciencias Naturales y Exactas, Ciencias de la

    Salud, Ciencias Sociales y Administrativas, Ingeniera y Tecnologa, Administracin y Gestin Institucional, y as han ido

    sumndose, ya que el COPAES establece que se podrn reconocer organismos cuyo objetivo sea la acreditacin de

    programas acadmicos no revistas, o producto de combinaciones entre ellas.3 Han surgido un sinnmero de denominaciones: modalidades no presenciales, emergentes, alternativas y/o comple-

    mentaria, no convencionales, no escolarizadas, mixtas, abierta y a distancia entre otras.

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 3

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    un recuento del crecimiento que en esta modalidad haban experimentado las IES, desarrollado ante la posibilidad que el incremento vertiginoso de ofertas educati-vas a distancia tomen la delantera (pp. 5)

    Y en efecto, el crecimiento de estos programas en las universidades ha sido avasallador, a tal punto, que en un esfuerzo por organizar este crecimiento la ANUIES publica en ese mismo ao el Plan Maestro de Educacin Superior Abierta y a Distancia, un documento que propone lneas estratgicas para el desarrollo de estas modalidades, y que surge para establecer un marco de referencia para la toma de decisiones que las instituciones de educacin superior tendrn que enfrentar, para fortalecer y fomentar la generacin de modalidades educativas innovadoras que den respuesta a las demandas sociales de un mundo en cons-tante cambio y cada vez ms interrelacionado (pp.12). En este contexto, como una medida preventiva, tambin se propone un esquema de auto evaluacin para las IES denominado, Modelo para la Autoevaluacin Institucional de la Calidad de la Educacin Superior a Distancia cuyo objetivo es establecer un marco de re-ferencia y una propuesta metodolgica que sirva de base para la auto-evaluacin institucional de la calidad en la educacin superior a distancia y posibilite la acre-ditacin de los programas educativos ofrecidos en esta modalidad. Este modelo se orienta tanto a la evaluacin referida a los procesos de evaluacin y acredita-cin de los organismos nacionales como a la autoevaluacin institucional, para lo cual se crea una Gua de Autoevaluacin para la Calidad de los Programas de Educacin Superior a Distancia.

    Los propsitos de la ANUIES con todas estas propuestas han sido adelantarse a los acontecimientos para que las instituciones no se encuentren vulnerables a los embates de las polticas transnacionales y nacionales, que cada vez ms frecuen-temente demandan procesos de valoracin de los indicadores producidos por las IES para constatar de alguna manera la calidad de los mismos. En una modalidad que puede traspasar fronteras de manera ms sencilla que la tradicional, donde un estudiante no tiene que ir al aula, sino que el aula viene a l, se requieren mecanis-mos que puedan vigilar que el proceso de enseanza y aprendizaje cumpla con los objetivos y estndares que se exigen para la formacin y profesionalizacin de los individuos. El perfil de los sujetos que demandan este tipo de servicios educativos, y el modelo pedaggico son diferentes, no as los perfiles de egreso que deben ser siempre orientados a satisfacer las necesidades sociales. Entonces, surge la in-terrogante, deben estas modalidades evaluarse con los mismos instrumentos y criterios que cualquier programa presencial? En este documento trataremos de dar algunas pistas para ir respondiendo esta pregunta.

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 4

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    LA EVALUACIN DE MODALIDADES A DISTANCIAExisten dos posturas que pueden identificarse, orientadas a la evaluacin de pro-gramas de educacin superior no convencionales, particularmente a distancia: la que considera que stos deben evaluarse con los mismos parmetros que los presenciales (puesto que, se supone deben perseguir los mismos objetivos cu-rriculares); y aquella que pugna por la utilizacin de mecanismos ex profeso para este tipo de modalidades. En un principio, los Comits Interinstitucionales para la Evaluacin de la Educacin Superior (CIEES) contaban con una Metodologa Ge-neral para la Evaluacin de Programas Educativos en Modalidades Mixtas y no Escolarizadas, que contemplaban once categoras y muchos de los indicadores que los presenciales, slo agregaban en algunos ejes, consideraciones particula-res como modelo educativo, infraestructura tecnolgica, perfiles de ingreso de estudiantes, perfiles del personal acadmico, entre otras. Sin embargo, dadas las cambiantes condiciones del entorno, que incluyen la utilizacin de cada vez ms sofisticados sistemas de transferencia de informacin, el uso de una gama de es-trategias didcticas y competencias tecnolgicas necesarias para esta modalidad, y de diferentes tipos de gestin para la operacionalizacin, hizo necesario orga-nizar un esquema de indicadores mucho ms fino y diversificado orientado a la dinmica de estos modelos.

    De este modo, los CIEES disearon, un esquema de once categoras con indicadores vinculados al sistema de educacin a distancia, muchos de ellos si-milares a los de los programas presenciales, pero otros, orientados a la instru-mentacin de un modelo educativo adecuado a la modalidad, al uso de recursos tecnolgicos y a un esquema administrativo respondiente a las necesidades del modelo. Destaca la ltima categora que evala la plataforma tecnolgica o como tcnicamente se conoce como Sistema de Gestin del Conocimiento o Learnig Management System, en ingls (SGC/LMS)4. De esta se ponderan desde detalles desde diseo grfico, (interfaz, presentacin, portal) tecnolgico (utilizacin de herramientas de interaccin y colaboracin, navegacin, usabilidad) pedaggico (herramientas de colaboracin e interaccin, actividades de aprendizaje, evalua-cin) comunicacional (interaccin, fuentes de informacin, retroalimentacin) y tcnicos (ayuda operacional). Esto, denota la importancia que tiene la utilizacin de este tipo de recursos en los programas de estudio impartidos bajo este esque-ma, aunque no sera raro que siguiera transformndose.

    Por qu disear un esquema distinto para evaluar los programas a dis-

    4 Esto es muy comprensible si se conoce algo sobre lo que implican este tipo de sistemas, un buen ejemplo de esta im-

    plicacin es un instrumento propuesto por Miguel Zapata (2003) para evaluarlos, donde se desglosan los indicadores de

    manera ms detallada y que nos acerca al aspecto tcnico que se tiene que considerar.

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 5

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    tancia independientemente de la disciplina que impartan? si se supone que se debera esperar que un profesional sea formado o no a distancia, debe ser capaz de desarrollar ciertas tareas para las cuales recibi formacin. En realidad el fin es el mismo, pero no los medios para llegar a l, y en este caso, es esa diferencia la que hay que evaluar. Los expertos en educacin a distancia sealan que se deben cumplir ciertas condiciones para que un programa ofrecido en esta modalidad tenga xito y pueda un programa obtener los indicadores mnimos que se exigen en este modelo pedaggico. Sealaba Tunnerman (2003) que En muchas regio-nes, la imagen de las instituciones a distancia sigue siendo asociada a alternativas compensatorias, remediables y poco competitivas (pp.139), sin embargo, esta idea ha ido cambiando, ya que las propuestas para la instauracin de estndares en estas modalidades permea en Europa y Latinoamrica, cmo se establecen los estndares para evaluar la calidad en el nivel superior y particularmente en esa modalidad a distancia? Esto lo abordamos en la siguiente seccin.

    Esfuerzos internacionales para evaluar la educacin superior y a distancia. En Europa las acciones de los gobiernos para evaluar la educacin superior son intensas, ya que tampoco ha sido una tradicin para las instituciones. Rosell (2005) seala algunos de los organismos que en Europa se dedican a evaluar y acreditar la educacin superior, como la European Network for Quality Assuran-ce (ENQA), el Consorcio Europero de Acreditacin (ECA), Uniones Nacionales de Estudiantes de Europa, (ESIB), la Asociacin Europea de Universidades (EUA), la Asociacin de Instituciones de Educacin Superior (EURASHE); para afrontar es-tos cambios se cre un Espacio Europeo de Educacin Superior con el propsito de que los estados se comprometieran a coordinar sus polticas educativas en busca de homogeneizar algunos aspectos trascendentales para permitir la mo-vilidad de estudiantes. Uno de los objetivos principales en las reuniones cele-bradas5, fue tomar acuerdos para el establecimiento de estndares y directrices para evaluar la calidad en las IES. En la reunin de Bolonia (1999), las agencias de acreditacin comenzaron a desarrollar conceptos ms refinados para evaluar las actividades de programas a distancia en lneas de orientacin para el e lear-ning bajo el trmino de e- Bologna (Laaser 2006). Sin embargo las acciones s de la Unin Europea en el rea del e-learning empezaron en el ao 2001 con la iniciati-va llamada eLearning/eEurope.

    La regin latinoamericana y del Caribe no ha quedado ajena a estas preocu-paciones, tambin se realizan esfuerzos en este sentido mediante la creacin de un espacio comn de educacin superior latinoamericano que alienta la evalua-5 Sorbona 1998, Bolonia 1999, Praga 2001, Berln 2003 y Bergen 2005,

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 6

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    cin denominada Proyecto 6x4 UEALC en el que participan varios pases a tra-vs de diferentes IES. El propsito de este espacio es avanzar hacia el uso de un sistema comn para la acumulacin y transferencia de crditos acadmicos para las instituciones de educacin superior de Amrica Latina y el Caribe. En la EaD se crea el Centro Virtual para el Desarrollo de Estndares de Calidad para la Educacin Superior a Distancia en Amrica Latina y el Caribe, auspiciado por el Banco Interamericano de Desarrollo (BID), coordinado por instancias no latinoa-mericanas6 y asesorado por un grupo de expertos. Su objetivo es sentar las bases para un sistema de acreditacin y contribuir a la capacidad de los gobiernos para regular, evaluar y acreditar sus programas (Rubio 2009). Tambin surge el Instituto Latinoamericano y Del Caribe de Calidad en Educacin Superior A Distancia (CA-LED) cuyo objetivo es contribuir al mejoramiento de la calidad en la educacin en Amrica Latina y el Caribe y ofrecer asesoras en el proceso de autoevaluacin. Esta entidad se compone de un Consejo Asesor General, un Consejo Acadmico Latinoamericano y un Consejo Asesor no Latinoamericano, una Secretara Eje-cutiva integrada por la Red Iberoamericana para la Acreditacin de la Calidad en Educacin Superior (RIACES) y algunas IES.

    La suma de estos esfuerzos tanto en Europa como en Latinoamrica en es caminar hacia la calidad, y como resultado importante se puede contar, la identi-ficacin de algunos componentes de un marco regulador de cursos virtuales que bien pueden servir de indicadores adicionales para considerar en un proceso de evaluacin de este tipo de modelos.

    6 Como la Asociacin Iberoamericana de Educacin Superior a Distancia (AIESAD), el Consorcio Red de Educacin a

    Distancia (CREAD)

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 7

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    TECNOLOGIA

    Infraestructura que

    soporta el sistema

    de educacin virtual:

    equipos informticos y

    humanos

    Infraestructura tecnolgica Tipo de tecnologas, de interacciones

    y de perfil tecnolgico del alumno

    Disponibilidad rendimiento y

    capacidad

    Garanta de la disponibilidad del

    entorno virtual, el rendimiento de los

    equipos informticos y la capacidad

    de almacenamiento.

    Seguridad y privacidad Seguridad de los datos, recuperacin

    en caso de desastre, cumplimiento de

    la normatividad en materia de priva-

    cidad.

    Accesibilidad Garantizar el acceso a los usuarios.

    Usabilidad y navegabilidad Garantizar la comprensin de la inter-

    faz por los usuarios para su correcto

    uso.

    Mantenimiento Garantizar la escabilidad y manteni-

    miento de los equipos y programas

    informticos

    FORMACION Equipo docente Especializacin de los docentes que

    intervienen

    Alumnos Formacin de los alumnos para el uso

    del medio

    DISEO INSTRUCCIO-

    NAL

    Orientaciones generales del

    curso

    mtodos de estudio, calendarios,

    sistemas de informacin

    Objetivos Claridad en los contenidos y las eta-

    pas a cumplir

    Contenidos Congruencia con objetivos, presen-

    tacin, medios, actividades, derechos

    de autor.

    Interaccion Garantizar la comunicacin entre

    actores, contenidos, plataformas,

    herramientas.

    Seguimiento y tutora Seguimiento de las actividades reali-

    zadas y contenidos visitados por los

    alumnos, estadsticas de navegacin.

    evaluacin Tipo de evaluacin adecuada a la

    modalidad

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 8

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    SERVICIO Y SOPORTE Servicios de informacin Informacin sobre el soporte tecnol-

    gico que oriente a usuarios.

    Atencin al alumno Disponibilidad de instancias para

    brindar soporte y asesora.

    Tabla 1. Componentes de cursos virtuales que se consideraran como indicadores de calidad. Basado

    en el trabajo de Rubio (2009)

    Estos indicadores guardan semejanza con los establecidos por los CIEES, por lo que sera recomendable que las IES que ofertan programas a distancia, los consideraran como parte integral de los mismos. Otra recomendacin sera alentar la evaluacin y la investigacin en esa modalidad y no considerarla como una amenaza.

    LA INVESTIGACIN DE MODALIDADES NO CONVENCIONALES CON BASE EN UN MODELO DE AUTO EVALUACION. REFLEXIN SOBRE UN CASO.En el ao 2008 se comenz un proyecto de investigacin denominado Elementos que inciden en los programas de licenciatura abierta y a distancia de la Universi-dad Jurez Autnoma de Tabasco (UJAT), financiado por el Programa de Mejo-ramiento al Profesorado (PROMEP). El objetivo era distinguir factores que influ-yeran en el desarrollo de los programas no convencionales con los que cuenta la UJAT, con el fin de detectar errores y aplicar estrategias que permitieran el mejor desempeo de este tipo de programas. Dado que la UJAT implant (2001) un Sistema de Educacin Abierta y a Distancia (SEAD), se ha convertido en una institucin bimodal7, con el afn de dar una respuesta ms efectiva a la demanda educativa de los diversos sectores de la poblacin, de la entidad y regin sureste del pas; as como para propiciar la modernizacin de sus planes y programas de estudio a travs del enfoque de las educacin abierta y a distancia (Fcil 2004).

    La oferta educativa en esta nueva modalidad, estaba estructurada inicial-mente con programas de educacin permanente, diplomados, estudios de pre-grado y posgrados con el apoyo de diversas tecnologas de comunicacin. Poste-riormente (2001) surgen la Licenciatura en Derecho, el Curso Complementario de Enfermera y tres programas de licenciatura del rea econmico administrativa. En pregrado, surge en el 2008 la Licenciatura en Trabajo Social; en ese mismo ao, un posgrado en la enseanza de idiomas. Pese al avance que en esta innovacin educativa experimenta la UJAT, la permanencia de los estudiantes en esta moda-lidad es menor que en el sistema presencial (85% vs.54%), lo que motiv princi-palmente el presente estudio. 7 Aunque debiramos decir multi- modal, por la diversidad de modalidades que alberga: presencia, semi presencial,

    abierta y a distancia.

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 9

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    A diez aos de implantado, el SEAD comienza a diversificar su oferta y a colocarse en el escenario nacional a travs de la incorporacin a diversos orga-nismos dedicados de manera colaborativa a promover esta modalidad8 y a buscar estrategias que permitan elevar la calidad. En el documento base del Sistema se expresa la aspiracin de contar con un programa de evaluacin institucional que contemple aspectos tanto acadmicos como administrativos y tecnolgicos. Se consideraron algunas estrategias generales para inducir a la accin evaluativa. Desafortunadamente, los vertiginosos cambios en la tecnologa y la administra-cin han impedido que muchas de estas acciones no se concreten, sin embargo, se siguen realizando esfuerzos en aras de evaluar la calidad de los recursos invo-lucrados (materiales y humanos) y se han generado estrategias para ir superando los problemas iniciales adems de plantear nuevos proyectos que permitan apo-yar los objetivos institucionales

    Uno de estos proyectos es nuestro estudio exploratorio de los programas que se ofrecen en el SEAD, en el nivel de licenciatura. Para la realizacin de este estudio se consideraron: el programa de Enfermera, el de Derecho, y los tres del rea econmico administrativa: Relaciones Comerciales, Contadura Pblica y Administracin de Empresas. La metodologa empleada para el desarrollo de este estudio se inspir en el Modelo para la Autoevaluacin Institucional de la Cali-dad de la Educacin Superior a Distancia diseado por la ANUIES, el cual contem-pla tres dimensiones para el estudio: acadmica, tecnolgica y administrativa. Se trata de un abordaje cuantitativo y cualitativo, conformado por encuestas aplica-das a los diferentes actores de los programas: coordinadores, tutores, estudiantes y directores. El modelo tambin implica a los egresados, sin embargo, para este estudio se consider la realizacin de entrevistas, dada el reducido nmero de sujetos que han egresado de estas licenciaturas, las cuales se encuentran en cur-so. Adems se revisaron y sintetizaron documentos base, y se analizaron indica-dores de los programas.

    Como nuestro propsito no es presentar los resultados de este estudio, se obvian los pormenores del trabajo emprico, al que incluso, le falta un 20%. Sin embargo, el avance nos ha permitido publicar diversos productos acadmicos, aunque lo ms importante para nosotros es que nuestro trabajo ha permitido de-tectar una serie de fortalezas y debilidades que resumimos con la aspiracin que todo cuanto vertamos en este documento pueda servir a otras instituciones. De manera general, estas fortalezas y debilidades que se observaron fueron:

    8 Actualmente es miembro de la Asociacin Mexicana de Educacin Continua y a Distancia (AMECYD), pertenece al Es-

    pacio Comn de Educacin Superior a Distancia (ECOESAD) y coordina la Red Nacional de Educacin a Distancia Regin

    Sur Sureste.(RENAED)

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 10

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    Fortalezas

    Personal acadmico habilitados para la prestacin de servicios en esta modalidad

    Una percepcin positiva del currculo y de los contenidos de los planes de

    estudio

    Acondicionamiento tecnolgico que responde a las necesidades bsicas.

    Existencia de bibliotecas y bases de datos electrnicas disponibles para los

    participantes

    Estrategias basadas en la planeacin y diagnstico de necesidades

    Formacin y capacitacin constante

    Una actitud favorable de personal y de autoridades por mejora las condiciones

    de los programas.

    Debilidades

    Se evidenci que la falta de lineamientos adecuados para estimular elementos

    de la dinmica pedaggica del modelo

    Ausencia de un esquema de estmulos para los docentes tutores que impiden la

    justa valoracin de su trabajo

    Carencia de sistemas informticos eficientes para el aseguramiento de la infor-

    macin

    Escasez de personal de soporte tcnico que permita la adecuada utilizacin de

    los equipos

    Limitaciones del sistema de gestin del conocimiento que permitan el segui-

    miento de las interacciones entre docentes y estudiantes.

    Falta de documentos de apoyo como manuales de organizacin o procedimientos.

    Escasez de convenios con organismos para realizacin de actividades acad-

    micas (prcticas, servicio social)

    Falta de un esquema prctico de evaluacin del sistema y de un sistema de

    registro automatizado

    Falta de un curso propedutico adecuado al perfil de los estudiantes.

    A qu nos ha llevado este diagnstico? A comenzar a subsanar las debilidades de los programas y a tratar de acentuar las fortalezas con algunas medidas como:

    Intensificacin de la capacitacin del personal

    Elaboracin de un padrn de tutores.

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 11

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    Elaboracin de la normatividad que d certidumbre a los procesos

    Elaboracin de manual de organizacin

    Conformacin de un equipo especializado para apoyo para la elaboracin de

    guas y materiales

    Inversin en equipo informtico

    Aplicacin de algunas acciones de evaluacin de tutores y asignaturas

    Incorporacin de algunos lineamientos para considerar como incentivos para

    el estmulo institucional acciones a favor de la EaD

    Iniciativa para el mejoramiento de un SGC que permita el seguimiento y mo-

    nitoreo de tutores y estudiantes.

    Ampliacin de algunos programas de estrategias pedaggicas con el uso de

    tecnologa.

    Estas son solo algunas de las acciones que se realizan en aras de mejorar la cali-dad de los programas, pero quedan todava muchos pendientes que se irn aten-diendo en la medida que se evidencien los resultados de los mismos.

    ConclusionesEn la literatura que habla de evaluacin, se advierte que es una actividad percibida como amenaza (Martnez Rizo, 1999; Touron, 2009); sin embargo, seala Patricia vila (2005) es deseable que se aprovechan las aportaciones que realizan quienes realizan investigacin y ofrecen elementos tericos y posibilidades en beneficio de la incorporacin de los recursos tecnolgicos al proceso educativo, y que ade-ms, se requiere abordar la investigacin educativa como una accin necesaria para la educacin superior a distancia que permita fundamentar decisiones para la planeacin y para encontrar respuestas y soluciones a la problemtica actual de la operacin, e impulsar y definir su proyeccin a futuro. La entonces Presi-denta del Consorcio Red de Educacin a Distancia (CREAD) instaba a las IES en su reunin celebrada en 2005 a que incentivaran estudios y publicaciones en estas temticas, as como a compartir experiencias y descubrimientos que pudieran orientar a otras instituciones. Por fortuna, adems de las iniciativas mencionadas con anterioridad, ya se cuenta con publicaciones interesadas e incluso especiali-zadas en este tipo de trabajos, que abordan problemticas relacionadas con mo-dalidades no convencionales.

    El inters por realizar estudios como el nuestro es una realidad. Chvez y Martnez (2006) aplicaron un modelo de evaluacin a un programa de maestra en lnea en el Instituto Politcnico Nacional (IPN), cuyo objetivo consisti en evaluar el desarrollo de los cursos a travs del anlisis y valoracin de sus componen-

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 12

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    tes (profesores, estudiantes, recursos)con el uso de diversos instrumentos, para orientar la toma de decisiones respecto del programa. Los resultados sirvieron para mejorar los procesos docentes, tcnicos y administrativos, sin embargo, los autores hacen un anlisis de las limitaciones de la metodologa, que an con las mejores intenciones, siempre adolece de de defectos, pero pese a ello, sealan que la experiencia represent un avance para la evaluacin de los programas acadmicos impartidos en modalidades a distancia, en virtud de que, a pesar de las limitaciones mencionadas, se realiz de manera continua, integral y gener resultados valiosos.

    Berrocal y Campos (s.f.) presentan una propuesta metodolgica para eva-luar currculum en modelos a distancia, validada en la Universidad Estatal de Cos-ta Rica en el contexto de un proceso de evaluacin. Tambin proponen la utiliza-cin de un modelo para facilitar la tarea. Esta evaluacin se centr en los cursos del plan de estudios, para constatar la interrelacin armnica de los elementos curriculares en trminos de estructura y secuencia integrada y continua. Para este ejercicio se enfocaron en la bsqueda de informacin en fuentes documentales institucionales, cuyo anlisis permitieran dar cuenta de esta congruencia. Tam-bin se utiliz una metodologa participativa de los actores del currculum. Los resultados permitieron la ejecucin de un re diseo curricular, ya que se corrigie-ron asignaturas parcial o totalmente, se construy un mejor perfil de salida del estudiante. Los autores, tambin realizan un ejercicio de meta evaluacin consi-derando criterios como utilidad, viabilidad, precisin, transparencia y honradez.

    Es deseable que todo ejercicio de evaluacin se evale a s mismo, por lo menos a travs de la reflexin de los pasos dados. Qu sali bien? cules fue-ron las principales limitantes? qu informacin falt?qu defectos tuvieron los instrumentos? Seguramente no habr un estudio de este tipo que sea perfecto, ya que juegan muchas variables difciles de controlar. Muchos suponen que para que sea confiable hace falta un anlisis holstico, que no deje nada de lado, sin observar, pero hay quienes consideran que es posible estudiar solo una parte, como el currculum, aunque, por lo general se impliquen a diferentes actores.

    En nuestro caso, an cuando hace falta una parte de esta que pudiramos llamar investigacin evaluativa, podemos acotar algunos puntos importantes que se observaron en el proceso. El modelo utilizado, suministra una variedad de cuestionaros que debe ser aplicados a los sujetos, en los cuales se les pregunta sobre el modelo acadmico, sobre la tecnologa y sobre aspectos administrativos. Algunos cuestionarios fueron demasiado largos y hubo necesidad de cortarlos, porque los sujetos no terminaban de responderlos. Adems tiene que ser com-plementado por otros tipos de instrumentos de recogida de datos como anlisis

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 13

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    documental y entrevistas. Pero esto solo es cuestin de forma, en el fondo consi-deramos que pueden encontrarse debilidades como el que los sujetos califiquen los aspectos evaluados teniendo como referencia los mismos. Es decir, cmo puede saber un sujeto si algo cumple con x o y cualidad si no tiene una referencia que sirva como punto de comparacin? Esto nos puede llevar a que las opiniones sean endgenas, y en realidad no se est calificando de acuerdo a otros estnda-res que pueden servir de gua.

    Por lo anterior es importante que los investigadores tengan una visin ex-terna de los aspectos tcnicos, administrativos y del modelo pedaggico, para que puedan servir de rbitro al momento de analizar los resultados. Si se carece de ese capital, es posible que se puedan cometer errores al momento del anlisis, puesto que se puede caer en exceso de confianza. En los modelos a distancia, no son solamente los indicadores clsicos que han de tomarse en consideracin, sino algunos que hemos enunciado y que acusan de una especializacin o parti-cularidades que es posible que no todas las instituciones consideren al momento de estudiar los programas, por la novedad del asunto y porque se requiere de conocimientos tcnicos. Por eso es importante tenerlo presente al momento de realizar cualquier estudio de programas a distancia.

    REFERENCIASANUIES (2001) Diagnstico de la Educacin Superior a Distancia.

    ANUIES (2001) Plan Maestro para la Educacin Superior Abierta y a Distancia.

    ANUIES(2006) Consolidacin y avance de la educacin superior en Mxico.

    ANUIES, (1998) La educacin superior en el siglo XXI, lneas estratgicas para su

    desarrollo.

    vila P. (2005) Calidad en la educacin a distancia: algunas reflexiones CREAD

    Calidad y acreditacin internacional en educacin superior a distancia Loja,

    Ecuador,17 a 20 de octubre, 2005.

    Berrocal V. y Campos Y. Metodologa para la evaluacin del currculo en educa-

    cin a distancia, Congreso UNED Costa Rica, disponible en lnea en http://www.

    uned.ac.cr/XIVCongreso/memoria/pdfs%20ponencias/Eje%203/112.pdf consul-

    tado el 2 de noviembre de 2009.

    CALED Instituto latinoamericano y del Caribe de calidad para la educacin su-

    perior a distancia.

    http://www.utpl.edu.ec/caled/ingles/index.php?option=com_content&task=view

    &id=58&Itemid=33

    CIEES (2009) Metodologa General CIEES para la evaluacin de programas edu-

    cativos a distancia.

  • La evaluacin de programas en la modalidad a distancia. Garca, Magaa, Arellano. 14

    ---------------------------------------------------------------------------------------------------www.fronteraseducativas.iteso.mx

    COPAES, Manual del procedimiento para el reconocimiento de organismos acre-

    ditadores de programas acadmicos de nivel superior, disponible en lnea, en

    http://www.copaes.org.mx/documentos/Documentos/2_Manual_procedimien-

    tos.pdfconsultado el 30 de octubre de 2009

    Fcil R. (2004), Implementacin del Modelo Acadmico de Educacin Abierta

    y a Distancia de la UJAT : De La Concepcin Terica a la Realizacin Prctica,

    Primer Congreso Virtual Latinoamericano de Educacin a Distancia ao 2004

    Laaser W. (2006) El tema de la calidad en la Educacin a Distancia Europea a

    nivel universitario, RED. Revista de Educacin a Distancia, ao V Nm. 16. http://

    www.um.es/ead/red/16

    Martinez R.F. (1999) Nueve Retos para la Educacin Superior, Funciones, actores

    y estructuras, ANUIES.

    Martnez S. y Chvez F. (2006) Evaluacin educativa en las modalidades a dis-

    tancia Apertura, Ao 6.

    Rosell G. (2005), garanta de calidad en el contexto europeo de educacin su-

    perior: la evaluacin y la acreditacin, documento disponible en lnea en http://

    www.utpl.edu.ec/caled/ingles/images/documentos/CALIDAD/rosellogaspar.pdf ,

    consultado el 10 de octubre de 2009.

    Rubio M. (2009) Estndares de calidad para programas de formacin virtual,

    II Congreso Internacional de Educacin a Distancia y TIC, Lima octubre, 2009.

    Tourn Javier El establecimiento de estndares de rendimiento en los sistemas

    Educativos, ESE N16 2009

    Tunnermann C. (2003), La universidad latinoamericana ante los retos del siglo

    XXI: la problemtica de la universidad contempornea, Mxico Editorial Dual.

    UEALC, propuesta y acciones universitarias para la transformacin en la educa-

    cin superior en Amrica Latina

    http://www.6x4uealc.org/site2008/6x4_p01.htm

    UJAT, documento base, Sistema de Educacin Abierta y a Distancia.

    Zapata M. (2003) Evaluacin de un sistema de gestin del aprendizaje, Revista de

    Educacin a Distancia 2003. Disponible en lnea en: http://redalyc.uaemex.mx/

    redalyc/src/inicio/ArtPdfRed.jsp?iCve=54709404> consultado el 19 de noviem-

    bre de 2009