la evaluaciÓn educativa · 2012. 2. 8. · 1258 consejo mexicano de investigación educativa...

Revista Mexicana de Investigación Educativa 1257

LA EVALUACIÓN EDUCATIVA

En esta sección de debate, la RMIE presenta cuatro colaboraciones en torno a

la Evaluación de la educación. Los trabajos fueron leídos en la presentación

del número 23, cuya sección temática corresponde a ese campo, y la cual se

llevó a cabo el pasado 4 de abril en la Casa del Tiempo de la Universidad

Autónoma Metropolitana (UAM). Se pidió a los participantes ubicar su trabajo

en la presentación y en uno de los cuatro artículos de investigación que apare-

cen en dicha sección. El lector se beneficiará si acude al artículo correspon-

diente del citado número de la revista para recuperar el contexto de cada una

de las colaboraciones. Iniciamos por el comentario de Carmen Carrión Carranza

que se refiere a la presentación del número. A continuación, aparece el de

Francisco Miranda López sobre el primer artículo de investigación: “¿Aprobar

o reprobar? El sentido de la evaluación en la educación básica”, de la autoría

de Felipe Martínez Rizo. Le sigue el de Jorge Ortiz Segura que se refiere al

artículo “Evaluación de la docencia Universitaria: una propuesta alternativa

que considera la participación de los profesores” de María Isabel Arbesú García.

Por último aparece el de José María García Garduño que comenta el artículo

de Elisa Fernández Gómez y Edna Luna Serrano: “Evaluación de la docencia y

el contexto disciplinario: la opinión de los profesores en el caso de ingeniería

y tecnología”. El artículo de Aldo Bazán Ramírez et al., “Evaluación del des-

empeño en lectura y escritura. Aportes empíricos a la noción de componentes

lingüísticos en el cuarto grado de primaria”, no cuenta con comentario.

Carmen Carrión Carranza ha trabajado el tema de la evaluación de la edu-

cación desde hace más de veinticinco años. Es psicóloga de formación y está

doctorada en educación. Su trayectoria profesional en el campo de la planeación

y la evaluación incluye actividades relevantes en la UNAM, la UAM y la ANUIES.

RMIE, OCT-DIC 2005, VOL. 10, NÚM. 27, PP. 1257-1283

Debate de actualidad

Consejo Mexicano de Investigación Educativa1258

Actualmente es Secretaria ejecutiva del Comité Regional Norte de Coopera-

ción con la UNESCO y profesora de la Facultad de Filosofía y Letras de la UNAM.

Francisco Miranda López es sociólogo y cuenta con una maestría en socio-

logía política y el doctorado en ciencias sociales. Ha sido evaluador titular del

Comité de Ciencias sociales de los Comités Interinstitucionales para la Evalua-

ción de la Educación Superior (CIEES). Es miembro del Sistema Nacional de In-

vestigadores y su adscripción la tiene en la Universidad Pedagógica Nacional.

Actualmente es Coordinador de Asesores de la Subsecretaría de la Educación

Básica de la SEP.

Jorge Ortiz Segura es antropólogo social y maestro en ciencias de la educa-

ción, además de candidato a doctor en ciencias sociales. Su área de interés es

la metodología de evaluación cualitativa y fue pionero, junto con otros auto-

res, en trabajos de evaluación de la docencia en educación superior mediante

estudios de caso, hace más de veinte años. Su adscripción la tiene en la Divi-

sión de Ciencias y Artes para el Diseño de la UAM Azcapotzalco.

José María García Garduño es psicólogo y posee dos maestrías y el doctora-

do en educación. Su área de interés es la evaluación y la gestión educativa. Es

miembro del Sistema Nacional de Investigadores y pertenece al cuerpo de pro-

fesores de la Universidad Autónoma del Estado de Hidalgo.


DISCUSIONES NECESARIAS EN TORNOA LA EVALUACIÓN DE LA EDUCACIÓNCARMEN CARRIÓN CARRANZA

gradezco a Eduardo de la Garza la invitación para comentar el núme-ro 23 de la Revista Mexicana de Investigación Educativa, en particular,

la presentación –escrita por él mismo– de la sección temática dedicada a laevaluación educativa.

Mis comentarios serán alrededor de cuatro puntos que el autor argu-menta a manera de elementos complementarios de discusión y otros dosque son, a mi juicio, conceptos que ya deberían estar presentes en los en-sayos y trabajos de evaluación educativa.

Los primeros cuatro tópicos son: a) la racionalidad complementariaentre procesos de planeación y evaluación; b) la evaluación comocontrastación de estándares y actividades; c) la evaluación y el consensoy d) la evaluación como investigación educativa. Los dos asuntos adicio-nales apuntarán hacia la evaluación: a) como transdisciplina y b) comoprofesión.

El autor argumenta los términos de una construcción teórica sobre laracionalidad complementaria entre procesos de planeación y evaluación ymenciona más adelante el origen de los modelos, que ahora son de usocorriente, creados para trascender los resultados sistemáticos de las inves-tigaciones evaluativas por contrastación de grupos, y dirigidos a buscar loscaminos para el mejoramiento planificado de la educación y no sólo elenjuiciamiento de un modelo educativo frente a otro. No es desconocido,para ningún investigador, que ese tipo de protocolos de investigación paracomparar grupos demostraron sistemáticamente durante el siglo XX resul-tados no concluyentes.

Carmen Carrión, Facultad de Filosofía y Letras-UNAM. CE: [email protected].

A


Carrión

Considero que esa construcción teórica es más una aspiración de racio-nalidad que un hecho en sí. Múltiples autores han hecho énfasis en la faltade secuelas después de un proceso de evaluación. Ésa ha sido también miexperiencia como evaluadora. Por ejemplo, hace algunos años dirigí la eva-luación formativa de la implantación piloto de RedEscolar, para la cualempleamos los procedimientos de que da cuenta el autor en alguno de lospárrafos. A partir de los hallazgos, hicimos una serie de recomendacionespara una mejor planificación de la generalización del proyecto. Debo de-cir que casi ninguna de ellas se puso en marcha pero sí me pidieron, tantolos asesores como los directores del proyecto, demostrar que la RedEscolarera una opción de mejoramiento de la calidad escolar, empleando el mé-todo de contrastación de grupos. No está de más mencionar que les adver-tí reiteradamente lo evidente, que los resultados serían los mismos de siempre:no significativos.

Creo que estas experiencias, por sí mismas, reflejan el tipo de factoresque deben ser atendidos por los investigadores, para indagar los obstácu-los y las circunstancias de la aspiración de racionalidad mencionada. Creo,también, que la aspiración teórica nubla el verdadero problema de la eva-luación como racionalidad –el de toma de conciencia de un estado de co-sas– al igual que la constatación cotidiana de que la planeación y la evaluaciónson procesos que, en la práctica social, se diferencian sustancialmente y sonproducto de voluntades de acción diferentes.

Sobre el segundo punto, el de la evaluación como contrastación de estándarescon una realidad educativa debo recordar que, a mi juicio, la propuesta dela Comisión de evaluación de la calidad y la cobertura, del primer Con-greso Nacional de Investigación Educativa, de 1980, no ha sido superadaen el plano de las discusiones de una evaluación como transformadora delas realidades educativas.

En el estado del arte realizado por la Comisión mencionada, se propu-so analizar la evaluación educativa sobre la base de dos ejes: el primeroconsidera las evaluaciones desde el punto de vista del poder: quién las ori-gina, las paga y las controla, independientemente del grupo o instituciónque las diseñe o ejecute. En este sentido la evaluación presupone poder;sin éste, la evaluación es ejercicio especulativo.

La otra perspectiva o eje destaca una tendencia evolutiva en los estudiosde evaluación y señala tres etapas de desarrollo: 1) en la que calidad equivalea cobertura; 2) en la que calidad equivale al logro de un estándar aceptado


Discusiones necesarias en torno a la evaluación de la educación

y 3) en la que, además del estándar para juzgar la calidad, se emplean com-ponentes situacionales de quienes se ven involucrados en los procesos edu-cativos. La progresión revela una tendencia hacia la apropiación del actoevaluativo por quienes son objeto de la evaluación misma.

Si consideramos lo anterior, podemos decir que nos encontramos enuna etapa intermedia, que se caracteriza por tomar como criterio de eva-luación alguna norma estándar que pueden ser los objetivos de un progra-ma académico, la convención del conjunto de competencias que debe tenerun individuo en alguna etapa de su vida (por ejemplo, los 15 años en elcriterios de diseño de las pruebas de PISA) o la norma estadística. Lo im-portante en esta etapa es que los actores inmediatos del proceso educativono toman parte en la definición de la norma.

El tercer punto, estrechamente relacionado con el anterior, es sobre laevaluación y el consenso. Considero que el problema antecedente a losjuicios consensuados sobre el sentido, el propósito y el uso de la evalua-ción es el sentido, el propósito y el uso de la educación misma. Este acuerdoprevio es el que otorga validez de constructo hipotético a las conclusionesde una evaluación.

A mi juicio, el problema de la validez de las conclusiones se ubica en laconfluencia entre teoría y beneficio; aplicación y acción educativa y cum-plimiento de expectativas individuales y sociales respecto de la educa-ción. Es un problema de concordancia entre lo que las teorías de aprendizajey de enseñanza dictan como más verdadero, mejor, más eficiente, y lascondiciones reales de acción educativa y las expectativas y aspiraciones deformación intelectual, instrumental y ética de los individuos y sus comu-nidades de referencia. Por tanto, la validez no es sólo un asunto de esta-dística sino de consenso social sobre los propósitos de la educación.

En el cuarto punto, la evaluación como investigación educativa, difierototalmente del autor. Cuando a mí o a mis colegas nos piden una evalua-ción, no actuamos como investigadores sino como evaluadores. Es verdadque aplicamos todos los métodos y procedimientos derivados de la inves-tigación social pero nuestros propósitos están delineados por quien pidela evaluación y por el posible uso de los resultados; es frecuente, en micaso, que para dar cumplimiento a las necesidades de conocimiento delobjeto de análisis me aparte del protocolo establecido y eche mano deotros procedimientos que considero más oportunos o más sensibles paracrear el estado de conciencia deseado sobre el objeto de referencia. Éste ha


Carrión

sido el caso, cuando menos, de las dos últimas evaluaciones que hemosrealizado.

¿Por qué esto es así?, porque debemos resolver un problema que notiene la investigación educativa, referida a la necesidad de que los actoresde los procesos educativos se reconozcan en las conclusiones de los infor-mes de evaluación. Es un problema de legitimidad de la evaluación, másallá del ejercicio de poder de quien la ha decidido. No tengo duda de queeste es el principio de la evaluación como proceso de transformación.

Además de lo anterior, está el hecho de que, cuando menos en mi casoy en otros que conozco, el informe de evaluación rara vez es de dominiopúblico, pues la decisión sobre la publicidad de los resultados es prerroga-tiva de quien ha pedido la evaluación. Por el contrario, en el caso de lainvestigación, los investigadores tienen la obligación ética de publicar sushallazgos. Desde luego, también es el caso del Instituto de Evaluación quese ha creado precisamente para socializar los resultados del sistema educa-tivo nacional y su actividad está normada por las leyes de transparencia dela información.

Considero más prometedora y sugerente como investigación educativa,la pauta sugerida por los autores Santos y Moreno, que se encuentra en lamisma revista que comento, en relación con la metaevaluación. A losevaluadores nos vendría muy bien que los investigadores analizaran los procesosque aplicamos, es decir, que consideraran la evaluación como un objetode estudio en sí mismo.

Como puntos complementarios, me gustaría señalar dos temas que nose consideran en la revista y que me hubiera gustado que, de alguna manera,se introdujeran a manera de debate.

El primero está relacionado con la epistemología de la evaluación. Elhecho es que todos los modelos comparten principios y procedimientospero se decantan por sus propios desarrollos y solución de problemas almargen de las otras prácticas. A este respecto, Michael Scriven mencionaque para que la evaluación tome lugar como una disciplina autónoma enel conjunto de las ciencias sociales, debe encontrar lo que es común atodas las aplicaciones y reconocer la concurrencia de métodos y procedi-mientos de otras disciplinas en los procesos de valoración como la lógica,la ética, la política, la estadística, la sociología y antropología, entre otras,por lo que de hecho, argumenta, la evaluación es una actividad caracterís-ticamente transdisciplinaria. Esta perspectiva, desde su punto de vista, está


Discusiones necesarias en torno a la evaluación de la educación

en camino de resolver dos de los problemas más acuciantes de la evalua-ción en el conjunto de sus aplicaciones: la validez de las conclusiones y lautilidad de estos procesos para el mejoramiento de la educación.

La afirmación anterior se manifiesta en los comentarios de la bibliogra-fía especializada, en artículos de divulgación o en las discusiones de losadministradores de las políticas educativas sobre los problemas que fre-cuentemente se encuentran en el transcurso de las aplicaciones evaluativas:la ausencia de un método o sistema de compilación de información, confiabley válido, que pueda ser base de los juicios valorativos; la falta de confiabilidadde la información correspondiente, lo cual resulta paradójico en la era dela informática y las telecomunicaciones; la existencia de interpretaciones yconcreciones múltiples sobre conceptos como normas de resultados, estándares,criterios de calidad así como la falta de secuelas de las evaluaciones paradiseñar planes de mejoramiento de las instituciones que tengan como baseun mejor conocimiento del estado en el que se encuentran, es decir, unabase valorativa; y, lo más grave, la tergiversación de los procesos escolaresen razón de las evaluaciones de que son objeto.

El segundo tema está relacionado con la evaluación como actividad so-cial profesional. El problema para el evaluador es delimitar cuáles son lasexpectativas a las que debe dar respuesta antes de definir los procedimien-tos y poner en marcha el proceso evaluativo, que se concreta en cuestionescomo las siguientes: ¿cómo definir la satisfacción social de las comunida-des respecto de la educación y cómo conciliar esto con las aspiracionesindividuales?, ¿cómo lograr una evaluación con resultados creíbles y almismo tiempo objetivos e imparciales?, ¿cómo conciliar los diferentes in-tereses y las verdades diversas de las personas que constituyen una comu-nidad educativa?, ¿cómo hacer que acepten el ejercicio de la evaluación,en el entendido de los resultados pueden tener consecuencias?, ¿cómo lo-grar la participación directa e indirecta de estas comunidades?; en fin, ¿cómose lidia con la complejidad técnica y política de la evaluación, para queuna no se imponga sobre la otra sino que se condicionen mutuamente deuna manera racional?

Esto son los comentarios que considero pertinentes, tomando comobase mi propia experiencia y teniendo como afán abrir más temas al deba-te de la evaluación educativa.


EL SENTIDO DE LA EVALUACIÓNEN EDUCACIÓN BÁSICAComentarios al artículo de Felipe Martínez Rizo:¿Aprobar o reprobar?FRANCISCO MIRANDA LÓPEZ

a sección temática del número 23 de la Revista Mexicana de Investiga-ción Educativa está dedicada a un campo que, como todos sabemos,

tiene especial importancia en nuestro sistema educativo: la evaluación. Es,sin duda alguna, si no el tema, sí uno de los fundamentales por donde sedesenvuelven varias de las discusiones torales en materia de política, ges-tión y pedagogía.

La relevancia del tópico y la manera en que se aborda en este númerode la revista nos recuerda la multiplicidad de dimensiones, aristas y ámbi-tos por los cuales transita la evaluación, así como sus diversas implicacionestécnicas, políticas y sociales en el funcionamiento cotidiano de la educa-ción y sus diversos aparatos institucionales. Hoy, la evaluación tiene unaimportancia estratégica para modificar las relaciones entre actores, agen-tes, resultados y procesos educativos.

Lo anterior nos abre la oportunidad para reflexionar sobre el sentido dela evaluación en el contexto político mexicano actual, tanto del sistemaeducativo como de la sociedad en su conjunto. Especialmente nos permitehacer una pausa en el camino y reflexionar críticamente sobre sus alcan-ces, significados y retos no sólo para conocer más y mejor el funciona-miento, resultados y procesos educativos, sino para potenciar aún más yreplantear algunas de sus tendencias y usos.

Especialmente en estos tiempos, la importancia de la evaluación, encontextos donde las comparaciones internacionales y nacionales parecen

Francisco Miranda López, Subsecretaría de Educación Básica-SEP, CE: [email protected]

L


El sentido de la evaluación en educación básica

hacer mella respecto de la eficacia de los resultados y credibilidad de lasacciones públicas y privadas sobre la educación, es una oportunidad valio-sa para reorientar lo que en ocasiones parece una obsesión cuasi-ontológicade la evaluación para señalar problemas y malos resultados, perdiendo enocasiones su capacidad de diálogo con la sociedad y la política para com-prometerse con decisiones y la búsqueda de eficacia y buenos resultados.

Tengo la impresión, con temor a equivocarme, de que el crecimientode la importancia de la evaluación y de sus evaluadores han generado unaespecie de ambiente sadomasoquista, en el que parece tener mayor pesoseñalar problemas y malos resultados –mientras más se señalen y en cortotiempo mejor, como elemento crítico regulador de los responsables de lasdecisiones y resultados educativos– que acompañar los resultados de laevaluación de un diálogo permanente y fructífero para transformar las realidadesque se cuestionan.

Creo que hoy, más que nunca, existe la imperiosa necesidad de crearlos espacios institucionales para dialogar más enfáticamente entre la eva-luación y la política para tomar decisiones y acompañar su proceso deoperación en beneficio de la educación pública del país. Más allá de laespectacularidad de los medios y del uso político para cuestionar autori-dades o responsables en turno, lo que ahora parece más prometedor esvincular más estrechamente a la investigación, la evaluación y la toma dedecisiones en espacios de mayor sinergia que permitan enfrentar la durarealidad y, a veces, el carácter retorcido de los problemas educativos enbeneficio de la sociedad mexicana.

Con estos elementos iniciales me gustaría entrar a los comentarios puntualessobre el artículo de Felipe Martínez Rizo, más con la intención de aprove-char varios de los argumentos planteados para reubicarlos en un contextopolítico, que de puntualizar ideas sobre el debate sobre la investigaciónsobre el tema, cuestión que en mi opinión Felipe trata adecuadamente ycoloca en tono pertinente, recuperando los argumentos en favor y en con-tra sobre el significado de la no reprobación. Situación que, sin embargo,de entrada sugiere la necesidad de fomentar mucho más la investigaciónsobre este tema en México para disponer de mayores elementos empíricosy juicios para respaldar decisiones.

El texto que nos ofrece Martínez Rizo ha generado una importante po-lémica en diversos sectores académicos e institucionales vinculados con laeducación básica, lo que coloca al texto en una situación de relevancia no


Miranda

sólo por los argumentos planteados sino también por la posición de Felipecomo director del Instituto Nacional para la Evaluación de la Educación(INEE), es decir, lo coloca en una condición excepcional donde conoci-miento y política podrían empezar a establecer diálogos provechosos paratomar las decisiones más adecuadas orientadas a atender los delicados pro-blemas de calidad y equidad de la educación básica en nuestro país.

Parece oportuno, en este sentido, incluir algunos puntos adicionalesque pudieran acompañar desde perspectivas distintas los argumentos yplanteamientos hechos por Martínez Rizo en su artículo. Me refiero a unapostura más desde el análisis de políticas, tema de mi especialidad, quecreo que puede aportar elementos a la disyuntiva de definir una política depromoción de la no reprobación en educación básica, tal como parece seruna de las apuestas fundamentales del artículo en cuestión.

Para ello quiero introducir el tema de la factibilidad política y referir-me brevemente a las implicaciones de un procedimiento de esa naturalezapara la educación básica en México. Hablar de si es políticamente factiblereferirse no tanto a la bondad y justificación de la política sino a unacuestión fundamental: si se puede llevar a cabo, es decir, si se puede hacero no lo que esta política plantea. Para responder a esta pregunta según nospropone Giandominico Majone –un importante analista contemporáneosobre la factibilidad y credibilidad de las políticas públicas– es necesarioconsiderar si la política que se propone es capaz de resolver tres ámbitosde restricción: a) la que tiene que ver con la limitación de los recursosdisponibles, b) la que atañe a la distribución permisible de los costos ybeneficios (restricciones distributivas) y c) las que impone el marcoinstitucional.

En estos términos es que conviene preguntarse sobre la capacidad deuna eventual política de no reprobación en la educación básica para resol-ver con relativa soltura estos tres campos de restricciones políticas.

Respecto de los recursos políticos disponibles, entendidos como el contextodefinido por la correlación de intereses y el nivel de regateo y lucha asícomo de la capacidad de la autoridad política y de la influencia coerciti-va, es claro que una política de no reprobación tendría, en estos momen-tos y probablemente en no pocos años, recursos limitados sobre todo porel nivel de fragmentación actual de nuestro sistema político, evidenciadopor lo que vemos en el Congreso y en el comportamiento de las mayoríasy minorías partidarias y, por qué no decirlo, también en el sistema educa-



tivo tanto en el ámbito propiamente administrativo como específicamentepolítico por lo que se refiere al sindicato y diferentes grupos de interésde la sociedad.

Aunque en estos términos siempre es factible pensar en el “dictador be-nevolente”, lo cierto es que las apuestas de nuestra democracia parecieraninclinarse mucho más a fórmulas de consenso amplio que a unas cesaristas,caudilliles o populistas. Riesgos que, dicho sea de paso, no debieran tampo-co descartarse frente a lo que refleja nuestra actual coyuntura electoral y deconfrontación de fuerzas políticas e institucionales. Como quiera que sea,parece indispensable ampliar los recursos políticos disponibles para una medidade no reprobación que, indudablemente, deben basarse en el diálogo infor-mado, la expansión de la investigación educativa y evaluativa sobre el temay la conformación de importantes foros plurales de análisis y discusión. Enello quizá exista un ámbito especialmente relevante para acercar a la investi-gación y los responsables de la evaluación interna y externa con los de lasdecisiones de la educación básica del país, no sólo con los funcionarios res-ponsables en turno sino especialmente con el magisterio.

No debemos perder de vista que nuestro sistema educativo, sobre todoel de básica, se construye diferenciadamente en 32 entidades federativas,en las cuales las situaciones de factibilidad son diversas y contrastantes,como igualmente lo son las posibilidades de innovación y cambio. Resol-ver las incertidumbres y la factibilidad política a nivel nacional tiene aho-ra que enfrentar su capacidad de resolución en los ámbitos locales y regionales,con lo que se agrega una variable adicional en las propuestas de conforma-ción de nuevas políticas educativas.

Por lo que hace a las “restricciones distributivas” una política de noreprobación tendría que establecer con mucha claridad las limitaciones almomento de repartir los beneficios y costos entre los individuos y gruposque afecta esa decisión. De manera particular debiera tenerse muy en cuentael argumento que el propio Martínez Rizo subraya acerca del beneficio operjuicio individual que implicaría la no reprobación, diferenciándolo delimpacto social e institucional del sistema en su conjunto sobre todo porsus implicaciones en el terreno de la equidad educativa y del mejoramien-to permanente de la calidad de la educación. Las restricciones distribucionalesparecen, en todo caso, pasar por fuertes problemas de significación cultu-ral, social y política de la educación y sus repercusiones para actores ysectores fundamentales: el magisterio, las escuelas públicas y privadas, los


Miranda

propios alumnos y los padres de familia. Sin lugar a dudas, una política deno reprobación tendría que cambiar tradiciones, atavismos y todo el siste-ma de códigos institucionalizados fuertemente arraigados en la idea deque una educación que no diferencia logros, entre personas exitosas y noexitosas, entre aprobados y reprobados, carecería de sentido.

Como lo apunta Martínez Rizo parece necesario crear un nuevo am-biente cultural y de sentido que empezara a reemplazar el actualmentevigente, orientado más hacia el nuevo significado que tiene la educaciónbásica, el sentido de la buena calidad para todos, la importancia de mejo-rar los dispositivos de evaluación y su cultura para atender mejor a losalumnos, la reactivación de los dispositivos pedagógicos y didácticos parauna atención personalizada. Todos estos argumentos bastante loables que,sin embargo, parece necesario involucrar en una estrategia más global derevalorización de la educación básica y del magisterio, para ubicarla den-tro de una estructura de política que canalice sentidos, incentivos y pro-gramas en esa perspectiva.

Finalmente, por lo que hace al marco institucional son claros los re-querimientos que una política de no reprobación tendrá en los aspectosregulatorios y reglamentarios de varios de los ámbitos relacionados conla educación básica; desde la ley fundamental hasta los aspectos específi-cos que habría que adecuar y, en su caso, transformar profundamente.Adicionalmente, los esquemas organizacionales y de gestión institucionaly escolar tendrían que ajustarse para construir un marco propicio para lano reprobación. Sin el menor asomo de dudas, tendría que pensarse enla función de la supervisón técnico-pedagógica para acoplarlo en unaperspectiva funcional, de capacidades y hasta de cultura para una ade-cuada operación de esta nueva política de promoción de los alumnos deeducación básica.

En suma, pareciera una necesidad vincular la política de no reproba-ción a una más estructural de la reforma de la educación básica que seencamine a la creación de una nueva escuela mexicana. El efecto multiplicadoren requerimientos y resultados de esta política parece exigir una reflexiónde esta envergadura de cambio y transformación.

El tema de la factibilidad política es, en mi opinión, de primer ordenpara valorar las opciones y posibilidades reales para transformar a nuestrosistema educativo. En básica, en el actual contexto que vivimos, asistimosa serios problemas de factibilidad política y creo que en el futuro varias de



las iniciativas gubernamentales de reforma, más allá de sus bondades téc-nicas y pedagógicas, tendrán que entrar a una ponderación mucho másrigurosa sobre la capacidad de manejar recursos políticos limitados, sobrelas restricciones distributivas y las alternativas de transformación del mar-co institucional. En mi opinión, el estado actual de varios de los progra-mas y acciones en básica, en la presente administración, parecen mostraruna correlación diferenciada de estos tres criterios de factibilidad que co-locan a cada uno de ellos en distintos escenarios de ejecución efectiva. Sólopara referir ejemplos problemáticos, tenemos el caso de la Reforma Inte-gral de Educación Secundaria (RIES), Enciclomedia, el Programa Escuelasde Calidad y los dilemas difíciles del Programa Nacional de Lectura queahora tiene que discutir su eficacia frente al debate publico sobre el narcotráfico.

En fin, valgan estas reflexiones como comentarios a un artículo queha iniciado un camino que parece largo y sinuoso, pero que parece sen-tar las bases para una reflexión informada y prometedora. Valgan tam-bién como un reconocimiento a la seriedad de los argumentos y de laspreocupaciones que nos transmite Felipe Martínez Rizo esperando quela discusión que abre sea canalizada adecuadamente en los misteriososterrenos de la decisión política en educación, que sea en beneficio dedecenas de miles de niños y jóvenes que esperan de la educación básicaun futuro prometedor que responda a los retos y desafíos de su futurosocial y profesional.


EVALUACIÓN DE LA DOCENCIA UNIVERSITARIAComentarios al texto de Isabel ArbesúJORGE ORTIZ SEGURA

uisiera empezar agradeciendo al doctor Eduardo de la Garza la invita-ción a comentar el artículo “Evaluación de la docencia universitaria:

una propuesta alternativa que considera la participación de los profeso-res” elaborado por la doctora Arbesú García, docente de la UAM-Xochimilco,para la Revista Mexicana de Investigación Educativa y publicado en la sec-ción temática dedicada a la evaluación.

No quisiera detenerme en la presentación temática ya que el doctor Dela Garza hace una reseña excelente de los cuatro artículos relacionadoscon la evaluación educativa. Más bien iniciaré con unos comentarios enrelación con la evaluación para después hacer un breve recorrido por elartículo y finalizar con algunos comentarios de corte metodológico.

EvaluaciónEvaluación es un concepto que desciende, en línea directa, de la moderni-dad y, por tanto, es resbaloso y confuso. Tiene tantos significados comolos lugares en que lo empleamos. Podemos evaluar o valorar una obra dearte, un automóvil, una comida, un libro y, en nuestro caso, la formade realizar la docencia en una universidad pública. Es más, podemos decirque se trata de una actividad inconsciente que realizamos continuamenteen nuestra vida diaria: me gusta, no me gusta, me gusta muchísimo, no megusta casi nada.

El término evaluación es un derivado del latín valere que implica laacción de justipreciar, tasar, valorar o atribuir cierto valor a una cosa. Ardoino1

nos señala que evaluar está emparentado con conceptos tales como: “ava-luar” que proviene a su vez de “valer” (siglo XI), del latín: valere, gozar de

Jorge Ortiz, División de de Ciencias y Attes para el Diseño-UAM-Azcapotzalco. CE: [email protected]

Q


Evaluación de la docencia universitaria

buena salud, ser fuerte; así como de válido, del lat. validus, en oposición a“inválido” [cfr. también “validadción” (1598), “revalidar” (1465), “valori-zación” (1923), “devaluación” (1929), “devaluar” (1948)].

Para House2 supone la estimación del mérito de un objeto. Tyler loseñala como el proceso de determinar la medida en que los objetivos de unprograma se han alcanzado. Levine, finalmente, lo menciona como el pro-ceso de examinar los efectos o resultados de un programa.

Evaluación de la docenciaDado lo anterior podemos decir que evaluar significa muchas cosas, involucradiversas actividades y se puede utilizar en diferentes procesos sociales. Eneste caso nos encontramos con una investigadora que se propone evaluarla encuesta que se aplica a los docentes del sistema modular de la UAM-Xochimilco. Un sistema novedoso, en el que en un trabajo anterior,3 se-ñala que se trata de un proceso de enseñanza-aprendizaje donde el docentesirve de guía, de organizador del proceso de enseñanza-aprendizaje; es elcoordinador del módulo, el moderador de las discusiones que se dan enel aula, no es la única fuente de información a través de la cual los estu-diantes aprenden. Su trabajo es orientar a los alumnos para que sean ca-paces de acudir a diversas fuentes de información.

Utilizando una metáfora diría que la autora –a lo largo de su artículo–nos lleva en una especie de safari que se inicia con la mención del Progra-ma de Modernización Educativa (1988-1994) que se proponía la creación deun sistema nacional de evaluación de las instituciones de educación supe-rior, mismo que se convirtió, a juicio de la investigadora, en un agentefiscalizador para la entrega de financiamiento. Tomando ese hilo conduc-tor nos trasladamos a la UAM, cuando en 1989, la Rectoría General, a finde retener a sus profesores investigadores les ofrece una serie de estímuloseconómicos entre otros: beca de apoyo a la permanencia, cátedras univer-sitarias, así como premios a la investigación y a la docencia.

A continuación la doctora Arbesú se detiene en la beca a la docencia,analizando el cuestionario aplicado por la UAM a sus estudiantes de licen-ciatura y posgrado en la séptima semana de actividades docentes, conclu-yendo que dicha herramienta se utiliza sobre todo para tener un controlacadémico administrativo de los profesores y eludiendo la posibilidad deque los mismos docentes participen en la elaboración de un modelo deevaluación propio.


Ortiz

Siguiendo con el safari se nos invita a reconocer, a los que a juicio de laautora son los fundadores de la evaluación formativa: Scriven, Stake,McDonald, Rosales, Santos Guerra, Arodino y Moral, para concluir quecon la evaluación formativa y no desde la perspectiva proceso-producto, elprofesor tendrá la posibilidad de reconocer su práctica y reflexionar sobrelos aspectos que necesita mejorar. Con todos estos antecedentes nos pre-senta una investigación de corte cualitativo que realiza a lo largo de másde un año, con tres grupos, del módulo de conocimiento y sociedad deltronco interdivisional (TID) que cursan interdisciplinariamente todos losestudiantes de primer ingreso de las 19 carreras que ofrece la UAM- Xochimilco.

La parte sustancial de la investigación tiene que ver con las entrevistasque la investigadora les hace a los académicos; Rolando, un filósofo adscritoa la División de Ciencias sociales que acepta que el proceso de enseñanza-aprendizaje no sólo implica aspectos cognitivos, sino que también tiene quever con cuestiones afectivas. César, un diseñador industrial adscrito a la Divisiónde Ciencias y Artes para el Diseño que reconoce que la investigación reali-zada por la doctora Arbesú le ha permitido trabajar con mayor seguridad ylibertad en los grupos que enseña. Finalmente, Lidia, una bióloga adscrita ala División de Ciencias Biológicas y de la Salud que después de verse a símisma decide modificar algunos aspectos relacionados con su práctica.

Para concluir el recorrido se incluyen nueve hallazgos que tienen quever con las formas de evaluación de la docencia universitaria, con la inclu-sión de los académicos en los procesos de evaluación, la observación conmás detalle de lo que sucede en el aula, la reflexión y el análisis de lasexperiencias pedagógicas de los profesores, la exploración de formas alter-nativas de evaluación de la docencia y la promoción de programas perma-nentes de formación docente.

La metodología cualitativaAquí me propongo exponer lo que me ocupa y me preocupa: que se haya uti-lizado como método de investigación las metodologías de corte cualitativo.Una primera pregunta que se puede hacer sería: ¿qué es lo que realmente hacenlos investigadores cualitativos cuando dicen que están investigando? El trabajoreseñado es bastante explícito cuando la autora dice que realizó trabajo de campopor más de un año, lo que incluyó observación participante, entrevistas semiestruc-turadas con docentes y alumnos, videofilmaciones de tres sesiones, consultacon colegas, diario de campo y observación de los videos con el docente.


Evaluación de la docencia universitaria

A lo largo de la investigación cuando la profesora nos dice que su tra-bajo es de carácter cualitativo, podemos ver que la metodología cualitativano es una sola cosa, ya que bajo ese rubro se puede incluir, entre otros, elinteraccionismo simbólico, la etnografía educativa, la etnometodología,la hermenéutica, el procesualismo, el post-estructuralismo, el estudio decaso, la narrativa y la entrevista.

Es importante señalar que la autora asume la etnografía como un mé-todo de investigación y no como un mero proceso de recopilación de in-formación. Cuando hace esto le da a la investigación de la educación superioruna nueva perspectiva, dado que la etnografía educativa se había utilizadoprincipalmente para la educación básica (Elsie Rockwell, Justa Ezpeleta yRuth Mercado), la educación secundaria (Rafael Quiroz), la educaciónindígena (Ruth Mercado), las políticas educativas (Guillermo de la Peña),la educación en enclaves culturales (Patricia Scanlon) o la influencia delos padres en el proceso escolar (Lucila Galván). Este trabajo, junto conotros, abre una nueva brecha a las posibilidades de indagar sobre los signi-ficados en un universo tan complejo como el de la educación superior.

Esta investigación da testimonio de que los métodos cualitativos hanadquirido en los últimos años una gran aceptación no sólo en el mundo dela sociología y la antropología, sino que han tenido un impacto crecienteen áreas disciplinares consideradas ajenas, como lo son el estudio de mer-cados, el análisis organizacional, las políticas urbanas, los sondeos de opi-nión pública y, por supuesto, la evaluación educativa.

Como estudiosos de la educación hemos presenciado la renovación deuna de las mayores explicaciones del mundo social: el paradigma marxis-ta. Frente a nosotros se sacudió una explicación que daba cuenta de lopolítico, lo social, lo económico y lo cultural. Esta crisis, además, fue dela mano con las críticas que desde diversos frentes se le hicieron al positi-vismo lógico (Kuhn y Lakatos, entre otros). Esto ha motivado la búsquedade nuevas explicaciones del mundo social recobrando los planteamientoscualitativos que el positivismo había desechado.

La investigación comentada me deja cinco certezas:

1) Este tipo de trabajo requiere de un esfuerzo prolongado y riguroso,donde el investigador, acompañado de un diario de campo, debe estaratento a los “imponderables de la vida cotidiana” (Malinowsky) en unsalón de clase.


Ortiz

2) Además de la observación participante se requiere de análisis documen-tal, video, entrevistas, fotografías y lectura de material bibliográfico.

3) Se trata de poder armar una descripción densa (Geertz), dado que nosenfrentamos con una “multiplicidad de estructuras complejas, mu-chas de las cuales están superpuestas o entrelazadas entre sí”.

4) No basta con observar, sino que se requiere interpretar, “explicar lamanera en que las personas en determinados enclaves llegan a com-prender, gestionar, justificar sus situaciones cotidianas y actuar” (Mi-les y Huberman). Se busca analizar las acciones de los individuos endeterminados contextos buscando la respuesta a tres preguntas (Erickson):¿qué está pasando aquí?; lo que está pasando aquí, ¿qué significadotiene para los actores involucrados? y ¿qué relación existe entre lo quepasa aquí y los contextos macro sociales?

5) Hay que acabar con el fantasma de las hipótesis. Esta investigacióndemuestra que se puede empezar con descripciones que lleven a pre-guntas ya que, en general se trata de una investigación abierta quedeja un margen para descubrir y analizar problemas o aspectos de lavida social que no se reconocen de antemano.

Finalmente, recomiendo la lectura de este artículo por lo siguiente: se agradeceque esté bien escrito, utilizando un lenguaje propio, abundante, rico, me-ditado, llano y preciso; que el contenido esté actualizado, sea oportuno,sagaz, novedoso y trascendente; que la bibliografía sea actual y novedosa y,finalmente, se agradece que sea un trabajo innovador, donde la autora searriesga a establecer un diálogo entre la educación superior y los métodoscualitativos. Hay un trabajo de campo serio y una descripción correcta delo que ocurre cuando se intenta evaluar cuantitativamente algo tan com-plejo como la docencia.

Notas1 Ardoino, Jackes, “La evaluación desgarra-

da, entre un balance contable y el pleno ejerciciode una función crítica plural (multirreferencial)”,en Mario Rueda Beltrán, et al. (2001). Evaluarpara comprender y mejorar la docencia en la edu-cación superior, México: UNAM/ UAM/ UABJO.

2 House, Ernest (1980). Evaluating withvalidaty, Londres/California: Sage Publications.

3 Arbesú, Isabel (2004). La práctica de ladocencia modular: el caso de la Unidad Xochi-milco en la Universidad Autónoma Metropoli-tana (mimeo).


EL AVANCE DE LA EVALUACIÓNEN MÉXICO Y SUS ANTECEDENTESJOSÉ MARÍA GARCÍA GARDUÑO

n primer lugar, agradezco al COMIE, particularmente a Eduardo de laGarza, el haberme invitado a participar como comentarista en la pri-

mera sección temática de la RMIE dedicada a la evaluación. Antes de ha-blar sobre el artículo de Elisa Fernández y Edna Luna (2004), al cual debola invitación, quisiera que se me consintiese comenzar con la presentaciónsucinta del panorama de la evaluación, en particular de dos de las áreasque aborda esta sección temática, evaluación de programas y de la docen-cia, y hacer un somero balance de las mismas dimensiones sobre su avanceen México; posteriormente comentaré el tema y artículo de Fernández yLuna.

Hoy en día en el sector educativo, y en otros más, es muy común hablarde la evaluación. El desarrollo de la evaluación ha sido producto de dosdisciplinas que, posteriormente, convergieron en el camino: la psicologíay la educación. A la psicología, en particular a la psicometría, se le debe eldesarrollo de los primeros tests de rendimiento como el Stanford AchievementTest en 1923. Sin duda los psicólogos como Edward L. Thorndike tuvie-ron mucho que ver en ese desarrollo. Sin embargo, es poco conocido quea Ralph Tyler se le debe la creación del término evaluación y, posterior-mente el de assessment, para referirse a la estimación del desempeño esco-lar, y que este gran educador e investigador fue el primero que diseñópruebas de rendimiento basadas en los objetivos del curso, tal y como seconocen el día de hoy (Cordero y García Garduño, 2004), a principios dela década de los treinta. La distinción entre assessment y evaluación es muyfina y, en ocasiones, hasta confusa. Por assessment los estadunidenses en-

José María García Garduño, Universidad Autónoma del Estado de Hidalgo. CE: [email protected]

E


García

tienden la evaluación sistemática, usualmente a través de pruebas del des-empeño escolar; en cambio, evaluación es un término más amplio.

Tyler es considerado el padre de la evaluación educativa en todos lossentidos. No sólo acuñó el término de evaluación y creó la metodologíapara construir pruebas objetivas de rendimiento, a principios de la décadade los treinta, sino que también ideó el primer método para evaluar pro-gramas educativos a raíz del estudio curricular más grande que se hayarealizado en Estados Unidos: El estudio de los ocho años (1933-1941) delcual Tyler, junto con sus discípula y asistente Hilda Taba, fue el coordina-dor de evaluación de ese gran proyecto (Ridings, 1981). La evaluación deprogramas se inspiró en los mismos principios del método tyleriano paradiseñar tests de rendimiento: evaluar en qué medida se han logrado losobjetivos; estos métodos para valorar el aprendizaje y los programas estu-vieron sin cuestionarse por más de 20 años. El cuestionamiento comenzóen 1963 con la publicación de un artículo de Lee Cronbach (otro discípu-lo de Tyler) sobre el mejoramiento de los cursos a través de la evaluación.Fue este gran psicólogo el primero en hablar sobre la evaluación formativa,sin usar ese término (Cronbach, 1983).

Posteriormente, a raíz de la Guerra contra la pobreza y el Acta de educa-ción elemental, promulgadas en 1965 por el Gobierno Federal estadouni-dense, surge la necesidad de rendir cuentas sobre los miles de millones dedólares destinados a la educación y a otros programas sociales. Para llevara cabo la tarea se contrataron especialistas en evaluación que determina-ran la utilidad de los programas (Stufflebeam y Shinkfield, 1987). Estosespecialistas pronto se dieron cuenta que el método tyleriano no proveíade toda la información necesaria sobre la marcha y utilidad de los mismos.Entre 1966 y 1971 surgen las principales aportaciones teórico-metodológicassobre la evaluación de programas que han dado pie al desarrollo de otrasmodelos y variantes metodológicas: el modelo CIPP (contexto, insumo procesoy producto) de Stufflebeam, el orientado al consumidor de Scriven, el dela figura de Stake (de inspiración Tyleriana) y posteriormente su métodocualitativo llamado evaluación respondente. Este último fue el primer mo-delo cualtitativo basado en el estudio de casos.

En la presentación a la sección temática que comentamos, De la Garza(2004a) analiza los orígenes de los modelos naturalistas de evaluación enInglaterra en los setenta. El autor provee de información poco conocidasobre los orígenes de la tradición naturalista. Stake fue participante de las


El avance de la evaluación en México y sus antecedentes

conferencias que describe De la Garza; los trabajos de Parlett y Hamilton,creadores del modelo de evaluación iluminativa y participantes en esa con-ferencia, fueron muy importantes para fundamentar su modelo de evalua-ción respondente.

A partir de la década de los setenta la evaluación empezó una etapa deprofesionalización vertiginosa. En 1975 los evaluadores más connotadoscomenzaron a planear la construcción de estándares de evaluación que guiaránla práctica profesional; para ello fue creado el Comité Conjunto de Eva-luación Educativa que publicó en 1981 los primeros estándares de evalua-ción de programas. En 1994 salió a la luz la segunda edición de los estándares(Joint Committee on Standars for Educational Evaluation, 1994), se divi-den en cuatro grandes áreas: utilidad, viabilidad, propiedad (ética) y pre-cisión (método) de la evaluación. El estándar más peculiar de la evaluación,y que la hace diferente de la investigación, es que la evaluación debe serútil. Para realizar ese propósito es necesario que, además de entregar in-formes oportunos, el evaluador debe considerar las necesidades y expecta-tivas del cliente y los grupos interesados en la evaluación. Cuando se hacesin que el evaluador se involucre con esos aspectos, considerando sola-mente o en gran medida las creencias y expectativas del evaluador, se ledenomina evaluación de caja negra (black box evaluation). El Comité Conjuntorecomienda que el proceso de metaevaluación, evaluación de la evalua-ción, se lleve a cabo bajo los estándares citados.

Podría decirse que las obras de Tyler, Scriven, Stufflebeam y Stake hansido las cumbre que han cobijado, inspirado y desarrollado el campo téorico-metodológico de la evaluación de programas. Todos ellos, con excepción deTyler, están vivos y activos dentro del campo. Recientemente Scriven fueinvitado por el Centro de Evaluación de la Universidad de Western Michigan,hasta hace poco dirigido por Daniel Stufflebleam, a dirigir el Journal ofMultidisciplinary Evaluation. Parece ser que dedicarse a la evaluación estáasociado con longevidad y productividad intelectual. Para comprobarlo essólo cuestión de mirar la actividad de esos padres (vivos) de la evaluación.

La evaluación de la docenciaAl igual que la evaluación de programas, la de la docencia comenzó y sedesarrolló en Estados Unidos, pero han seguido caminos paralelos queraramente se han entroncado. Herman Remmers de la Universidad deIndiana, creó el primer cuestionario de evaluación de la docencia (CEDA)


García

en 1927 (Centra, 1993). Remmers y su equipo fueron, prácticamente losúnicos que investigaron sobre el tema durante los siguientes 25 años.

El uso de los CEDA comenzó a popularizarse a partir de finales de ladécada de los sesenta. En un principio, las instituciones universitarias deese país promovían la aplicación voluntaria, posteriormente se hizo obli-gatoria. Hoy en día más de 90% de las instituciones estadunidenses eva-lúan la docencia por medio de esos cuestionarios (Seldin, 1993). El uso delos CEDA ha promovido el desarrollo de la investigación, principalmenteen Estados Unidos y Canadá. Al respecto, se pueden distinguir al menoscuatro fases en el desarrollo: la primera corresponde a la época de Remmers;la investigación fue escasa y poco sistemática; la segunda la podríamossituar en la década de los setenta donde la mayoría estuvo dedicada a de-terminar la validez y confiabilidad de los CEDA; la tercera puede situarseen los ochenta; aquí los investigadores estuvieron más preocupados porrelacionar los resultados de los CEDA con características de los alumnos, ladisciplina y el profesor (García Garduño, 2000). A partir de los noventa,después de haber sido uno de los temas más estudiados de la educaciónsuperior en décadas anteriores, el interés de los investigadores comenzó adisminuir, pero algunos siguen elaborando sobre el tema. Otros, comoHerbert Marsh, probablemente el investigador más importante desde losochenta, están cambiando de objeto de investigación. Sus intereses recien-tes tienen que ver con el desarrollo del autoconcepto y su relación conconstructor de la motivación.

El desarrollo de la evaluación en México: un proceso interrumpidoEl trabajo de Martínez Rizo (2001) presenta un panorama muy completodel desarrollo de la evaluación del aprendizaje y de las pruebas en el mediointernacional y en México. De acuerdo con este autor, el nacimiento de laevaluación educativa y concretamente de la del aprendizaje en México co-menzó muy temprano, en 1936, con el Instituto Nacional de Psicopedagogía.Sin embargo, a decir del autor es en la década de los noventa con el lanza-miento del Examen de Habilidades y Conocimientos Basicos (EXHCOBA),la creación del CENEVAL en 1994 y el área de evaluación de la SEP en 1995,que se ha atendido de manera sistemática la evaluación del aprendizaje.

Puede colegirse que uno de los grandes problemas que se han tenido enel país y que ha impedido el desarrollo de la evaluación y la continuidaden los proyectos y programas es, por ejemplo, que en la evaluación del



aprendizaje los registros formales son escasos o inexistentes –salvo por lostestimonios– sobre el gran salto hacia delante que se tuvo durante la se-gunda mitad de la década de los setenta, con la creación de la DirecciónGeneral de Evaluación del SEP, encabezada por Raúl Talán. En esa Direc-ción se formó un grupo, la mayoría de jóvenes psicólogos egresados de laUNAM y de la UIA, que se dedicó a elaboración científica de pruebas derendimiento. Ese equipo, entre los que se cuentan Ángel López y Mestas,María del Rayo Jiménez, Carlos García Camacho, Enoch Tamariz, Ar-mando Vásquez, María García y Graciela Galindo, tradujeron artículossobre el tema, desarrollaron manuales de elaboración de reactivos y deanálisis de ítems; construyeron y aplicaron pruebas de rendimiento a muestrasnacionales. Sin embargo, el trabajo del grupo, el tiempo y el dinero inver-tido ha quedado perdido en algún archivo muerto de la SEP. La historiacomenzó nuevamente a partir de la década de los noventa. A pesar de todoello, es en la evaluación del aprendizaje donde México tiene los avancesimportantes en esta materia. Existen tres instituciones importantes dedi-cadas al cultivo de la disciplina: el Instituto de Investigación y DesarrolloEducativo de la UABC (IIDE), el CENEVAL y el INEE.

En materia de evaluación de programas podría afirmarse que, en com-paración con el desarrollo internacional y con el de otros países de la re-gión, es una de las áreas que en México ha tenido menos desarrollo, apesar de que se publicó en español uno de lo primeros textos dedicados altema, me refiero a la obra de Carol Weiss (1975): Investigación evaluativa.

Ese nivel escaso de desarrollo se manifiesta, por ejemplo, en que la ma-yoría de los trabajos de evaluación publicados se basan en el modelo decaja negra; que poco se preocupa de la utilidad de la evaluación y toma encuenta los intereses de los usuarios del programa; básicamente, se lleva acabo bajo la orientación tyleriana de los objetivos. Asimismo, no adoptalos métodos y estándares derivados de los enfoques más importantes de laevaluación de programas, o emplea términos como evaluaciones cuantita-tivas o cualitativas, cuando en el escenario internacional se ha dejado deemplear esa terminología, la cual fue derivada de la pugna entre lo cualita-tivo versus lo cuantitativo acaecida en las décadas de los setenta y ochenta.En el campo de la evaluación, esa pugna concluyó a principios de los no-venta. De acuerdo con los estándares del Comité Conjunto (Joint Committee,1994), los informes de evaluación deben incluir tanto información cuan-titativa como cualitativa.


García

En materia de la profesionalización de la evaluación, algunos países de laregión muestran avances más notables que México, por ejemplo, en 1989 secreó la Asociación Centroamericana de Evaluación, con sede en Costa Rica.En el 2002 se crearon organizaciones profesionales de evaluación en BrasilColombia y Perú (Chianca y Youker, 2004). En México, a pesar del dineroy esfuerzo dedicado no se ha formado ninguna asociación profesional.

Evaluación de la docenciaLa excepción ha sido la evaluación de la docencia. En esta área México hahecho progresos notables. El uso de los cuestionarios comenzó casi a la paren que inició su uso sistemático en Estados Unidos, a finales de la décadade los sesenta. El introductor en México fue el padre Ernesto MenesesMorales, sj, de la Universidad Iberoamericana. En 1971, en la UIA se creael primer cuestionario mexicano de evaluación docente. En esa década enla UNAM se hacen varios trabajos de investigación sobre el tema. Durantela segunda mitad de los ochenta ciertas universidades públicas y privadascomenzaron a emplear CEDA de manera sistemática en la evaluación de lastareas docentes. En 1984 Arias Galicia publicó, por primera vez, las carac-terísticas psicométricas de un instrumento de evaluación docente.

A partir de los noventa, a la luz de los programas de estímulo, los cues-tionarios de evaluación comenzaron a ser un tema común y aceptado den-tro de las universidades públicas. A mediados de esta época se crea el GrupoInterinstitucional de la Evaluación de la Docencia, al que pertenecen dosde las autoras de la sección temática publicados en este número. En estegrupo, que se formó bajo el liderazgo de académicos de la UNAM, estáninvolucradas, según la numeralia de Eduardo Garza (2004b), ocho insti-tuciones de educación superior (seis públicas y dos privadas).

Durante los ocho años de vida, el Grupo Interinstitucional de Evalua-ción de la Docencia ha producido una cantidad notable de libros, tesis,números temáticos y artículos sueltos, además de haber realizado varias reunionesinternacionales sobre el tema. Al respeto se está preparando un artículo deinvestigación que analiza el desarrollo y producción de este grupo.

Uno de los dos trabajos de este grupo presentado en el reciente númeroque comentamos de la RMIE es el de Elisa Fernández y Edna Luna. Lasautoras buscaron indagar cuáles son los componentes de la docencia quelos profesores de los programas del área de ingeniería y tecnología consi-deran relevantes de integrar al cuestionario de evaluación de la docencia



por los alumnos. Si sólo nos atuviéramos al objetivo del trabajo se podríaconcluir, erróneamente, que la investigación es simple y que no vale mu-cho la pena invertir tiempo y recursos en llevar a cabo una investigaciónde tal naturaleza. Sin embargo, el tema es valioso por sí mismo.

A pesar de la popularidad creciente de los cuestionarios de evaluación,y según lo informado en diversas investigaciones producidas por el grupomencionado (Arbesú, 2004; Gilio, 2000; Loredo y Grijalva, 2000), el do-cente no ha sido, en la mayoría de los casos, un partícipe activo en elproceso de evaluación de su desempeño. Para llevar a cabo el trabajo lasautoras siguieron una metodología original y válida, pues ya había sidoprobada en otros estudios de una de las autoras del artículo (Luna, 2002).

Los resultados de su investigación confirman los hallazgos internacio-nales (Cashin, 1990) y nacionales (García Garduño, 2003): las disciplinasle otorgan un peso diferente a ciertos aspectos de la evaluación docente.Asimismo, que los profesores universitarios aceptan y consideran justo ynecesario ser parte activa en este proceso de evaluación. Por otro lado, elestudio señala la importancia de los profesores en el mejoramiento de estetipo de instrumentos. La retroalimentación que dieron nos muestra queen la enseñanza de las ingenierías es importante la solución de problemasy que la enseñanza en áreas que integran el plan de estudios puede se dife-rente. Además, que los aspectos a evaluar sobre el desempeño docente va-rían de acuerdo con el tipo de curso y el nivel en que se encuentre situadodentro del plan de estudios.

El estudio de las autoras puede ser útil para iniciar una discusión siste-mática sobre la posibilidad de que los CEDA incluyan aspectos generalesaplicados a toda la población universitaria y una sección propia para cadadisciplina o área de conocimiento. ¿Cuáles serían las limitaciones y bon-dades de tener un cuestionario que incluyera aspectos generales para eva-luar la docencia de toda la institución y que además incluyera otros reactivosdirigidos a satisfacer las necesidades de evaluación específicas de las dife-rentes disciplinas o carreras? Esta estrategia es conocida como el métodode cafetería, creada en la Universidad de Indiana en Estados Unidos. Elnombre es una analogía de la manera en que el comensal elige los alimen-tos en una cafetería de autoservicio; de la misma forma se escogen los reactivosdel cuestionario para evaluar al docente.

Podemos apreciar que en México la investigación sobre la evaluaciónde la docencia ha hecho progresos notables que señalan un desarrollo im-


García

portante y propio. Los programas de estímulo salarial y el Grupo Inter-institucional de Evaluación de la Docencia han sido las piedras de toquepara tal desarrollo.

Finalmente, puede concluirse que el desarrollo del campo de la evalua-ción en México ha sido, de alguna manera, ahistórico. Poco ha servido loque se hizo antes de la década de los noventa para la nueva etapa quecomenzó en esos mismos años. Para favorecer su desarrollo y continuidadconvendría pensar en la creación de una gran asociación mexicana de eva-luación. Esta asociación podría crear una revista de mayor alcance que lasactuales, que difundiera los avances de la disciplina y los hallazgos produ-cidos. Asimismo el INEE y el CENEVAL bien podrían auspiciar la forma-ción de una asociación profesional para superar el aislamiento y promoverel desarrollo de la disciplina en México, como está ocurriendo en otrospaíses de la región.

ReferenciasArbesú, Ma. I. (2004). “Evaluación de la docencia: Una propuesta alternativa que consi-

dera la participación de los profesores”, Revista Mexicana de Investigación Educativa,9, núm. 23, pp. 863-890.

Cashin, W. E. (1990). “Students do Rate Different Academic Fields Differently”, en Theally Franklin (eds.), Student Ratings of Instruction, New Directions for Teaching and Learning,núm. 43, San Francisco: Jossey-Bass, pp. 113-121.

Chianca, Th. y Youker B. (2004). “La evaluación en América Latina y el caribe: Visióngeneral de los desarrollos recientes”, publicado originalmente en inglés en noviembrede 2004 en el primer número del Journal of Multidisciplinary Evaluation, y disponibleen web:http://evaluation.wmich.edu/jmde/.

Centra, J. A. (1993). Reflective faculty evaluation, San Francisco: Jossey-Bass.Cordero, G. y García Garduño, J. M. (2004). “The Tylerian curriculum model and the

reconceptualists. Interview with Ralph W. Tyler (1902-1994)”, Revista Electrónica deInvestigación Educativa, 6 (2), disponible en http://redie.uabc.mx/vol6no2/conteni-do-cordero.html.

De la Garza, E. (2004a). “La evaluación educativa”, Revista Mexicana de InvestigaciónEducativa, 9, núm. 23, pp. 807-816.

De la Garza, E. (2004b). “Evaluación de la docencia en la educación superior”, reseña,Revista Mexicana de Investigación Educativa, 9, núm. 23, pp. 933-946.

Fernández, E. y Luna, E. (2004). “Evaluación de la docencia en el contexto disciplinario:La opinión de los profesores en el caso de la ingeniería y tecnología”, Revista Mexicanade Investigación Educativa, 9, núm. 23, pp. 891-911.

García Garduño, J. M. (2000). “Las dimensiones de la efectividad docente, validez yconfiabilidad de los cuestionarios de evaluación de la docencia: síntesis de investi-



gación internacional”, en Rueda y Díaz-Barriga (compiladores), Evaluación de ladocencia, México: Paidós, pp. 41-62.

García Garduño, J. M. (2003). “Profesores universitarios y su efectividad docente. Unestudio comparativo entre México y Estados Unidos”, en Perfiles Educativos, 25 (100),pp. 42-55.

Gilio, Ma. C (2000). “La evaluación docente desde una perspectiva participativa: el casode la licenciatura en Química de la Universidad Autónoma de Querétaro”, en Rueda yDíaz Barriga (coords.) Evaluación de la docencia, México: Paidós, pp. 85-101.

Joint Committee on Standards for Educational Evaluation (1994). The program EvaluationStandards (2a ed.). Thousand Oaks, CA: Sage. Existe traducción al español: ComitéConjunto de Estándares para la Evaluación Educativa (1998). Estándares para la eva-luación de programas, Bilbao: Ediciones Mensajero.

Loredo, J. y Grijalva, O. (2000). “Propuesta de un instrumento de evaluación de la do-cencia para estudios de posgrado. Querétaro”, en Rueda y Díaz Barriga, Evaluación dela docencia, México: Paidós, pp. 103-131.

Luna, E. (2002). La participación de los docentes y estudiantes en la evaluación de la docen-cia, México: Universidad Autónoma de Baja California/Plaza y Valdés.

Ridings, J. (1981). “An interview with Ralph Tyler”, Occasional papers, núm. 13, noviem-bre, disponible en http://www.wmich.edu/evalctr/pubs/ ops/

Martínez Rizo, F. (2001). “Evaluación educativa y pruebas estandarizadas. Elementospara enriquecer el debate”, Revista de la Educación Superior, 30 (120), pp. 71-85,disponible en: www.anuies.mx/principal/servicios/publicaciones/revsup/rres120/menú5.htm.

Seldin, P. (1993 ). “The Use and Abuse of Student Ratings of Professors”,The Chronicle ofHigher Education, vol. 39, julio 21, p. 40.

Stufflebam, D. y Shinkfield, A. (1987). Evaluación sistemática, Barcelona: Paidós.Weiss, C. (1975). Investigación evaluativa, México: Trillas.

la evaluaciÓn educativa · 2012. 2. 8. · 1258 consejo mexicano de investigación educativa...

Documents