seminario de planeación y evaluación de la … · web view... letras del alfabeto para las...

Maestría en Educación Superior, FFyL, BUAPTraducción: Lic. Cecilia Montaño Silveti

56

ESTABLECIENDO COMPETENCIAS ESENCIALES PARA LOS EVALUADORES CURRICULARES

Laurie Stevahn;1 Jean A. King; Gail Ghere; Jane Minnema (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation 26(1):43-59

Resumen: Este artículo presenta una taxonomía exhaustiva de las competencias esenciales para evaluadores de programa. En primer lugar, los autores proponen un fundamento para el desarrollo de las competencias de un evaluador, junto con una breve historia del desarrollo inicial y la validación de la taxonomía de las competencias esenciales del evaluador en King, Stevahn, Ghere y Minnema (2001). En segundo lugar, presentan una versión revisada de esa taxonomía y describen el proceso de revisión. En tercer lugar, el cotejo que acompaña a la taxonomía indica que competencias orientan las normas, principios y habilidades y que son respaldadas por asociaciones de evaluación de gran renombre en Norte América. Por último, los autores identifican futuras necesidades relacionadas con la taxonomía, incluida la necesidad de investigar la validación, una comprensión común de términos, y la construcción de rúbricas descriptivas para evaluar la competencia.

Palabras clave: competencias del evaluador; formación en evaluación, cuestiones profesionales, normas

La evaluación de programa comenzó como un campo de “se puede hacer”. Frente a oportunidades sin precedentes durante la época de programas bien fundamentados de la Gran Sociedad, los evaluadores en los años 1960 y 1970 aplicaron las técnicas de investigación social a gran escala para estudiar la eficacia de los programas. «Los teóricos en Evaluación definieron términos y etiquetaron conceptos para describir una nueva práctica como son la evaluación formativa contra la sumativa (Scriven, 1967), la evaluación de respuesta (STAKE, 1980), y la evaluación centrada en la utilidad (Patton, 1978). Los Modelos de evaluación se multiplicaron conforme personas trabajaban en diferentes áreas y con diferentes necesidades (Véase, por ejemplo, Alkin, 1969; Provus, 1969; Stufflebeam, 1973). Aquellos que se enfocaron en el diseño de métodos para estudiar programas en situaciones no propicias para la investigación cuantitativa tradicional incluyendo el cuasi-experimento (Campbell y Stanley, 1963) y los métodos naturalistas (Guba, 1978). Al igual que los campos que han crecido en respuesta a demandas legales (por ejemplo, la educación especial), la evaluación del programa surgió en gran parte en su práctica misma.

A través de los años, la actitud de se puede hacer, junto con el trabajo arduo, guio a aumentar la profesionalización del campo. Organizaciones profesionales -la Sociedad para la Investigación en Evaluación y la Red de Evaluación, que se fusionaron en 1985 para formar la Asociación Americana de Evaluación- desarrollaron, tanto revistas como libros de texto dedicados a la evaluación de programas. Dirigido por Daniel Stufflebeam, el Comité Unido de Normas para la Evaluación Educativa (1994), representó 16 organizaciones profesionales, comprometidas en un proceso de varios años para desarrollar y publicar normas oficiales que articulaban los atributos clave para mejorar la evaluación de

1 Laurie Stevahn, Profesor Asistente de Educación, Director de Currículo e Instrucción, Escuela de Educación, Universidad de Seattle, PO Box 222000, Seattle, WA 98122-1090; teléfono: (206) 296-2559, e-mail: [email protected] . «Nota de los Autores: Queremos agradecer de todo corazón a las muchas personas que participaron en la discusión, proporcionando retroalimentación, compartiendo ideas, proporcionando información, y ofreciendo sugerencias para la revisión de la taxonomía de las competencias esenciales para los evaluadores del programa presentado en este artículo. Revista: American Journal of Evaluación, Vb. 26 N º 1, marzo de 2005 43 a 59. DOI: 10.1177/10982140042731 gO © 2005 Asociación Americana de Evaluación

Seminario de Planeación y Evaluación de la Educación Superior


57

los programas: utilidad, viabilidad, corrección y precisión. Un grupo de trabajo de la Asociación Americana de Evaluación (1995) más tarde crearon los Principios rectores para los evaluadores, proporcionando las directrices para las prácticas de evaluación y más tarde desarrollando el campo como una profesión. En nuevas orientaciones para la Evaluación de Programas se publicó una lista de programas para la formación en evaluación (Altschuld, Engle, Cullen, Kim, y Macee, 1994), y Fitzpatrick, Sanders, y Worthen (2004) resaltaron los rasgos de la evaluación de programas que sugieren un crecimiento constante para alcanzar la categoría profesional.

En un área, sin embargo, -el desarrollo de competencias para evaluadores- el campo de la evaluación de programa ha sido decididamente menor de lo que puede hacerse. La mayoría de las áreas reconocidas como profesiones han desarrollado usualmente competencias por la práctica (por ejemplo, en el cuidado de la salud, la enseñanza, el asesoramiento, etc.) al pedirle a un grupo de distinguidos profesionales, -a menudo en nombre de una organización profesional -para generar primero un esquema de categorías y lista inicial de competencias, y luego instituir un proceso de revisión experto para editarlas y perfeccionarlas. Las competencias se ponen entonces a disposición de los profesionales en campo para estructurar lo siguiente: programas de formación para principiantes; programas de educación continua para profesionales con experiencia, y revisión periódica para actualizarse en la teoría, investigación y práctica con lo que se evoluciona con el tiempo. Esto todavía no ha ocurrido en el ámbito de la evaluación de programas.

Distinguidos escritores y profesionales en la evaluación de programas han seguido un curso diferente. Debatieron si aún era posible descubrir un tema común de las competencias en un área con tal diversidad en su contexto y su contenido. Funciones internas versus funciones externas del evaluador, por ejemplo, abarcar diferentes tipos de relación entre evaluador y cliente (por ejemplo, asociaciones de corto plazo versus largo plazo), que a su vez implican diferentes tipos de oportunidades y limitaciones (por ejemplo, perspectiva interna frente a las perspectivas externas). Del mismo modo, evaluadores de programa que trabajan en empresas, gobierno, educación, salud, organizaciones no lucrativas, y otros sectores enfrentan diferentes asuntos de interés en esos sectores. Esto ha creado una situación clásica de la pregunta de qué fue primero, el huevo o la gallina. Si no hay acuerdo sobre las competencias para la evaluación del programa, entonces el campo no puede convertirse en una profesión unificada mediante el trabajo de sus diferencias. Al mismo tiempo, si el campo es verdaderamente diverso y no puede expresar sus diferencias, entonces nunca será posible identificar las competencias. La taxonomía de las competencias esenciales del evaluador propuesta en King, Stevahn Ghere y Minnema (2001) marcó un esfuerzo que aportó esperanza de que las competencias del evaluador pudieran ser posibles. Este artículo supone un segundo paso en esta búsqueda.

Una razón para desarrollar Competencias para evaluadores de ProgramaDespués de 30 años más o menos de discusión, uno bien podría preguntarse: "Si las competencias son la solución, ¿cuál es exactamente el problema?" Dicho de otro modo, ¿existen consecuencias por no haber establecido las competencias para los evaluadores de programa? Varias respuestas vienen a la mente. En primer lugar, ya que no se cuenta con licencias estandarizadas o credenciales de educación, nadie puede reclamar ser un evaluador. A causa de esto, evaluadores incompetentes, charlatanes y defraudadores bien pudieran pasar por profesionales con experiencia.

En segundo lugar, los directores del programa que dispusieron contratar a un evaluador no la tienen fácil de saber quien está calificado para hacer el trabajo, y ante el aviso de “no hay advertencia” les puede proporcionar un poco de consuelo. En tercer lugar, personas interesadas en convertirse en evaluadores pueden encontrar dificultades para determinar lo que necesitan aprender o donde pueden estudiar. En cuarto lugar, aquellos que trabajan en programas de desarrollo profesional universitario pueden basar sus planes de estudios en sus necesidades evidentes o en preferencias personales.



58

En quinto lugar, una preocupación más amplia es la queja continua de que el campo carece de investigación en evaluación de programa, dirigida a desarrollar y validar modelos descriptivos basados en la teoría para guiarse a una práctica efectiva. En cambio, el campo ha producido principalmente modelos prescriptivos para la práctica derivados de necesidades prácticas en contextos particulares (Aikin, 2004). Todos estos temas se relacionan directamente con la falta de competencias en campo, creando un problema orientado a su lógica para desarrollar las competencias. Basándose en parte en estos aspectos negativos, creemos que existe también una razón afirmativa para las competencias del evaluador. Para nuestra manera de pensar, el campo se beneficiaría de las competencias de evaluador en cuatro formas principales: (a) mejorar la formación, (b) ampliar la práctica reflexiva, (c) promover el avance de la investigación en evaluación y (d) potenciar la profesionalización continua del campo.

Mejorar la FormaciónHay varias maneras en que las competencias del evaluador pueden facilitar el mejoramiento de la capacitación en evaluación. En los entornos universitarios con programas de preparación formal que premian con grados académicos o certificados de formación, las competencias de evaluador pueden servir como un ancla para estructurar los cimientos del programa y de los diferentes cursos que sean necesarios. Al implementar estas competencias de manera sistemática en todos los cursos, colectiva o individualmente se puede crear un programa coherente que prepare a los alumnos con conocimientos, habilidades y actitudes que necesitarán para la práctica profesional exitosa. Las competencias también pueden guiar la instrucción y evaluación efectivas en todos los cursos requeridos. Aunque actualmente la facultad puede basar los programas y las decisiones curriculares en la Evaluación del Programa de Normas (Comité Mixto de Normas para la Evaluación Educativa, 1994), esas normas hablan de lo que constituyen las evaluaciones eficaces, y no de en qué consiste ser el evaluador competente que lleva a cabo esas evaluaciones.

Sin identificación explícita, las competencias esenciales pueden ser o asumidas o pasarse por alto, dejando a los aprendices sin una gama completa de habilidades. Por ejemplo, pocos programas universitarios ofrecen capacitación formal en las habilidades interpersonales necesarias para muchos métodos de evaluación, particularmente en enfoques orientados a la participación. Una taxonomía completa de las competencias del evaluador pondría de relieve la necesidad de dicha formación, así como induciría a educadores y estudiantes a enfocarse en las habilidades interpersonales para su práctica profesional. La competencia en el desarrollo de tales habilidades incluso podría ser incluido como criterio de candidatura o en entrevistas de salida, junto con competencias en técnica investigativa, -tales como en métodos cuantitativos o cualitativos- que normalmente constituyen el fundamento de programas de evaluación de la universidad.

En la formación para evaluadores en entornos no universitarios, las competencias del evaluador también pueden guiar la toma de decisiones sobre los tipos de experiencias para el desarrollo profesional necesaria y la secuencia de tales experiencias. Tanto las organizaciones pueden proporcionar a evaluadores formación continua a los trabajadores o pueden promover el desarrollo profesional para fines específicos, -tal como el fortalecimiento de la capacidad de evaluación para estudiantes independientes o en formación continua- una taxonomía de las competencias esenciales de evaluador puede ser útil para examinar los conocimientos, habilidades y actitudes en la participación que ya poseen y en cuales áreas de crecimiento es probable el avance tanto en el desarrollo personal como en los objetivos de la organización.



59

Mejora de la práctica reflexivaOtra de las características de eficacia profesional es el aprendizaje continuo y el perfeccionamiento de habilidades. Una taxonomía de las competencias para la reflexión sistemática en la práctica puede facilitar este proceso. Si se trabaja en un contexto en el que se apoya el desarrollo profesional mediante la promoción de la participaron en actuales experiencias de formación, -tales como las de dentro de una organización que patrocina el curso de formación- o trabajando en una situación en la que el desarrollo profesional se busque por propia iniciativa, así como cuando los evaluadores trabajen como consultores independientes –las competencias de evaluador pueden anclar una práctica reflexiva, mediante una autoevaluación sustancial.

Similar a practicar la metacognición, los evaluadores se benefician de lo siguiente: adquieren consciencia de sus preferencias personales para la evaluación, así como de sus fortalezas y limitaciones; auto-seguimiento de resultados de acciones destinadas a facilitar estudios de evaluación eficaces; y planeación de formas para mejorar futuros intentos. Una taxonomía exhaustiva de las competencias de evaluador puede brindar resultados significativos para esta reflexión.

Hemos identificado cuatro tipos de evaluadores que creemos podrían encontrar tal taxonomía útil para la reflexión y la autoevaluación: (a) nuevos evaluadores, es decir, personas que entran en el ámbito de la evaluación de los programas que no estén comprometidos en el desarrollo profesional, sino que se encuentren encarando circunstancias que requieren un conocimiento adicional o el desarrollo de nuevas habilidades para satisfacer las exigencias de sus circunstancias evaluatorias; (b) evaluadores ocasionales, es decir, personas sin formación que han recibido la responsabilidad de realizar las evaluaciones, a veces con poco interés en esa labor y que están tratando de averiguar exactamente lo que será necesario hacer en el trabajo;(c) profesionales transitorios, es decir, gente profesional en un área, pero han elegido ser evaluadores; y (d) evaluadores con experiencia que quieren mantenerse al día con cambios en la teoría del campo y la práctica, ampliar conocimientos a través de criterios de evaluación, o el desarrollo de teoría de la evaluación en un sentido académico en un sentido de práctica pragmática en el mundo real. Por todos estos evaluadores, una taxonomía de las competencias esenciales de evaluador se convierte en una herramienta útil para identificar áreas de fortaleza ya existentes (por ejemplo, enfoques determinados para la evaluación, métodos, habilidades comunicativas, habilidades interpersonales), así como en las áreas donde haya necesidad.

Avance de la Investigación en la evaluaciónLas tareas de formular y validar teorías de práctica efectiva, como tradicionalmente se ha seguido en otras disciplinas científicas sociales, generalmente no han sido enfocadas en el ámbito de la evaluación de programas (Christie, 2003; Stufflebeam, 2001). Esta es un área donde las competencias esenciales de evaluador pueden desempeñar un papel útil, especialmente en su relación con la formulación de la evaluación de diferentes modelos y enfoques exitosos. Las competencias proporcionan abundantes posibilidades para determinar preguntas útiles (o problemas) de la práctica a investigar, identificar variables dependientes e independientes, formular relaciones hipotéticas y examinar diversos aspectos de efectividad.

Algunas posibles áreas para la investigación sistemática sobre la evaluación de programas incluyen: (a) examinar el papel de las competencias en una práctica de evaluación efectiva, por ejemplo, enmarcar las preguntas de evaluación, permaneciendo abiertos a otros aportes, o resolviendo conflictos de manera constructiva, (b) investigar del impacto de la formación en la adquisición de habilidades y su aplicación, es decir, identificar qué tipo de experiencias de desarrollo profesional facilitan el desarrollo de las habilidades y la transferencia de la formación, y (c) determinar las variables que intervienen en la práctica de evaluación con éxito, tales como la identificación de las condiciones que facilitan u obstaculizan el uso de las competencias y su eficacia, especialmente, en contextos particulares o



60

modelos de práctica. Las competencias también pueden ser un trampolín para seguir trabajando en la definición de las variables operativas o describir las actividades que realiza el evaluador con base en las habilidades para entender mejor las dimensiones personales de la práctica de la evaluación en contextos específicos. La ejecución de estas áreas de la investigación posee el potencial para un avance en el campo de la evaluación de programa, contribuyendo en la elaboración y validación de teorías descriptivas útiles para refinar, ampliar y orientar una práctica efectiva.

Profesionalización del CampoArgumentaremos posteriormente que existe un beneficio inherente al campo para discutir los conocimientos específicos, habilidades y disposiciones que definen a la práctica de la evaluación competente. Aun en ausencia de acuerdos, el debate sobre las competencias profesionales establece un programa para lidiar con lo que es importante para la práctica de evaluación en diferentes áreas. Por otra parte, si el campo quiere avanzar hacia dar licencia u otorgar credenciales a los evaluadores, las competencias pueden servir de tema para el debate inicial y el perfeccionamiento (Altschuid, 1999). La existencia de una serie de competencias también puede aumentar la posibilidad de acreditación de programas, si una organización como la Asociación Americana de Evaluación fuese a adoptar y adaptarlas a este fin, -un paso importante en la profesionalización del campo.

Taxonomía de competencias esenciales para evaluadores de ProgramaLa taxonomía de competencias esenciales para los evaluadores del programa que se presenta en este artículo, amplía y perfecciona una versión anterior propuesta por King y col. (2001). Esta publicación describe cómo un grupo de cuatro individuos en la Universidad de Minnesota puso en marcha un estudio de validez sobre una serie inicial de competencias de evaluador. El proceso de validación inicial empleó un procedimiento de logro de consensos Multi atributos (MACR) procedimiento con 31 participantes localizados en el área o cerca de Minneapolis-St. Paul (Minnesota). Esos participantes representaron a las diversos roles de evaluador, Contextos, niveles de formación y años de experiencia. Los resultados cuantitativos y cualitativos indicaron un consenso sobre la importancia percibida de más de tres cuartas partes de las competencias propuestas. En áreas donde el consenso no surgió entre los participantes, tendieron a reflejar aspectos específicos de su contexto y de su papel en su práctica de evaluación. Aunque la taxonomía inicial se mantuvo constante durante todo el estudio de validación completo, a todos los participantes se les preguntó qué creían que debía añadirse (u omitirse de) la lista de competencias después de su participación en las tareas de validación. Sus sugerencias y razones subyacentes fueron sistemáticamente reconocidas para futuras consideraciones. Una descripción completa del diseño del estudio y una discusión completa de sus resultados aparecen en King y colaboradores. (2001).

Tras la publicación del primer conjunto de competencias de evaluador de King y colaboradores (2001), el grupo inicial de cuatro investigadores continuó con el desarrollo de competencias esenciales en varios frentes. Un grupo de complicadas acciones se presentaron en las publicaciones de las conferencias sobre competencias profesionales, incluyendo la reunión anual de la Asociación Americana de Evaluación (AEA) y el anuario de Instituto de Estudios de Evaluación de Minnesota (MESI). Otra complicada tarea consistió en crear y llevar a cabo un curso de un crédito-en la Universidad de Minnesota, a nivel postgrado, fue el de Programa de Estudios de Evaluación en el cual los participantes confrontaban con temas relevantes el conjunto de competencias de evaluador publicado. Además, consultamos con el profesor James Altschuid, quien había liderado un grupo de trabajo sobre este tema para la Asociación Americana de Evaluación.

Dos objetivos principales guiaron nuestro esfuerzo. El primero fue generar una discusión crítica y continuar con nuevas aportaciones a la taxonomía de las competencias de evaluador, de los



61

profesionales y estudiantes en campo. Al hacerlo, nos preguntábamos si algo debía añadirse (u omitirse de) a la lista y por qué. Nuestro segundo objetivo era proporcionar a los individuos que asistieron a las sesiones una oportunidad para la reflexión sobre su propia práctica evaluatoria y su desarrollo profesional. Sus impresiones personales proporcionaron información sobre la taxonomía de las competencias iniciales.

Más de 100 individuos participaron en las diversas presentaciones, reuniones, o sesiones que se realizaron para obtener aportes adicionales a la taxonomía de competencias esenciales para evaluadores de programa. De este modo, registramos sistemáticamente observaciones, cuestionamientos y sugerencias que surgieron durante los debates. Los temas recurrentes que surgieron de la crítica de esos registros, junto con nuestro propio pensamiento continuo sobre las competencias y los participantes de gran interés y entusiasmo por una mayor discusión, sugirieron los siguientes cinco necesidades de revisión: (a) la necesidad de un formato fácil de usar , (b) la necesidad de cruzar sistemáticamente las competencias con las normas de evaluación aprobadas por asociaciones de evaluación, (c) la necesidad de competencias adicionales para apoyar integralmente normas vigentes de la asociación de evaluación, (d) la necesidad de precisar cada competencia y ( e) la necesidad de diseminar la taxonomía revisada con el fin de facilitar la discusión continua puntual y crítica. La taxonomía de las competencias esenciales para evaluadores de programas presentada en la Tabla 1 tiene la intención de abordar cada una de estas necesidades.

Antes de profundizar en las siguientes secciones sobre la forma de abordar cada necesidad indicada anteriormente, queremos hacer notar de que no existe una definición generalmente aceptada para las competencias (Rychen, 2001), no hay acuerdo sobre la manera de describirlas. El término competencias se deriva del término competencia, que en el mundo del trabajo significa que una persona ha alcanzado cierto nivel de experiencia en multifacéticas habilidades que son necesarias para tener éxito en un campo determinado. Diferentes marcos de referencia, sin embargo, señalan cómo las competencias son concebidas y operacionalizadas (Weinert, 2001). En educación, por ejemplo, algunas competencias consideran incluir las habilidades y conocimientos especializados mientras que otros incluyen también las actitudes o disposiciones (Blanton, 1992; Gettinger, Stoiber, Goetz, y Caspe, 1999). A pesar de la falta de acuerdo, la mayoría de las taxonomías sobre competencias se centran en " sistemas de acción complejos que abarcan no sólo conocimientos, sino también estrategias y rutinas para la adecuada aplicación de estos conocimientos y habilidades, así como las emociones apropiadas y actitudes y la autorregulación efectiva de estas competencias "(Rychen, 2001, p. 8). En consecuencia, elegimos utilizar un enfoque de competencias que incluye conocimientos, habilidades y disposiciones que los evaluadores de programa necesitan para ser eficaces y profesionales. También elegimos describir las competencias en lenguaje conductual (en la medida de lo posible), describiendo "las cosas que puedes ver o escuchar siendo hechas " (Green, 1999, p. 7). Por lo tanto, las competencias predominantemente describen varias actividades que los evaluadores llevan a cabo para alcanzar los estándares que constituyen una evaluación adecuada (Por ejemplo, las normas del Programa de evaluación, del Comité Mixto de Normas para la Evaluación Educativa, 1994). Es importante señalar, sin embargo, usar un lenguaje comportamental no es el mismo que adoptar un enfoque de comportamiento para el desarrollo de las competencias, ya que éste tiende a analizar tareas en forma de comportamientos discretos en lugar de considerar el resultado como un todo funcional. (McAllister, 1998).

Necesidad de un Formato accesible para el usuarioLa taxonomía publicada anteriormente se organizó en un esquema de tres niveles (ver King y col., 2001). El primer nivel designó cuatro dominios generales, el segundo nivel identificó las categorías principales dentro de cada dominio, y el tercer nivel los temas específicos que figuran en cada categoría. Este



62

esquema de clasificación en tres niveles fue establecido por MACR para la validación del proceso en el estudio original, pero resultó difícil ponerlo en práctica. Por ejemplo, muchos individuos encuentran a los niveles de dominio ser tan generales que no traen a la mente de inmediato las competencias que figuran en cada uno (los cuatro dominios fueron: I. Investigación sistemática, II. Práctica de evaluación competente, III. Habilidades Generales para la Práctica de Evaluación, y IV. Profesionalización en Evaluación. El esquema multinivel también dio lugar a un sistema de numeración engorroso que utilizó números romanos para los Dominios, letras del alfabeto para las categorías y números arábigos para los artículos (ilustrado de la siguiente manera: dominio IV. Evaluación de la Práctica categoría IVE. Desarrollo Profesional, ítem IVE4. Actualización personal en el campo de la evaluación). Aunque metódico, este sistema numérico escalonado dificulta a los individuos recordar rápidamente, así como analizar las competencias.

TABLA 1Taxonomía de Competencias esenciales para Evaluadores de Programa

King, Stevahn, Ghere, &

Minnerna (2001)

Competenciasesencialespara el programa de evaluadores

Comité Mixto de Normas para Programa de Evaluación (1994)

AEA Principios y Guía (1995)

Sociedad Canadiense de Evaluación de habilidad esencial Series (199)

IV 1.0 Práctica Profesional

IVC 1.1 Aplica las normas de evaluación

A12 D.1 Ninguna

IVDIVB 1.2 Actúa éticamente y con

integridad y honestidad en la realización de evaluaciones

P1 C 1.1

IVB1 P2 C.1P3 C.2P4 C.3P5 C.4P6 C.5P7 C.6P8 C.7

D.1IVB2 1.3 Transmite la evaluación, se

acerca y habilita a P5 C.5 1.1

Clientes potenciales A11IVB3 1.4 Respeta a clientes,

encuestados, participantesP3 D Ninguna

Y otros interesados P4 D.1D.2D.3D.5

IVB4 1.5 Considera el bienestar general y público en la

Ninguna D.4 4.i

Práctica de la evaluación. EE.2E.3E.5

IVE6 1.6 Contribuye al conocimiento base de la evaluación

Ninguna Ninguno Ninguna



63

I 2.0 Investigación SistemáticaIB1 2.1 Comprende y conoce las bases

de la evaluación(términos, conceptos, teorías, hipótesis)

Ninguna A.2 1.a

1B5 A.3 1.b1.c1.d

1A3 2.2 Conoce los métodos cuantitativos

A9 A.2 4.f

1A41C314A 2.3 Conoce los métodos

cualitativos A8 A.2 4.f

A.314A 2.4 Conoce los métodos mixtos Ninguna A.2 Ninguna

A.31C1 2.5 Dirige revisiones de la

literaturaNinguna Ninguna Ninguna

2.6 Revisa la teoría del programa Ninguna Ninguna 2.e2.i4.a

IB3 2.7 Formula preguntas de evaluación

U3 A.2 1.e

EIB4 2.8 Desarrolla diseños de

evaluación A3 A.1 1.f

A4 A.2 2.eA5 4.dA6

IC2 2.9 Identifica las datos A4 Ninguna NingunaIC4 2.10 Recaba datos A5 A.1 3.d

A6 4.cA7

2.11 Evalúa la validez de los datos A5 A.1 4.eA7

2.12 Evalúa la confiabilidad de los datos

A6 A.1 4.e

A7IC5 2.13 Análisis de Datos A7 A.1 1.h

A8A9

IC6 2.14 Interpretación de Datos U4 A.3 1.hA.10

IB6 2.15 Elaboración de Juicios U4 Ninguna NingunaA10

IB7 2.16 Formula recomendaciones Ninguna Ninguna NingunaIIIA 2.17 Justifica las decisiones en toda

laEvaluación

A10 A.2 Ninguna

U5 A.3 1.h1C7 2.18 Informa el procedimiento y los

resultadosP6 E.3 4.j

A11IIIA 2.19 Señala fortalezas y

limitaciones de la evaluaciónA12 A.2 Ninguna



64

A.3B.2C.1C.6

IB8 2.20 Conduce meta evaluaciones A12 Ninguna NingunaIIB 3.0 Analiza la situación

3.1 Describe el programa A1 Ninguna 2.h3.2 Determina la viabilidad del

programaNinguna Ninguna Ninguna

3.3 Identifica los intereses de la parte interesada

U1 E.1 2.a

C.1IIA 3.4 Proporciona información

necesaria a futuros usuariosU1 C.3 2.d

U3 2.fU7 2.gP1

3.5 Orienta los conflictos P7 C.4 NingunaE.4

3.6 Examina el contexto organizacional de la evaluación

A2 E.2 Ninguna

F2IIB2 3.7 Analiza las consideraciones

políticas para la evaluaciónF2 C.3 Ninguna

E.1E.2

3.8 Atiende los asuntos del uso de la evaluación

U7 Ninguna 1.k

4.kIIB1 3.9 Atiende los asuntos del cambio

organizacionalF2 E.2 3.c

3.g3.h

IIB3 3.10 Respeta la singularidad del cliente

P4 D.3 Ninguna

IIB4 3.11 Mantiene apertura a otras influencias

Ninguna E.1 Ninguna

IIIB5 3.12 Modifica el estudio según sea necesario

Ninguna C.2 Ninguna

IIC 4.0 Administra proyectosIIC1 4.1 Responde a las propuestas

solicitadasNinguna B.2 Ninguna

4.2 Negocia con el cliente antes que la evaluación comience

P2 C.1 2.a

A.2 2.d2.f

IIC2 4.3 Escribe acuerdos formales P2 Ninguna Ninguna4.4 Se comunica con el cliente

durante la evaluaciónU5 A.3 1.i

U6 C.1 1.jP.6 C.2 2.d

C.5C.6

IIC3 4.5 Presupuesta una evaluación F3 C.1 1.g



65

P84.6 Justifica la necesidad de

determinados costosF3 C.1 1.g

P8IIC4 4.7 Identifica los recursos

necesarios para evaluación;información, experiencia, personal, instrumentos

Ninguna B.1 Ninguna

B.2IIIE 4.8 Utiliza la tecnología apropiada Ninguna Ninguna NingunaIIC5 4.9 Supervisa otros involucrados

en la evaluaciónNinguna Ninguna Ninguna

IIC6 4.10 Capacita otros involucrados en la evaluación

Ninguna Ninguna Ninguna

IIC7 4.11 Realiza la evaluación de manera ininterrumpida

F1 Ninguna Ninguna

IIC8 4.12 Presenta el trabajo de manera oportuna


IIC4 4.7 Identifica los recursos necesarios para evaluación

Ninguna B.1 Ninguna

información, experiencia, personal, instrumentos

B.2

IIIE 4.8 Utiliza la tecnología apropiada Ninguna Ninguna NingunaIIC5 4.9 Supervisa otros involucrados

en la evaluaciónNinguna Ninguna Ninguna

IIC6 4.10 Capacita otros involucrados en la evaluación


IIC7 4.11 Realiza la evaluación de manera ininterrumpida

F1 Ninguna Ninguna

IIC8 4.12 Presenta el trabajo de manera oportuna

U6 Ninguna Ninguna

5.0 Práctica Reflexiva

IVA 5.1 Es consciente de si como evaluador (conocimiento, habilidades, disposiciones)

U2 B.1 Ninguna

B.2IVEI 5.2 Reflexiona sobre su práctica

personal (competenciasy áreas de crecimiento)

Ninguna B.3 Ninguna

IVE2IVE 5.3 Persigue el desarrollo

profesional en evaluaciónNinguna B.3 Ninguna

IVE4IVE 5.4 Persigue el desarrollo

profesional en áreas relevantes


IVE5IVE3 5.5 Establece relaciones

profesionales para mejorar la práctica

Ninguna B.3 Ninguna

IIID 6.0 Competencia InterpersonalIIIB 6.1 Utiliza las habilidades de

comunicación escritaU5 A.3 4.j



66

C.1C.2C.3C.4C.5C.6E.3

IIIC 6.2 Utiliza actividades de comunicación verbal y escucha

P4 A.3 4.j

C.1C.2C.3C.4C.5C.6E.3

IIID1 6.3 Utiliza actividades de negociación

P4 C.1 Ninguna

P7IIID2 6.4 Utiliza habilidades de

resolución de conflicto P4 E.4 Ninguna

P7F2

IIID3 6.5 Facilita relaciones interpersonales constructivas (trabajo en equipo, integración grupal, procesamiento del grupo) .

Ninguna Ninguna 1.i

IIID4 2.dIIID5IIID6 6.6 Demuestra competencia

multicultural P4 D.5 Ninguna

E.1Nota: AEA= Asociación Americana de Evaluación

La taxonomía revisada y presentadas en la Tabla 1 muestra un esquema de clasificación más simple que el original que organiza las competencias en seis categorías diferentes, a saber, (a) práctica profesional), (b) investigación sistemática, (c) análisis situacional, (d) gestión de proyectos, (e) la práctica reflexiva, y (f) competencias interpersonales, cada uno de los cuales identifica más claramente las competencias específicas que contiene. Competencias en la Práctica profesional se centran en las normas y valores fundamentales subyacentes de la práctica en la evaluación, como sujetarse a las normas y a la ética. Las Competencias en la investigación sistemática se orientan en aspectos más técnicos de la práctica de evaluación, tales como el diseño, la recopilación de datos, análisis, interpretación y presentación de informes. Competencias en Análisis situacional se enfocan en el análisis y atención a las particularidades, los problemas y las circunstancias del contexto respecto a una evaluación determinada. Las competencias de gestión de proyectos se centran en las habilidades para la realización de la evaluación, tales como el presupuesto, la coordinación de recursos, y la supervisión de los procedimientos. Las competencias en la práctica reflexiva se centran en la conciencia del experto en evaluación y la necesidad de crecimiento, incluyendo el conocimiento de sí mismo como evaluador, evaluar las necesidades personales para mejorar su práctica, y comprometerse en su desarrollo profesional hacia ese objetivo. La competencia interpersonal se centra en las habilidades que se utilizan



67

para realizar estudios de evaluación, tales como la comunicación, negociación, manejo de conflictos, colaboración, y habilidades transculturales.

Cuando se presenta en forma lineal, la secuencia de estas seis categorías de competencias esenciales se expone la importancia en primer lugar de las bases de todos las programas de evaluación sobre normas, valores y criterios que sustentan el tema; lo siguiente es la experiencia en el ejercicio de la investigación técnica, del análisis situacional, y de las habilidades para la gestión de proyectos en planeación y conducción de la evaluación, seguido del pensamiento continuo y el esfuerzo para mejorar la propia práctica profesional. Por último, aunque es difícil imaginar un programa efectivo de evaluación sin incluir la competencia interpersonal, esa categoría es señalada al final porque la necesidad de gente eficaz no es exclusiva del ámbito de la evaluación, sino que tales habilidades son integradas a una práctica efectiva generalizada a numerosas disciplinas. A pesar de la explicación arriba planteada para ordenar estas categorías de competencias, pensamos que la representación visual en un diagrama de Venn de seis círculos que se interceptan reflejaría más apropiadamente su interconexión, como actualmente se lleva a cabo en la práctica de la evaluación.

Necesidad de una Comparación CotejadaCualquier taxonomía exhaustiva de competencias del evaluador ciertamente debe especificar lo que sin duda los evaluadores necesitan, que reúna las normas eficazmente, que se incorpore a los principios, o que aplique las directrices aprobadas por las asociaciones profesionales de evaluación. Por lo tanto, identificamos a las asociaciones en América del Norte, que avalan normas, principios o directrices en contra que nos pueden llevar a realizar una comparación cotejada. Hemos delimitado para el cotejo incluir solo aquellas directrices desarrolladas por organizaciones cuya función primaria sea promover la práctica profesional de programas de evaluación en general. Se excluyeron los estándares de evaluación o de competencias adoptadas por organizaciones que tienen un enfoque de evaluación más estrecho (por ejemplo, Competencias Profesionales de la Asociación de Consultores de Investigación Cualitativa, 2003) y de aquellos que utilizan la evaluación para cumplir otras responsabilidades (por ejemplo, Normas de Evaluación del Consejo del Tesoro de Canadá, 2001; o Competencias y Responsabilidades de la Comisión Nacional para la Credencialización de Educación de la Salud, 1996). Tres series de directrices para evaluación de programa surgieron de la comparación cotejada: (a) El Programa de Normas de Evaluación aprobado por el Comité Mixto de Normas para la Evaluación Educativa (1994), los Principios Rectores para Evaluadores aprobada por la AEA (1995), y las Series de Habilidades esenciales en Evaluación aprobado por la Sociedad Canadiense de Evaluación (1999). Cotejando estos tres conjuntos de pautas de evaluación con la taxonomía propuesta de competencias esenciales de evaluador de King y col. (2001) se dio el primer paso hacia la comparación final que aparece en la Tabla 1.

Nuestros pasos y decisiones para la preparación del cotejo inicial fueron los siguientes: 1. Cada autor individualmente determinó cuales de las competencias esenciales abordaban las normas respectivas, principios, o habilidades en las otras tres directrices. 2. Los propósitos centrales (o los principios básicos) de cada apartado se utilizó para el cotejo, más que palabras específicas o frases sacadas de contexto. Por ejemplo, subnormas en cada una de las cuatro normas principales en el Programa de Normas de Evaluación, subprincipios de los cinco principios importantes en los principios rectores, y subdestrezas en los cuatro principales clasificaciones de la Serie Habilidades Esenciales (cuales ordenamos secuencialmente a, b, c, d, e, etc.) fueron interpretadas en el contexto de la categoría principal en el que fueron clasificados. El principal objetivo de cada norma, principio o habilidad, y el lenguaje utilizado para expresarlo, tenía que estar alineado con el propósito principal de la competencia esencial específica al cual estuvo cotejada. Debido a que las rúbricas de los



68

principios rectores incluían una leyenda explicativa, en algunos casos era apropiado cotejar esos encabezados separarlos y apartarlos de sus subprincipios. 3. El consenso entre los cuatro autores era necesario. Cuando los desacuerdos persistían, se debatían a fondo las diversas interpretaciones, luego, se aplicaba sistemáticamente la regla de segunda decisión (detallado más arriba) para llegar a un consenso total.

Llevar a cabo el contraste inicial demostró su utilidad para diversos fines. En primer lugar, facilitó una validación adicional de la serie inicial de las competencias esenciales de King y col. (2001) al mostrar coincidencias considerables entre las competencias y las directrices de otros (es decir, 62 de las 69 del competencias esenciales de King tenían al menos una norma, principio, o habilidad compatible). En segundo lugar, proporcionó un método alternativo útil para la determinación sistemática de las competencias esenciales, distinto de (pero también útil) el más comúnmente usado "panel de expertos" método que se basa en la experiencia personal y el juicio profesional. Por último, puso de manifiesto las deficiencias de la taxonomía de King y col., señalando las competencias adicionales necesarias para el logro de ciertas pautas de evaluación ampliamente reconocidas como importantes por las asociaciones nacionales de evaluación.

La taxonomía revisada de las competencias esenciales para evaluadores de programa en el cuadro 1 amplía la taxonomía de King y col. (2001) mediante la inclusión de nuevos conocimientos, habilidades, o disposiciones que los evaluadores necesitan tanto para realizar como para producir el tipo de evaluaciones especificadas por las normas, principios y directrices aprobadas por las asociaciones de evaluación de renombre en Norte América. Después de completar la revisión, se elaboró una segunda comparación (mostrada en la Tabla 1) utilizando el mismo procedimiento de consenso y decisión de reglas descrito anteriormente. Una vez más, se encontraron coincidencias importantes entre la taxonomía revisada de competencias y directrices aprobadas por las principales asociaciones de evaluación (es decir, 53 de las 61 competencias clasificadas en las seis principales categorías tuvieron por lo menos una coincidencia con alguna norma, principio, o habilidad). En la siguiente sección, se identifican las competencias adicionales en la taxonomía revisada y se exponen las razones de su inclusión.

Necesidad de competencias adicionalesEl cotejo inicial que comparó la taxonomía de las competencias esenciales de evaluador de King (2001) con las normas, principios y conocimientos aprobadas por asociaciones de evaluación de renombre en Norte América (descrito anteriormente) reveló la necesidad de hacer las competencias esenciales más amplias. En primer lugar, se revisó el cotejo inicial para identificar qué elementos de las demás directrices no fueron abordados en la serie inicial de las competencias esenciales de King. Después deliberamos sobre lo central de estos elementos a lo largo de la evaluación del programa, llegando a un consenso sobre el grado en que creíamos esos temas fueron significativos, a continuación, desarrollamos competencias adicionales para apoyar aquellos elementos que acordamos eran importantes. La Tabla 1 presenta la taxonomía revisada de las competencias esenciales para evaluadores de programa conteniendo 13 competencias adicionales. Una adición, a la categoría principal (5.0 Práctica Reflexiva), resultado de la reorganización de las competencias de King en su formato actual de fácil manejo. Los otros 12 añadidos que resultaron de la necesidad de elaborar nuevas dimensiones críticas de las seis clasificaciones de categorías principales. Estas adiciones son los siguientes:

2.6 Especifica la teoría del programa2.11 Evalúa la validez de los datos2.12 Evalúa la confiabilidad de los datos



69

3.1 Describe el programa3.2 Determina la viabilidad del método de evaluación del programa3.3 Identifica los intereses de las partes interesadas

3.5 Busca solucionar los conflictos3.6 Examina el contexto organizacional de la evaluación3.8 Atiende las cuestiones de los usos de la evaluación 4.2 Negocia con los clientes antes que la evaluación inicie4.4 Se comunica con los clientes durante el proceso de evaluación 4.6 Justifica el costo de las necesidades de información dadas

Además, 10 competencias de King (2001) no aparecen en la Tabla 1. Esas competencias se observan en la Tabla 2, junto con las explicaciones de su omisión. En concreto, en King, varios Dominios generales (II y III) y categorías principales (IA, IB y IC) se convirtieron innecesarios en el formato accesible revisado. Diversos artículos sobre las competencias también fueron omitidos debido a que concernían a investigación en vez de la evaluación (IA1 IA2 y), exclusivamente centrada en las necesidades evaluación, sin especificar otros tipos de estudios (IB2), o demasiado amplia centrada en la habilidad de gestión, sin especificar otras características personales (IIC9). Por último, también se omite la competencia de "pensamiento lógico y crítico" (IIIA) de King et al., porque tal pensamiento es un componente integral subyacentes prácticamente de todas las otras competencias, especialmente aquellas que requieren directamente la determinación de fortalezas y limitaciones de los estudios, proporcionando razones para toma de decisiones, sopesar alternativas, haciendo juicios razonados, y así sucesivamente (véase, por ejemplo, la Tabla 1 , las competencias 2.17 y 2.19). Esto estaba en contraste con las habilidades de comunicación verbal y escrita que se pueden enseñar de manera independiente, de ahí que siguen siendo competencias separadas.

Necesidad de una precisión dentro de cada competenciaEl esfuerzo por una taxonomía exhaustiva de competencias esenciales para evaluadores de programa también nos llevó a repensar las competencias de King (2001) que incluyó a más de un elemento descriptivo. Por ejemplo, el elemento IA4 de la taxonomía original incorporó a tres descriptores, refiriéndose a las competencias en términos cuantitativos, cualitativos y métodos mixtos. Un elemento que incorpora múltiples descriptores puede arriesgar la futura utilidad de la taxonomía como una herramienta para la auto-evaluación dado que un evaluador puede poseer diferentes niveles de aptitudes en cada indicador dentro de ese elemento. Por lo tanto, siempre que fue posible, se separaron múltiples indicadores contenidos en artículos iguales, presentado cada uno en una competencia separada en la taxonomía revisada en el Cuadro 1. Por ejemplo, la competencia 2.2 de orientar un conocimiento con métodos cuantitativos, 2.3 orientar con métodos cualitativos los conocimientos y la competencia 2.4 que los orienta con métodos mixtos. En algunos casos, sin embargo, nosotros preferimos mantener múltiples indicadores de una competencia debido a la estrecha y algo inseparable naturaleza de los indicadores (específicamente ver las competencias 1.2, 1.3, 1.4, 1.5, 2.18, 2.19, 3.10, 5.2, y 6.2). Por ejemplo, la competencia 1.2 habla de la importancia de actuar con ética y lucha por la integridad y la honestidad en la realización de evaluaciones. El comportamiento ético, la integridad y la honestidad están tan entrelazados que parecía más prudente para incorporar todos estos indicadores en una competencia, en lugar de enumerar cada uno por separado.



70

TABLA 2Competencias de King, Stevahn, Ghere, y Minnema (2001)

Omitidas en la Taxonomía Revisada en Tabla 2Clasificación Competencias

OmitidasDescripción Razón de la Omisión

Dominios II Competente en Evaluación Práctica

Este amplio dominio no es necesario en la taxonomía revisada que reorganiza las competencias en seis clasificaciones específicas.

III Habilidades Generales para la Práctica de la Evaluación

Este amplio dominio no es necesario en la taxonomía revisada que reorganiza las competencias en seis clasificaciones específicas.

Categorías IA Capaz de hacer actividades orientadas a la investigación

Esta categoría pertenece a la investigación (no evaluación) por lo tanto no se aplica a la taxonomía revisada

IB Capaz de hacer actividades orientadas a evaluar

Esta categoría no es necesaria porque se aplica a través de toda la taxonomía revisada.

IC Capaz de hacer actividades comunes a la investigación y evaluación

Esta categoría no es necesaria ya que la taxonomía se aplica a la práctica de la evaluación (no de investigación).

IIIA Habilidades de pensamiento lógico y critico

Esta categoría separada no es necesaria porque el pensamiento crítico subyace a todas las competencias de la taxonomía revisada.

Ítems IAI Encuadrar las preguntas de investigación

Esta categoría pertenece a la investigación (no evaluación) por lo tanto no se aplica a la taxonomía revisada

IA2 Diseño de la investigación Esta categoría pertenece a la investigación (no evaluación) por lo tanto no se aplica a la taxonomía revisada

IB2 Evaluación de Necesidades Este punto se omite porque la taxonomía revisada no especifica tipos particulares de estudios; en su lugar las evaluaciones deben dirigir las preguntas (como indica la Tabla 1, competencias 2.7 and 2.8).

IIC9 Capaz de manejar el estrés durante un proyecto

Este punto es demasiado abierto y sería más apropiado si es subsumido por competencias 5.1 and 5.2 de la Tabla

Necesidad de contar ahora con una taxonomía revisadaCreemos que el objetivo último de cualquier taxonomía útil y completa de competencias para evaluadores de programa debe ser su validación amplia y generalizada y aprobada por profesionales del área. Siendo realistas, se trata de una tarea a largo plazo. Varios pasos en el proceso incluyen la revisión de la literatura en la evaluación de programas, formulación de taxonomías iniciales, que pueden fusionarse en una sola, establecer la validez de la confrontación, buscar información diversa para la revisión, determinar las estrategias de validación, explora las normas de validación en diferentes regiones geográficas o sectores concretos de la práctica, perseguir la validación generalizada en todo el campo de la práctica profesional, revisar y refinar cualquier acuerdo sobre taxonomía en vista de nuevos desarrollos en campo, y así sucesivamente. La taxonomía de las competencias esenciales para los evaluadores de programa en este artículo representa nuestro progreso en este recorrido de largo plazo, que inició en 1998 y fue el primero en reportarse en King y col. (2001).

Aunque algunos pueden argumentar que es prematuro presentar la taxonomía revisada de las competencias esenciales en la Tabla 1, antes de su validación formal en el campo a largo plazo, creemos que ponerla ahora a disposición es un paso intermedio útil. Hacerlo así, fomenta el tipo de discusión continuada y crítica necesaria para determinar el grado en que un amplio consenso de una serie común



71

de competencias puede lograrse por evaluadores de programa quienes tienen papeles específicos y trabajan en diversas situaciones. De hecho, creemos que este conjunto de competencias beneficiarían a evaluadores de programa de múltiples maneras, especialmente (como se señaló anteriormente), estableciendo una fundación en la que se promueva y mejore la formación, mejore la práctica reflexiva, avance en la investigación en evaluación, y fomente la profesionalización del área. Sin embargo, ofrecer el fundamento para avanzar en la discusión parece prudente, dado el interés recurrente en el tema durante la última década. Tal interés no sólo ha sido evidente en la literatura (véase, por ejemplo, Altschuld, 1995, 1999, Fitzpatrick et al., 2004; Mertens, 1994; Patton, 2001; Smith, 1999) y en las reuniones de las asociaciones de evaluación profesional (véase , por ejemplo, Altschuld y Bickman, 1998; Covert, 1992; King, Minnema, Ghere, y Stevahn, 1998; King, Stevahn, Ghere, y Minnema, 1999; Smith, 1998), pero además es un foco de atención dentro de las organizaciones actuales que están trabajando para establecer series de competencias profesionales importantes para la evaluación del programa (véase, por ejemplo, Consejo de enlace entre la universidad y Práctica de Salud Pública, s / f; Junta Internacional de Normas para la Formación, Actuación, e Instrucción, 2003; también del editor DF Russ-Eft, Desarrollo de Recursos Humanos que aparece cuatrimestral, comunicación personal, 30 de junio de 2004). En suma, encontramos que la taxonomía en la Tabla 1 representa una útil herramienta profesional de desarrollo en los programas que facilita. En su forma actual, la taxonomía sirve como plataforma para participar de manera significativa en la reflexión de evaluadores, auto-análisis y discusión en grupo sobre una amplia gama de conocimientos, habilidades y disposiciones relacionadas con la práctica.

Iniciativas futurasDos actividades principales son necesarias para consolidar una taxonomía de las competencias esenciales para evaluador de programa para su uso generalizado. La primera es llevar a cabo sistemáticamente un estudio y validación integral para determinar el grado en que los evaluadores de programa en todo el campo puedan lograr un consenso sobre la importancia de una serie de competencias esenciales para la práctica profesional. Al hacerlo, se requerirá incluir una amplia muestra representativa de evaluadores en el proceso de validación que representen las diversas funciones de la evaluación, orientaciones e intereses- más parecidos a los integrantes de las organizaciones tales como la AEA, una organización bien posicionada para continuar el desarrollo de competencias y su aprobación en el futuro. También será necesario definir los términos para promover la coherencia en el significado y la comprensión consensada. Actualmente estamos preparando un glosario de términos utilizados en la taxonomía revisada en el cuadro 1, una muestra de lo que aparece en el cuadro 3. La segunda actividad consistirá en la construcción de rúbricas descriptivas para las competencias esenciales de evaluador que especifiquen diversos niveles de ejecución de las aptitudes. De manera más inmediata, como una herramienta que prueba la utilidad de la auto-evaluación de las habilidades de uno como evaluador, de ese modo además esclarece las áreas de desarrollo profesional. Así mismo, tales rubricas podrían ser aplicadas inmediatamente en programas de evaluación de programas de formación para evaluar el progreso formativo o sumativo. Por último, a largo plazo, las rúbricas serían útiles en cualquier certificación de credenciales u otorgamiento de licencias que puedan darle seguimiento las organizaciones específicas o el campo en general.



72

Cuadro 3Glosario muestra de términos seleccionados en la Taxonomía revisada en cuadro 1

Términos DefiniciónConflicto Cuando los intereses incompatibles y / o acciones se producen entre los seres humanos Comportamiento ético Las acciones que encarnan los ideales aceptados que rigen la conducta de una profesión

Enfoque de la evaluación

Una orientación general hacia la realización de una evaluación útil de los programas para abordar cuestiones concretas, por ejemplo, orientado al consumidor, orientada a objetivos, orientada a la gestión , u orientada a los participantes direccionan la evaluación, por nombrar algunos

Diseño de la evaluación

Especifica las preguntas de evaluación, fuentes de datos, recopilación de datos y métodos de análisis, y los procedimientos para llevar a cabo un estudio de evaluación y comunicación de resultados, un plan para llevar a cabo una evaluación

Normas de evaluación Las normas o principios de Evaluación aprobadas por asociaciones nacionales de evaluación y ampliamente aceptados en el campo, por ejemplo, el Comité Conjunto del Programa de Normas de Evaluación, la Asociación Americana de Evaluación principios rectores para los evaluadores'''

Honestidad No hay engaño, se caracteriza por la integridadIntegridad La adhesión a un código de conducta éticaMetaevaluación Evaluación de un estudio de evaluación del programaMétodos mixtos Utilizando métodos tanto cuantitativos como cualitativos de recopilación de datos y métodos de

análisis para abordar preguntas de evaluación

Teoría del programa Un modelo lógico del programa a veces se denomina la teoría de un programa de cambio; supuestos subyacentes de la eficacia de un programa; explicación de los mecanismos que se presume hacen un programa efectivo

Tal como las normas de evaluación proveen orientación para la toma de decisiones al llevar a cabo estudios de evaluación de programas, las competencias de evaluador que especifican los conocimientos, las habilidades y las disposiciones fundamentales para llevar a cabo eficazmente esas normas tienen la capacidad de seguir aumentando la efectividad de los esfuerzos de evaluación. Inspirados en el espíritu de se puede hacer en la evaluación, creemos que continuar trabajando hacia un acuerdo sobre la serie de competencias fundamentales para la práctica efectiva es fundamental para el avance de esta área. Aunque algunos pueden cuestionar la conducta básica subyacente implícita en cualquier serie de competencias, cada vez vemos más un creciente interés y trabajo en esta área. Por ejemplo, en profesiones distintas a la evaluación, tales como cuidado de la salud y la educación, vemos que las competencias de evaluador encajan en calificar la acreditación y otorgar la credencialización (ver la Comisión Nacional para la credencialización de la Educación en Salud, (1996) Responsabilidades y competencias o el Consejo Nacional para la acreditación de Formación de Personal Docente (2002) Normas profesionales para la acreditación de Escuelas, Universidades y Departamentos de Educación). Vemos que también las asociaciones nacionales de evaluación, tales como la Sociedad Japonesa de Evaluación que examina la viabilidad de los sistemas de acreditación que necesariamente requieren la identificación de habilidades de evaluador deseadas (ver Nagao, 2003). Para afrontar las cuestiones de competencia hacia la mejora continua en la práctica de la evaluación de programa, le ofrecemos la taxonomía revisada de las competencias esenciales para evaluadores de programa esperando sea de utilidad. Además esperamos que proporcione significados sustanciales para abastecer la discusión crítica rigurosa y permanente entre los evaluadores de programa que buscan profesionalizar más el área.

Referencias



73

1. Alkin, MC (1969). Evaluation theory development. Evaluation Comment , 2 (1), 2-7. 2. Alkin, MC (2004). Comparing evaluation points of view. In MC Alkin (Ed.), Evaluation roots: Tracing theorists' views and

influences (pp. 3-11). Thousand Oaks, CA: Sage. 3. Altschuld, JW (1995). Developing an evaluation program: Challenges in the teaching of evaluation. Evaluation and

Program Planning , 18 , 259-265. 4. Altschuld, JW (1999). The certification of evaluators: Highlights from a report submitted to the Board of Directors of

the American Evaluación Association. American Journal of Evaluación , 20 , 481-493. 5. Altschuld, JW, & Bickman, L. (1998, November). Be it resolved that evaluators should be certified (credentialed): The

pro side of the issue . Paper presented at the annual meeting of the American Evaluation Association,Chicago. 6. Altschuld, JW, Engle, M., Cullen, C., Kim, I., & Macce, BR (1994). The 1994 directory of evaluation training programs. In

JW Altschuld & M. Engle (Eds.), The preparation of professional evaluators: Issues, perspectives, and programs (New directions for program evaluation, No. 62, pp. 71-94). San Francisco: Jossey-Bass.

7. American Evaluación Association, Task Force on Guiding Principles for Evaluators. (1995). Guiding principles for evaluators. In WR Shadish, DL Newman, MA Scheirer, & C. Wye (Eds.), Guiding principles for evaluators (New directions for program evaluation, No. 66, pp. 19-16). San Francisco: Jossey-Bass.

8. Blanton, LP (1992). Preservice education: Essential knowledge of the effective special education teacher. Teacher Education and Special Education, 15 , 87-96.

9. Campbell, DT & Stanley, JC (1963). Diseños experimentales y cuasi-experimentales para la investigación. Boston: Houghton Mifflin. Canadian Evaluation Society. (1999). Essential skills series. Retrieved January 15, 2004, from http:// www.evaluationcanada.ca

10. Christie, CA (2003). What guides evaluation? A study of how evaluation practice maps onto evaluation theory. In C. A. Christie (Ed.), The practice-theory relationship in evaluation (New directions for evaluation, No. 97, pp. 7-35). San Francisco: Jossey-Bass.

11. Council on Linkages Between Academia and Public Health Practice. (nd). Competencies project . Retrieved July 31, 2004, from http://www.trainingfinder.org/competencies/background.htm

12. Covert, RW (1992, November). Successful competencies in preparing professional evaluators. Paper presented at the annual meeting of the American Evaluación Association, Seattle, WA.

13. Fitzpatrick, JL, Sanders, JR, & Worthen, BR (2004). Program evaluation: Alternative approaches and practical guidelines (3rd ed.). Boston: Pearson.

14. Gettinger, M., Stoiber, K., Goetz, D., & Caspe, E. (1999). Competencies and training needs for early childhood inclusion specialists. Teacher Education and Special Education, 22 , 41-54.

15. Green, P. (1999). Building robust competencies: Linking human resource systems to organizational strategies. San Francisco: Jossey-Bass. Guba, EG (1978). Toward a methodology of naturalistic inquiry in educational evaluation (CSE MonographSeries in Evaluación, No. 8). Los Angeles: University of California, Center for the Study of Evaluation. International Board of Standards for Training, Performance, and Instruction. (2003). Competencies. Retrieved July 13, 2004, from http://www.ibstpi.org/main.htm

16. Joint Committee on Standards for Educational Evaluación. (1994). The program evaluation standards (2nd ed.). Thousand Oaks, CA: Sage.

17. King, JA, Minnema, J., Ghere, G., & Stevahn, L. (1998, November). Evaluator competencies. Paper presented at the annual meeting of the American Evaluación Association, Chicago.

18. King, JA, Stevahn, L., Ghere, G., Minnema, J. (1999,November). “ And the verdict is. . . .” An exploratory study of perceived evaluator competencies. Paper presented at the annual meeting of the American Evaluación Association, Orlando, FL.

19. King, JA, Stevahn, L., Ghere, G., & Minnema, J. (2001). Toward a taxonomy of essential evaluator competencies. American Journal of Evaluation, 22 , 229-247.

20. McAllister, M. (1998). Competency standards: Clarifying the issues. Contemporary Nursing , 7 , 131-137. 21. Mertens, DM (1994). Training evaluators: Unique skills and knowledge. In JW Altschuld & M. Engle (Eds.), The

preparation of professional evaluators: Issues, perspectives, and programs (New directions for program evaluation, No. 62, pp. 17-27). San Francisco: Jossey-Bass.

22. Nagao, M. (2003). Japan Evaluation Society's experiment with an accreditation scheme for evaluation training programs. Manuscript in preparation. National Commission for Health Education Credentialing. (1996). Responsibilities and competencies. Retrieved January 15, 2004, from http://www.nchec.org National Council for Accreditation of Teacher Education. (2002). Professional standards for the accreditation of schools, colleges, and departments of education. Retrieved January 15, 2004, from http://www.ncate.org 58 American Journal of Evaluation/March 2005

23. Patton, MQ (1978). Utilization-focused evaluation. Newbury Park, CA: Sage Publications. 24. Patton, MQ (2001). The CEFP as a model for integrating evaluation within organizations. Cancer Practice, 9 (Suppl. 1),

11-16. 25. Provus, MM (1969). Evaluation of ongoing programs in the public school system. In RW Tyler (Ed.), Educational


http://www.evaluationcanada.ca/


74

evaluation:New roles, new means (pp. 242-283).The 68th Yearbookof the National Society for the Study of Education, Part 2. Chicago: National Society for the Study of Education.

26. Qualitative Research Consultants Association. (2003). Professional competencies of qualitative research consultants. Retrieved January 15, 2004, from http://www.qrca.org

27. Rychen, DS (2001). Introducción. In DS Rychen & LH Salganik (Eds.), Defining and selecting key competencies (pp. 1-15). Seattle, WA: Hogrefe and Huber.

28. Scriven, M. (1967). The methodology of evaluation. In RE Stake (Ed.), Curriculum evaluation (American Educational Research Association monograph series on evaluation, No. 1, pp. 39-83). Chicago: Rand McNally.

29. Smith, MF (1998, November). Should AEA begin a process for restricting membership into the profession of evaluation? Paper presented at the annual meeting of the American Evaluación Association, Chicago.

30. Smith, MF (1999). Should AEA begin a process for restricting membership in the profession of evaluation? American Journal of Evaluation , 20 , 521-531.

31. Stake, RE (1980). Program evaluation, particularly responsive evaluation. In WB Dockrell & D. Hamilton (Eds.), Rethinking educational research (pp. 72-87). London: Hodder and Stoughton.

32. Stufflebeam, DL (1973). An introduction to the PDK book Educational Evaluación and Decision-making . In BR 33. Worthen & JR Sanders (Eds.), Educational evaluation: Theory and practice (pp. 128-142). Worthington, OH: Charles A.

Jones. 34. Stufflebeam, DL (2001, November). Evaluation theory from the perspective of the CIPP model . Paper presented at the

annual meeting of the American Evaluation Association, St. Louis, MO. 35. Treasury Board of Canada. (2001). Evaluation policy. Retrieved January 15, 2004, from http://www.tbs-sct.gc.ca 36. Weinert, F. (2001). Concept of competence: A conceptual clarification. In DS Rychen & LH Salganik (Eds.), Defining and

selecting key competencies (pp. 45-65). Seattle, WA: Hogrefe and Huber. Stevahn et al. / Evaluator Competencies 59


seminario de planeación y evaluación de la … · web view... letras del alfabeto para las...

Documents