•Objeto: construir doscientos noventa y dos (292) ítems para el ECAES de Administración, según la distribución balanceada por
componentes, competencia, afirmaciones, evidencias y complejidad, relacionada en el texto de este contrato; dichos ítems serán
utilizados junto con otros, para evaluar a los estudiantes que cursan último año de educación superior en Administración.
•Producto: 292 ítems debidamente revisados y aprobados por un
Comité de Expertos.
•Plazo: Agosto 7 de 2010
Contrato
COMPONENTE ITEMS
Administración y Organizaciones 82
Finanzas 42
Mercadeo 42
Producción y operaciones 42
Electivo
• Internacional 42
• Servicios 42
TOTAL 292
Estructura
Equipo de trabajo
• Coordinador Académico • Coordinador Logístico • Coordinadores Regionales • Grupo base • Grupo de expertos • Constructores • Coordinador ICFES
Constructor
Coordinador Regional
Constructor
Coordinador Nacional
y Grupo Base
ICFES
Selección
y
Envío 30%
Revisión
Revisión
Coordinador Nacional
y Grupo Base
Ajuste 30% y nueva
selección 30%
ICFES
Revisión
Coordinador Nacional
y Grupo Base
Revisión
100%
Grupo de Expertos
Entrega
Final
Proceso
¿Qué es una evaluación?
Una evaluación es un proceso por medio del
cual se llega a inferencias sobre los logros,
conocimientos, habilidades y competencias de una
población objetivo, basado en una serie de
observaciones.
¿Qué es una prueba?
Una prueba es un instrumento de medición
que debe ser coherente con el propósito que se ha
establecido.
Validez: Que mida lo
que pretende medir
Confiabilidad:
Que se obtengan medidas
precisas y repetitivas.
Objetividad: Independiente de la población a evaluar y del ente evaluador.
Condiciones de una Prueba
Modelo de diseño basado en evidencias - MBE
• Es una metodología para diseñar y estructurar pruebas, la cual permite determinar de manera clara y precisa lo que se pretende medir con ella.
• Asegura la validez, confiabilidad y objetividad.
• Permite contar con un fundamento sólido para las distintas inferencias que se hagan con base en los resultados obtenidos en la prueba.
Elementos del MBE
Propósito Analizar Dominio
(Componentes)
Construir
Afirmaciones
Definir Tareas Actividades
Plantear
Evidencias
Propósito: Requiere responder a las preguntas: ¿Qué? ¿A quienes? ¿Para qué? ¿Cómo? ¿Cuándo?
Dominio: Permite contar con diversas perspectivas teóricas acerca de lo que se pretende evaluar. Es importante preguntarse en esta etapa qué conocimientos, habilidades o competencias deben ser medidos? Requiere:
•Recolectar información sobre lo que se quiere evaluar (Planteamientos teóricos). •Definir y caracterizar los componentes a evaluar. •Especificar una perspectiva psicológica para el aprendizaje y para la evaluación. •Representar lo que los expertos, docentes, etc., consideran valioso evaluar.
Afirmaciones: Son enunciado sobre lo que se espera que hagan los
evaluados en relación con el dominio a evaluar. Requiere:
• Coherencia con el propósito. • Claridad sobre lo que se quiere decir de la población evaluada con base en las respuestas a la prueba.
Evidencias : Descripción de conductas o productos observables que
apoyan las afirmaciones, permiten inferir si el evaluado se ha apropiado o no de las conocimientos, habilidades o competencias sobre el Dominio evaluado. Requiere:
• Que cada afirmación tenga como mínimo una evidencia. • Estar ligadas a uno o más productos observables.
Tareas: Descripción de tipos de situaciones que es necesario incluir
para obtener las evidencias requeridas; es decir, que “cosas” le debemos pedir a los examinados que hagan de tal forma que éstos exhiban sus conocimientos, habilidades o competencias (Dominio evaluado). Requieren:
• Estar ligadas a una evidencia.
• Responder a las preguntas:
¿Qué tareas se deben diseñar para recolectar la o las evidencias
planteadas?;
¿Qué características de las tareas afectan la validez y la dificultad?;
¿Pueden las tareas cubrir todos los aspectos de los conocimientos,
habilidades y competencias que se pretenden medir (Dominio evaluado)?
DOMINIO
Componente 3 Componente 2 Componente 1
Afirmación 2.3 Afirmación 2.1 Afirmación 2.2
Evidencia 2. 3. 3
Evidencia 2. 3. 1
Evidencia 2. 3. 2
Tarea 2. 3. 1. 2
Tarea 2. 3. 1. 1
Tarea 2. 3. 1. 3
Modelo
Tarea 1,1,1
Tarea 1,1,2
Tarea 1,1,3
Tarea 1,1,4
Tarea 1,2,1
Tarea 1,2,2
Tarea 1,3,1
Tarea 1,3,2
Tarea 1,3,3
Tarea 1,4,1
Tarea 1,4,2
Tarea 2,1,1
Tarea 2,1,2
Tarea 2,1,3
Tarea 2,1,4
Tarea 2,2,1
Tarea 2,2,2
Tarea 2,2,3
Tarea 2,2,4
Tarea 2,2,5
Tarea 2,3,1
Tarea 2,3,2
Tarea 2,3,3
Tarea 1,1,1
Tarea 1,1,2
Tarea 1,2,1
Tarea 1,2,2
Tarea 1,2,3
Tarea 2,1,1
Tarea 2,1,2
Tarea 2,1,3
Tarea 2,2,1
Tarea 2,2,2
Com
pone
nte I
I
Evidencia 2,1
Evidencia 2,2
Evidencia 2,3
Com
pone
nte I
Afirmación 2
Evidencias
Evidencia 1,3
Evidencia 1,4
Afirmación 1
Evidencia 1,1
Evidencia 1,2
Evidencia 1,1
Evidencia 1,2
Que no debe saberTareas Que debe saber
Evidencia 2,1
Evidencia 2,2
Afirmaciones
Afirmación 1
Afirmación 2
Matriz de especificaciones de prueba
Componente Sub-componente Afirmaciones Evidencias
Administración y organizaciones
Dirección de organizaciones 1 3
2 3
Gerencia de organizaciones
3 3
4 5
5 7
Gestión humana 6 2
Finanzas 1 4
2 2
Mercadeo
Comprender consumidores 1 3
Conquistar compradores 2 5
Conservar clientes 3 2
Componente Sub-componente Afirmaciones Evidencias
Producción y operaciones
1 5
2 4
3 7
Electiva Internacional 1 3
2 3
Electiva Servicios
Conceptualización del servicio
1 4
2 1
3 1
4 3
Monitoreo de servicio 1 5
Afirmaciones Evidencia Tareas Alcance
Al finalizar el programa de
administración el evaluado
debe ser capaz de
El evaluado Situaciones que le permitan Qué debe saber Qué no debe saber
I. Dirección de organizaciones
1. Definir estrategias
que busquen
equilibrar intereses a
corto plazo con
objetivos de
sostenibilidad de la
organización en el
largo plazo y la
conduzcan a la
perdurabilidad
1.1 Identifica los
elementos del
entorno que son
relevantes para
la gestión
estratégica
1.1.1 Identificar las fuerzas
del mercado y su impacto en
la organización Elementos del
entorno que
resultan relevantes
para definir la
estrategia de la
organización
Detalles del entorno
económico que no
impactan directamente
los resultados de la
organización.
1.1.2 Identificar el marco en
el que actúa la organización
(PEST+LA)
1.1.3 Identificar
oportunidades de mercado
1.2 Integra las
áreas
funcionales
de la
organización
para tomar
decisiones
1.2.1 Identificar fortalezas y
debilidades en la
organización Analizar las
fortalezas y
debilidades de una
organización en el
marco de un
análisis tipo DOFA.
1.2.2 Proponer líneas de
acción que permitan integrar
eficientemente las áreas
funcionales
1.2.3 Integrar la estrategia
con las áreas funcionales
Matriz de Evidencias
Afirmaciones Evidencia Tareas Alcance
Al finalizar el
programa de
administración el
evaluado debe ser
capaz de
El evaluado Situaciones que le permitan Qué debe saber Qué no debe saber
I. Dirección de organizaciones
1.3 Define la
estrategia
organizacional
integrando factores
internos y externos
1.3.1 Identificar el sector en
el que opera la
organización Los elementos relevantes
del entorno y las
características internas de
la organización, y cómo
esta relación influye sobre
los resultados de la
organización.
1.3.2 Formular propuestas
para la generación de
ventajas competitivas
sostenibles
1.3.3 Formular una
estrategia organizacional
que le permita ser
competitiva y perdurable
Ejemplo COMPONENTE DE ADMINISTRACION Y ORGANIZACIONES
Un joven empresario ha creado una firma de prestación de servicios por internet. Considerando los elementos del entorno que son relevantes para tomar decisiones estratégicas, el mayor reto que deberá enfrentar este empresario durante los próximos años es la
a. competencia creciente en un mercado globalizado b. cualificación y desarrollo de sus técnicos programadores c. capacidad financiera para apalancar su crecimiento d. obsolescencia de sus equipos y recursos tecnológicos
Clave: a
AFIRMACION: Definir estrategias que busquen equilibrar intereses a corto plazo con objetivos de sostenibilidad de la organización en el largo plazo y lo conduzcan a la perdurabilidad. EVIDENCIA: Identifica los elementos del entorno que son relevantes para la gestión estratégica. TAREA: Identificar las fuerzas del mercado y su impacto en la organización.
AUTOR(A): Pares Académicos COMPETENCIA: Interpretativa COMPLEJIDAD: Media TIPO: I FECHA ELABORACIÓN: Diciembre 2009
JUSTIFIQUE LA CLAVE Y LAS DEMÁS OPCIONES DE RESPUESTA
a. Aunque todas las opciones son potencialmente relevantes para un proceso de planeación estratégica, sólo esta opción es una condición del entorno externo, y por lo tanto reviste el mayor reto a futuro dada la incertidumbre y creciente competitividad de los mercados globales.
b. Esta es una condición propia de la organización, y por lo tanto está sujeta al control o influencia directa por parte de la gerencia.
c. Aunque esta opción involucra aspectos externos, tales como las condiciones macroeconómicas y las alternativas externas de financiación, estos son normalmente aspectos coyunturales que permiten un mayor margen de maniobra por parte de una empresa, a diferencia de una realidad incuestionable de un mercado crecientemente competitivo.
d. Esta es una condición propia de la organización, y por lo tanto está sujeta al control o influencia directa por parte de la gerencia.
Elementos técnicos para la construcción
• Preguntas a construir : 292
• Tipo: selección múltiple con única respuesta
• Valores taxonómicos: Componentes, afirmaciones, evidencias y tareas.
• Competencias a evaluar: Interpretativa, Argumentativa y Propositiva.
• Niveles de complejidad: alto, medio y bajo
SITUACIÓN O CONTEXTO PARA LA TAREA
Se desprenden varias preguntas que se componen de
UN ENUNCIADO
CUATRO OPCIONES DE RESPUESTA
Competencias
Un Saber-hacer en contexto; es decir, la articulación y uso de saberes, de formas de razonar y proceder para comprender situaciones o solucionar problemas.
Interpretar: Acciones que realiza una persona con el propósito
de comprender una situación en un “contexto” específico. La interpretación implica dar cuenta del sentido de un texto, proposición, problema, evento, gráfica, mapa, esquema o símbolo. Igualmente, permite reconocer los argumentos propios de un referente teórico.
Argumentar: Acciones que realiza una persona, con el propósito de
fundamentar o sustentar un planteamiento, una decisión o un evento. La argumentación implica explicitar los por qué de un planteamiento, articular conceptos o teorías para justificar afirmaciones, hacer demostraciones matemáticas, vincular premisas para sustentar conclusiones y establecer relaciones de causalidad.
Proponer: Acciones que realiza una persona, con el propósito de
plantear alternativas de decisión o de acción y de establecer nuevas relaciones o vínculos entre eventos o perspectivas teóricas. La proposición implica plantear alternativas de solución a problemas, establecer regularidades y generalizaciones, plantear hipótesis, elaborar diseños y establecer tendencias de funcionamiento de un sistema.
•Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura de la prueba y los valores taxonómicos definidos.
•Todas los ítems de una prueba deben ser independientes entre sí. La información de uno no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber encontrado primero la de uno anterior.
•Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta depende únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento.
•Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible.
•Los ítems no deben contener juicios de valor explícitos o implícitos .
•Realizar una revisión gramatical y ortográfica de cada uno de los ítems
Reglas generales para construcción de Items
•Los enunciados deben ser afirmativos, en caso de ser necesaria la negación , se debe llamar la atención hacia la formulación negativa.
•La doble negación puede afectar la comprensión, p.e. : “No es cierto que no procedan los recursos”.
•Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.
•Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta.
Reglas específicas sobre los enunciados
•Deben pertenecer al mismo campo semántico.
•No deben dar indicaciones sobre la clave por ofrecer un cierto contraste en cuanto a longitud precisión / imprecisión uso común / técnico generalización / particularización
• No se deben repetir expresiones si éstas se pueden incluir en el enunciado del ítem; repetir una palabra del enunciado, en cualquiera de las opciones, puede llevar a que sea elegida como respuesta, sin serlo.
•Se deben evitar expresiones como “todas o ninguna de las anteriores”, en su lugar construir alternativas de respuesta plausibles.
Reglas sobre las opciones
•Comprometer a los participantes con el proceso (firma del acta).
• Diseñar, seguir y documentar procedimientos para la construcción, archivo, utilización y transporte de materiales confidenciales.
• Asegurar que únicamente las personas autorizadas tengan acceso al material de examen.
• Destruir copias de material de examen una vez concluido el proceso.
Como garantizar la Confidencialidad
Código: C1.1.F05
Versión: 3
FICHA TÉCNICA DE CONSTRUCCIÓN DEL
ÍTEM
Nº ÍTEM:
Página 1 de 2
DATOS DEL ÍTEM DATOS DEL AUTOR
Programa:
Prueba: Nombre:
Competencia:
Componente: Institución:
Valor taxonómico 1 Teléfonos:
Valor taxonómico 2 e-mail:
Valor taxonómico 3 Fecha:
Versión del ítem:
ÍTEM: CONTEXTO, ENUNCIADO Y OPCIONES DE RESPUESTA
DIFICULTAD ESPERADA CLAVE
Alta Media Baja
JUSTIFICACIÓN DE LA CLAVE:
JUSTIFICACIÓN DE OPCIONES NO VALIDAS:
ESPECIFICACIONES DE DISEÑO: DIBUJOS, ECUACIONES Y/O GRÁFICAS
NOMBRE DEL REVISOR: Fecha:
ASPECTOS QUE DEBEN SER AJUSTADOS:
Aspecto
Elemento del ítem
Clave
Opciones no válidas
Contexto
Enunciado
Opciones de respuesta
ConceptualTécnico de
construcciónSesgo
Redacción u
ortografía
SUGERENCIAS PARA MEJORAR EL ÍTEM:
APROBADA
MODIFICADA RECHAZADA Fecha:
OBSERVACIONES:
NOMBRE Y FIRMA PROFESIONAL ENCARGADO
ACTA DE COMPROMISO DE CONFIDENCIALIDAD
PROGRAMA DE EVALUACIÓN ______________________________________ PRUEBA _________________________________________________________ INSTITUCIÓN _____________________________________________________ CIUDAD __________________________________________________________ Yo,___________________________________________________, identificado(a) con cédula de ciudadanía número ____________________ de _______________ me comprometo a cumplir con las labores asignadas en el proceso de construcción de pruebas de evaluación educativa, con los más altos estándares de competencia ética e integridad profesional, teniendo debida consideración a la naturaleza y propósito del trabajo desarrollado. También me comprometo a no revelar directa o indirectamente a ninguna persona, durante la vigencia de este trabajo, ni después de su terminación, ninguna información que hubiera obtenido durante el mismo y que no sea de dominio público. ___________________________ _____________________________ Firma Fecha CC. No.
Taller • Elaboración de un ítem en forma individual . • Trabajo por grupos según componente. Administración y Organizaciones Finanzas Mercadeo Producción y operaciones Electiva Internacional Electiva Servicios • Selección preguntas • Plenaria
La infraestructura es el desafío para los líderes de Latinoamérica: Pricewaterhouse Coopers Daniel España - [email protected] Publicado: 06.04.2010 La Pricewaterhouse Coopers (PWC) presentará mañana en Cartagena los resultados de la encuesta anual de CEO, realizada a más de 1.198 directivos de 52 países del mundo durante el último trimestre de 2009. Ésta se refiere a los desafíos que enfrenta la economía en América Latina y el mundo, destacando las oportunidades, obstáculos y escenarios después de la crisis global. Uno de los apartes más importantes del estudio es el que tiene que ver con las necesidades de los gobiernos y empresas de la Región, denominado "Más allá de la supervivencia, reposicionando América del Sur". Allí se relaciona con las perspectivas para mantener el crecimiento regional, basadas en datos de 194 entrevistas realizadas a diferentes líderes empresariales latinoamericanos. Uno de los indicadores más destacados es el de insuficiencia de la infraestructura básica (que integra componentes como electricidad, agua y transporte), donde 65 por ciento de los CEO regionales cree que es fundamental para ser más competitivos tras la crisis económica, dato que el año anterior (encuesta para el último trimestre de 2008) mostraba esta necesidad latente en apenas 32 por ciento de los casos.
"Una de las mayores trabas es la infraestructura, que aumenta los costos que están reduciendo la competitividad. Es necesario que deje de ser un tema de gobierno y se convierta en un tema de Estado", explicó el socio senior para América Latina de la PWC, Luis Frissoni. El dato contrasta con que en la región sólo 27 por ciento de los gobiernos está tomando las medidas que los líderes corporativos consideran necesarias en infraestructura, según lo revela el estudio. Por su parte, con 76 por ciento de la muestra regional, la mayor preocupación para América Latina tras la crisis radica en la reglamentación excesiva, donde además se considera que en 63 por ciento de los casos es un factor de causa o incentiva de la corrupción. Al respecto, informes del Doing Business señalan que la región es la que mayor tiempo demanda por año en el mundo para cancelar impuestos, con 385 horas invertidas en promedio. Lo anterior, según el estudio Paying Taxes, deja a Colombia en la posición 115 en este aspecto, detrás de países como Paraguay (110), Perú (86) y Ecuador (55). Sobre la corrupción, la organización internacional Transparency International señala que Colombia tiene un índice de 3,7 sobre 10 (siendo 10 altamente honesto y cero altamente corrupto). Chile y Uruguay son los mejor puntuados de América Latina con 6,7 puntos, mientras Brasil también tiene 3,7 puntos y Venezuela alcanza apenas 1,9.
"Mi percepción es que el gran problema de nuestros países es el patrimonialismo del Estado, la falta de percepción entre lo que es público y lo que es privado. Hace falta fortalecer aspectos como la rendición de cuentas y mejorar la transparencia. Esto se puede combatir. La educación también es clave", agregó Frissoni. De igual manera, siguen siendo preocupando temas como la volatilidad en el tipo de cambio (60 por ciento), una posible prolongación de la recesión mundial (54 por ciento), cambio climático (46 por ciento), y la seguridad en la cadena de suministro (44 por ciento).
1. Teniendo en cuenta la información que le brinda el texto anterior y
haciendo uso de la ficha técnica, construya un ítem que pueda servir para
evaluar un saber hacer en la disciplina en el componente de su especialidad.
2. Haga la caracterización del ítem atendiendo a la información que
exige la ficha técnica.
INSTRUCCIÓN