Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 1 -
Documento CEACS-DD.002.4
Título
TÉCNICAS DE CONSULTA A EXPERTOS
MEDIANTE TALLERES DELPHOS
Autor(es) Oscar Rodríguez Nieto
Fecha Octubre de 2008
Temas Relacionados Técnicas de Investigación, Talleres, Métodos cualitativos, métodos cuantitativos.
Resumen
El Taller Delphos es una técnica multicriterio de
recolección de información diseñada por CEACS
con el fin de consultar la opinión experta de
personas con amplios conocimientos de un tema en
particular; Conocer los diferentes argumentos que
sustentan las diferentes opiniones consultadas y
contrastarlas mediante debate.; Contar con
indicadores cuantitativos objetivos que midan,
califiquen o ponderen los aspectos investigados de
acuerdo con la opinión conjunta de las personas
consultadas; Tener en cuenta en dichos indicadores
tanto las opiniones mayoritarias como las
minoritarias
Este documento presenta la técnica tal y como ha
sido diseñada originalmente y la compara con otros
métodos como los talleres y grupos de enfoque
CEACS CENTRO DE ESTUDIOS Y
ASESORÍAS EN
CIENCIAS SOCIALES
INFORMACIÓN DE CONTACTO:
Avenida 22 # 41-28 (402), La Soledad, Bogotá DC Teléfono: 2323253 Fax: 5701854
Sitio Web: www.ceacs.org Correo electrónico: [email protected]
Documentos de Discusión en
Ciencias Sociales
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 2 -
TÉCNICAS DE CONSULTA A EXPERTOS
MEDIANTE TALLERES DELPHOS
Por Oscar Rodríguez Nieto
INTRODUCCIÓN
El Taller Delphos es una técnica multicriterio de
recolección de información diseñada por el Centro de
Estudios y Asesorías en Ciencias Sociales CEACS1 con
los siguientes objetivos:
Consultar la opinión experta de personas con
amplios conocimientos de un tema en
particular.
Conocer los diferentes criterios y argumentos
que sustentan las diferentes opiniones
consultadas y contrastarlas mediante debate.
Contar con indicadores cuantitativos objetivos
que midan, califiquen o ponderen los aspectos
investigados de acuerdo con la opinión
conjunta de las personas consultadas.
Tener en cuenta en dichos indicadores tanto las
opiniones mayoritarias como las minoritarias.
Lograr que la opinión de cada persona
consultada tenga en cuenta los argumentos y
opiniones de los demás participantes
El diseño de los talleres Delphos está soportado en una
técnica de consulta de expertos ampliamente probada
desde los años 50s llamada el Método Delphi, y ambos
1 Rodriguez, Oscar - CEACS, “Modelo de Otorgamiento de
Microcrédito para la Financiera Compartir S.A. CFC”.
Consultoría elaborada para Financiera Compartir y el Banco
Interamericano de Desarrollo, Colombia, 2004.
entran dentro de lo que se denomina métodos de
expertos con los foros, mesas redondas, conversatorios,
páneles, debates, grupos de enfoque (focus groups),
etc.
A continuación se lleva a cabo una revisión general de
las ventajas y desventajas de los métodos expertos, del
Método Delphi en particular y de los Talleres Delphos.
1 LOS MÉTODOS DE EXPERTOS
Los métodos de expertos2 utilizan como fuente de
información un grupo de personas a las que se supone
un conocimiento elevado de la materia que se va a
tratar. Estos métodos se emplean cuando se da alguna
de las siguientes condiciones:
No existen datos históricos con los que trabajar
o es muy costoso recoger la información. por
ejemplo el efecto que tendrán sobre un país o
una localidad un ataque terrorista o el asesinato
de un líder. El análisis de los expertos puede
dar luces sobre dichas consecuencias
El impacto de factores exógenos intangibles
tienen una influencia alta sobre los resultados
que se quieren investigar. Siguiendo el mismo
ejemplo, la desconfianza mutua en la
ciudadanía cuando se sabe de la existencia de
delincuentes o terroristas infiltrados o
escondidos entre la población civil, pueden
2 Los conceptos descritos en esta sección y la siguiente han sido
basados en la información proporcionada por la Universidad
Politecnica de Madrid en la siguiente dirección:
http://www.gtic.ssr.upm.es/encuestas/delphi.htm#A1.1.1
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 3 -
generar fenómenos sociológicos que no son
fáciles de predecir pero que los expertos
pueden analizar.
Las consideraciones éticas o morales, así como
cuando dentro de lo que se quiere investigar las
opiniones resultan importantes. En el caso de
temas como el aborto o la clonación de seres
humanos, la discusión entre expertos
defensores y detractores permite prever las
reacciones y argumentos de franjas de opinión
pública al respecto.
Los métodos de expertos, en especial los que incluyen
discusión en grupo, tienen las siguientes ventajas:
La información disponible, al final del
ejercicio, será siempre mayor que la que
dispone el participante mejor preparado, es
decir, que la del experto más versado en el
tema. Esta afirmación se basa en la idea de que
varias cabezas son mejor que una.
El número de factores que es considerado por
un grupo es mayor que el que podría ser tenido
en cuenta por una sola persona. Cada experto
podrá aportar a la discusión general la idea que
tiene sobre el tema debatido desde su área de
conocimiento.
Es menos costoso que otros procesos de
análisis cuando se involucran demasiados
aspectos o variables que influyen
marginalmente.
Sin embargo, estos métodos también presentan
inconvenientes, como son:
Al tratar con expertos, en especial cuando se
trata de líderes y demás personas con
experiencia en interactuar en ambientes de
discusión, fácilmente el tema a tratar puede
desviarse hacia los intereses de los expertos
con mayor liderazgo. Estos grupos son
vulnerables a la posición y personalidad de
algunos de los individuos. Una persona con
dotes de comunicador puede convencer al resto
de individuos, aunque su opinión no sea la más
acertada. Esta situación se puede dar también
cuando uno de los expertos ocupa una mayor
jerarquía frente a los otros, por ejemplo alto
cargo en la organización, ya que sus
subordinados no le rebatirán sus argumentos
con fuerza.
Cuando no se presenta una organización
estricta del debate las discusiones tienden a
volverse circulares. Es posible que dos
opiniones enfrentadas desemboquen en la
reformulación persistente de los mismos
argumentos de parte y parte.
La presión social que el grupo ejerce sobre sus
participantes puede provocar acuerdos con la
mayoría, aunque la opinión de ésta sea errónea.
Así, un experto puede renunciar a la defensa de
su opinión ante la persistencia del grupo en
rechazarla.
En algunos casos el grupo hace de su
supervivencia un fin. Esto provoca que se
tienda a conseguir un acuerdo en lugar de
producir una buena previsión.
En estos grupos hay veces que el argumento
que triunfa es el más citado, en lugar de ser el
más válido.
Puede existir un sesgo común a todos los
participantes en función de su procedencia o su
cultura, lo que daría lugar a la no aparición en
el debate de aspectos influyentes en la
evolución. Este problema se suele evitar con
una correcta elección de los participantes.
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 4 -
De acuerdo con los documentos citados de la
Universidad Politécnica de Madrid “El método
de expertos ideal sería aquel que extrajese los
beneficios de la interacción directa y eliminase
sus inconvenientes. Esta intenta ser la filosofía
de la metodología Delphi”3.
2 EL MÉTODO DELPHI
TRADICIONAL4
El método Delphi pretende extraer y maximizar las
ventajas que presentan los métodos basados en grupos
de expertos y minimizar sus inconvenientes. Para ello
se aprovecha la sinergia del debate en el grupo y se
eliminan las interacciones sociales indeseables que
existen dentro de todo grupo. De esta forma se espera
obtener un consenso lo más fiable posible del grupo de
expertos
Este método presenta tres características
fundamentales:
Anonimato: Durante un Delphi, ningún experto
conoce la identidad de los otros que componen
el grupo de debate. Esto tiene una serie de
aspectos positivos, como son:
o Impide la posibilidad de que un
miembro del grupo sea influenciado
por la reputación de otro de los
miembros o por el peso que supone
oponerse a la mayoría. La única
influencia posible es la de la
congruencia de los argumentos.
o Permite que un miembro pueda
cambiar sus opiniones sin que eso
suponga una pérdida de imagen.
o El experto puede defender sus
argumentos con la tranquilidad que da
saber que en caso de que sean
3 UPM, ibidem 4 UPM, ibidem
MÉTODO DELPHI
Como primera medida debe delimitarse claramente el contexto
Se selecciona el panel de expertos
Se envía por correo un primer cuestionario
no estructurado, donde se pide a los expertos que establezcan cuáles son los eventos a analizar.
Los expertos responden y devuelven los formularios.
El moderador realiza una labor de síntesis y selección. Este conjunto de eventos formará el
cuestionario de la segunda circulación.
Se lleva a cabo una segunda circulación, en
donde los expertos reciben el cuestionario reformado.
Una vez contestados, los cuestionarios son devueltos al moderador, que realiza un análisis estadístico de las previsiones de cada evento.
El moderador confecciona el cuestionario de
la tercera circulación que comprende la lista de eventos y los estadísticos calculados para cada evento.
Los expertos reciben el tercer cuestionario y
se les solicita que realicen nuevas previsiones y deben dar una explicación del motivo por el que creen que su previsión es correcta y la del resto del panel no. Estos argumentos se realimentarán al panel en la siguiente circulación.
Cuando el moderador recibe las respuestas, realiza de nuevo el análisis estadístico y organiza los argumentos. El cuestionario de la
cuarta circulación va a contener el análisis estadístico y el resumen de los argumentos.
Se solicita a los expertos que hagan nuevas previsiones, teniendo en cuenta las
explicaciones y las discrepancias aparecidas.
Cuando el moderador recibe los cuestionarios, realiza un nuevo análisis y sintetiza los argumentos utilizados por los expertos.
Teóricamente, ya habría terminado el Delphi, quedando tan sólo la elaboración del informe final. Sin embargo, si no se hubiese llegado a un consenso, existiendo posturas muy distantes, el moderador debería confrontar los distintos argumentos para averiguar si se ha cometido algún error en el proceso.
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 5 -
erróneos, su equivocación no va a ser
conocida por los otros expertos.
Iteración y realimentación controlada: La
iteración se consigue al presentar varias veces
el mismo cuestionario. Como, además, se van
presentando los resultados obtenidos con los
cuestionarios anteriores, se consigue que los
expertos vayan conociendo los distintos puntos
de vista y puedan ir modificando su opinión si
los argumentos presentados les parecen más
apropiados que los suyos.
Respuesta del grupo en forma estadística: La
información que se presenta a los expertos no
es sólo el punto de vista de la mayoría, sino
que se presentan todas las opiniones indicando
el grado de acuerdo que se ha obtenido.
En la realización de un Delphi aparece una
terminología específica:
Circulación: Es cada uno de los sucesivos
cuestionarios que se presenta al grupo de
expertos.
Cuestionario: El cuestionario es el documento
que se envía a los expertos. No es sólo un
documento que contiene una lista de preguntas,
sino que es el documento con el que se
consigue que los expertos interactúen, ya que
en él se presentarán los resultados de anteriores
circulaciones.
Panel: Es el conjunto de expertos que toma
parte en el Delphi.
Moderador: Es la persona responsable de
recoger las respuestas del panel y preparar los
cuestionarios.
Antes de iniciar un Delphi clásico se realizan una serie
de tareas previas, como son:
Delimitar el contexto y el horizonte temporal
en el que se desea realizar la previsión sobre el
tema en estudio.
Seleccionar el panel de expertos y conseguir su
compromiso de colaboración. Las personas que
sean elegidas no sólo deben ser grandes
conocedores del tema sobre el que se realiza el
estudio, sino que deben presentar una
pluralidad en sus planteamientos. Esta
pluralidad debe evitar la aparición de sesgos en
la información disponible en el panel.
Explicar a los expertos en qué consiste el
método. Con esto se pretende conseguir la
obtención de previsiones fiables, pues van los
expertos van a conocer en todo momento cuál
es el objetivo de la cada una de los procesos
que requiere la metodología.
En un Delphi clásico se pueden distinguir cuatro
circulaciones o fases:
Primera circulación: El primer cuestionario es
no estructurado, no existe un guión prefijado,
sino que se pide a los expertos que establezcan
criterios para analizar con respecto a un tema
en particular. Generalmente se pregunta cuáles
son los eventos y tendencias más importantes
que van a suceder en el futuro referentes al
área en estudio. Cuando los cuestionarios son
devueltos, el moderador realiza una labor de
síntesis y selección, obteniendo un conjunto
manejable de eventos, cada uno de los cuales
está definido de la forma más clara posible.
Este conjunto formará el cuestionario de la
segunda circulación.
Segunda circulación: Los expertos reciben el
cuestionario con los sucesos y se les pregunta
por la fecha de ocurrencia. Una vez
contestados, los cuestionarios son devueltos al
moderador, que realiza un análisis estadístico
de las respuestas. El análisis se centra en el
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 6 -
cálculo de la mediana (v.g. año en que hay un
50% de expertos que piensan que va a suceder
en ese año o antes), el primer cuartil o cuartil
inferior y tercer cuartil o cuartil superior. El
moderador diseña el cuestionario de la tercera
circulación que comprende la lista de eventos y
los estadísticos calculados para cada evento.
Tercera circulación: Los expertos reciben el
tercer cuestionario y se les solicita que realicen
nuevas previsiones. Si se reafirman en su
previsión anterior y ésta queda fuera de los
márgenes entre los cuartiles inferior y superior,
deben dar una explicación del motivo por el
que creen que su previsión es correcta y la del
resto del panel no. Estos argumentos se
realimentarán al panel en la siguiente
circulación. Al ser estos comentarios
anónimos, los expertos pueden expresarse con
total libertad, no estando sometidos a los
problemas que aparecen en las reuniones cara a
cara. Cuando el moderador recibe las
respuestas, realiza de nuevo el análisis
estadístico y, además, organiza los argumentos
dados por los expertos cuyas previsiones se
salen de los márgenes intercuartiles. El
cuestionario de la cuarta circulación va a
contener el análisis estadístico y el resumen de
los argumentos.
Cuarta circulación. Se solicita a los expertos
que hagan nuevas previsiones, teniendo en
cuenta las explicaciones dadas por los
expertos. Se pide a todos los expertos que den
su opinión en relación con las discrepancias
que han surgido en el cuestionario. Cuando el
moderador recibe los cuestionarios, realiza un
nuevo análisis y sintetiza los argumentos
utilizados por los expertos. Teóricamente, ya
habría terminado el Delphi, quedando tan sólo
la elaboración de un informe en el que se
indicarían las fechas calculadas a partir del
análisis de las respuestas de los expertos y los
comentarios realizados por los panelistas. Sin
embargo, si no se hubiese llegado a un
consenso, existiendo posturas muy distantes, el
moderador debería confrontar los distintos
argumentos para averiguar si se ha cometido
algún error en el proceso.
Las principales desventajas del método Delphi son:
La información que llega a los expertos en
cada circulación puede ser resaltada o
minimizada en algunos aspectos dependiendo
de la organización que le de el moderados. El
orden en que se tratan los temas en el resumen
y la cantidad de espacio que se otorga a
diferentes argumentos puede direccionar el
debate. Esto en algunos casos puede ser una
ventaja, si el moderador lo hace en pos de
obtener los objetivos de investigación y no
para presionar un resultado favorable a sus
propias opiniones.
Es un método que toma mucho tiempo para
obtener los resultados definitivos. Al llevarse a
cabo por correo y no en tiempo real, depende
de la disponibilidad de tiempo de los expertos
para contestar. El tiempo mínimo que dura
cada circulación es el que el más demorado de
los expertos se tome para responder. En los
casos en los que se limita demasiado el tiempo
de respuesta algunos expertos pueden quedar
excluidos en el informe y deberán aplazar la
presentación de sus argumentos hasta la
siguiente circulación.
Al ser completamente anónimo, no es posible
vincular el tipo de respuesta dada por un
experto particular con su contexto. Por ejemplo
si se pregunta por el futuro del cultivo de la
papa, las opiniones de un comercializador
experto, las de un productor experto y la de un
funcionario del Ministerio de Agricultura serán
posiblemente distintas pero los demás
participantes no sabrán el porqué de dichas
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 7 -
posiciones. Si se supiera el origen de las
posiciones, podrían ponderar dichas respuestas
y hacerse a una opinión más objetiva del
asunto.
Algunas de estos inconvenientes se han superado
mediante la utilización de sitios web especializados
para desarrollar este tipo de debates con
retroalimentación inmediata de los resultados de las
consultas.
3 CARACTERÍSTICAS DE LOS
TALLERES DELPHOS
Los talleres Delphos buscan aprovechar las ventajas
tanto del método Delphi Clásico, como la de los grupos
de discusión entre expertos. En resumen, tienen en
común con los talleres el hecho de realizarse de manera
presencial y con el Método Delphi el realizar más de
una vuelta de consulta para enriquecer las opiniones de
unos participantes con los argumentos de los otros.
Tienen tres fases claramente definidas: consulta inicial,
debate y consulta final. Los detalles se explican más
adelante.
La primera y más grande diferencia entre estas dos
técnicas es que en los grupos de discusión el tiempo
requerido para la realización de la consulta es mucho
menor que en el Método Delphi, lo cual resulta
conveniente en muchos casos en los cuales es necesario
obtener conclusiones prontamente. Los talleres
Delphos son similares a los talleres de discusión
tradicionales en su duración.
Otra diferencia importante entre los grupos de
discusión y el método Delphi, es que en los primeros la
participación es explícita mientras que en el segundo la
participación es anónima. Ambos enfoques tienen
ventajas y desventajas como ya se ha mencionado. Para
maximizar las ventajas y minimizar las desventajas los
talleres Delphos prevén que en la primera consulta que
se realiza a los expertos durante el taller, la opinión
pueda ser anónima o identificada, dependiendo del
tema y el tipo de personas convocadas; durante la fase
de discusión el anonimato se pierde en la medida que
los participantes expresan sus opiniones libremente, si
no se ha preguntado el nombre en la primera consulta,
podría conservarse un anonimato discrecional del
experto, el cual estaría en capacidad de revelar o no su
opinión al resto del grupo; en la fase final se mantiene
el anonimato de la respuesta definitiva de cada persona
ante el resto del grupo aunque se puede pedir
identificación en caso de que se deseen ponderar las
opiniones de acuerdo con el grado de credibilidad de
cada experto, desde el punto de vista de quien va a usar
la información.
METODOLOGÍA GENERAL DE LOS
TALLERES DELPHOS
1. Se formula un conjunto de interrogantes a
un grupo seleccionado de personas.
(mediante un formulario u otro instrumento
estructurado)
2. Se consolida la información haciendo
explicitas las diferencias de opinión sobre
cada tema preguntado
3. Se presentan los resultados a los
participantes. A medida que se revisan los
resultados se comparan las opiniones
extremas y se escuchan los argumentos de
los participantes. No se busca alcanzar
acuerdos en esta discusión sino dejar
claramente definidos los argumentos de
cada posición
4. Una vez revisados los resultados se
vuelven a responder las mismas preguntas
iniciales, teniendo en cuenta los
argumentos de la discusión. Los
participantes pueden mantener sus
posiciones iniciales o cambiarlas.
Se espera que en la segunda consulta se
presente menos dispersión en las respuestas
(puede darse un mayor acuerdo o la polarización
de las posiciones, pero será menor la cantidad de
indecisos
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 8 -
Otro aspecto importante es que en los talleres de
discusión los resultados son eminentemente
cualitativos y su interpretación en la mayoría de los
casos, tiene un alto componente subjetivo. En el
Método Delphi el resultado aunque puede ser
cualitativo (tipo de acciones a tomar, origen de un
problema, eventos esperables, etc) los resultados se
organizan según indicadores estadísticos cuantitativos
que permiten, independientemente del análisis que el
moderador realice, una lectura objetiva por parte de
terceros. Para los Talleres Delphos se busca la
cuantificación de conceptos cualitativos mediante
calificación, escogencia, ordenamiento, escalamiento y
otros métodos tradicionalmente usados en encuestas
para traducir opiniones y percepciones en respuestas
estructuradas. Sin embargo para no perder la riqueza
cualitativa de la discusión entre los expertos se
desarrolla la fase intermedia de intercambio de
argumentos y la segunda consulta representa el análisis
de la discusión por parte de los mismos participantes y
la incorporación de las conclusiones del taller en sus
respuestas. Este último aspecto mejora de manera
importante la objetividad del análisis en la medida que
el informe del taller será principalmente descriptivo y
el procesamiento de las opiniones han sido llevadas a
cabo al interior del grupo y no por quien observa la
discusión.
En los grupos de discusión tradicionales la opinión que
se impone es la de aquel que por su liderazgo,
insistencia o jerarquía logre convencer al
observador/investigador con sus argumentos y las
personas que tienen opiniones contrarias son
convencidas también, lo cual es el mejor de los casos, o
simplemente abandonan el debate5. En el método
Delphi lo que se busca en esencia es confluir hacia un
5 Dependiendo de la importancia del tema para cada participante y
los rasgos específicos de personalidad, alguien en un grupo de
debate puede darle mayor valor a terminar el pronto el debate que
ha imponer sus convicciones. En especial cuando hay razones
para pensar que sus opiniones no van a ser escuchados,
independientemente de su solidez argumental, algunos
participantes se verán inclinados a desistir de seguir insistiendo
en participar
consenso, dadas las condiciones de anonimato, la
opinión que se impone se espera sea la que tenga los
argumentos más convincentes, pero ignorando por
parte de los demás participantes los posibles intereses y
motivaciones personales o gremiales de quien los
emite. En los Talleres Delphos se conoce la identidad
de quien argumenta pero se mantiene el anonimato en
la respuesta final, lo cual permite a cada persona
ponderar los argumentos de acuerdo a la credibilidad
que le merecen cada uno de los demás interlocutores y
se le garantiza su libertad de opinión en la medida que
la segunda respuesta no es de público conocimiento de
los demás participantes. Es posible que finalmente los
líderes y los insistentes logren imponer sus opiniones
pero, en lugar de tener que convencer solamente al
observador/investigador, deberán convencer al mayor
número de personas del grupo, lo cual resulta válido
desde una perspectiva democrática de la medición de
los resultados.
Tanto en los talleres de discusión tradicionales como en
el método Delphi clásico, y más en primer caso que en
el segundo, las opiniones minoritarias desaparecen
prontamente de escena. En los talleres Delphos el
debate se ordena y la palabra se otorga de acuerdo con
los resultados estadísticos de la primera consulta. Así
pues, el moderador puede solicitar explícitamente a los
participantes que expresaron opiniones diferentes a las
de la mayoría del grupo emitir sus argumentos y
motivaciones, para que el grupo las pueda comparar
con las de algunos de los opinaron en forma contraria.
4 PROCEDIMIENTO USADO EN LOS
TALLERES DELPHOS
Al igual que en los talleres de discusión, en el método
Delphi, y en general en todas las técnicas de
investigación, el primer paso consiste en tener claro el
problema que se quiere tratar y el alcance que se
pueden lograr con las limitaciones de tiempo que
imponen este tipo de actividades.
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 9 -
En lo posible deben seleccionarse los temas en
los cuales la opinión de los asistentes al taller
sea más importante.
Debe recordarse que si se hacen demasiadas
preguntas el tiempo de disponible para el
debate se verá afectado, en especial si los
asistentes son personas con limitaciones de
tiempo agradecerán que el tema del taller se
centre en los aspectos más relevantes del
fenómeno a estudiar.
No se trata de preguntar sobre temas en los que
exista amplio acuerdo o realizar preguntas que
se puedan responder objetivamente con otros
métodos de investigación.
El diseño del formulario debe ser claro y las
preguntas deben ir al grano. Las preguntas de
escogencia múltiple deben considerar las
respuestas más probables, pero deben dejar
espacio para incorporar nuevas opciones por
parte de los participantes. Las preguntas de
calificación deben indicar cuál es la mayor y
menor calificación que se puede otorgar y el
significado en términos conceptuales de cada
respuesta. Otro tipo de preguntas típicas serán
del tipo: “ordene según su importancia los
siguientes...” o “Escoja de los siguientes... los
(cuantos) más....” ó “escriba el valor más bajo
y el valor más alto que cree que tendrá... en los
próximos (cuantos) meses” ó “de 1 a 100, cuál
cree que sea la probabilidad de que...”.
Si no están bien formuladas las preguntas o se
escogen más las opciones de respuesta, el
resultado puede ser que uno o varios de los
expertos consultados se dediquen a corregir el
formulario y no a responder lo que se quiere
preguntar.
Una vez determinado el tema, y diseñado el formulario,
se debe proceder a definir quienes serán los invitados y
convocarlos. En esta actividad se deben tener en cuenta
varios aspectos:
Los invitados deben tener trayectoria,
experiencia o amplio conocimiento en los
temas específicos a tratar. Debe recordarse que
entre más involucrados estén los invitados con
el tema más motivados estarán a asistir, tanto
por el placer de hablar del tema como por la
oportunidad de encontrarse entre ellos.
Es posible incluso que la lista adecuada de
personajes se complete por referencias de los
mismos especialistas. En los casos en los
cuales la técnica se utiliza para tomar
decisiones que afectan directa o indirectamente
a los participantes debe evitarse este tipo de
selección por referencia de los mismos
participantes para evitar la formación de
coaliciones previas al ejercicio, a menos que
ese sea uno de los objetivos previstos.
Dependiendo del tema podrá ser necesario el
buscar equilibrar la participación desde
diferentes puntos de vista (posiciones políticas
encontradas, académicos vs pragmáticos, lo
regional vs lo nacional, público vs privado,
hombres vs mujeres, jóvenes vs mayores, etc).
para esto debe tenerse claro cuales pueden ser
las opiniones divergentes a priori..
El número de convocados puede fluctuar entre
10 y 30 personas, teniendo en cuenta que en
grupos muy pequeños es posible que no se
generen diferencias de opinión importantes y
que los grupos demasiado grandes son difíciles
de controlar y de procesar la información
dentro del tiempo del taller.
En general, si el tema es lo suficientemente
apasionante para el invitado, este no sólo no
cobrará sino que agradecerá que le hayan
tenido en cuenta. Si se trata de funcionarios
para los cuales la participación en este tipo de
ejercicios hace parte de su trabajo, será
necesario motivarlo con el tema pues lo común
sera que no se le pueda remunerar
adicionalmente. Sin embargo en algunos casos
es necesario pagar los honorarios
correspondientes al tiempo de participación y
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 10 -
desplazamiento al taller, con el objeto de
garantizar la permanencia durante su
transcurso.
Es importante tener conciencia de que la interacción
entre los participantes no es lo único que puede
enriquecer el debate. En ocasiones será valioso llevar a
cabo una investigación previa que puede incluir uno o
varios de los siguientes aspectos:
Revisión Bibliográfica, tanto para establecer un
marco teórico, jurídico, técnico o antecedentes
históricos, como para buscar resultados de
estudios empíricos sobre el tema a nivel local,
regional, nacional o internacional.
Levantamiento de información secundaria,
sistematización y generación de cuadros
estadísticos
Levantamiento de información primaria
mediante técnicas cuantitativas o cualitativas.
En el proceso de convocatoria, se deben tener en cuenta
los aspectos que normalmente requiere una reunión de
acuerdo con el perfil. Si alguno de los invitados desea
conocer quienes van a asistir a la reunión debe
suministrarse toda la información disponible
El día del Taller deben tenerse contemplados y
organizados todos los aspectos logísticos que se
consideren necesarios. Hay que tener en cuenta que no
es conveniente ofrecer plato fuerte o refrigerio mientras
se desarrolla el debate, porque esto puede distraer la
atención de los participantes y romperse la dinámica
del taller.
Salvo que se haya planeado específicamente lo
contrario, el formulario de la encuesta inicial debe
incluir un espacio para la identificación del
entrevistado.
Así mismo, a menos que se considere necesario lo
contrario, se deben dar explicaciones previas acerca del
funcionamiento del taller, en especial explicar que el
formulario de la encuesta se llenará dos veces y que en
la segunda se podrán cambiar las respuestas de acuerdo
con el debate intermedio. Esto con el fin de organizar
el debate, dejar claras las reglas de funcionamiento y
minimizar las posibles sorpresas para el invitado. Se
debe explicar también que las respuestas a los
formularios son individuales
Una vez llenados los formularios de la primera vuelta
se llevan a cabo dos actividades paralelas: el
procesamiento de los datos y la presentación de la
información adicional disponible sobre el tema, lo cual
puede incluir las investigaciones descritas
anteriormente.
Los resultados se pueden presentar mediante gráficas
de torta o histogramas, de manera que sea claro en qué
proporción o frecuencia de respuesta se obtuvo en cada
opción de cada pregunta. Habrá posiblemente
preguntas en las que la mayoría de los asistentes tengan
una respuesta similar, las cuales no tienen mucha
discusión, aunque se pueden pedir explicaciones por así
algunos de los participantes desean aclarar el sentido de
su respuesta. Habrá también preguntas para las cuales
se presente una mayor dispersión de respuestas, en
cuyo caso será pertinente preguntar a quienes
respondieron opciones extremas o calificaron en forma
contradictoria para que enuncien sus argumentos.
Como en todo taller de discusión, debe tenerse cuidado
en varios aspectos:
El manejo del tiempo. De acuerdo con el
desarrollo del taller y el tiempo disponible para
terminar, se deberá buscar respuestas más
concretas y dar prioridad a las preguntas con
mayor diversidad de respuesta frente a las más
homogéneas.
Argumentos reiterativos. Una vez se ha
expuesto un argumento con suficiente
ilustración, debe controlarse las
contrarespuestas que vuelven sobre los mismos
argumentos. Una forma de hacerlos es
explicando que cada cual expone sus razones
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 11 -
de respuesta y que el ejercicio no busca obtener
una única respuesta sino conocer los diferentes
argumentos sobre el mismo asunto
Cuando se contacta personas muy
especializadas, que tienen especial interés por
un elemento particular del tema (obsesiones
temáticas) tenderán a responder lo que les
hubiera gustado que les preguntaran y no lo
que realmente se les preguntó y manejarán sus
argumentos para llevarlos hacia su tema
particular de interés. Esto, que es uno de los
mayores riesgos en los grupos de discusión con
preguntas abiertas se minimiza en los Talleres
Delphos por el carácter estructurado de los
formularios, sin embargo el moderador debe
tener la habilidad de saber cuando la discusión
se desvió y recordar volver al rumbo normal de
la reunión.
Durante la discusión debe haber una persona
especialmente dedicada a tomar nota de las
posiciones y argumento de todos aquellos que
toman la palabra.
Luego de evacuadas el análisis de todo el formulario,
viene la fase más importante del ejercicio, el
diligenciamiento del formulario por segunda vez. Es el
momento ideal para ofrecer un delicioso postre o
refrigerio. Sin embargo si el taller se ha demorado más
de lo previsto y los asistentes tienen problemas de
tiempo, podrán querer irse sin responderlo o
simplemente escabullirse disimuladamente haciendo
“mutis por el foro”. Podrá suceder también que otras
personas salgan despidiéndose de todos los asistentes y
desordenando la reunión, eso sin contar con que se
convierte en la oportunidad de los indecisos para
marcharse.
Hay varias formas de evitar esta situación:
Sobreestimar un poco el tiempo requerido y
anunciar la duración del taller en la
convocatoria, de manera que los invitados
puedan reservar el tiempo necesario.
Programar el taller inmediatamente antes de
un evento interesante para los asistentes (una
conferencia, un almuerzo, una junta. Esto
siempre y cuando el segundo evento pueda
correrse si se alarga el taller.
Reconocer honorarios por la asistencia al taller
o alguna otra contraprestación.
En última instancia, permitir que los que se
ausentan se lleven el formulario y lo
devuelvan diligenciado posteriormente.
Se espera que en la segunda consulta se presente menos
dispersión en las respuestas (puede darse un mayor
acuerdo o la polarización de las posiciones, pero será
menor la cantidad de indecisos.
Posteriormente al taller se deben realizar los análisis
estadísticos de la segunda ronda, los cuales darán los
indicadores definitivos del tema que se está buscando
investigar. Otro punto de estudio interesante es el del
análisis de los cambios de posición. Quien cambio su
respuesta y cuales argumentos se presentaron que le
hicieron variar su opinión.
Otra variación interesante que se puede incorporar es
cuando el destinatario de los resultados participa como
observador en el grupo y califica a los participantes de
acuerdo al grado de credibilidad que le merecen. Los
resultados se deben ponderar de acuerdo a dicha
calificación de manera que pesen más los argumentos
de aquellos mejor calificados y pesen menos los de
aquellos que no tienen credibilidad para el cliente de
los resultados.
5. EXPERIENCIAS PRÁCTICAS
Los Talleres Delphos han sido utilizado tanto en el
sector público como en el privado y por organismos de
cooperación internacional y Banca Multilateral en
diferentes tipos de ejercicios. A continuación se
enumeran las experiencias llevadas a cabo por CEACS
y Econometría o conjuntamente, principalmente en
Colombia:
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 12 -
Formulación de un scoring de microcrédito
para Financiera Compartir en 2002. Taller
Realizado por CEACS para Finianciera
Compartir S.A. con expertos en microfinanzas
Formulación de indicadores de Pobreza y
Vulnerabilidad en el “Estudio de
Vulnerabilidad y Pobreza en los municipios de
los programas de Desarrollo y Paz Para
ACCI y DNP” en 2004. Dos talleres realizados
por CEACS para Econometría S.A. con
directivos y técnicos de los programas de
Desarrollo y Paz.
Desarrollo y prueba de una metodología de
Diagnóstico Participativo. en el “Estudio de
Vulnerabilidad y Pobreza en los municipios de
los programas de Desarrollo y Paz” para
ACCI y DNP en 2004. Taller Realizado por
CEACS para Econometría S.A. con población
campesina.
Formulación de un indicador de Mejoramiento
de Barrios en la consultoría para el “Diseño e
implementación de un Sistema de Seguimiento
del Programa de Mejoramiento Integral de
Barrios” realizado para la Caja de vivienda
Popular de Bogotá en 2006. Taller Realizado
por CEACS para Econometría S.A. con líderes
de los Barrios sujetos a mejoramiento.
Levantamiento de diagnósticos participativos
de cerca de 100 municipios, en el estudio
“Diagnóstico de las poblaciones desplazadas
y vulnerables y estrategias de respuesta”
realizado para FUPAD en 2006. Cerca de 200
talleres realizados por Econometría S.A. con
población Desplazada y Vulnerable y 5
talleres regionales con expertos en el área
social.
Para estructurar un análisis DOFA en la
“Evaluación de Impacto del Programa
PADEMER” realizado para el Programa
PADEMER del Ministerio de Agricultura y
Desarrollo Rural en 2006. Taller realizado por
Econometría S.A. con funcionarios de
entidades relacionadas con el programa.
Evaluación de medidas regulatorias en el
Estudio “Evaluación del Impacto Regulatorio
de Impacto del marco regulatorio en su
conjunto, en relación con la sostenibilidad,
viabilidad y dinámica del sector de las
telecomunicaciones” para la CRT. Talleres
realizados por Econometría con directivos de
empresas de telecomunicaciones reguladas por
la CRT.
Para la sistematización de experiencias en el
Estudio “Sistematización de los tres momentos
de intervención no financieros o tecnológicos
y de las metodologías, instrumentos y
herramientas de gestión desarrolladas e
implementadas” realizado para el Programa
PADEMER del Ministerio de Agricultura y
Desarrollo Rural en 2007. Ocho talleres
realizados por Econometría S.A. con
miembros de asociaciones de productores
rurales.
Para la definición de Lineamientos de Política
en la Consultoría para el “Acompañamiento a
la CAF en la definición de Metodologías de
Seguimiento y Evaluación de Proyectos y
Programas Sociales” realizado para la
Corporación Andina de Fomento entre 2006 y
2008. Taller realizado por Econometría S.A.
con altos directivos de la CAF en Caracas.
Para la selección de conceptos a incluir en la
definición de un indicador de Paz y Desarrollo
municipal en la “Evaluación de resultados e
impactos tempranos de los programas Paz y
Desarrollo (PD) y Laboratorios de Paz (LP)”
realizada para DNP y ACCION SOCIAL en
2007. Cuatro talleres realizados por
Documentos de Discusión en Ciencias Sociales CEACS - DD.002.3 Junio de 2004
TÉCNICAS DE CONSULTA A EXPERTOS MEDIANTE
TALLERES DELPHOS Rodríguez N, Oscar
- 13 -
Econometría S.A. con directivos y técnicos de
los programas de desarrollo y paz.
Para la definición de variables relevantes para
un futuro modelo explicativo de un indicador
de impunidad procesal en “Evaluación de la
política de lucha contra la impunidad de
violaciones de los derechos humanos e
infracciones al DIH” realizado para la
Vicepresidencia de la República en 2010. Un
taller realizado por Econometría Consultores,
con expertos de la Fiscalía, Procuraduría,
Consejo Superior de la Judicatura y Programa
de Lucha contra la Impunidad.
Para la formulación de recomendaciones de
Política, relacionadas con la gestión de
Pasivos ambientales mineros en “Diseño y
validación del marco conceptual y
metodológico para caracterizar, priorizar y
valorar económicamente los pasivos
ambientales mineros en Colombia.”
Desarrollado por econometría Consultores
para el ministerio de Minas y Energía en 2010.
Tres talleres desarrollados en Medellín y en
Bogotá con representantes de entidades del
sector, empresas, ONG y mineros
independientes, en el marco del Seminario
Taller sobre Pasivos Ambientales Mineros en
Colombia.