presentación en el xv coneest lima - satisfacción de clientes
Post on 18-Dec-2014
747 Views
Preview:
DESCRIPTION
TRANSCRIPT
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación Bayesiana del Modelo de RespuestaGraduada con aplicaciones en la medición de la
satisfacción de clientes
Enver Gerald Tarazona Vargasenver.tarazona@pucp.pe
Escuela de Posgrado
Ponti�cia Universidad Católica del Perú (PUCP)
Maestría en EstadísticaTarazona, E.G. http://www.perustat.com/1239/coneestxv/ 1 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Organización del Trabajo
• Introducción• Formulación general para los Modelos de Respuesta Graduada(GRM): clasi�cación, características generales y cálculo de lasfunciones de información.
• De�nición y propiedades de los Modelos de RespuestaGraduada Logístico (2PL-GRM) y Logístico de ExponentePositivo (LPE-GRM).
• Estimación de los parámetros de los modelos bajo laperspectiva bayesiana usando MCMC, criterios para lacomparación de modelos e implementación computacionalusando R y WinBUGS.
• Estudio de simulación para el Modelo 2PL-GRM.• Aplicación de los modelos propuestos en el ámbito de lacalidad de servicios (análisis de la satisfacción de clientes).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 2 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Objetivos I
• Presentar una formulación general para los Modelos deRespuesta Graduada para items politómicos ordinales de laTRI (Samejima, 1969), su clasi�cación, características,funciones de información, casos particulares y criterios deselección del modelo.
• Presentar el Modelo de Respuesta Graduada Logístico y elModelo de Respuesta Graduada Logístico de ExponentePositivo basado en el uso de una FREI asimétrica.
• Presentar la estimación bayesiana de los Modelos de RespuestaGraduada Logístico y Logístico de Exponente Positivo, loscriterios para la comparación de modelos así como surespectiva implementación computacional usando softwarelibre.
• Realizar estudios de simulación acerca de los modelosRespuesta Graduada.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 3 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Objetivos II
• Aplicar el modelo a conjunto de datos reales de calidad deservicios.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 4 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Enfoque de la TRI
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 5 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Conceptos Básicos de la TRI I
• La Teoría de Respuesta al Item (TRI), también conocida comoteoría de razgos latentes, es un enfoque psicométrico modernoque se caracteriza por aplicar un fuerte modelamiento de datosbasado en el uso de funciones matemáticas, llamadas CurvasCaracterísticas de los Ítems (CCI)
• Las CCI se encargan de relacionar las respuestas de los sujetosevaluados con la habilidad o habilidades (en el caso demodelos multidimensionales) que son medidas en el test(Hambleton et al., 2010).
• Según puntualiza Ostini y Nering (2006), las CCI básicamenterelaciona la probabilidad de que un sujeto evaluado responda aun ítem de una manera determinada con la posición que tienedicho sujeto en la escala de la habilidad que el ítem estámidiendo.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 6 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Conceptos Básicos de la TRI II
• En otras palabras, la función describe en términosprobabilísticos como una persona con un nivel alto dehabilidad es factible que responda a diferentes categorias derespuesta de un ítem, en comparación con otra persona quetiene un nivel bajo de la misma habilidad.
• Es posible considerar a la TRI como una extensión de la TeoríaClásica de los Test (TCT), que surge de manera formal con lostrabajos iniciales de Lawley (1943) y Lord y Novick (1968),con la �nalidad de superar las limitaciones prácticas quepresenta la TCT.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 7 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Características de los Modelos TRI I
• La unidad de análisis en la TRI es el ítem.• Las CCI permiten: Modelo de respuesta no lineal que registrasimultáneamente las diferencias entre personas y las diferenciasentre los ítems, así como registrar la probabilidad de elegir unítem correctamente dependen (al menos) de la habilidad delsujeto y de la di�cultad del ítem.
• Los ítems tienen características distintas.• Tener ítems que di�eren en sus propiedades es algo bueno.• El error no es una característica estática de todo elinstrumento o test
• Fiabilidad varia a lo largo de la escala. Si el modelo ajusta, laescala de habilidad (Theta) es del tipo lineal/intervalar
• Da soporte para operaciones matemáticas aplicadas a escalasde medición de intervalo.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 8 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
CCI: Curvas Características del Ítem
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 9 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
CCI: Curvas Características del Ítem
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 10 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
CCI: Curvas Características del Ítem
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 11 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
CCI: Curvas Características del Ítem
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 12 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Consideraciones preliminares I
• Los modelos politómicos de la Teoría de Respuesta al Ítem (TRIP)asumen que la secuencia de variables aleatorias con respuestapolitómica asociada con la respuesta a j ítems de un test soncondicionalmente independientes dado ui, la variable latenterelacionada con la habilidad o rasgo latente del individuo i.
• La relación entre la probabilidad de que un sujeto evaluadoresponda a un ítem de una manera determinada con la posición quetiene dicho sujeto en la escala de la habilidad que el ítem estámidiendo es descrita a través de una función monótona decrecientellamada Función de Respuesta a las Etapas del Ítem (FREI).
• Los Modelos de Respuesta Graduada (GRM) de la TRIP, propuestospor Samejima (1969, 1972), están diseñados especialmente paraaplicarse en instrumentos con atributos politómicos ordinales.
• En los GRM tradicionalmente se utilizan FREI simétricas y que demanera particular corresponden al modelo de respuesta graduadalogístico de dos parámetros (2PL-GRM).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 13 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Consideraciones preliminares II
• En este estudio se propone usar FREI asimétricas considerando unnuevo parámetro de ítem que controle la forma de la curvatura demanera similar a lo planteado en modelos dicotómicos porSamejima (2000), Bazán et al. (2006) y Bolfarine y Bazán (2010).
• La aplicación práctica de los GRM en este trabajo está enfocada enel área de calidad de servicios, al ser común el uso de instrumentoscon atributos politómicos ordinales con la �nalidad de estimarvariables latentes como la satisfacción y la lealtad de clientes.
• El impacto académico es alto, ya que a nivel internacional inclusiveexisten pocas investigaciones aplicando modelos de la TRI en el áreade la calidad de servicios.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 14 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Justi�cación I
• En el ámbito local, la medición de la satisfacción de losclientes es algo relativamente nuevo para muchas empresasque principalmente se orientan en objetivos �nancieros,mientras que aquellas que si le dan importancia suelen aplicarmodelos estadísticos que no son los más apropiados para eltipo de escala de medición considerada.
• Al ser tanto la satisfacción como la lealtad variables latentes,estas son medidas a través de cuestionarios conformados poratributos con respuestas múltiples, por lo general del tipopolitómico (varias categorías de respuesta ordenadas o no),debido a que permiten producir mayor información sobre elnivel de actitud y percepción que tienen los clientes, adiferencia de las escalas dicotómicas (Singh et al., 1990).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 15 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Justi�cación II
• A pesar de las ventajas mostradas por la Teoría de Respuestaal Ítem (TRI) en psicometría para estudiar instrumentos concaracterísticas similares (Lord y Novick, 1968; Pasquali, 2009),esta no ha sido aplicada regularmente en la medición de lasatisfacción y lealtad de los clientes.
• La TRI ya es un importante área de trabajo en Estadísticacomo se puede ver en Rao y Sinharay (2007).
• Existen pocos antecedentes de la aplicación de la TRI enestudios de satisfacción de clientes. Esto es especialmenteverdadero considerando que los trabajos De Battisti et al.(2005, 2010, 2012); Nicolini (2006) se basan en la aplicacióndel modelo Rash de Crédito Parcial.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 16 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Justi�cación III
• Esta presentación se basa en el trabajo de tesis de maestría enEstadística de la PUCP realizado bajo la asesoría de JorgeBazán y en los trabajos recientemente presentados porTarazona y Bazán (2011, 2012) extendiéndolo para el caso deconsiderar enlaces alternativos bajo inferencia bayesiana. Paraeste propósito la implementación computacional de losmodelos a proponer será desarrollada usando programas deacceso libre como R (R Core Team, 2012) y WinBUGS (Lunnet al., 2000).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 17 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Presentación y Racionalidad
Sea un conjunto de i = 1, . . . , n sujetos evaluados con uninstrumento de j = 1, . . . , J ítems con m categorías de respuestapolitómica ordinal. El Modelo de Respuesta Graduada General osimplemente Modelo de Respuesta Graduada (GRM) es de�nidocomo:
Yij | ui, ξj ∼ Categórica (Pij1, . . . , Pijm)
Pijk ≡ Pjk(ui) ≡ P (Yij = k | ui, ξj) = P acijk − P acij(k−1)
P acijk ≡ P acjk (ui) ≡ P (Yij ≤ k | ui, ξj) = F (ηijk)
ηijk = aj (bjk − ui)−∞ = bj0 < bj1 < . . . < bj(m−1) < bjm =∞
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 18 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Observaciones
• Es posible tener un modelo más general considerando un númeromj diferente de categorías para cada ítem.
• Si se considera de que P acij0 = 0 y P acijm = 1, se tiene que:
Pijk =
F (ηijk) si k = 1F (ηijk)− F
(ηij(k−1)
)si 2 < k < m
1− F(ηij(k−1)
)si k = m
• Se recomienda usar la siguiente parametrización para el predictorlatente lineal cuando se aplique la Inferencia Bayesiana debido a uncriterio de optimización computacional:
ηijk = κjk − ajui
La di�cultad puede obtenerse: bjk =κjk
aj.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 19 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Ejemplo de Ítem con escala gradual
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 20 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Extensión de un modelo binario
Las respuestas de los individuos presentadas pueden ser expresadascomo:
Wijk ={
1 Yij = k0 otros casos
De lo que se sigue que es equivalente expresar:
Pijk = P (Yij = k | ui, ξj) = P (Wijk = 1 | ui, ξj)
Por lo que Wijk ∼ Bernoulli (Pijk)
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 21 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Aumentación de DatosSea Zij una variable continua auxiliar subyacente a la variablealeatoria de respuesta ordinal Yij de tal forma que:
Yij ={k τj(k−1) < Zij < τjk0 otros casos
donde T = (τj0, τj1, . . . , τjm) son puntos de corte que limitan a Zij ,con τj0 = −∞ y τj0 =∞. Con �nes inferenciales Zij es expresadacomo una regresión en función de Ui resultando:
Zij = vj + λjui + εij
Dado lo anterior es posible demostrar que:
P (Yij = k | ui, ξj) =
∫ τjk
τj(k−1)
f (Zij | ui) dZij | ui
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 22 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Clasi�cación de los Modelos de Respuesta Graduada
GRM simétricos1 La regresión de Zij en función de Ui es
lineal.
2 La función de densidad condicionalf(Zij | ui) puede ser cualquier distribuciónde densidad condicional simétrica oasimétrica con tal que se mantenga paratodos los valores �jos de Ui.
3 La varianza σ2εij
es la misma para todo Ui.
GRM asimétricos1 σ2
εijes heterocedástica (varía a lo largo de
Ui). Ver Figura (b)
2 La distribución de Ui es asimétrica. VerFigura (c)
3 La distribución de Zij | ui es asimétrica. VerFigura (d).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 23 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Supuestos del Modelo de Respuesta GraduadaDe acuerdo con Azevedo (2003):• (S1) Las respuestas provenientes de individuos distintos son
independientes entre si.
P (Y = y | ui, ξj) =
n∏i=1
P (Yi. = yi. | ui, ξj)
• (S2) Las respuestas Yi. del individuo i en los J ítems son independientes(independencia local).
P (Yi. = yi. | ui, ξj) =J∏
j=1
P (Yij = yij | ui, ξj)
• (S3) La probabilidad de la respuesta yij puede ser representada por unmodelo multivariado de Bernoulli
P (Yij = yij | ui, ξj) = P (Wij. = wij. | ui, ξj) =m∏
k=1
[Pijk]wijk
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 24 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Características de los modelos de respuesta graduadaFunción de Respuesta a las Etapas del Ítem (FREI)
P+jk(ui) ≡ P (Yij ≥ k | ui, ξj) = 1− F (ηijk)
Función de Respuesta a las Categorías del Ítem (FRCI)
Pjk (ui) ≡ P (Yij = k | ui, ξj) = P+jk (ui)− P+
j(k+1) (ui)
Función Básica (FB)
Ajk(ui) ≡∂
∂uilogPjk(ui) = [Pjk(ui)]
−1 ∂
∂uiPjk(ui)
Función de Información de las Respuestas de los Ítems (FIRI)
Ijk(ui) = − ∂
∂uiAjk(ui) = − ∂2
∂u2i
logPjk(ui)
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 25 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Funciones de Información de FisherSe de�ne a la Función de Información de un Ítem (FII) como:
Ij(U) =
m∑k=1
[P′
jk(u)]2
Pjk
En consecuencia, la Función de Información del Test (FIT) será:
I(U) =
K∑j=1
Ij(U)
y la función para el error estándar estará dada por:
SE (U) =
J∑j=1
Ij(U)
− 12
=1√I (U)
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 26 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
De�nición del Modelo 2PL-GRM
Yij | ui, ξj ∼ Categórica (Pij1, . . . , Pijm)
P acijk ≡ P (Yij ≤ k | ui, ξj) = Ψ (ηijk) =1
1 + e−ηijk
Pijk ≡ P (Yij = k | ui, ξj) =
Ψ (ηijk) si k = 1Ψ (ηijk)−Ψ
(ηij(k−1)
)si 2 < k < m
1−Ψ(ηij(k−1)
)si k = m
ηijk = aj (bjk − ui)−∞ = bj0 < bj1 < . . . < bj(m−1) < bjm =∞
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 27 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Características del Modelo 2PL-GRM
Función de Respuesta a lasEtapas del Ítem (FREI)
P+jk(ui) = Ψ (−ηijk) =
1
1 + eηijk
ηijk = aj (bjk − ui)
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
En la Figura se muestra las FREI para tres ítems de5 categorías graduadas con umbrales b =(-1.5, -0.5,0.5, 1.5) para los tres casos y con tres parámetrosde discriminación distintos para cada �gura: 0.8, 1.6y 2.4 (re�ejando una discriminación baja, promedioy alta).
−4 −2 0 2 4
0.2
0.4
0.6
0.8
1.0
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Habilidad (u)
Pro
babi
lidad
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 28 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Características del Modelo 2PL-GRM II
Función de Respuesta a lasCategorías del Ítem (FRCI)
Pjk (ui) =1
1 + e−ηijk− 1
1 + e−ηij(k−1)
ηijk = aj (bjk − ui)
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
En la Figura se muestra las las FRCI del Modelo2PL-GRM para seis ítems de 5 categorías con dosparámetros de discriminación aj = 0.8 y 2.4, y trescon�guraciones de parámetros de di�cultadre�ejando diferentes niveles: (i)bjk=-3.0,-1.5, -0.5 y1.0 (ii)bjk=-1.5, -0.5, 0.5 y 1.5 y (iii) bjk=-1.0, 0.5,1.5 y 3.0.
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
Habilidad (u)
Pro
babi
lidad
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Habilidad (u)
Pro
babi
lidad
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 29 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Función de Información del Ítem (FII)
Ij(U) = a2j
m∑k=1
{[Ψ(ηijk
)] [1 − Ψ
(ηijk
)]−[Ψ(ηij(k−1)
)] [1 − Ψ
(ηij(k−1)
)]}2Ψ(ηijk
)− Ψ
(ηij(k−1)
)
−6 −4 −2 0 2 4 6
0.0
0.5
1.0
1.5
Habilidad (u)
Info
rmac
ión
Ítem 1
Ítem 2
Ítem 3
Ítem 4
Ítem 5
Ítem 6
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 30 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
De�nición del Modelo LPE-GRM
Yij | ui, ξj ∼ Categórica (Pij1, . . . , Pijm)
P acijk = [Ψ (ηijk)]dj =
1
(1 + e−ηijk)dj
Pijk ≡ P (Yij = k | ui, ξj) =
[Ψ (ηijk)]
dj si k = 1
[Ψ (ηijk)]dj −
[Ψ(ηij(k−1)
)]djsi 2 < k < m
1−[Ψ(ηij(k−1)
)]djsi k = m
ηijk = aj (bjk − ui)
−∞ = bj0 < bj1 < . . . < bj(m−1) < bjm =∞
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 31 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Interpretación del Parámetro de Asimetría dj
• Si 0 < dj < 1, para una categoría en particular, los individuos conniveles de habilidad muy bajo tienen mayor probabilidad de elegir lascategorías superiores del ítem en relación al caso simétrico.Mientras más cercano a 0 esté dj , las probabilidades de elegircategorías superiores son boni�cadas y la habilidad es penalizadarespecto al caso de ausencia de asimetría. El ítem es consideradomenos complejo.
• Si 1 < dj <∞, para una categoría en particular, los individuos conniveles de habilidad muy altos tienen una menor probabilidad deelegir las categorías superiores del ítem en relación al caso simétrico.Cuanto más sea dj > 0, las probabilidades de elegir categoríassuperiores son penalizadas y la habilidad es boni�cada respecto alcaso de ausencia de asimetría. El ítem es considerado máscomplejo.
• Si dj = 1, no se cumplen ninguno de los principios anteriores y lascaracterísticas del modelo son similares a las del caso logístico dedos parámetros.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 32 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Características del Modelo LPE-GRM
Función de Respuesta a las Etapas del Ítem (FREI)
P+jk(ui) = 1− [Ψ (ηijk)]
dj = 1− 1
(1 + e−ηijk)dj
ηijk = aj (bjk − ui)i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Función de Respuesta a las Categorías del Ítem (FRCI)
Pjk (ui) =1
(1 + e−ηijk)dj− 1
(1 + e−ηij(k−1))dj
ηijk = aj (bjk − ui)i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 33 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Función de Respuesta a las Etapas del Ítem (FREI)
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 1: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=0.3
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 2: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=0.3
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 3: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=1.0
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 4: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=1.0
Habilidad (u)P
roba
bilid
ad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 5: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=8.0
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 6: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=8.0
Habilidad (u)
Pro
babi
lidad
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 34 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Función de Respuesta a las Categorías del Ítem (FRCI)
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 1: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=0.3
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 2: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=0.3
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 3: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=1.0
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 4: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=1.0
Habilidad (u)P
roba
bilid
ad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 5: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=8.0
Habilidad (u)
Pro
babi
lidad
−6 −4 −2 0 2 4 6
0.0
0.4
0.8
Item 6: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=8.0
Habilidad (u)
Pro
babi
lidad
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 35 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Función de Información del Ítem (FII)
Ij(U) = (ajdj)2
m∑k=1
{[Ψ (ηijk)]dj [1−Ψ (ηijk)]−
[Ψ(ηij(k−1)
)]dj [1−Ψ(ηij(k−1)
)]}2
[Ψ (ηijk)]dj −[Ψ(ηij(k−1)
)]dj
−6 −4 −2 0 2 4 6
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
Habilidad (u)
Info
rmac
ión
Ítem 1
Ítem 2
Ítem 3
Ítem 4
Ítem 5
Ítem 6
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 36 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Función de Verosimilitud
L (y | u, ξ) = f (y | u,a,b) =
n∏i=1
J∏j=1
m∏k=1
[Pijk]wijk
=
n∏i=1
J∏j=1
m∏k=1
[Ψ (ηijk)−Ψ
(ηij(k−1)
)]wijk
=
n∏i=1
J∏j=1
m∏k=1
[1
1 + e−aj(bjk−ui)− 1
1 + e−aj(bj(k−1)−ui)
]wijk
=
n∏i=1
J∏j=1
m∏k=1
[1
1 + e−(κjk−ajui)− 1
1 + e−(κj(k−1)−ajui)
]wijk
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 37 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Especi�cación de Prioris I
Para la especi�cación de la distribución a priori conjunta de losparámetros de las personas y de los ítems se asume que existe unaestructura de prioris independientes del siguiente modo:
P (u,a, κ | y) =
n∏i=1
P (ui)
J∏j=1
P (aj)
m∏k=1
P (κjk)
donde P (ui) es la fdp de la distribución normal estándar. P (aj) yP (κjk) son las fdp de las prioris para los parámetros aj y κjkrespectivamente.
• Para el vector de parámetros de las personas (habilidades)Bazán (2005) considera una distribución normal eindependiente
ui ∼ N (0, 1)
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 38 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Especi�cación de Prioris II
• El parámetro de discriminación tiene una distribución a priori
aj ∼ N+
(µa, σ
2a
)Sahu (2002) y Patz y Junker (1999) recomiendan usar losvalores de µa = 1 y σ2
a = 0.5 para las constantes anteriores.Con estos valores se espera obtener E [aj ] = 1.1126 yV [aj ] = 0.3747.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 39 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Especi�cación de Prioris III
• Las prioris para los parámetros de transición deben registrar larestricción de orden κj1 < ... < κj,m−1. Por lo anterior, estaspueden ser inducidas de�niendo parámetros auxiliares sinrestricciones κ∗j1, ..., κ
∗j,m−1 tales que:
κ∗jk ∼ N(µk, σ
2k
)para k = 1, ...,m− 1; teniendo �nalmente que κjk = κ∗j,[k]. Se
propone usar los valores de µk = 0 y σ2k = 2 siguiéndo a Sahu
(2002) y Patz y Junker (1999), con lo que se espera obtener
E[κ∗jk
]= 0 y V
[κ∗jk
]= 2
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 40 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación MCMC
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 41 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación MCMC
y | ui, ajκjk ∼ Categórica(Ψ (κjk − ajui)−Ψ
(κj(k−1) − ajui
))ui ∼ N (0, 1)
aj ∼ N+ (1, 0.5)
κ∗jk ∼ N (0, 2)
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 42 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Función de Verosimilitud
L (y | u, ξ) = f (y | u,a,b,d) =
n∏i=1
J∏j=1
m∏k=1
[Pijk]wijk
=
n∏i=1
J∏j=1
m∏k=1
[[Ψ (ηijk)]
dj −[Ψ(ηij(k−1)
)]dj]wijk
=
n∏i=1
J∏j=1
m∏k=1
[1(
1 + e−aj(bjk−ui))dj − 1(
1 + e−aj(bj(k−1)−ui))dj]wijk
=
n∏i=1
J∏j=1
m∏k=1
[1(
1 + e−(κjk−ajui))dj − 1(
1 + e−(κj(k−1)−ajui))dj]wijk
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 43 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Especi�cación de Prioris I
Para la especi�cación de la distribución a priori conjunta de losparámetros de las personas y de los ítems se asume que existe unaestructura de prioris independientes del siguiente modo:
P (u,a, κ |,dy) =
n∏i=1
P (ui)
J∏j=1
P (aj)P (dj)
m∏k=1
P (κjk)
donde P (ui) es la fdp de la distribución normal estándar. P (aj),P (κjk) y P (dj) son las fdp de las prioris para los parámetros aj ,κjk y dj respectivamente.Al igual que para el modelo 2PL-GRM, es recomendable de�nirprioris informativas y se usan las mismas prioris para ui, aj y κjk.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 44 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Especi�cación de Prioris II
Para el parámetro de asimetría se de�ne dj = egj donde
gj ∼ N(µg, σ
2g
)Usando los valores de µg = 0 y σ2
a = 0.5 se espera obtenerE [dj ] = e2×0+ 0.5
2 = 1.2840 y V [dj ] =(e0.5 − 1
)e0.5 = 1.0696
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 45 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación MCMC
y | ui, aj , κjk, dj ∼ Categórica(
[Ψ (κjk − ajui)]dj −[Ψ(κj(k−1) − ajui
)]dj)ui ∼ N (0, 1)
aj ∼ N+ (1, 0.5)
κ∗jk ∼ N (0, 2)
dj ∼ lnN (0, 0.5)
i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 46 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Criterios de Comparación de Modelos con resultados MCMCLos principales criterios usando en este trabajo son el criterio de información dedesvío (DIC, Deviance Information Criterion) propuesto por Spiegelhalter et al.(2002), el criterio de información bayesiana de Schhwarz (BIC, BayesianInformation Criterion) y el criterio de Akaike (AIC, Akaike InformationCriterion). El DIC puede ser hallado a través de:
DIC = Dbar −Dhat = Dbar + 2pD
donde pD es el número efectivo de parámetros, Dbar es el esperado del desvíobayesiano a posteriori (posterior mean of the deviance ) y Dhat es el desvíobayesiano de las medias (deviance of posterior mean). Los esperados del AIC ydel BIC también son posibles de hallar a través de:
EAIC = Dbar + 2p
EBIC = Dbar + plog (N)
donde p es el número de parámetros en el modelo, N = n ∗ J es el númerototal de observaciones. Valores pequeños indicarán un mejor ajuste.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 47 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Implementación Computacional en R y WinBUGS
Función Descripciónrgrm.pirt() Función en R para Simular respuestas aleatorias basadas en los
modelos 2PL-GRM y LPE-GRM adaptado de (Rizopoulos, 2006).pgrm.pirt() Función en R que calcula para cada categoría de un ítem las prob-
abilidades acumuladas con los Modelos de Respuesta Graduada.grmMCMC Función en R para realizar la estimación bayesiana usando MCMC
en WinBUGS.frei.grm.pirt() Función en R para grá�car la Función de Respuesta a las Etapas
del ítem (FREI) para los Modelos de Respuesta Graduada (GRM).frci.grm.pirt() Función en R para grá�car la Función de Respuesta a las Cate-
gorías del ítem (FRCI) para los Modelos de Respuesta Graduada(GRM).
fii.grm.pirt() Función en R para grá�car la Función de Información de los Ítems(FII) para los Modelos de Respuesta Graduada (GRM).
grm_l.bug Programa en BUGS para realizar la inferencia del Modelo 2PL-GRM .
grm_lpe.bug Programa en BUGS para realizar la inferencia del Modelo LPE-GRM .
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 48 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Objetivos de la Simulación
• Simular un conjunto de datos politómicos ordinales generado apartir del Modelo de respuesta Graduada Logístico de dosparámetros (2PL-GRM).
• Evaluar la precisión del método MCMC en la recuperación delos parámetros de los ítems y las habilidades del Modelo derespuesta Graduada Logístico de dos parámetros (2PL-GRM).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 49 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Algoritmo para simular los datos
1 De�nir la cantidad de sujetos n, cantidad de ítems J y elnúmero de categorías de respuesta por cada ítem m.
2 Generar los parámetros del modelo: Se simulan los parámetrospara las personas tal que ui ∼ N (0, 1) y los parámetros de losítems son �jados utilizando estimaciones obtenidas en ítemscon instrumentos ya calibrados con el �n de asegurar que lasimulación sea más real (Harwell et al., 1996) y con el �n deminimizar el error experimental (Kieftenbeld y Natesan, 2012).
3 Calcular para cada uno de las P acijk y las Pijk.
4 Simular para cada uno de los n individuos la respuesta en cadaítem. Para ello se toma una muestra aleatoria simple de unaobservación para una población de m elementos conprobabilidades iguales a las calculadas en el paso anterior(Pijk).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 50 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Características de la SimulaciónMétodo para Estimar los parámetros
1 La estimación de los parámetros se realizó usando la inferenciabayesiana mediante la estimación MCMC con el algoritmo deMetropolis-Hastings.
Criterios para evaluar la simulación
1 La precisión en la recuperación de los parámetros fue evaluadausando el sesgo, la raíz del error cuadrático medio (RMSE) y elpromedio del error absoluto (MAE).
2 Dentro de cada réplica también se calcularon las correlaciones entrelos valores estimados y los parámetros generados.
Escenario1 Se consideraron J = 20 ítems con m = 5 categorías de respuestas
para n = 500 individuos.2 Los parámetros de los ítems fueron �jados usando los valores
obtenidos de un conjunto de ítems calibrados del MinnesotaSatisfaction Questionnaire.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 51 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Resultados I
Ítem b1 b2 b3 b4 a1 -0.128 -0.049 0.009 0.119 -0.0302 -0.052 0.016 0.056 0.087 -0.0523 -0.042 0.049 0.053 0.091 -0.0324 0.050 0.051 0.073 0.036 -0.0085 0.002 0.021 0.068 0.113 -0.0356 -0.066 0.006 0.067 0.171 -0.0697 0.130 0.120 0.110 0.068 0.0178 -0.060 -0.013 0.022 0.102 -0.0609 -0.004 0.060 0.077 0.071 -0.017
10 0.022 0.057 0.085 0.108 -0.07611 0.005 0.078 0.122 0.098 -0.03312 -0.043 0.021 0.047 0.148 -0.01813 0.035 0.035 0.078 0.081 -0.09814 0.027 0.037 0.032 0.061 -0.01615 0.036 0.071 0.090 0.102 -0.11116 0.033 0.060 0.083 0.090 -0.09417 0.064 0.036 0.054 0.076 -0.02818 -0.017 0.001 0.027 0.072 0.00119 0.014 0.082 0.078 0.091 -0.01020 0.001 0.015 0.059 0.087 -0.157
Table : Sesgo en la recuperación de parámetros de los ítems
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 52 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Resultados II
Parámetro RMSE MAE rb1 0.218 0.181 0.973b2 0.152 0.123 0.984b3 0.114 0.095 0.991b4 0.194 0.155 0.937a 0.125 0.104 0.967U 0.280 0.227 0.962
Table : Resultados del promedio de la Raíz del error cuadrático medio(RSME), la Media absoluta del error (MAE) y la correlación (r) de losparámetros estimados en la simulación del Modelo de RespuestaGraduada Logístico (2PL-GRM) considerando R = 20 réplicas
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 53 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Planteamiento I
• El estudio y la medición de la calidad es uno de los elementosmás importantes para poder determinar el valor de laspropuestas de productos y servicios.
• De este modo se hace necesario no solo el hecho de tener encuenta las expectativas de los clientes sobre la calidad, sinotambién desarrollar una forma e�ciente y precisa de podercuanti�carla.
• Lewis y Booms (1983) de�nen a la calidad de servicios como"la medida de que tan bien el nivel del servicio prestadocoincide con las expectativas del cliente".
• Como menciona Allen (2004) dentro de los esfuerzos pormejorar la calidad de servicios y alinearlos a las expectativas delos clientes, surgen dos componentes muy importantes: lamedición de la satisfacción y de la lealtad por parte de losclientes.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 54 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Satisfacción y Lealtad I
• La satisfacción de un cliente, un término comúnmente usadoen Marketing, puede ser de�nida como una medida de "larespuesta a la expectativa del cliente o el juicio acerca de queun rasgo del producto o servicio, o de que un producto oservicio en sí mismo, proporciona un nivel placentero derecompensa que se relaciona con el consumo" (Oliver, 1980).
• Por otro lado, la lealtad es un estado de actitud dirigida haciauna organización y los servicios o productos que esta ofrece, yque se traduce en comportamientos deseables, como larecompra o la permanencia del cliente (Allen, 2004).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 55 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Satisfacción: Resultado o Proceso
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 56 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Satisfacción: Enfoques
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 57 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Determinantes de la Satisfacción de Clientes
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 58 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Satisfacción, Lealtad y Rentabilidad
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 59 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Cuestionario de Satisfacción
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 60 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Aplicación en Calidad de Servicios
• La aplicación presentada en este trabajo se encuentrarelacionada al ámbito de la calidad de servicios, y de maneramás especí�ca, a la medición de la satisfacción de clientes.
• El objetivo de la aplicación es el de estimar la habilidad latentey los parámetros de los ítems con los Modelos 2PL-GRM yLPE-GRM, en una muestra de 5354 clientes de una empresade telecomunicaciones que se comunicaron con el Call Centerde atención al cliente por algún motivo (consulta, reclamo,pedido, etc.) usando la inferencia bayesiana basada en losmétodos de MCMC.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 61 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Instrumento de Medición
Ítem Descripción1 Facilidad de comunicarse con la central2 Utilidad de poder seleccionar el idioma3 Sencillez del menú de opciones4 Tiempo de espera hasta que se contestó la llamada5 Amabilidad y cordialidad del asesor6 Interés y compromiso por atender la llamada7 Capacidad o nivel de conocimiento del personal
para dar una solución8 Claridad de la información brindada9 Tiempo de atención10 Tiempo hasta que terminó la gestión11 Solución brindada a la gestión
Table : Ítems considerados dentro del cuestionario de satisfacción con laatención de un Call Center
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 62 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Análisis de los Ítems desde la perspectiva de la TCT I
Dimensión Ítem Media S CITC Alfa
Accesibilidad (Alfa = 0.7413)1 6.628 2.904 0.602 0.6412 8.146 2.473 0.473 0.7153 7.430 2.539 0.559 0.6704 6.188 2.884 0.511 0.697
Desempeño del Asesor (Alfa = 0.9186)
5 8.582 2.149 0.667 0.9156 7.605 2.654 0.798 0.9017 7.439 2.745 0.810 0.9008 7.713 2.698 0.793 0.9029 7.280 2.634 0.709 0.91010 6.558 3.013 0.729 0.90911 7.081 3.194 0.763 0.906
Table : Análisis de ítems bajo la perspectiva clásica
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 63 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Análisis de los Ítems desde la perspectiva de la TCT II
Satisfacción con la Accesibilidad
Por
cent
aje
5 10 15 20 25 30 35 40
0.00
0.01
0.02
0.03
0.04
0.05
Satisfacción con el Desempeño del Asesor
Por
cent
aje
10 20 30 40 50 60 70
0.00
0.01
0.02
0.03
0.04
0.05
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 64 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación de los Parámetros mediante los métodosdesarrollados
• Para la implementación de los modelos se utilizó la libreríaR2WinBUGS del software R y el programa WinBUGS.
• Los códigos desarrollados en WinBUGS fueron basados en lapropuesta de Curtis (2010), pero adaptados para lasnecesidades del estudio, en especial para el caso de losmodelos con enlace asimétrico.
• Para comparar la estimación realizada por los diferentesmodelos, se ejecutó la aplicación para 1500 iteracionesefectivas con tres cadenas (9 000 iteraciones por cadena, conun burning de las 4 000 primeras y un thin de 10) para cadamodelo planteado.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 65 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación de los Parámetros de Discriminación del Modelo2PL-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 66 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación de los Parámetros de Di�cultad del Modelo2PL-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 67 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Convergencia en la Estimación de los Parámetros delModelo 2PL-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 68 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación de los Parámetros de Discriminación del ModeloLPE-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 69 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación de los Parámetros de Di�cultad del ModeloLPE-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 70 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estimación de los Parámetros de Penalización del ModeloLPE-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 71 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Convergencia en la Estimación de los Parámetros delModelo LPE-GRM
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 72 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Medidas de comparación de los modelos
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 73 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Diagramas de dispersión de las habilidades estimadas
−2 −1 0 1
−2
−1
01
Accesibilidad
u (Modelo LPE−GRM)
u (M
odel
o 2P
L−G
RM
)
−2 −1 0 1
−2
−1
01
Desempeño del Asesor
u (Modelo LPE−GRM)
u (M
odel
o 2P
L−G
RM
)
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 74 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Funciones de Información de los Ítems (FII)
−6 −4 −2 0 2 4 6
0.0
0.5
1.0
1.5
Accesibilidad (2PL−GRM)
Habilidad (u)
Info
rmac
ion
−6 −4 −2 0 2 4 6
0.0
0.5
1.0
1.5
Accesibilidad (LPE−GRM)
Habilidad (u)
Info
rmac
ion
−6 −4 −2 0 2 4 6
01
23
Desempeño del Asesor (2PL−GRM)
Habilidad (u)
Info
rmac
ion
−6 −4 −2 0 2 4 6
01
23
Desempeño del Asesor (LPE−GRM)
Habilidad (u)
Info
rmac
ion
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 75 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Estadísticos para las Escalas Finales de Satisfacción (ModeloLPE-GRM)
Medida DimensiónAccesibilidad Desempeño del Asesor
Media 0.003 0.043Mediana 0.005 0.049Desviación Estándar 0.889 15.74Asimetría -0.017 -0.135Curtosis -0.297 -0.476
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 76 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Distribución de los Puntajes de las escalas de satisfacción(Modelo LPE-GRM)
Accesibilidad
Habilidad (u)
Fre
cuen
cia
−2 −1 0 1 2
020
040
060
080
010
00
Desempeño del Asesor
Habilidad (u)
Fre
cuen
cia
−3 −2 −1 0 1 2
020
040
060
080
010
00
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 77 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Conclusiones I
• Debido a que no existe una presentación adecuada del Modelode Respuesta Graduada, este fue presentado de manera generalasí como sus propiedades y características más importantes.
• Se describe el Modelo 2PL-GRM que considera un enlacesimétrico en las FREI y Se propone, describe e implementa elModelo LPE-GRM como una extensión del Modelo 2PL-GRMconsiderando un enlace asimétrico.
• Se implementa la estimación de los parámetros de los modelosa través de la inferencia bayesiana con MCMC usando elsoftware WinBUGS.
• Se realizó un estudio de simulación para evaluar la precisióndel método MCMC en la recuperación de los parámetros delModelo 2PL-GRM considerando una muestra y test de tamañomediano con ítems de 5 categorías de respuesta, pudiéndoseconcluir que los parámetros fueron recuperados de maneraadecuada al presentar medidas de precisión aceptables.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 78 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Conclusiones II
• La aplicación fue realizada con datos de un estudio paraevaluar la satisfacción de los clientes de una empresa detelecomunicaciones con la atención recibida al llamar a un CallCenter. De los resultados obtenidos se concluye que:• Los Modelos 2PL-GRM y LPE-GRM fueron aplicados de
manera satisfactoria en el conjunto de datos del estudio.• A través del análisis de dimensionalidad de la escala se
encontró que el cuestionario evalúa dos dimensiones de lasatisfacción con la atención al cliente: la accesibilidad (4ítems) y el desempeño del asesor (7 ítems)
• Ambos modelos estudiados permitieron un análisis aprofundidad tanto de las propiedades de los ítems como de lasescalas de habilidades que se pretendían estimar.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 79 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Conclusiones III
• Se obtuvo un mejor ajuste y mayor información en elcuestionario usando el Modelo LPE-GRM.
• La mayoría de los ítems mostró una asimetría d < 1, aexcepción del Ítem 10, �tiempo hasta que se terminó lagestión�, el cual suele estar asociado a una etapa complicadadel proceso de atención al cliente.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 80 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Sugerencias para Investigaciones futuras I
• Se sugiere evaluar en estudios futuros el impacto de estascorrelaciones considerando un número mayor de cadenas a sersimuladas.
• Realizar un estudio de simulación de recuperación deparámetros para el Modelo LPE-GRM.
• Realizar estudios de simulación para evaluar el efecto deltamaño de muestra, número de ítems y el número decategorías de respuesta en la estimación de los parámetros delos modelos estudiados.
• Implementar la estimación de los modelos estudiados usando elesquema de datos aumentados.
• Considerar otros tipos de enlace asimétrico como el deexponente positivo recíproco (RLPE) propuesto por Bazánet al. (2010).
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 81 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Sugerencias para Investigaciones futuras II
• Extender el estudio del Modelo de Respuesta Graduada para elcaso asimétrico considerando situaciones demultidimensionalidad .
• Optimizar el tiempo de estimación de los modelosconsiderando métodos de computación paralela incluidos en elsoftware R con las librerías bugsparallel y dclone.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 82 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Información Adicional
Para descargar la presentación:http://www.perustat.com/1239/coneestxv/
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 83 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía I
Allen, D. (2004). Customer Satisfaction Research Management: acomprehensive guide to integrating customer loyalty andsatisfaction metrics, ASQ Quality Press, Milwaukee.
Azevedo, C. (2003). Métodos de estimação na teoria de respostaao item, Master's thesis, IME-USP.
Bazán, J. (2005). Uma familia de modelos de resposta ao itemnormal asimétrica, Master's thesis, IME-USP.
Bazán, J., Branco, M. D. y Bolfarine, H. (2006). A skew itemresponse model., Bayesian Analysis 1: 861�892.
Bazán, J., Calderon, A. y Valdivieso, L. (2010). Enfoque bayesianoen modelos de teoria de respuesta al item, Reporte del Minicursodesarrollado en la I Jornada Internacional de Probabilidad yEstadistica. Lima, 3-5 de febrero de 2010.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 84 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía II
Bolfarine, H. y Bazán, J. (2010). Bayesian estimation of the logisticpositive exponent irt model, Journal of Educational BehavioralStatistics pp. 693�713.
Curtis, S. M. (2010). BUGS Code for Item Response Theory,Journal of Statistical Software, Code Snippets 36: 1�34.
De Battisti, F., Nicolini, G. y Salini, S. (2012). The rasch model, inR. Kenett y S. Salini (eds), Modern Analysis of CustomerSurveys: with applications using R, John Wiley & Sons, Ltd,Chichester, UK, pp. 259�281.
De Battisti, F., Nicolini, G. y Salnini, S. (2005). The rash model tomeasure service quality, Journal of Services Marketing3(3): 58�80.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 85 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía III
De Battisti, F., Nicolini, G. y Salnini, S. (2010). The rash model incustomer satisfaction survey data, Quality Technology andQuantitative Management 7(1): 15�34.
Hambleton, R. K., van der Linden, W. J. y Wells, C. S. (2010).IRT models for the analysis of polytomously scored Data. Briefand selected history of model building advances, in M. Nering yR. Ostini (eds), Handbook of Polytomous Item Response TheoryModels, Routledge Academic, London, UK, pp. 21�42.
Harwell, M., Stone, C., Hsu, T. y Kirisci, L. (1996). Monte carlostudies in item response theory, Applied PsychologicalMeasurement 20: 101�125.
Kieftenbeld, V. y Natesan, P. (2012). Recovery of graded responsemodel parameters: A comparison of marginal maximumlikelihood and markov chain monte carlo estimation, AppliedPsychological Measurement 36(5): 399�419.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 86 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía IV
Lawley, D. N. (1943). On problems connected with item selectionand test construction, Proceedings of the Royal Society ofEdinburgh, Series A 23: 273�287.
Lewis, R. y Booms, B. (1983). The marketing aspects of quality,Emerging perspectives of services marketing pp. 99�107.
Lord, F. y Novick, M. (1968). Statistical theories of mental testscores (with contributions by Allen Birnbaum), Addison-Wesley,Reading, MA.
Lunn, D., Thomas, A., Best, N. y Spiegelhalter, D. (2000).WinBUGS - a Bayesian modeling framework: concepts, structure,and extensibility, Statistics and Computing 10: 325�337.
Nicolini, G. y Salini, S. (2006). Customer satisfaction in the airlineindustry: The case of british airways, Quality and ReliabilityEngineering International 22: 1�9.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 87 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía V
Oliver, R. (1980). A cognitive model of the antecedents andconsequences of satisfaction decisions, Journal of MarketingResearch 42: 460�469.
Ostini, R. y Nering, M. (2006). Polytomous Item Response TheoryModels, Sage Publications, Thousand Oaks CA.
Pasquali, L. (2009). Psicometría: teoria dos testes na psicologia ena educaçao, Editora Vozes Ltda., Brasil.
Patz, R. J. y Junker, B. W. (1999). A straighforward approach tomarkov chain monte carlo methods for item response models,Journal of Educactional and Behavioral Statistics 24: 146�178.
R Core Team (2012). R: A Language and Environment forStatistical Computing, R Foundation for Statistical Computing,Vienna, Austria. ISBN 3-900051-07-0.URL: http://www.R-project.org/
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 88 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía VI
Rao, C. R. y Sinharay, S. (2007). Handbook of Statistics, Vol. 26:Psychometrics, Elsevier Science B.V., Amsterdam, TheNetherlands.
Rizopoulos, D. (2006). ltm: An R Package for Latent VariableModeling and Item Response Theory Analyses, Journal ofStatistical Software 17(5): 1�25.URL: "http://www.jstatsoft.org/v17i05/"
Sahu, S. K. (2002). Bayesian estimation and model choice in itemresponse models, Journal Statistical Computing Simulation72: 217�232.
Samejima, F. (1969). Estimation of latent ability using a responsepattern of graded scores, Psychometrica Monograph 17: 1�100.
Samejima, F. (1972). A general model of free-response data,Psychometrika Monograph 18.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 89 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía VII
Samejima, F. (2000). Logistic positive exponent family of models:Virtue of asymmetric item characteristics curves, Psychometrika65: 319�335.
Singh, J., Howell, R. D. y Rhoads, G. K. (1990). Adaptive designsfor likert-type data: An approach for implementing marketingsurveys, Journal of Marketing Research 27(3): 304�321.
Spiegelhalter, D. J., Best, N., Carlin, B. y Van der Linde, A. (2002).Bayesian measures of model complexity and �t (with discussion),Journal of the Royal Statistical Society, Series B 64: 583�640.
Tarazona, E. y Bazán, J. L. (2011). Psychometric examination of acustomer satisfaction questionnaire using polytomous itemresponse theory models, Poster. Presentado en el 2◦ CongressoBrasileiro de Teoria de Resposta ao Item (II CONBRATRI).Salvador, Bahia.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 90 / 91
PeruStat
IntroducciónModelos de Respuesta Graduada
EstimaciónSimulación y Aplicación
ConclusionesReferences
XV CONEEST LIMA 2013
Bibliografía VIII
Tarazona, E. y Bazán, J. L. (2012). Evaluación psicométrica de uncuestionario de satisfacción de clientes usando modelospolitómicos de la teoría de respuesta al Ítem, Poster. Presentadoen la II Jornada Internacional de Probabilidad y Estadística (JIPEII). Ponti�cia Universidad Católica del Perú, Lima.Febrero, 1-3.
Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 91 / 91
top related