Incorporando Informacoes de Covariaveis
para Explicar a Habilidade dos Indivıduos
no Modelo de Teoria de Resposta ao Item
Sheila Klem Rodrigues das Neves
Universidade Federal do Rio de Janeiro
Instituto de Matematica
Departamento de Metodos Estatısticos
18 de Dezembro de 2012
Resumo
A Teoria de Resposta ao Item (TRI) e uma ferramenta estatıstica, em geral aplicada a
dados de educacao, utilizada com o objetivo principal de estimar proficiencias individuais,
incluindo situacoes nas quais os indivıduos sao comparados com base em testes com
questoes diferentes. Essa teoria e composta por modelos matematicos, onde conseguimos
explicar a variavel latente, a habilidade, que e uma variavel nao observavel diretamente,
partindo de caracterısticas dos itens que compoem o questionario.
Neste trabalho, propomos uma generalizacao do modelo logıstico de tres parametros
da TRI para permitir explicar parte da variacao observada nas habilidades atraves de
covariaveis. Em nossa proposta modelamos o logaritmo das habilidades dos indivıduos
por uma estrutura de regressao linear. Diferencas regionais podem tambem influenciar
no desempenho dos indivıduos. Para contornar esse problema propomos a inclusao de
uma estrutura espacial no modelo.
Aplicamos o modelo a dados referentes a prova de Matematica do Saeb (Sistema de
Avaliacao da Educacao Basica) aplicada aos alunos do 3o ano do Ensino Medio no ano
de 2005. Utilizamos como variaveis explicativas da habilidade informacoes contidas em
um questionerio socio-economico que foi aplicado a esses alunos. Em um dos modelos
propostos, o Estado de residencia do aluno foi levado em consideracao com a inclusao de
uma componente espacial no modelo.
Trabalhamos sob o ponto de vista Bayesiano para fazer inferencia e utilizamos o
metodo de MCMC para estimar os parametros dos modelos propostos.
Palavras-chave: Teoria de Resposta ao Item, Modelos com estrutura espacial, In-
ferencia Bayesiana, Regressao.
ii
Sumario
1 Introducao 1
2 Revisao Metodologica: Teoria de Resposta ao Item (TRI) 6
2.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Modelos para Itens Dicotomicos . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 O Modelo Logıstico de Tres Parametros . . . . . . . . . . . . . . . 8
2.2.2 Outros Modelos Logısticos . . . . . . . . . . . . . . . . . . . . . . 11
2.2.3 Curva Caracterıstica do Item . . . . . . . . . . . . . . . . . . . . 11
2.2.4 Inferencia Bayesiana para os modelos de TRI . . . . . . . . . . . 14
2.2.5 DIF – Funcionamento Diferencial do Item . . . . . . . . . . . . . 17
3 Modelagem Proposta 21
3.1 Modelo 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Modelo 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4 Estudos Simulados 26
4.1 Simulacao de dados do Modelo 1 . . . . . . . . . . . . . . . . . . . . . . 26
4.2 Simulacao do Modelo 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
5 Saeb – Sistema Nacional de Avaliacao da Educacao Basica 40
5.1 Analise Exploratoria dos Dados . . . . . . . . . . . . . . . . . . . . . . . 42
5.2 Aplicacao dos modelos propostos . . . . . . . . . . . . . . . . . . . . . . 49
5.2.1 Aplicacao com o Modelo 1 . . . . . . . . . . . . . . . . . . . . . . 51
5.2.2 Aplicacao com o Modelo 2 . . . . . . . . . . . . . . . . . . . . . . 58
iii
6 Consideracoes Finais 66
iv
Lista de Tabelas
5.1 Coeficientes da regressao estimados e seus respectivos p-valores. . . . . . 49
v
Lista de Figuras
2.1 Curvas caracterısticas de varios itens . . . . . . . . . . . . . . . . . . . . 13
2.2 CCI do Modelo Logıstico de 2 parametros . . . . . . . . . . . . . . . . . 14
2.3 CCI do Modelo de Rasch . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.1 Grafico das prioris dos parametros b, ρ e log(ρj) do Modelo 1 . . . . . . 23
4.1 Histograma da soma dos escores simulados sob o Modelo 1 . . . . . . . . 27
4.2 Box-plot dos escores simulados com a covariavel X. . . . . . . . . . . . . 28
4.3 Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Mo-
delo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.4 Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Mo-
delo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.5 Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Mo-
delo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.6 Histograma da posteriori para o parametro α (Modelo 1). . . . . . . . . . 31
4.7 Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , 20
(Modelo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.8 Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , 20
(Modelo 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.9 Histograma dos acertos simulados sob o Modelo 2. . . . . . . . . . . . . . 33
4.10 Box-plot dos escores simulados para X=0 e X=1. . . . . . . . . . . . . . 34
4.11 Media dos escores simulados por Estado do Brasil. . . . . . . . . . . . . . 35
4.12 Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Mo-
delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
vi
4.13 Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Mo-
delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.14 Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Mo-
delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.15 Histograma a posteriori do parametro α (Modelo 2). . . . . . . . . . . . . 37
4.16 Intervalos de 95% de Credibilidade para o parametro θj, j = 1, . . . , J (Mo-
delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.17 Intervalos de 95% de Credibilidade para o parametro ρj, j = 1, . . . , J (Mo-
delo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.18 Mapa do Brasil com a componente espacial φ gerada e estimada. . . . . . 39
5.1 Box-Plot dos escores da prova de matematica por ano de nascimento. . . 43
5.2 Box-Plot dos escores da prova de matematica por rede de ensino. . . . . 44
5.3 Box-Plot dos escores da prova de matematica dos alunos que trabalham e
que nao trabalham. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.4 Box-Plot dos escores da prova de matematica dos alunos que moram com
a mae, sem a figura materna, e com outra mulher responsavel. . . . . . . 46
5.5 Box-Plot dos escores da prova de matematica dos alunos que moram com
seu pai, que moram sem a figura paterna e que moram com outro homem
responsavel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.6 Media dos escores da prova de matematica para cada estado brasileiro. . 48
5.7 Resıduos do Modelo de Regressao para cada Estado brasileiro. . . . . . . 50
5.8 Intervalos de 95% de Credibilidade para o parametro ai, i = 1,. . . , I (Mo-
delo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.9 Intervalos de 95% de Credibilidade para o parametro bi, i = 1,. . . , I (Mo-
delo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.10 Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Mo-
delo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.11 Histograma da posteriori para o parametro α1 (Modelo 1) . . . . . . . . 54
5.12 Histograma da posteriori para o parametro α2 (Modelo 1) . . . . . . . . 55
vii
5.13 Histograma da posteriori para o parametro α3 (Modelo 1) . . . . . . . . 56
5.14 Intervalos de 95 Credibilidade para os parametros θj, j = 1, . . . , J (Modelo
1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.15 Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J
(Modelo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.16 Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J
(Modelo 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5.17 Intervalos de 95% Credibilidade para o parametro ai, i = 1,. . . , I (Modelo 2) 59
5.18 Intervalos de 95% de Credibilidade o parametro bi, i = 1,. . . , I (Modelo 2) 60
5.19 Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Mo-
delo 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.20 Histograma da posteriori para o parametro α1 (Modelo 2) . . . . . . . . 61
5.21 Histograma da posteriori para o parametro α2 (Modelo 2) . . . . . . . . 62
5.22 Histograma da posteriori para o parametro α3 (Modelo 2) . . . . . . . . 63
5.23 Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , J
(Modelo 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.24 Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J
(Modelo 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.25 Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J
(Modelo 2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.26 Mapa do Brasil com a componente espacial estimada . . . . . . . . . . . 65
viii
Klein e Fontanive (1995) Lord (1968) Baker (2001) Andrade (2000)
Soares (2005) Fragoso (2010) Alexandre e Araujo (2002) Angoff (1982)
Fox (2010) Saeb (2005) Beckman (2001) Natis (2001)
Hambleton e Rogers (1991) Lord (1952) Rasch (1960) Anastasi (1988)
Pasquali (2003) Gamerman (2006) Lord (1980) Raju (1988) Tay (2011)
Alves (2004) Goncalves (2006) Tay (2011)
Fox (2010) Lord (1968) Lord (1952) Rasch (1960) Birnbaum (1968) Santos (2009)
Andrade (2000) Nojosa (1997) May (2006)
Paez (2004) Cressie (1993) Vivar-Rojas (2004) Besag e Kooperberg (1995)
Natis (2001)
Gelfand (2003)
ix
Capıtulo 1
Introducao
Na sociedade moderna, o uso de questionarios em pesquisas, vagas de empregos e
em avaliacoes educacionais e muito frequente. Para avaliar polıticas educacionais e ate
em consultorios medicos, os questionarios sao uma grande ferramenta para conhecer os
indivıduos, entender um pouco de sua historia e de suas necessidades.
Em avaliacoes escolares, quando o professor elabora uma prova, um de seus objeti-
vos pode ser de detectar se existe algum conteudo que nao foi assimilado pelo aluno,
sinalizando a necessidade de retornar ao assunto, de maneira a conseguir alcancar as
dificuldades encontradas. Nas avaliacoes em larga escala (Klein e Fontanive, 1995), o
objetivo e o mesmo: perceber e identificar possıveis falhas no sistema educacional, na
administracao das escolas e ate problemas sociais, levando em consideracao informacoes
contidas em questionarios socio-economicos presentes nessas avaliacoes.
As respostas dessas avaliacoes podem ser estudadas e analisadas com base em duas
teorias de testes, a Teoria Classica dos Testes (TCT) (Lord, 1968) ou a Teoria de Res-
posta ao Item (TRI) (Baker, 2001). Atraves dessas teorias, somos capazes de obter uma
caracterıstica do indivıduo que mede a sua habilidade ou proficiencia no conteudo que
esta sendo avaliado.
A TCT possui algumas limitacoes teoricas. Por exemplo, na TCT os parametros dos
itens dependem da amostra de indivıduos utilizada para estabelece-los. Isto quer dizer
que o teste sera considerado facil ou difıcil dependendo da amostra de respondentes (An-
drade, 2000). Em contrapartida, na TRI, os parametros dos itens nao sofrem alteracoes
1
quando aplicados a diferentes amostras de indivıduos, dependendo unicamente dos itens,
e possibilitando a comparacao entre diferentes amostras de indivıduos. Nesse contexto,
a TRI vem ganhando espaco e e cada vez mais utilizada em avaliacoes educacionais de
larga escala (Andrade, 2000).
Atualmente, a Teoria de Resposta ao Item (TRI) tem sido muito empregada no Brasil
na producao de ındices de proficiencia para alunos que respondem a testes em avaliacoes
educacionais em larga escala. Andrade (2000) traz um exemplo pratico de aplicacao
em larga escala, em que sao analisados dados do Sistema de Avaliacao do Rendimento
Escolar do Estado de Sao Paulo (SARESP).
Embora a TRI seja abordada com maior frequencia em estudos de avaliacoes educaci-
onais, ela pode ser aplicada em areas bem diferenciadas, permitindo a construcao de indi-
cadores com diversas finalidades. Por exemplo, Soares (2005) emprega a TRI para compa-
rar tecnicas utilizadas na producao de indicadores de condicao socio-economica; Fragoso
(2010) apresenta uma aplicacao para diagnosticos de depressao atraves do Inventario de
Depressao de Beck (BDI); e Alexandre e Araujo (2002) propoem uma aplicacao com o
uso de Modelos da Teoria de Resposta ao Item para analisar as praticas da Gestao pela
Qualidade Total (GQT) como uma alternativa a Teoria Classica de Medida (TCM).
A Teoria de Resposta ao Item (TRI) e composta por modelos matematicos, onde
conseguimos explicar a variavel latente, a habilidade, que e uma variavel nao observavel
diretamente, partindo de caracterısticas dos itens que compoem o questionario. Essas
caracterısticas sao conhecidas como os parametros de item da modelagem. Nesses mo-
delos expressamos a probabilidade de um indivıduo responder corretamente a um item
em funcao de caracterısticas que esse item possui. Essas caracterısticas podem ser a difi-
culdade do item, a capacidade desse item em identificar indivıduos com maior ou menor
habilidade e a chance de acerto ao acaso do item.
Com o grande crecimento da utilizacao de questionarios em concursos, vagas de em-
prego, promocoes, avaliacoes educacionais e ate na area medica, tem sido cada mais
importante manter a imparcialidade dos testes. Na decada de 60 iniciou-se um estudo
sobre como as diferencas culturais podem influenciar no desempenho de grupos diferentes
de indivıduos. Desenvolveram-se estudos no sentido de investigar a afirmacao de que a
2
principal razao para a grande disparidade entre o desempenho de negros e hispanicos em
relacao aos brancos nos testes de habilidade e devido ao fato de eles conterem itens que
sao estranhos/alheios ao contexto das culturas minoritarias (Angoff, 1982). Surgiu daı
os modelos que consideram um Funcionamento Diferencial do Item (DIF - Differential
Item Functioning), para identificar que um item possui probabilidades estatısticas dife-
rentes de acerto segundo o grupo ao qual o respondente pertence. Segundo Hambleton
(1991) uma definicao comum entre os psicometristas e a seguinte: “...um item apresenta
DIF se indivıduos que tem a mesma habilidade, mas pertencem a diferentes grupos, nao
tem a mesma probabilidade de acertar o item”. Alguns trabalhos vem sendo realizados
usando essa metodologia do DIF com os Modelos da Teoria de Resposta ao Item (ver,
por exemplo, Alves (2004) e Goncalves (2006)).
No procedimento tradicional do DIF, diferencas entre os parametros dos itens sao tes-
tadas simultaneamente (Lord, 1980) ou examinados indiretamente atraves de diferencas
em funcoes de resposta ao item observada por grupo (Raju, 1988). Contudo, segundo
Tay at al (2011), essas abordagens sao limitadas pois: (a) caracterısticas multiplas nao
podem ser testadas para DIF simultaneamente; (b) caracterısticas contınuas nao podem
ser usadas diretamente, e (c) testar o DIF em grupos multiplos (> 2) requer em geral a
comparacao dos grupos 2-a-2. Para contornar tais problemas, Tay at al (2011) propoem
um modelo de mistura da TRI com a inclusao de covariaveis (MM-TRI-C), na qual co-
variaveis sao modeladas conjuntamente com os tracos latentes. Sendo assim, esse metodo
e capaz de acessar de forma mais precisa as causas do DIF.
Assim como Tay at al (2011) propomos um modelo cujo objetivo e detectar diferencas
em habilidades causadas por variaveis explicativas. Nossa proposta e investigar se exis-
tem fatores que afetam diretamente a vida dos alunos dificultando a obtencao de bons
resultados em avaliacoes e detectar alunos que tenham boa capacidade de aprendizagem
mesmo que estes nao tenham obtido um escore elevado. Com esse objetivo propomos
uma modelagem que possa ser capaz de captar algumas possıveis diferencas entre os alu-
nos/indivıduos, com a inclusao de covariaveis no Modelo da Teoria de Resposta ao Item
(MTRI). Nosso principal objetivo e de estimar nao apenas a habilidade, mas tambem o
que chamaremos “habilidade potencial”do indivıduo. Essa habilidade potencial e obtida
3
apos extrairmos o efeito de covariaveis e caracterısticas geograficas dos dados para possi-
bilitar uma comparacao mais justa entre o verdadeiro potencial dos candidatos. Entender
a relacao entre essas covariaveis e o desempenho dos alunos tambem e de nosso interesse.
Em nossa proposta modelamos o logaritmo das habilidades dos indivıduos por uma
estrutura de regressao linear (Fox, 2010), explicando parte da variabilidade das habili-
dades por covariaveis que fornecem caracterısticas socio-economicas dos indivıduos. Um
exemplo de covariavel pode ser o tipo de escola onde o indivıduo estuda ou estudou
(escola publica ou escola particular). Em media, os alunos provenientes de escolas par-
ticulares acalcam resultados melhores do que os alunos provenientes de escolas publicas.
Em um modelo de TRI usual, isso acarretaria em uma habilidade media estimada menor
entre os alunos de escola publica que entre os alunos de escola particular. A habilidade
potencial, entretanto, e estimada desconsiderando esse efeito, e sendo assim representa-
ria uma medida mais justa para, por exemplo, selecionar alunos para ingressar em uma
universidade. Diferencas regionais podem tambem influenciar no desempenho dos in-
divıduos. Para contornar esse problema propomos a inclusao de uma estrutura espacial
para explicar parte da variacao da habilidade potencial.
Trabalhamos com os dados referentes a prova de Matematica do Saeb (Sistema de
Avaliacao da Educacao Basica) no ano de 2005 aplicada aos alunos do 3o ano do En-
sino Medio. O Saeb e uma avaliacao em larga escala, com o objetivo de realizar um
diagnostico do sistema educacional brasileiro e de possıveis fatores que possam interferir
no desempenho do aluno, fornecendo um indicativo sobre a qualidade do ensino que e
ofertado. Alem de responder as questoes da provas, os alunos respondem a um ques-
tionario socio-economico, do qual podemos extrair covariaveis, tais como: se o aluno
estuda na rede publica ou privada, se o aluno trabalha, se o aluno mora na capital ou no
interior, se o aluno mora com os pais, e etc. Alem disso, temos a informacao do Estado
brasileiro no qual o aluno reside.
Esta dissertacao esta organizada da seguinte forma: no Capıtulo 2 apresentamos uma
revisao metodologica da TRI. Alem de relatar alguns aspectos historicos, descrevemos
os modelos para itens dicotomicos da TRI (Modelo Logıstico de 3 parametros, Modelo
Logıstico de 2 parametros e Modelo Logısticos de 1 parametro), apresentamos as Curvas
4
Caracterısticas do Itens (CCI) para esses modelos e o processo de Inferencia Bayesiana.
Ainda nesse capıtulo, discutimos o uso do DIF e suas aplicacoes. No Capıtulo 4, apre-
sentamos duas propostas de modelagem. O modelo 1 propoe explicar parte da variacao
das habilidades atraves de variaveis explicativas, e o modelo 2 e similar ao modelo 1 com
a inclusao de uma componente espacial para explicar variacoes das habilidades devido a
regiao de moradia do respondente. No capıtulo 5, apresentamos estudos simulados com
o objetivo de validar os modelos propostos no capıtulo anterior. No Capıtulo 6, apre-
sentamos o conjunto de dados do Saeb, incluindo analises exploratorias e a aplicacao da
modelagem proposta a esse conjunto de dados. Por fim, no Capıtulo 7, apresentamos as
consideracoes finais deste trabalho.
5
Capıtulo 2
Revisao Metodologica: Teoria de
Resposta ao Item (TRI)
2.1 Introducao
A Teoria de Resposta ao Item (TRI) surgiu na segunda metade do seculo XX, como
uma teoria capaz de analisar aspectos cognitivos (a capacidade de construir conheci-
mento) e psicometricos das pessoas, trazendo para o meio educacional uma nova meto-
dologia para medir o grau de proficiencia de um aluno. Segundo Fox (2010), um dos
primeiros modelos baseados em Inferencia Estatıstica para medidas educacionais e psi-
cologicas esta no classico livro de Lord (1968). Existe um consenso na literatura (ver
por exemplo Baker (2001) e Hambleton e Rogers (1991)) de que a Teoria de Resposta ao
Item surgiu formalmente com os trabalhos de Lord (1952) e Rasch (1960), sendo eles uns
dos primeiros autores a propor modelos estatısticos com parametrizacao para os itens
dos testes e metodos de estimacao para os parametros e para as proficiencias.
Inicialmente, em um contexto de testes para avaliacao educacional ou outra medida
dentro de um contexto psicometrico, os modelos associavam a uma unica variavel la-
tente contınua (nao observada) a probabilidade de acertar itens, podendo esta variavel
ser interpretada como a habilidade do indivıduo. Posteriormente, o modelo de dois
parametros foi proposto. Birnbaum (1968) propos uma maneira de especificar o modelo
de dois parametros utilizando a funcao logıstica pelo fato de ser uma funcao explıcita
6
dos parametros dos itens e da proficiencia. Com o passar dos anos, a Teoria de Resposta
ao Item foi sendo aprimorada. Atualmente muitas instituicoes de ensino vem adotando
tecnicas derivadas da TRI em suas avaliacoes internas, como por exemplo o Colegio Ad-
ventista de Itaboraı, que ja tem suas avaliacoes desenvolvidas segundo metodologias da
TRI.
Na pratica, a TRI consiste na analise das respostas de indivıduos a um determinado
questionario, e propoe que a probabilidade de um indivıduo dar a resposta correta a
um item especıfico leve em consideracao os tracos latentes de cada indivıduo (tambem
conhecidos como proficiencias ou habilidades) e caracterısticas do item respondido. Essa
teoria esta associada ao uso de modelos, que geralmente sao parametricos, onde os es-
forcos concentram-se em estimar a variavel latente, a partir de caracterısticas do item,
representadas pelos parametros do item. Resumindo, os Modelos de Resposta ao Item
consistem na representacao da probabilidade do indivıduo i responder corretamente ao
item j, em funcao dos parametros do item e do parametro da habilidade do indivıduo.
Esses modelos sao classificados de acordo com a natureza do item, que podem ser
dicotomicos, politomicos ou dissertativos. Os itens dicotomicos sao aqueles com respostas
do tipo certo ou errado, por exemplo os testes com questoes de multipla escolha. Os
itens policotomicos sao aqueles que possuem mais de duas categorias de respostas (nao
ordenadas ou nominais), tambem conhecidos como itens abertos. Tambem temos itens
dissertativos, conhecidos como itens de resposta contınua. Sua correcao e feita de forma
gradual.
Muitos estudos vem sendo desenvolvidos com os Modelos de TRI. Podemos citar, por
exemplo, o trabalho de Santos (2009), que propos um modelo para itens dicotomicos
com uma variacao no parametro de assimetria, Goncalves (2006) e Alves (2004) que
trabalharam com modelos que identificam e incorporam o DIF.
Outro aspecto que devemos considerar e a quantidade de tracos latentes (habilidades)
que estao sendo medidos. Quando o objetivo do modelo e medir um unico traco latente,
dizemos que esse modelo e unidimensional. Tambem pode haver variacoes com relacao
ao numero de populacoes envolvidas. O que e mais utilizado sao estudos feitos em
apenas uma populacao, a um grupo de respondentes. Segundo Andrade (2000) quando
7
falamos em um unico grupo de respondentes, nos referimos a uma amostra de indivıduos
retirada de uma mesma populacao. Podemos considerar exemplos que usualmente sao
considerados como populacoes distintas: series distintas (3a serie e 4a serie); perıodos
distintos (diurno e noturno); uma mesma serie, mas em anos distintos (3a serie de 1996
e 3a serie de 1997).
2.2 Modelos para Itens Dicotomicos
Nessa secao iremos introduzir os modelos probabilısticos que sao utilizados quando
as respostas ao teste sao dicotomicas, ou seja, do tipo certo ou errado. Essas respostas
podem ser obtidas a partir de itens de multipla escolha dicotomizados ou tambem a partir
de itens livres (resposta aberta) quando corrigidos de forma dicotomizada. Os modelos
que serao estudados a seguir sao unidimensionais, ou seja, iremos tratar os modelos que
consideram um unico traco latente (habilidade). Exemplos de modelos multidimensionais
para itens dicotomicos, medindo dois ou mais tracos latentes, podem ser vistos em Nojosa
(1997) e Andrade (2000).
Os itens possuem algumas caracterısticas importantes que podem ser relacionadas
diretamente com a probabilidade deles serem corretamente respondidos. Essas carac-
terısticas sao conhecidas como parametros dos itens, que podem ser incorporadas ao
modelo probabilıstico de interesse.
Na categoria de modelos unidimensionais para itens dicotomicos, os modelos mais
utilizados na pratica sao os modelos logısticos, que podem ter tres diferentes modelagens,
se diferenciando de acordo com a quantidade de parametros que sao utilizados para
descrever o item. A seguir sera apresentado o mais completo, o Modelo Logıstico de 3
parametros (ML3), sendo o Modelo Logıstico de 2 parametros (ML2) e o Modelo Logıstico
de 1 parametro (ML1) casos particulares.
2.2.1 O Modelo Logıstico de Tres Parametros
O Modelo Logıstico de 3 Parametros (ML3) e o modelo de resposta ao item mais utili-
zado atualmente para itens dicotomicos, sendo os modelos ML1 e ML2 casos particulares
8
deste.
O modelo ML3 consiste em descrever matematicamente a probabilidade de um in-
divıduo j responder corretamente a um determinado item i, como funcao da variavel
latente que esta associada ao indivıduo j e de tres parametros que representam carac-
terısticas do item i. Supoe-se que as respostas provenientes de indivıduos diferentes sao
independentes e que os itens sao respondidos de forma independente por cada indivıduo
(independencia local) dada sua habilidade (Andrade, 2001).
Seja yij uma variavel dicotomica, onde yij = 1 significa que o j-esimo indivıduo
respondeu corretamente ao item i e yij = 0 significa que o j-esimo indivıduo respondeu
incorretamente ao item i. Nessa expressao, o ındice i representa o item, onde I e o total
de itens respondidos, e o ındice j representa o indivıduo, de um total de J indivıduos
que responderam o questionario ou prova. A expressao matematica do ML3 pode ser
definida como:
p(yij = 1 | θj, β) = ci + (1− ci)1
1 + exp(−ai(θj − bi)), (2.1)
para i = 1, . . . , I, e j = 1, . . . , J . Dizemos que a = (a1, a2, . . . , aI), b = (b1, b2, . . . , bI) e
c = (c1, c2, . . . , cI) sao os parametros do item e θ = (θ1, θ2, . . . , θJ) sao os parametros do
indivıduo. Definimos β como a colecao de parametros do item, tal que β = (a, b, c).
A probabilidade do indivıduo j responder corretamente ao item i, ou seja, P (yij =
1 | θj, β) pode ser interpretada como a proporcao de respostas corretas ao item i dentre
todos os indivıduos da populacao com habilidade θj.
Os parametros do ML3
Vamos detalhar nessa subsecao a nomeclatura e a interpretacao de cada um dos
parametros do ML3 (2.1).
O parametros ai e o parametro do item que caracteriza o poder de discriminacao
do mesmo. Quando o valor de ai e baixo, indica que o item i possui pouco poder de
discriminacao, ou seja, alunos com habilidades bem diferentes podem ter aproximada-
mente a mesma probabilidade de acertar este item. Entao, quanto maior for o valor deste
parametro, maior sera a distincao feita entre os alunos com habilidades diferentes.
9
O parametro ci e o parametro do item que indica a probabilidade de um indivıduo
com habilidade muito baixa acertar o item, o que pode ser atribuıdo a uma casualidade.
Esse parametro e chamado de parametro de acerto casual, ou parametro de “chute”.
O parametro bi e o parametro do item que caracteriza a dificuldade do mesmo. bi
representa a habilidade necessaria que um indivıduo precisa ter para conseguir uma
probabilidade de acerto ao item i igual a 1+ci2
. Podemos interpretar que quanto maior o
valor do parametro bi, mais difıcil e o item i.
O parametro θj e o parametro do indivıduo que representa a habilidade (proficiencia)
do indivıduo j. Na maioria dos casos, esse e o parametro de interesse.
Teoricamente, o parametro de discriminacao do item e o parametro de dificuldade do
item, os parametros ai e bi respectivamente, podem assumir qualquer valor na reta real,
ou seja, qualquer valor entre −∞ e +∞. Contudo, e necessario definir uma escala para os
parametros com o objetivo de facilitar a interpretacao dos resultados. Para definir a escala
que sera utilizada no modelo, definimos uma escala para os parametros do indivıduo θ, e
com isso define-se tambem o espaco de variacao dos parametros dos itens. Usualmente,
a metrica utilizada para os parametros θj e a (0, 1). Define-se que o parametro θj tem a
distribuicao normal padronizada, com media igual a 0 e variancia igual a 1. Vale ressaltar
que outra escala pode ser utilizada sem interferir na interpretacao dos resultados, pois o
importante sao as relacoes dos valores obtidos para uma escala escolhida.
Com essa escala definida para o parametro θj, segundo Andrade (2000), o parametro
ai deve estar entre 0 e 2, observando que os valores mais apropriados para esse parametro
seriam aqueles maiores que 1. Valores negativos para o parametro ai nao sao esperados,
pois para ai negativo tem-se que a probabilidade do indivıduo acertar ao i-esimo item
aumenta a medida que a habilidade do indivıduo diminui.
O parametro bi, que representa a dificuldade do item i, deve estar entre −2 e +2
e esse parametro e medido na mesma unidade da habilidade. Quando temos θj = bi e
quando nao for permitido chutar, a probabilidade do indivıduo j acertar o item i e igual
a 0.5. Se a dificuldade do item e maior que a habilidade do indivıduo, as chances dele
acertar este item sao pequenas. Da mesma forma, se a dificuldade do item for menor que
a habilidade do indivıduo, as chances deste acertar o item sao grandes. Essa relacao pode
10
ser vista pelas Curvas Caracterısticas do Item, que serao apresentadas mais a frente.
O parametro ci e uma probabilidade, logo varia de 0 a 1, e depende do numero de
alternativas de cada item. Se o item possui cinco alternativas com apenas uma correta,
o parametro ci costuma valer 0.2, considerando que o indivıduo escolha aleatoriamente
uma das respostas.
2.2.2 Outros Modelos Logısticos
Considere a expressao do modelo logıstico de tres parametros descrito em 2.1. Agora
desconsidere a chance de acerto ao acaso, fazendo ci = 0 na expressao do ML3. Obtem-se
um caso particular do ML3, conhecido como Modelo Logıstico de dois parametros (ML2),
definido por:
p(yij = 1 | θj, β) =1
1 + exp(−ai(θj − bi)), (2.2)
para i = 1, . . . , I e j = 1, . . . , J .
Se alem de desconsiderarmos a chance de acerto ao acaso, supusermos que todos os
itens tem o mesmo poder de discriminacao, ou seja, ai = 1, i = 1, . . . , I, teremos um
terceiro modelo logıstico, conhecido como Modelo Logıstico de um parametro (ML1) ou
Modelo de Rasch, que e dado por:
p(yij = 1 | θj, β) =1
1 + exp(−(θj − bi)), (2.3)
para i = 1, . . . , I e j = 1, . . . , J .
O Modelo Logıstico de 1 parametros (ML1) ou Modelo de Rasch e um caso particular
do ML3, considerando ci = 0 e ai = 1, i = 1, . . . I.
2.2.3 Curva Caracterıstica do Item
A relacao existente entre a proporcao de respostas corretas para o item i dentre todos
os indivıduos com habilidade θj e os parametros do modelo, P (yij = 1 | θj, β), pode ser
11
representada graficamente atraves da chamada Curva Caracterıstica do Item (CCI). A
CCI e uma curva que modela a probabilidade de acerto de um item, sendo uma funcao
crescente na ordenada da habilidade.
O parametro ci representa na CCI uma assıntota inferior para a probabilidade de
resposta correta ao item i. Mesmo se o indivıduo apresentar baixa habilidade, a proba-
bilidade de que ele acerte a este item sera, no mınimo, o valor do parametro ci.
O parametro bi e definido como a habilidade necessaria para que um indivıduo obtenha
uma probabilidade de acerto igual ao ponto medio entre a menor probabilidade de acerto
(parametro ci) e a maior probabilidade de acerto (igual a 1), ou seja, e a habilidade
necessaria para que a probabilidade de acerto do ite i seja igual a 1+ci2
.
O parametro ai e proporcional a inclinacao da reta tangente a CCI no ponto de
inflexao da curva. Quanto maior a inclinacao dessa reta tangente, maior sera o valor do
parametro ai e maior sera a distincao feita entre os respondentes de baixa habilidade e
os de alta habilidade. Por isso, o parametro ai pode ser reconhecido e interpretado como
parametro de inclinacao do item i (Andrade, 2001).
Construımos alguns exemplos de curvas caracterısticas de itens com diferentes com-
binacoes de valores para os parametros ai, bi e ci. Esses exemplos podem ser observados
na Figura 2.1. O item 1a possui parametros a1a = 1, b1a = −1 e c1a = 0.2. O item 2a
possui parametros a2a = 1, b2a = 1 e c2a = 0.2. O item 3a possui parametros a3a = 2,
b3a = −1 e c3a = 0.2. O item 4a possui parametros a4a = 1, b4a = −1 e c4a = 0.5.
Os valores dos parametros do item 1a sao os mesmos do item 2a, exceto para o
parametro b, que mede a dificuldade do item. Comparando a CCI do item 1a com a do
item 2a, perbemos que de fato o item 2a e mais difıcil, havendo um deslocamento da
curva para a direita. Sendo assim, o aluno precisa ter uma habilidade maior para acertar
o item 2a com certa probabilidade, que para acertar o item 1a.
Os valores dos parametros do item 1a sao os mesmos do item 3a, exceto para o
parametro a, que mede a discriminacao do item. Comparando a CCI do item 1a com
a do item 3a, podemos perceber que de fato a CCI do item 3a possui inclinacao mais
acentuada. Note, por exemplo, que alunos com habilidade -1, possuem probabilidade 0.6
de acertar os itens 1a e 3a. Ja os alunos com habilidade 0, possuem maior probabilidade
12
Item 1a: a= 1 , b = −1 e c = 0.2
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −3 −1 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Item 2a: a= 1 , b = 1 e c = 0.2
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −3 −1 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Item 3a: a= 2 , b = −1 e c = 0.2
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −3 −1 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Item 4a: a= 1 , b = −1 e c = 0.5
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −3 −1 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Figura 2.1: Curvas caracterısticas de varios itens
de acerto no item 3a do que no item 1a, mostrando que o item 3a detecta melhor os
alunos com maior habilidade.
Os valores dos parametros dos itens 1a e 4a sao os mesmos, exceto para o parametro
c, que mede o acerto casual. Observe que o parametro c funciona como um limite inferior
para as probabilidades de acerto. No item 1a, os alunos possuem probabilidades de acerto
maiores que 0.2 e no item 4a os alunos possuem probabilidades de acerto maiores que
13
0.5, comportamento que independe de suas habilidades.
Item 1b: a= 2 e b = 1
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −4 −3 −2 −1 0 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Item 2b: a = 1.5 e b = −1
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −4 −3 −2 −1 0 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Figura 2.2: CCI do Modelo Logıstico de 2 parametros
Na Figura 2.2 podemos observar dois exemplos de CCI para o modelo logıstico de 2
parametros. Este modelo corresponde ao ML3 com ci = 0, i = 1, . . . , I, como dito ante-
riormente. Observe que para ambos os caso, alunos com proficiencias baixas o suficiente
tem probabilidade quase zero de acertar o item.
Na Figura 2.3 podemos observar CCIs de dois itens para o modelo logıstico de 1
parametro, ou Modelo de Rasch. Verificamos que assim como no ML2, a probabilidade
de acerto tende a zero a medida que a proficiencia diminui. Alem disso, no ML1, a
inclinacao da curva e sempre constante, havendo apenas um deslocamento da mesma
como funcao do parametro de dificuldade do item. No exemplo, o item 1c e mais facil
que o item 2c.
2.2.4 Inferencia Bayesiana para os modelos de TRI
Como ja visto nos modelos tradicionais da TRI, a probabilidade de uma resposta
correta a um determinado item depende somente da habilidade do indivıduo e dos
parametros do item. Em geral, apenas as respostas dos indivıduos sao conhecidas.
Estimar as habilidades significa determinar o valor do θ para cada um dos indivıduos
14
Item 1c: b = − 1
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −4 −3 −2 −1 0 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Item 2c: b = 1
Habilidade
Pro
babi
lidad
e de
res
post
a ce
rta
−5 −4 −3 −2 −1 0 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
Figura 2.3: CCI do Modelo de Rasch
(Hambleton e Rogers, 1991). A inferencia ou estimacao ou calibracao dos itens se refere
a tarefa de caracterizar os itens por meio dos valores numericos de seus parametros (Ba-
ker, 2001). Para esse processo de inferencia, podemos encontrar tres situacoes: quando
se conhece as habilidades dos indivıduos e pretende-se estimar apenas os parametros dos
itens, quando os parametros dos itens sao conhecidos e queremos estimar as habilidades
e, no caso mais geral, quando se deseja estimar simultaneamente os parametros dos itens
e as habilidades dos indivıduos Andrade (2000).
Neste trabalho, a inferencia sera feita sob o ponto de vista Bayesiano. Para realizar-
mos a inferencia Bayesiana, precisamos definir as seguintes funcoes:
• distribuicao a priori, que consiste em estabelecer uma funcao probabilıstica para os
parametros do modelo, e expressa a informacao inicial que temos dos parametros
antes de observarmos os dados;
• funcao de verossimilhanca, que e a funcao que descreve probabilisticamente os dados
observados;
• distribuicao a posteriori, que taz informacao sobre os parametros com base na priori
e nas observacoes.
15
Considere que um teste composto por I itens foi aplicado a um grupo de J indivıduos.
O objetivo e estimar todos os parametros: os parametros dos itens e os parametros dos
indivıduos. Seja λ = {β, θ, µθ, σθ} o vetor parametrico que contem todos os parametros
do ML3, onde β = {a, b, c} e o vetor apenas com os parametros do item e µθ e σθ sao os
hiperparametros da distribuicao a priori do parametro de habilidade θ.
Assumindo independencia dos parametros a priori, a distribuicao a priori conjunta
dos parametros e determinada pelo produto da distribuicao a priori de cada parametro,
definida por:
p(λ) ∝ p(β)p(θ | µθ, σθ) =J∏j=1
p(θj | µθ, σθ).p(µθ, σθ).I∏i=1
p(ai).p(bi).p(ci) (2.4)
A escolha das prioris para os parametros e uma tarefa muito importante desse pro-
cesso. Segundo Andrade (2000), as prioris mais utilizadas para os modelos ML3 sao:
• ai ∼ LN(µa, S2a), onde LN(µ, S2) denota a distribuicao Log-Normal com media µ
e variancia S2;
• bi ∼ N(µb, S2b ), ondeN(µ, S2) denota a distribuicao Normal com media µ e variancia
S2;
• ci ∼ Beta(αc, βc), onde Beta(α, β) denota a distribuicao Beta com media αα+β
e
variancia αβ(α+β+1)(α+β)2
;
• θj ∼ N(µθ, S2θ ), onde N(µ, S2) denota a distribuicao Normal com media µ e
variancia S2.
Pela independencia entre as respostas de indivıduos diferentes e pela independencia
local, podemos escrever a equacao da verossimilhanca L(λ) como:
L(λ) = p(Y | λ) = p(Y | θ, β) = (2.5)
J∏j=1
I∏i=1
Pyi,jij [1− Pij]1−yi,j
16
Yij e a variavel indicadora do acerto onde Y = (yij, . . . , y1J),...,yI1,...,yIJ e yij = 1
representa que o indivıduo j respondeu corretamente o item i. Pij = p(yij = 1 | θ, β),
denota a probabilidade do indivıduo j acertar ao item i. Para realizar o processo de
inferencia pela metodologia Bayesiana, e necessario avaliar a distribuicao a posteriori
dos parametros de interesse. Aplicando o Teorema de Bayes, obtemos a equacao da
distribuicao a posteriori, definida por:
p(λ | Y ) ∝ p(λ)L(λ). (2.6)
Em determinadas situacoes conseguimos obter a distribuicao a posteriori analitica-
mente, com base na expressao 2.6 e com o calculo da constante de normalizacao. Em
geral, entretanto, esta constante e difıcil de ser obtida, impossibilitando a obtencao de
uma forma fechada para a posteriori. Uma possibilidade e a utilizacao de metodos que
permitam simular valores da distribuicao a posteriori. O metodo que sera utilizado neste
trabalho e o Metodo de Monte Carlo via Cadeias de Markov (MCMC). Este metodo for-
nece uma solucao para o problema da simulacao mesmo em situacoes onde as distribuicoes
dos parametros desejados sao multidimensionais e complexas (Gamerman, 2006).
De forma geral, as tecnicas de MCMC permitem a simulacao de uma distribuicao
incorporando-a como a distribuicao limite de uma cadeia de Markov, e simulando esta
cadeia ate que ela chegue ao equilıbrio. O metodo MCMC mais utilizado e o Amostrador
de Gibbs. Este metodo e baseado em uma cadeia de Markov onde a dependencia do
valor a ser simulado, em relacao ao anterior, e governada pelas distribuicoes condicionais
completas, que se originam do modelo.
2.2.5 DIF – Funcionamento Diferencial do Item
A necessidade e relevancia da padronizacao ou uniformizacao das condicoes de aplicacao
dos instrumentos de medida e um dos supostos mais importantes da avaliacao, seja no
ambito psicologico ou educativo (Anastasi (1988) e Pasquali (2003)). Profissionais da pe-
dagogia e psicologia preocupam-se em uniformizar os itens, o tempo de resolucao de cada
item, a maneira de fazer a correcao, entre outras coisas. Com o modelo da TRI, tambem
17
existe essa preocupacao: as vezes indivıduos com a mesma habilidade tem probabilidades
diferentes de acertar determinado item por pertencerem a grupos sociais distintos, por
exemplo. Sendo assim, a avaliacao estaria privilegiando um grupo especıfico. Dizemos
que quando isso acontece existe um Funcionamento Diferencial do Item (DIF).
Historicamente, e antes da TRI, a identificacao de itens com DIF tinha o objetivo
inicial de detectar itens que se mostravam favoraveis (ou desfavoraveis) a um grupo
especıfico de alunos em detrimento de outros grupos, de forma que os testes pudessem
evitar questoes prejudiciais e injustas. Atualmente, os resultados das analises de DIF
para esses itens com comportamento diferencial possibilitam, entre outros fatores, avaliar
diferencas regionais e socio-culturais, muitas das quais nao sao facilmente percebidas,
diferencas curriculares e diferencas de abordagens pedagogicas (Soares, 2005).
Soares (2005) tambem ressalta que estudos conduzidos pelo Educational Testing Ser-
vice - ETS, nos Estados Unidos, apontam que o DIF, num contexto de avaliacao em larga
escala, pode ser causado basicamente por uma tricotomia de fatores: a familiaridade com
o conteudo do item, que tambem pode ser associada a exposicao ao tema ou a um fa-
tor cultural; o interesse pessoal naquele dado conteudo e a reacao emocional negativa
provocada pelo conteudo, particularmente associada a questoes raciais.
Dessa forma, ao identificarmos a presenca do DIF em uma avaliacao, podemos dizer
que esse e um fator que pode torna-la injusta. Serios problemas no processo de avaliacao
podem ser causados se a modelagem dos dados nao for feita levando em consideracao a
presenca do DIF.
No ambito da TRI, um item nao possui DIF quando sua curva caracterıstica (CCI)
e a mesma para os diferentes grupos analisados (dois ou mais grupos). Um item tera
DIF se os indivıduos que compoem grupos distintos (por exemplo tem racas distintas ou
pertencem a grupos culturais diferentes), possuirem probabilidades diferentes de acertar
este item. Note que aqui estamos supondo por hipotese que indivıduos pertencentes a
grupos distintos tem a mesma chance de possuir uma determinada habilidade.
Um exemplo de aplicacao pode ser visto em Goncalves (2006), onde os dados do
Programa Nova Escola do Estado do Rio de Janeiro foram analisados. Em uma primeira
analise foi observado que os alunos da capital tiveram maior percentual de acerto para
18
a maioria dos itens. Tambem foi possıvel identificar os itens que apresentaram maior
diferenca de percentuais. O modelo proposto por Goncalves (2006) e May (2006) e uma
generalizacao do Modelo Logıstico de 3 parametros com a inclusao de dois parametros
para representar o funcionamento diferencial na discriminacao e na dificuldade do item.
O modelo e dados por:
p(yij = 1 | θj, β, daig, dbig) = ci + (1− ci)1
1 + exp(−exp(−daig)ai(θj − bi + dbig)), (2.7)
em que i = 1, . . . , I, j = 1, . . . , J e g = 1, . . . , G, onde G e o total de grupos.
Os parametros que foram incluıdos no modelo sao daig e dbig, para g = 1, . . . , G e i =
1, . . . , I que representam o funcionamento diferencial na discriminacao e na dificuldade,
respectivamente, do item i no grupo g.
Em sua analise, Goncalves (2006) observou a necessidade de se ter uma boa classi-
ficacao dos itens quanto ao funcionamento diferencial, gerando resultados importantes do
ponto de vista educacional e pedagogico atraves das caracterısticas do DIF encontrado.
Assim como no trabalho de Goncalves (2006), as abordagens tradicionais de medida
de invariancia da teoria de resposta ao item examinam medidas de equivalencia (ME)
entre grupos observados (ex. raca, genero, grupo cultural). Em contrapartida, as medidas
mistas da teoria de resposta ao item (MM-TRI) examinam medidas de equivalencia entre
grupos nao observaveis (variaveis latentes de respondentes que podem ser distinguidos
por diferencas no uso da escala, veja Eid e Rauber, 2000). Ambas as abordagens podem
ser integradas pelo uso de medidas de mistura da TRI com a inclusao de covariaveis
(MM-TRI-C), na qual covariaveis sao modeladas conjuntamente com os tracos latentes,
de forma que e possıvel verificar se a medida de equivalencia pode ser atribuida a grupos
previamente observados ou nao. Tay et al (2011) apresentam o uso de modelos MM-TRI
com covariaveis (MM-TRI-C) como um metodo capaz de acessar de forma mais precisa as
causas do DIF. Segundo eles, esses metodos podem incorporar multiplas caracterısticas
simultaneamente. Nessa proposta devemos destacar o modelo de teoria de resposta ao
item com covariaveis (IRT-C), proposto por Tay et al (2011). Segundo ele, a utilidade
desse modelo para detectar o DIF e: (a) o DIF pode ser acessado atraves de categorias
19
multiplas e covariaveis contınuas; (b) O DIF pode ser examinado simultaneamente com
multiplas covariavies; (c) diferencas de medias e variancias latentes entre grupos podem
ser estimadas e comparadas no modelo final. Sendo assim, e possıvel verificar o grau
para o qual o DIF pode ser atribuıdo a caracterısticas como genero, raca, idioma, e/ou
condicao socio-economica. O modelo proposto em Tay et al (2011) e um modelo Logıstico
de dois parametros com covariavel. Sua equacao e definida por:
p(yij | θj, zj) =1
1 + exp(−[aiθj + bi + ciZj + dizj.θj])(2.8)
onde a probabilidade de responder ao item corretamente depende da habilidade e tambem
de uma covariavel relacionada ao DIF, aqui denotada por zj, cujos coeficientes sao ci e
dj. Esse modelo pode ser extendido para acomodar um numero maior de covariaveis.
20
Capıtulo 3
Modelagem Proposta
Nesse capıtulo apresentamos a modelagem proposta como uma generalizacao do Mo-
delo Logıstico de 3 Parametros. A nossa proposta e a de introduzir uma estrutura com
covariaveis para explicar parte da variabilidade observada no parametro de habilidade
dos indivıduos θ. Alem disso, propomos a inclusao de um parametro capaz de captar
possıveis correlacoes espaciais. Com essa proposta, desejamos alcancar como resultado
final modelos que sao capazes de estimar o que chamamos de “habilidade potencial”.
3.1 Modelo 1
Seja uma avaliacao composta por I itens. Definimos λ como o conjunto de todos os
parametros do modelo. O modelo proposto para explicar a probabilidade de acerto do
item i, i = 1, . . . , I pelo indivıduo j, j = 1, . . . , J , ou seja, Pij = p(yij = 1 | λ), e dado
por:
Pij = p(yij = 1 | λ) = p(yij = 1 | θj, βi) = ci + (1− ci)1
1 + exp(−ai(θj − bi)), (3.1)
log(θj) = X ′α + log(ρj),
onde βi = (ai],bi,ci) e o vetor parametrico que contem os parametros dos itens ai, bi e
ci (apresentados no capıtulo 3); α = (α1, α2, . . . , αp) e o vetor de parametros com os
21
coeficientes da regressao do modelo, que tem dimensao igual ao numero de covariaveis
no modelo (p). X e a matriz de covariaveis com dimensao J × p. θj e a habilidade do
indivıduo j e ρj representa a habilidade potencial do indivıduo, que e a habilidade do
indivıduo a menos do efeito das covariaveis. Nosso interesse principal sera estimar esse
parametro.
Observe que caso nao se considere o uso das covariaveis, isto e, quando αl = 0 para
qualquer l, l = 1, . . . , p, os parametros θj e ρj sao iguais, e retornamos ao caso do modelo
TRI tradicional de 3 parametros (ML3).
Os efeitos das covariaveis medem os desvios de θj em relacao a ρj. Considerando
o exemplo em que X1 e a covariavel que vale 1 caso o indivıduo tenha estudado em
escola publica, e zero caso contrario, espera-se um coeficiente α1 negativo, indicando que
a habilidade “observada”θj diminua em relacao a “habilidade potencial”ρj para alunos
que estudam em escola publica.
Para realizar o processo de inferencia pela metodologia Bayesiana e necessario pri-
meiramente especificar as distribuicoes a posteriori dos parametros de interesse. Para o
modelo proposto, especificamos as seguintes prioris:
• ai ∼ LN(µa, S2a),
• bi ∼ LN(0, (0.1)2),
• ci ∼ Beta(αc, βc),
• αl ∼ N(µ, S2),
• log(ρj) ∼ N(0, (0.1)2).
Observe que algumas distribuicoes a priori utilizadas neste modelo sao diferentes das
prioris usuais. Como nosso maior interesse e a habilidade potencial, desejamos que as
escalas do parametro bi e do parametro ρj sejam proximas, assim como as escalas de bi
e θj no modelo TRI usual. Sendo assim, assumimos como priori para o parametro bi
uma distribuicao log-normal, e para log(ρj) uma distribuicao normal com media zero e
variancia 0.01. Essa variancia foi escolhida de forma que as distribuicoe desses parametros
nao ficassem muito assimetricas.
22
Histogram of b
b
Fre
quen
cy
0.5 1.0 1.5 2.0 2.5 3.0
010
020
030
040
050
0
Histogram of hab
hab
Fre
quen
cy
0.5 1.0 1.5 2.0 2.5
010
020
030
040
050
0
Histogram of loghab
loghab
Fre
quen
cy
−1.0 −0.5 0.0 0.5 1.0
010
020
030
040
050
0
Figura 3.1: Grafico das prioris dos parametros b, ρ e log(ρj) do Modelo 1
Na Figura 3.1 podemos observar o comportamento das distribuicoes a priori para
os parametros bi, ρj e log(ρj). A distribuicao de log(ρj) foi escolhida de forma que
ao retirar a escala do log, os parametros bi e ρj fiquem em uma mesma escala. Como
podemos observar pela Figura 3.1, a distribuicao de bi e ρj tem uma ligeira assimetria
positiva. Esse comportamento, entretanto, nos parece apropriado.
Como foi dito no Capıtulo 2, aplicando o Teorema de Bayes (equacao 2.6) podemos
obter a equacao da distribuicao a posteriori. Assumindo a independencia dos parametros
a priori, a distribuicao a priori conjunta dos parametros e determinada pelo produto da
distribuicao a priori de cada parametro, definida por:
p(λ) ∝ p(θ)p(β) = (3.2)
J∏j=1
p(θj | ρj, α)I∏i=1
p(ai)p(bi)p(ci)J∏j=1
p(ρj)p(α)
3.2 Modelo 2
Nossa proposta aqui e fazer uma extensao do modelo anterior, descrito em 3.1 (Modelo
1). Como no Modelo 1, especificamos um modelo de regressao para explicar a variacao
23
do logaritmo das habilidades, considerando caracterısticas dos indivıduos como variaveis
explicativas. No Modelo 2 incluimos um parametro estruturado espacialmente que tem
como objetivo explicar diferencas regionais nas habilidades que nao foram explicados
pelas covariaveis. Denotamos por ρj,k o potencial de aprendizagem do indivıduo j que
reside na regiao k, θj,k a proficiencia do indivıduo j que reside na regiao k e λ como o
conjunto de todos os parametros do modelo. Definimos o Modelo 2 como:
Pij = p(yij = 1 | λ) = p(yij = 1 | θj,k, βi, ρj, φjk) = (3.3)
ci + (1− ci)1
1 + exp(−ai(θjk − bi)),
logθjk = X ′α + log(ρj) + φj,K
φk ∼ CARP (0, 0.2P−1) onde P = D − 0.95C denota a distribuicao Car Proprio. O
modelo e completado com as seguintes prioris:
• ai ∼ LN(µa, S2a),
• bi ∼ LN(0, (0.1)2),
• ci ∼ Beta(αc, βc),
• α ∼ N(µ, S2),
• Log(ρj) ∼ N(0, (0.1)2),
• φk ∼ CARP (µk, P−1), onde CARP (µ, P−1) denota a distribuicao CAR propria
com media µ e precisao P, definida no Apendice A.
Assumindo a independencia dos parametros a priori, a distribuicao a priori conjunta
dos parametros e determinada pelo produto da distribuicao a priori de cada parametro,
definida por:
p(θ, λ) ∝ p(θj)p(βi) = (3.4)
24
J∏j=1
p(θj | φjk, ρj, α)I∏i=1
p(ai)p(bi)p(ci)J∏j=1
p(ρj)p(α)p(φjk)
25
Capıtulo 4
Estudos Simulados
Nesta secao serao apresentados dois estudos simulados com o objetivo de validar os
algoritmos de estimacao dos modelos propostos.
4.1 Simulacao de dados do Modelo 1
Nessa secao sera feito um estudo de simulacao com o objetivo de validar a estimacao
do Modelo 1.
Um conjunto de dados foi gerado com base no modelo descrito em 3.1 considerando
I = 20, que representa o numero de itens na modelagem, e J = 1000, representando o
total de indivıduos. Para a geracao dos dados utilizamos o software R-Project.
Os parametros de discriminacao dos itens foram gerados a partir da distribuicao
LN(0.5, 1); os parametros de dificuldade dos itens foram gerados a partir da distribuicao
LN(0, 0.1) e os parametros de acerto ao acaso ci foram fixados em 0.2 para todos os itens.
Nessa simulacao, consideramos uma unica covariavel para explicar a proficiencia dos
indivıduos, que sera chamada de Xj e assumira valor 1 ou 0. Cada Xj foi gerado inde-
pendentemente da distribuicao Bernoulli com parametro p = 0.45. Os parametros ρj,k
foram gerados tambem de forma independente, da distribuicao N(0, 0.1). O parametro
α foi fixado em -0.3.
Dessa forma, os dados foram gerados a partir do seguinte modelo:
26
p(yij = 1 | θj,k, βi) = 0.2 + 0.81
1 + exp(−ai(θjk − bi))(4.1)
log(θj) = −0.3X + ρj,
para i = 1, . . . , I e j = 1, . . . , J , ai ∼ LN(0.5, 1), bi ∼ LN(0, 0.1), ρj ∼ N(0, 0.1) e
α ∼ N(0, 1).
A Figura 4.1 mostra o histograma da soma dos escores simulados. Podemos observar
que o numero de acertos gerados varia de 4 a 19 (em um total de 20). O histograma e
razoavelmente simetrico com media em torno de 12 acertos.
Histogram of Escores_Simulados
Escores_Simulados
Fre
quen
cy
5 10 15 20
020
4060
8010
012
0
Figura 4.1: Histograma da soma dos escores simulados sob o Modelo 1
A Figura 4.2 apresenta box-plots comparando escores simulados para cada valor da
covariavel X. Como o parametro α foi igual a -0.3 na geracao destes dados, os indivıduos
com X=1 obtiveram menores escores em media.
Para o processo de estimacao, utilizamos as seguintes distribuicoes a priori para os
parametros: ai ∼ LN(0.5, 1), bi ∼ LN(0, 0.1), ci ∼ Beta(5, 17), α ∼ N(0, 1), ρ ∼
N(0, 0.1).
27
0 1
510
15
Figura 4.2: Box-plot dos escores simulados com a covariavel X.
Para o processo de estimacao, utilizamos o software OpenBugs versao 3.2.2. Os valores
iniciais de cada parametro foi gerado pelo software. O programa levou aproximadamente
2 horas para gerar uma cadeia com 5 mil iteracoes para esses dados simulados, em um
notebbok Dell com processador intel core i3, 4 gb de memoria ram. A convergencia foi
verificada visualmente apos um numero pequeno de iteracoes. Descartamos as primeiras
mil iteracoes e realizamos toda a analise em uma cadeia com 4 mil amostras.
A Figura 4.3 apresenta os intervalos de 95% de credibilidade para os parametros da
discriminacao dos itens, ai. Em vermelho temos a media a posteriori e em azul o valor
obtido na geracao dos dados. Os resultados ficaram bem satisfatorios, pois todos os
valores gerados ficaram dentro dos intervalos de credibilidade.
A Figura 4.4 apresenta os intervalos de 95% de credibilidade para os parametros de
dificuldade dos itens, bi. Em vermelho temos a media a posteriori e em azul o valor
obtido na geracao dos dados. Os resultados tambem ficaram bem satisfatorios, sendo
que apenas para o item 11 o resultado gerado ficou fora do intervalo. Para os demais
itens, os valores gerados ficaram muito proximos da media e dentro dos intervalos.
28
5 10 15 20
05
1015
2025
Item
Par
âmet
ro a
● ● ●
●
●
●
●
●
●
●● ● ● ●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
05
1015
2025
Figura 4.3: Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Modelo
1).
5 10 15 20
0.5
1.0
1.5
2.0
Item
Par
âmet
ro b
●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.5
1.0
1.5
2.0
Figura 4.4: Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Modelo
1).
A Figura 4.5 apresenta os intervalos de 95% de credibilidade para os parametros de
acerto casual dos itens, ci. Em vermelho temos a media a posteriori e em azul o valor
verdadeiro. Os resultados foram satisfatorios. Observe que os valores verdadeiros ficaram
bem proximos da media e todos dentro dos intervalos de credibilidade.
29
5 10 15 20
0.0
0.1
0.2
0.3
0.4
0.5
Item
Par
âmet
ro c
●
● ● ●
● ●
●
●
●
●●
●
●
●
●
●●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.0
0.1
0.2
0.3
0.4
0.5
Figura 4.5: Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Modelo
1).
Na Figura 4.6 temos um histograma do parametro α, o coeficiente de regressao as-
sociado a covariavel. A linha em vermelho representa o valor verdadeiro de α, obtido
na geracao dos dados. Podemos observar que o resultado ficou satisfatorio, com o valor
verdadeiro estando proximo da media a posteriori.
A Figura 4.7 apresenta os intervalos de 95% de credibilidade para os 20 primeiros
parametros da proficiencia, θ1, . . . , θ20. Em vermelho temos a media a posteriori e em
azul o valor obtido na geracao dos dados. Os resultados ficaram satisfatorios, sendo
que apenas o 13o valor simulado ficou fora do intervalo, contudo proximo ao seu limite
inferior.
A Figura 4.8 apresenta os intervalos de 95% de credibilidade para os 20 primeiros
parametros do logartimo da habilidade potencial, log(ρ1), . . . , ρ20 para os 20 primeiros
valores. Em vermelho temos a media a posteriori e em azul o valor obtido na geracao
dos dados. Os resultados ficaram satisfatorios, sendo que novamente apenas o 13o valor
simulado ficou fora do intervalo, porem proximo ao seu limite inferior.
30
Histogram of alpha
alpha
Fre
quen
cy
−0.40 −0.35 −0.30 −0.25 −0.20
020
040
060
080
010
00
Figura 4.6: Histograma da posteriori para o parametro α (Modelo 1).
5 10 15 20
0.5
1.0
1.5
2.0
2.5
nindiv
Par
âmet
ro T
heta
20
indi
vídu
os
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●● ●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.5
1.0
1.5
2.0
2.5
Figura 4.7: Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , 20
(Modelo 1).
31
5 10 15 20
−1.
0−
0.5
0.0
0.5
1.0
nindiv
Par
âmet
ro L
ogha
b 20
indi
vídu
os ●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
−1.
0−
0.5
0.0
0.5
1.0
Figura 4.8: Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , 20
(Modelo 1).
4.2 Simulacao do Modelo 2
Nessa secao sera feito um novo estudo de simulacao para a validacao da estimacao
do Modelo 2. Um conjunto de dados foi gerado utilizando o software R-Project, com
base no modelo descrito em 3.3 considerando I = 20, que representa o numero de itens
na modelagem, e J = 1000, representando o total de indivıduos. A cada indivıduo foi
atribuıdo um dos 27 Estados do Brasil, aleatoriamente.
Os parametros de discriminacao dos itens foram gerados a partir da distribuicao
LN(0.2, 0.7); os parametros de dificuldade dos itens foram gerados a partir da distribuicao
LN(0, 0.1) e os parametros de acerto ao acaso ci foram fixados em 0.2 para todos os itens.
Consideramos novamente uma unica covariavel para explicar a proficiencia dos in-
divıduos, que sera chamada de Xj e assumira valor 1 ou 0. Cada Xj foi gerado indepen-
dentemente da distribuicao Beunoulli com parametro p = 0.45. Os parametros ρj,k foram
gerados da distribuicao N(0, 0.1) tambem de forma independente. O parametro α foi fi-
xado em -0.3 para a geracao dos dados. Os parametros φk foram gerados da distribuicao
CARP (0, 0.2P−1).
Sendo assim, os dados foram gerados a partir do seguinte modelo:
32
p(yij = 1 | θjk, βi) = 0.2 + 0.81
1 + exp(−ai(θjk − bi))(4.2)
log(θj) = −0.3X + ρj + φk
para i = 1, . . . , I e j = 1, . . . , J , ai ∼ LN(0.2, 0.7), bi ∼ LN(0, 0.1), ci = 0.2, α = −0.3,
ρ ∼ N(0, 0.1) e φk ∼ CARP (0, 0.2P−1).
A Figura 4.9 apresenta o histograma da soma dos escores simulados. Para essa si-
mulacao, os escores obtidos estao entre 5 e 20 (em um total de 20 questoes). O histograma
e razoavelmente simetrico com media em torno de 12 acertos.
Histogram of Soma_Acertos
Soma_Acertos
Fre
quen
cy
5 10 15 20
020
4060
8010
012
0
Figura 4.9: Histograma dos acertos simulados sob o Modelo 2.
A Figura 4.10 apresenta o box-plots dos escores simulados para cada valor da co-
variavel X. Como o parametro α foi igual a -0.3 na geracao destes dados, os indivıduos
com X=1 obtiveram menores escores em media.
A Figura 4.11 representa as medias dos escores simulados por Estado Brasileiro, mos-
trando uma estrutura espacial nessas medias.
33
0 1
510
1520
Figura 4.10: Box-plot dos escores simulados para X=0 e X=1.
Para o processo de estimacao, utilizamos as seguintes distribuicoes a priori para os
parametros: ai ∼ LN(0.2, 1), bi ∼ LN(0, 0.1), ci ∼ Beta(5, 17), α ∼ N(0, 1), ρ ∼
N(0, 0.1), φk ∼ CarP (µk, P−1).
Para o precesso de estimacao utilizamos o software OpenBugs versao 3.2.2. Os valores
iniciais de cada parametro foram gerados pelo software. O programa levou aproximada-
mente 42 horas para gerar uma cadeia com 10 mil iteracoes para esses dados simulados,
em um notebbok Dell com processador intel core i3, 4 gb de memoria ram. A convergencia
foi verificada visualmente apos um grande numero de iteracoes. Descartamos as primeiras
3 mil iteracoes e realizamos toda a analise em uma cadeia com 7 mil amostras.
As Figuras 4.12, 4.13 e 4.14 apresentam os intervalos de 95% de credibilidade para
os parametros dos itens, ai, bi e ci, respectivamente. Em vermelho temos as medias a
posteriori e em azul os valores “reais” obtidos na geracao dos dados. Os resultados ficaram
satisfatorios pois todos os valores gerados ficaram dentro dos intervalos de credibilidade.
A Figura 4.15 apresenta o histograma da posteriori obtida para o parametro α, o
34
(13.7,14.5](13,13.7](12.3,13](11.6,12.3](10.8,11.6]
Figura 4.11: Media dos escores simulados por Estado do Brasil.
5 10 15 20
02
46
810
Item
Par
âmet
ro a
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
02
46
810
Figura 4.12: Intervalos de 95% de Credibilidade para o parametro ai, i = 1, . . . , I (Modelo
2).
35
5 10 15 20
0.0
0.5
1.0
1.5
2.0
Item
Par
âmet
ro b
●●
●
●
●
●
●
●
●
●●
● ●
●
●
●
●
● ●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.0
0.5
1.0
1.5
2.0
Figura 4.13: Intervalos de 95% de Credibilidade para o parametro bi, i = 1, . . . , I (Modelo
2).
5 10 15 20
0.0
0.1
0.2
0.3
0.4
0.5
Item
Par
âmet
ro c
●●
●
●
●
● ●
●
●
●
●
● ●
●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.0
0.1
0.2
0.3
0.4
0.5
Figura 4.14: Intervalos de 95% de Credibilidade para o parametro ci, i = 1, . . . , I (Modelo
2).
coeficiente de regressao da covariavel. A linha em vermelho representa o valor de α usado
na geracao dos dados. Podemos ver que o valor verdadeiro desse parametro, apesar de
superestimado, ainda se encontra dentro do intervalo de 95% de credibilidade.
A Figura 4.16 apresenta os intervalos de 95% de credibilidade para os parametros da
36
Histogram of alpha
alpha
Fre
quen
cy
−0.30 −0.25 −0.20 −0.15
020
040
060
080
0
Figura 4.15: Histograma a posteriori do parametro α (Modelo 2).
proficiencia dos 20 primeiros indivıduos. Em vermelho temos as medias a posteriori e em
azul os valores verdadeiros. Os resultados ficaram satisfatorios, sendo que apenas o 2o
valor simulado ficou fora do intervalo, contudo proximo ao limite inferior do intervalo.
A Figura 4.17 apresenta os intervalos de 95% de credibilidade para os parametros do
logarıtmo da habilidade potencial dos 20 primeiros indivıduos. Em vermelho temos as
medias a posteriori e em azul os valores verdadeiros. Os resultados ficaram satisfatorios.
Na Figura 4.18 podemos observar o mapa do valor estimado (pela media a posteriori)
da variavel φ, e o mapa do valor verdadeiro da variavel φ. Mantemos as mesmas cores e
escalas afim de comparar esses valores. Podemos perceber que na maioria dos estados o
processo de inferencia resultou na preservacao do comportamento espacial desejado.
37
5 10 15 20
0.0
0.5
1.0
1.5
2.0
2.5
3.0
nindiv
Par
âmet
ro T
heta
20
indi
vídu
os
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
● ●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.0
0.5
1.0
1.5
2.0
2.5
3.0
Figura 4.16: Intervalos de 95% de Credibilidade para o parametro θj, j = 1, . . . , J (Mo-
delo 2).
5 10 15 20
−1.
0−
0.5
0.0
0.5
1.0
nindiv
Par
âmet
ro L
ogha
b 20
indi
vídu
os
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
−1.
0−
0.5
0.0
0.5
1.0
Figura 4.17: Intervalos de 95% de Credibilidade para o parametro ρj, j = 1, . . . , J (Mo-
delo 2).
38
Componente Espacial Gerada Componente Espacial Estimada
(0.515,0.673]
(0.356,0.515]
(0.198,0.356]
(0.0393,0.198]
(−0.119,0.0393]
Figura 4.18: Mapa do Brasil com a componente espacial φ gerada e estimada.
39
Capıtulo 5
Saeb – Sistema Nacional de
Avaliacao da Educacao Basica
O Sistema de Avaliacao da Educacao Basica (Saeb) e uma avaliacao em larga escala,
cujo orgao responsavel e o INEP, que hoje e uma autarquia Federal encarregada das
avaliacoes, pesquisas e levantamentos estatısticos educacionais no ambito do Governo
Federal.
O objetivo do Saeb e realizar um diagnostico do sistema educacional brasileiro e de
possıveis fatores que possam interferir no desempenho do aluno, fornecendo um indicativo
sobre a qualidade do ensino que e ofertado. Com isso, ele tem uma grande funcao
no sentido de reformular e monitorar as polıticas educacionais nas esferas Municipal,
Estadual e Federal, colaborando para uma melhora na qualidade e eficiencia do ensino.
Segundo a pagina do Prova Brasil, (http://provabrasil.inep.gov.br/historico - Historia
da Prova Brasil de do Saeb), a primeira aplicacao do Saeb aconteceu em 1990, onde
participaram uma amostra de escolas publicas da rede urbana que possuiam turmas com
as seguintes series do Ensino Fundamental: 1a, 3a, 5a e 7a. Nessa primeira edicao os
alunos foram avaliados em lıngua portuguesa, matematica e ciencias. As 5a e 7a series
tambem foram avaliadas com uma redacao. Esta estrutura permaneceu ate a edicao de
1993.
A partir de 1995, a Teoria de Resposta ao Item foi adotada como metodologia empre-
gada na construcao do teste e na analise de resultados, possibilitando assim a comparacao
40
entre os resultados das avaliacoes ao longo do tempo. A partir dessa edicao do Saeb, as
avaliacoes passaram a ser ministradas para as series que finalizam as etapas educacionais:
4a e 8a series do Ensino Fundamental (que correspondem ao 5o e 9o ano atualmente) e
3o ano do Ensino Medio. Foi acrescentada tambem uma amostra da rede privada.
O Saeb passou a avaliar apenas as areas de Lıngua Portuguesa e Matematica a partir
da edicao de 2001, mantendo este formato ate hoje.
Em 2005 o Saeb passou a ser composto por duas avaliacoes: Avaliacao Nacional da
Educacao Basica – Aneb (hoje continua sendo conhecida como Saeb) e Avaliacao Nacional
do Rendimento Escolar – Anresc (conhecida como Prova Brasil). Na Prova Brasil, apenas
alunos da rede publica nas series 5o ano e 9o ano participam das avaliacoes, com testes de
Lıngua Portuguesa e Matematica. No Saeb (Aneb), continuam sendo avaliados os alunos
da rede publica e da rede particular, nas series 5o ano, 9o ano e 3o ano do Ensino Medio,
com testes de Lıngua Portuguesa e Matematica.
Neste trabalho, utilizaremos dados obtidos no Saeb 2005 para a aplicacao do modelo
que iremos propor. Os dados foram obtido no site do Inep (http://portal.inep.gov.br/basica-
levantamentos-acessar).
O arquivo que utilizamos para esse trabalho contem os microdados referentes a ava-
liacao do Saeb aplicado no ano de 2005, contendo todas as respostas dos testes de Lıngua
Portuguesa e Matematica, e tambem as respostas do questionario socio-economico, de
todos os alunos do 5o ano, 9o ano e 3o do ensino medio que participaram dessa edicao.
Tambem contem o Manual do Usuario fornecendo explicacoes da construcao dessa ava-
liacao e das variaveis que fazem parte do banco de dados. E importante ressaltar que as
informacoes contidas nas respostas do questionario socio-economico terao papel impor-
tante na analise e modelagem dos dados, trazendo informacoes sobre a vida do aluno fora
da escola, tais como se o aluno estuda na rede publica de ensino ou na rede particular,
se o aluno trabalha ou nao, se o aluno mora com os pais, a idade do aluno e se o aluno
reside na capital ou no interior do Estado.
Segundo as informacoes contidas no Manual do Saeb 2005, os testes aplicados aos
alunos sao compostos por 169 itens de multipla escolha onde cada item possui apenas
uma opcao correta dentre as 5 opcoes de respostas, para cada uma das series e disciplinas
41
avaliadas. Para permitir a aplicacao dessa grande quantidade de itens, utiliza-se um
modelo para montagem dos cadernos denominado Blocos Incompletos Balanceados (BIB)
(Beckman, 2001). Esse modelo permite que os 169 itens sejam divididos em subconjuntos
menores, denominados blocos. Cada bloco e composto por 13 itens, o que faz com que se
tenha um total de 13 blocos. Um caderno de provas e formado por tres blocos diferentes,
e sendo assim temos um total de 26 cadernos de prova distintos. Cada aluno participante
desta avaliacao responde a apenas um caderno de prova.
Escolhemos trabalhar com os dados referente a prova de Matematica aplicada aos
alunos do 3o ano do Ensino Medio. Nessa avaliacao, participaram 22.256 alunos, e dada
a grande dimensao desse conjunto de dados, trabalhamos com os 852 alunos que respon-
deram ao caderno de prova numero 1.
5.1 Analise Exploratoria dos Dados
Nessa secao foram feitas analises exploratorias do conjunto de dados relativo as res-
postas dos alunos as questoes de matematica contidas no caderno de prova numero 1 e
ao questionario socio-economico, respondido pelos alunos do 3o ano do Ensino Medio que
participaram do Saeb 2005.
Analisamos as respostas dos alunos ao questionario socio-economico com o objetivo
de verificar possıveis relacoes entre o desempenho do aluno na avaliacao com situacoes
que afetam sua vida cotidiana. Aplicacoes similares podem ser vistas em Natis (2001).
Nessa analise exploratoria, para medir o desempenho dos alunos, trabalhamos com
os escores obtidos na prova. As variaveis socio-economicas estudadas foram: a rede de
ensino na qual o aluno pertence, o ano de nascimento do aluno, a regiao do Brasil na
qual o aluno reside, se o aluno mora com a mae, se o aluno mora com o pai e se o aluno
trabalha ou nao.
A Figura 5.1 mostra o box-plot dos escores obtidos na prova de matematica por ano de
nascimento do aluno. Podemos observar por essa figura que os alunos que obtiveram em
media escores mais elevados foram os que nasceram no ano de 1988. Esses alunos tinham
completado ou iriam completar 17 anos quando realizaram essa prova em 2005. Os alunos
42
●●
●
●●
●●
84 85 86 87 88 89 91 ou depois
010
2030
Box−Plot Ano de Nascimento
Figura 5.1: Box-Plot dos escores da prova de matematica por ano de nascimento.
que estavam com 15/16 anos (nascidos em 1989) tambem obtiveram, em media, um bom
desempenho. Os alunos com 17/18 anos (nascidos em 1987) tiveram um desempenho
bom, contudo inferior em media aos alunos com 16/17 anos. Pode-se notar que em
geral, o desempenho dos alunos aumenta a medida que sua idade diminui, ate atingir
o maximo para alunos nascidos em 1988. A partir daı, o desempenho volta a cair.
Uma possıvel explicacao para o baixo desempenho dos alunos mais velhos e que o seu
contato com as materias ocorreu ja a algum tempo propiciando o seu esquecimento, ou
ate pelo fato de que alguns desses alunos costumam estudar a noite, e assim recebem o
conteudo didatico de forma mais resumida. Alunos muito novos (nascidos em 1991 ou
depois) nao conseguiram bom desempenho em media. Isso pode estar relacionado ao
fato desses alunos estarem em um nıvel escolar inferior, ou seja, eles possivelmente ainda
nao tiveram contato com parte dos conteudos cobrados nesta avaliacao. Essa realidade
tambem pode ser observada, por exemplo, em vestibulares. Onde os alunos mais novos,
aqueles que ainda nao terminaram o ensino medio, tendem a um desempenho menor pois
ainda tiveram contato com toda o conteudo que costuma cair nos vestibulares.
43
●
●
●
●
●
●
●
●
●
●
●
Rede Pública Rede Particular
010
2030
Figura 5.2: Box-Plot dos escores da prova de matematica por rede de ensino.
A Figura 5.2 mostra o box-plot dos escores obtidos na prova de matematica por rede
de ensino na qual o aluno estuda. Podemos notar que os estudantes da rede particular de
ensino tiveram desempenho significativamente superior aos estudantes da rede publica
de ensino. Essa analise confirma a superioridade do ensino nas escolas particulares em
relacao ao ensino publico.
A Figura 5.3 mostra o box-plot dos escores obtidos na prova de matematica por
variavel que informa se o aluno trabalha. Por essa Figura podemos observar que os
alunos que nao trabalham obtiveram um rendimento superior aos alunos que precisam
trabalhar, como o esperado. Muitos alunos que trabalham estudam em cursos noturnos,
cujos conteudos didaticos sao em geral reduzidos.
A Figura 5.4 mostra o box-plot dos escores obtidos na prova de matematica por
variavel que informa se o aluno mora com a mae, sem uma figura materna ou com outra
mulher responsavel. Por essa Figura podemos observar como a presenca da mae exerce
um importante papel no processo de aprendizado do aluno. A ausencia da mae e um
fator que influencia a vida do aluno, pois mesmo os alunos que moram com outra mulher
44
●
●
●
●
●
Não Sim
010
2030
Figura 5.3: Box-Plot dos escores da prova de matematica dos alunos que trabalham e
que nao trabalham.
responsavel, tem seu desempenho medio inferior aqueles que moram com suas maes.
A Figura 5.5 mostra o box-plot dos escores obtidos na prova de matematica por
variavel que informa se o aluno mora com pai, sem uma figura paterna, ou com outro
homem responsavel. Observa-se um resultado similar ao da Figura 5.4. Podemos concluir
que os alunos com melhor desempenho em media, sao aqueles que moram com sua mae
e com seu pai. Mesmo quando o aluno vive com a presenca de outro responsavel, por
exemplo a avo, a madastra ou o padastro, seu desempenho em media e inferior, mostrando
a grande importancia dos pais na vida do aluno.
A Figura 5.6 apresenta a media dos escores dos alunos que realizaram a prova de
Matematica do Saeb 2005 por Estado brasileiro. Por esse mapa podemos perceber uma
possıvel correlacao espacial entre essas medias.
A fim de compreender melhor a relacao dessas covariaveis citadas acima com os escores
obtidos na prova de matematica, foi feita uma analise de regressao considerando como
variaveis explicativas indicadores da rede de ensino em que o aluno estuda, se ele mora
45
●●
●
●
●
●
●●
●●
●
●
Com a mãe Sem a figura materna Com outra mulher responsável
010
2030
Figura 5.4: Box-Plot dos escores da prova de matematica dos alunos que moram com a
mae, sem a figura materna, e com outra mulher responsavel.
com a mae, se mora com o pai e se o aluno trabalha. Seguem as definicoes das covariaveis
consideradas:
X1 =
1, aluno estuda em escola publica
0, aluno estuda em escola particular
X2 =
1, aluno mora com a mae
0, aluno nao mora com a mae
X3 =
1, aluno mora com o pai
0, aluno nao mora com o pai
46
●
●
●●
●
●
●
●●●●
●
Com seu pai Sem a figura paterna Com outro homem responsável
010
2030
Figura 5.5: Box-Plot dos escores da prova de matematica dos alunos que moram com seu
pai, que moram sem a figura paterna e que moram com outro homem responsavel.
X4 =
1, aluno trabalha
0, aluno nao trabalha
Para a covariavel X2 as categorias sem a figura materna e com outra mulher res-
ponsavel foram agrupadas e representadas por X2 = 0, pois essas categorias apresen-
taram um comportamento similar segundo o box-plot apresentado na Figura 5.4. Da
mesma forma, para a covariavel X3 as categorias sem a figura paterna e com outro ho-
mem responsavel foram agrupadas e representadas por X3 = 0. A idade do aluno nao foi
considerada devido ao seu comportamento nao linear com o escore.
Uma regressao linear simples foi realizada. A equacao de regressao pode ser escrita
por:
Yi = β0 + β1X1 + β2X2 + β3X3 + β4X4 + εi (5.1)
(5.2)
εi ∼ N(0, σ2)
47
Média dos Escores Prova Saeb 2005
(16.1,17.7](14.4,16.1](12.7,14.4](11.1,12.7](9.4,11.1]
Figura 5.6: Media dos escores da prova de matematica para cada estado brasileiro.
A Tabela 5.1 contem os valores estimados de cada covariavel com seu respectivo p-
valor.
O valor estimado para o intercepto β0 foi de 1.13695, significando que quando todas
as covariaveis valem zero (ou seja, o aluno estuda em escola particular, nao trabalha
e nao mora com seus pais), a proficiencia esperada e de 1.13695. O parametro β1 foi
estimado em -1.12, significando que quando as demais covariaveis estao fixas, os alunos
que estudam em escola publica obtem escores em media menores em 1.12 unidades que
os alunos que estudam em escola particular. O parametro β2 foi estimado em 0.47476,
significando que quando as demais covariaveis estao fixas, os alunos que moram com
48
Tabela 5.1: Coeficientes da regressao estimados e seus respectivos p-valores.
Parametro Valor Estimado P-valor
β0 1.13695 < 2e− 16
β1 −1.12668 < 2e− 16
β2 0.47476 5.36e− 06
β3 −0.06358 0.444
β4 −0.32216 8.04e− 05
sua mae obtem escores em media maiores em 0.47476 unidades que os alunos que nao
moram com sua mae. O parametro β3 foi estimado em -0.06358, significando que quando
as demais covariaveis estao fixas, os alunos que moram com seu pai obtem escores em
media menores em 0.06358 unidades que os alunos que nao moram com seu pai. Esse
resultado nao era esperado, porem pode ter ocorrido devido a uma alta correlacao entre
as variaveis X2 e X3. Alem disso, como pode ser visto pela Tabela 5.1, o parametro β3
foi nao significativo, tendo p-valor = 0.444. O parametro β4 foi estimado em -0.32216,
significando que quando as demais covariaveis estao fixas, os alunos que trabalham obtem
escores em media menores em 0.32216 unidades que os alunos que nao trabalham.
A fim de investigar se ainda existe alguma dependencia espacial apos remover os
efeitos das covariaveis, foi feito um mapa (Figura 5.7) com a media dos resıduos da
regressao por Estado brasileiro. Por essa Figura notamos que possivelmente ainda resta
alguma relacao espacial entre as medias desses resıduos.
5.2 Aplicacao dos modelos propostos
Na analise exploratoria feita na Secao 5.1, foi obsevado que algumas caracterısticas da
vida do aluno parecem exercer influencia no desempenho do mesmo no exame do Saeb.
Por essa analise preliminar percebemos que a presenca dos pais e muito importante para
o desempenho do aluno em sua vida academica. Concluımos tambem que o aluno com
49
(0.176,0.421](−0.0688,0.176](−0.314,−0.0688](−0.559,−0.314](−0.804,−0.559]
Figura 5.7: Resıduos do Modelo de Regressao para cada Estado brasileiro.
maior dificuldade financeira tende a ter pior rendimento por diversos fatores. O aluno que
estuda em escola da rede publica de ensino tem menor rendimento em media comparado
ao aluno que possui condicoes de frequentar a rede particular.
Sendo assim, podemos dizer que algumas das variaveis socio-economicas influenciam
claramente no desempenho dos alunos, e isso pode refletir na estimativa de suas habili-
dades em um modelo de TRI usual. Entretanto, isso nao significa que a capacidade de
aprendizado desses alunos seja inferior a dos alunos com melhores condicoes financeiras.
Essa analise motiva o modelo proposto, que tem como objetivo principal obter a habili-
dade potencial do indivıduo, ou seja, a sua proficiencia tirando fatores que dificultam o
50
seu desempenho.
Como observado no Capıtulo 5, (Figura 5.7), o mapa com a media dos resıduos da
regressao por Estado brasileiro nos mostra que possivelmente ainda resta alguma relacao
espacial entre as medias desses resıduos. Para retirar essa possıvel correlacao espacial das
habilidades, um segundo modelo e proposto, com a inclusao de uma componente espacial
ao primeiro modelo proposto.
5.2.1 Aplicacao com o Modelo 1
Nesta secao, aplicaremos o Modelo 1 aos dados do Saeb 2005. Como ja foi dito,
trabalharemos com uma amostra de 852 alunos que responderam ao caderno de prova
numero 1 da prova de Matematica. Neste modelo, utilizaremos tres covariaveis que foram
significativas na analise exploratoria. Para isso, foi necessario a exclusao de 19 alunos
que nao responderam a alguma pergunta cuja informacao esta diretamente associada as
covariaveis utilizadas. Sendo assim, o modelo foi estimado com base nas respostas de 833
alunos a 39 itens da prova de Matematica.
Para essa aplicacao, o modelo 1 e definido por:
p(yij = 1 | θjk, βi) = ci + (1− ci)1
1 + exp(−ai(θjk − bi))(5.3)
log(θj) = α1X1 + α2X2 + α3X4 + ρj
e as prioris: ai ∼ LN(0.5, 0.5); bi ∼ N(0, 1); ci ∼ Beta(5, 17); α1 ∼ N(0, 1); α2 ∼
N(0, 1); α3 ∼ N(0, 1); ρ ∼ N(0, 1) para i = 1, . . . , I, e j = 1, . . . , J . As covariaveis X1,
X2 e X4 foram definidas na pagina 46.
Para o processo de estimacao, utilizamos o software OpenBugs versao 3.2.2. Os valores
iniciais de cada parametro foram gerados pelo software. O programa levou aproximada-
mente 6 horas para gerar uma cadeia com 11 mil iteracoes para esses dados simulados, em
um notebbok Dell com processador intel core i3, 4 gb de memoria ram. A convergencia foi
verificada visualmente apos um grande numero de iteracoes. Descartamos as primeiras 4
mil iteracoes e realizamos toda a analise em uma cadeia com 7 mil amostras.
51
A Figura 5.8 apresenta os intervalos de 95% de credibilidade para os parametros
de discriminacao dos itens, ai. Em vermelho temos a media a posteriori e em verde a
mediana a posteriori. Observe que os itens 2 e 18 nao discriminam bem e o item 10 tem
o maior poder de discrimacaode todos.
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
● ●
●●
●
●
●●
●
●
●
●
●
●
●
0 10 20 30 40
02
46
810
1214
Item
Dis
crim
inaç
ão a
_i
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
02
46
810
1214
Figura 5.8: Intervalos de 95% de Credibilidade para o parametro ai, i = 1,. . . , I (Modelo
1)
A Figura 5.9 apresenta os intervalos de 95% de credibilidade para os parametros de
dificuldade dos itens, bi. Em vermelho temos a media a posteriori e em verde a mediana
a posteriori. Podemos observar que os itens mais difıceis sao os 12, 13 e 39. O item 1 foi
o mais facil. Os demais itens tem seu parametro de dificuldade entre 0 e 2 de forma bem
distribuıda.
A Figura 5.10 apresenta os intervalos de 95% de credibilidade para os parametros
de acerto casual dos itens, ci. Em vermelho temos a media a posteriori e em verde a
mediana a posteriori. Os itens 2, 3, 15, 18, 26 e 39 apresentaram o parametro de acerto
casual entre 0.20 e 0.235. Para os demais itens, os parametros foram menores que 0.2,
o que e bem razoavel dado que as questoes de multipla escolha dessa prova possuem 5
itens.
Na Figura 5.11 temos um histograma do parametro α1, o coeficiente de regressao as-
52
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
0 10 20 30 40
0.5
1.0
1.5
2.0
2.5
Item
Par
âmet
ro b
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
0.5
1.0
1.5
2.0
2.5
Figura 5.9: Intervalos de 95% de Credibilidade para o parametro bi, i = 1,. . . , I (Modelo
1)
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●● ●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
0 10 20 30 40
0.0
0.1
0.2
0.3
0.4
0.5
Item
Par
âmet
ro c
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
0.0
0.1
0.2
0.3
0.4
0.5
Figura 5.10: Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Modelo
1)
sociado a covariavel indicadora se o aluno estuda na rede publica. A linha em vermelho
representa a media a posteriori de α1. Podemos observar que o resultado ficou satisfatorio.
Como a media a posteriori de α1 e igual a -0.3984, observamos que as habilidades dos alu-
53
nos que estudam em escola publica e reduzida. Esses alunos tem habilidade estimada de
apenas 67% da sua habilidade potencial, mantendo fixas as demais covariaveis presentes
no modelo. Esse resultado confirma os resultados obtidos pela analise exploratoria.
Histogram of alpha2
alpha2
Fre
quen
cy
−0.20 −0.15 −0.10 −0.05
020
040
060
080
0
Figura 5.11: Histograma da posteriori para o parametro α1 (Modelo 1)
Na Figura 5.12 temos um histograma do parametro α2, o coeficiente de regressao
associado a covariavel indicadora se o aluno trabalha. A linha em vermelho representa
a media a posteriori de α2. A media a posteriori de α2 foi igual a -0.1274. Observamos
que as habilidades dos alunos que trabalham e portanto reduzida. Esses alunos tem
habilidade estimada em 88% da sua habilidade potencial, mantendo fixas as demais
covariaveis presente no modelo. Esse resultado confirma os resultados obtidos na analise
exploratoria dos dados.
Na Figura 5.13 temos um histograma do parametro α3, o coeficiente de regressao
associado a covariavel indicadora se o aluno mora com sua mae. A linha em vermelho
representa a media a posteriori de α3. Podemos observar que o resultado tambem ficou
como o esperado. Como a media a posteriori de α3 foi igual a 0.1626, observamos que
as habilidades dos alunos que moram com suas maes e aumentada, tendo eles habilidade
54
Histogram of alpha2
alpha2
Fre
quen
cy
−0.20 −0.15 −0.10 −0.05
020
040
060
080
0
Figura 5.12: Histograma da posteriori para o parametro α2 (Modelo 1)
estimada de 118% da sua habilidade potencial, mantendo fixas as demais covariaveis
presente no modelo. Essa informacao e importante para ressaltar a importancia da
figura materna na vida escolar do aluno.
A Figura 5.14 apresenta os intervalos de 95% de credibilidade para os parametros da
proficiencia θj para os 30 primeiros alunos. Em vermelho temos a media a posteriori e
em verde a mediana a posteriori. Podemos observar que as proficiencias desses 30 alunos
ficaram em torno de 1. Nesse grupo apenas os alunos 15 e 20 alcancaram proficiencia
media superior a 1.5 e os alunos 23 e 26 tiveram as menores proficiencias, em torno de
0.45.
A Figura 5.15 apresenta os intervalos de 95% de credibilidade para os parametros
logarıtmo da habilidade potencial ρj para os 30 primeiros alunos. Em vermelho temos a
media a posteriori e em verde a mediana a posteriori. A Figura 5.16 mostra a exponencial
dos dados plotados em 5.15, para visualizarmos a habilidade potencial dos 30 alunos.
Podemos observar que as habilidades potenciais desses 30 alunos ficaram em torno de 0.
Nesse grupo o aluno 14 teve a menor habilidade potencial e os demais alunos alcancaram
55
Histogram of alpha3
alpha3
Fre
quen
cy
0.10 0.15 0.20
020
040
060
080
010
0012
00
Figura 5.13: Histograma da posteriori para o parametro α3 (Modelo 1)
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
0 5 10 15 20 25 30
0.0
0.5
1.0
1.5
2.0
2.5
nindiv
Par
âmet
ro T
heta
30
indi
vídu
os
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
0.0
0.5
1.0
1.5
2.0
2.5
Figura 5.14: Intervalos de 95 Credibilidade para os parametros θj, j = 1, . . . , J (Modelo
1)
nıveis proximos.
E de nosso interesse comparar os parametros θ com os parametros ρ. Como um
56
exemplo, observe as habilidades dos indivıduos 15 e 16. A Figura 5.14 mostra que θ15 e
bastante superior a θ16 - e essa seria a diferenca estimada por um ML3 usual. A Figura
5.16, mostra, entretanto, que ρ15 e ρ16 sao proximos e nao significativamente diferentes.
Interpretamos que os indivıduos 15 e 16 tem habilidades potenciais similares, porem
desenvolveram essas habilidades de maneira diferenciada devido a fatores externos.
●●
●
●
●
●
●
●
●
●
●● ●
●
●●
●●
●
●
●
●●
●
●
●
●●
●
●
0 5 10 15 20 25 30
−1.
0−
0.5
0.0
0.5
1.0
nindiv
Par
âmet
ro L
ogha
b 30
indi
vídu
os
●●
●
●
●
●
●●
●
●
●●
●
●
●●
● ●
●
●
●
●●
●
●
●
●●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
−1.
0−
0.5
0.0
0.5
1.0
Figura 5.15: Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J
(Modelo 1)
57
●●
●
●
●
●
●
●
●
●●
●
●
●
● ● ● ●
●
●
●
●
●
● ●
●
●
●
●
●
0 5 10 15 20 25 30
0.0
0.5
1.0
1.5
2.0
nindiv
Par
âmet
ro H
abili
dade
Pot
enci
al d
e 30
alu
nos
●●
●
●
●
●
●
●
●
●●
●
●
●
●● ●
●
●
●
●●
●
● ●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
0.0
0.5
1.0
1.5
2.0
Figura 5.16: Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J
(Modelo 1)
5.2.2 Aplicacao com o Modelo 2
Nessa secao, aplicamos o modelo 2 aos dados do Saeb. O modelo pode ser definido
da seguinte maneira:
p(yij = 1 | θjk, βi) = ci + (1− ci)1
1 + exp(−ai(θjk − bi))(5.4)
log(θjk) = α1X1 + α2X2 + α3X4 + log(ρj) + φjk
e as prioris: ai ∼ LN(0.5, 0.5); bi ∼ N(0, 1); ci ∼ Beta(5, 17); α1 ∼ N(0, 1); α2 ∼
N(0, 1); α3 ∼ N(0, 1); ρ ∼ N(0, 1); φjk ∼ CARP (0, 0.2P−1) para i = 1, . . . , I, j =
1, . . . , J e k e o total de regioes.
As covariaveis X1, X2 e X4 foram definidas na pagina 46.
Para o processo de estimacao, utilizamos o software OpenBugs versao 3.2.2. Os valores
iniciais de cada parametro foram gerados pelo software. O programa levou aproxima-
damente 50 horas para gerar uma cadeia com 15 mil iteracoes s, em um notebbok Dell
com processador intel core i3, 4 gb de memoria ram. A convergencia foi verificada visu-
almente apos um grande numero de iteracoes. Descartamos as primeiras 5 mil iteracoes
58
e realizamos toda a analise em uma cadeia com 10 mil amostras.
A Figura 5.17 apresenta os intervalos de 95% de credibilidade para os parametros
da discriminacao dos itens ai. Em vermelho temos a media a posteriori e em verde a
mediana a posteriori. Observe que os itens 2 e 18 nao discriminam bem e o item 10 tem
maior poder de discrimacao. Esse resultado foi o mesmo obtido para o Modelo 1.
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
0 10 20 30 40
02
46
810
1214
Item
Dis
crim
inaç
ão a
_i
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
02
46
810
1214
Figura 5.17: Intervalos de 95% Credibilidade para o parametro ai, i = 1,. . . , I (Modelo
2)
A Figura 5.18 apresenta os intervalos de 95% de credibilidade para os parametros de
dificuldade dos itens, bi. Em vermelho temos a media a posteriori e em verde a mediana
a posteriori. Podemos observar que,assim como estimado sob o modelo 1, os itens mais
difıceis sao os 12, 13 e 39, e o item 1 foi o mais facil. Os demais itens tem seu parametro
de dificuldade entre 0 e 2 de forma bem distribuıda.
A Figura 5.19 apresenta os intervalos de 95% de credibilidade para os parametros
de acerto casual dos itens, ci. Em vermelho temos a media a posteriori e em verde a
mediana a posteriori. Os itens 2, 3, 15, 18, 26 e 39 apresentaram o parametro de acerto
casual entre 0.20 e 0.235. Para os demais itens, os parametros foram menores que 0.2, o
que e razoavel dado que as questoes de multipla escolha dessa prova possuia 5 opcoes.
Na Figura 5.20 temos um histograma do parametro α1, o coeficiente de regressao
59
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
0 10 20 30 40
0.5
1.0
1.5
2.0
2.5
Item
Par
âmet
ro b
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
0.5
1.0
1.5
2.0
2.5
Figura 5.18: Intervalos de 95% de Credibilidade o parametro bi, i = 1,. . . , I (Modelo 2)
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
0 10 20 30 40
0.0
0.1
0.2
0.3
0.4
0.5
Item
Par
âmet
ro c
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
0.0
0.1
0.2
0.3
0.4
0.5
Figura 5.19: Intervalos de 95% de Credibilidade para o parametro ci, i = 1,. . . , I (Modelo
2)
associado a covariavel indicadora se o aluno estuda na rede publica. A linha em verme-
lho representa a media a posteriori de α1. Como a media a posteriori de α1 e igual a
-0.4042, observamos que as habilidades dos alunos que estudam em escola publica e redu-
zida. Esses alunos tem habilidade estimada de apenas 67% da sua habilidade potencial,
60
mantendo fixas as demais covariaveis presentes no modelo. Esse resultado confirma os
resultados obtidos pela analise exploratoria, e e proximo do obtido pelo Modelo 1.
Histogram of alpha1
alpha1
Fre
quen
cy
−0.45 −0.40 −0.35
020
040
060
080
0
Figura 5.20: Histograma da posteriori para o parametro α1 (Modelo 2)
Na Figura 5.21 temos um histograma do parametro α2, o coeficiente de regressao
associado a covariavel indicadora se o aluno trabalha. A linha em vermelho representa
a media a posteriori de α2. A media a posteriori de α2 foi igual a -0.1448. Observamos
que as habilidades dos alunos que trabalham e portanto reduzida. Esses alunos tem
habilidade estimada em 87% da sua habilidade potencial, mantendo fixas as demais
covariaveis presente no modelo. Esse resultado confirma os resultados obtidos na analise
exploratoria dos dados, e e similar ao do Modelo 1.
Na Figura 5.22 temos um histograma do parametro α3, o coeficiente de regressao
associado a covariavel indicadora se o aluno mora com sua mae. A linha em vermelho
representa a media a posteriori de α3. Podemos observar que o resultado tambem ficou
como o esperado. Como a media a posteriori de α3 foi igual a 0.1782, observamos que
as habilidades dos alunos que moram com suas maes e aumentada, tendo eles habilidade
estimada de 120% da sua habilidade potencial, mantendo fixas as demais covariaveis
61
Histogram of alpha2
alpha2
Fre
quen
cy
−0.20 −0.15 −0.10 −0.05
010
020
030
040
050
060
070
0
Figura 5.21: Histograma da posteriori para o parametro α2 (Modelo 2)
presente no modelo. Essa informacao e importante para ressaltar a importancia da
figura materna na vida escolar do aluno.
A Figura 5.23 apresenta os intervalos de 95% credibilidade para os parametros da
proficiencia θj para os 30 primeiros alunos. Em vermelho temos a media a posteriori e
em verde a mediana a posteriori. Podemos observar que as proficiencias desses 30 alunos
ficaram em torno de 1. Nesse grupo apenas os alunos 15 e 20 alcancaram proficiencia
media superior a 1.5 e os alunos 23 e 26 tiveram as menores proficiencias em torno de
0.45.
A Figura 5.24 apresenta os intervalos de 95% de credibilidade para os parametros
logarıtmo da habilidade potencial ρj para os 30 primeiros alunos. Em vermelho temos a
media a posteriori e em verde a mediana a posteriori. A Figura 5.25 mostra a exponencial
dos dados plotados em 5.24, para visualizarmos a habilidade potencial dos 30 alunos. Na
Figura 5.26 podemos observar o grafico espacial de acordo com o valor estimado pela
media a posteriori da variavel φ.
As estimativas desses parametros foram em geral similares as do Modelo 1. Algumas
62
Histogram of alpha3
alpha3
Fre
quen
cy
0.10 0.15 0.20 0.25
020
040
060
0
Figura 5.22: Histograma da posteriori para o parametro α3 (Modelo 2)
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
0 5 10 15 20 25 30
0.5
1.0
1.5
2.0
nindiv
Par
âmet
ro T
heta
30
indi
vídu
os
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
0.5
1.0
1.5
2.0
Figura 5.23: Intervalos de 95% de Credibilidade para os parametros θj, j = 1, . . . , J
(Modelo 2)
mudancas significantes podem ser notadas, entretanto. Comparando ρ1 e ρ2 na Figura
5.16 (estimados pelo Modelo 1), observa-se que esses parametros tem estimativas muito
63
similares. A Figura 5.25 mostra, por outro lado, que ρ1 e superior a ρ2 quando estimados
pelo Modelo 2. Essa diferenca se da pelo fato de que o Estado de moradia do indivıduo
1 aprensenta piores condicoes de aprendizado que o do indivıduo 2. Dessa forma, com a
inclusao da componente espacial, o modelo leva essa informacao em consideracao. Note
que quanto mais negativo o valor de φk, pior a condicao de aprendizado do Estado k.
Como era de se esperar, Estados como Sao Paulo, Rio de Janeiro e Distrito Federal,
apresentaram boas condicoes de aprendizado. As piores condicoes foram para os estados
do Para, Amapa, Alagoas e estranhamente, Parana.
●
●
●
●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
0 5 10 15 20 25 30
−1.
0−
0.5
0.0
0.5
nindiv
Par
âmet
ro L
ogha
b 30
indi
vídu
os
●
●
●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
−1.
0−
0.5
0.0
0.5
Figura 5.24: Intervalos de 95% de Credibilidade para os parametros log(ρj), j = 1, . . . , J
(Modelo 2)
64
●
●
●
●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
●
0 5 10 15 20 25 30
0.0
0.5
1.0
1.5
2.0
nindiv
Par
âmet
ro L
ogha
b 30
indi
vídu
os
●
●●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
●
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
0.0
0.5
1.0
1.5
2.0
Figura 5.25: Intervalos de 95% de Credibilidade para os parametros ρj, j = 1, . . . , J
(Modelo 2).
Componente espacial
(−0.0746,−0.00257](−0.147,−0.0746](−0.219,−0.147](−0.291,−0.219](−0.363,−0.291]
Figura 5.26: Mapa do Brasil com a componente espacial estimada
65
Capıtulo 6
Consideracoes Finais
Nessa dissertacao, foi proposta uma modelagem que generaliza os modelos ML3 da
TRI, para permitir explicar parte da variacao observada nas habilidades atraves de co-
variaveis. A proposta foi introduzir uma estrutura linear para explicar o logaritmo da
habilidade dos indivıduos. Alem disso, foi proposto um segundo modelo com a inclusao
de um parametro capaz de captar possıveis correlacoes espaciais. Com essas propos-
tas, desejamos alcancar como resultado final modelos que sao capazes de estimar o que
chamamos de “habilidade potencial”.
Os modelos propostos foram aplicados aos dados do Saeb 2005, com a inclusao de
tres covariaveis que se mostraram significativas na analise exploratoria. Foram elas:
variavel indicadora se o aluno estuda em escola publica, se ele trabalha e se mora com
sua mae. Como resultado observamos que as habilidades dos alunos que estudam em
escolas publicas sao menores. Esses alunos tem sua habilidade estimada em 67% da
sua habilidade potencial. Para os alunos que trabalham, tambem observamos que sua
habilidade e diminuıda e estimada em 88% da sua habilidade potencial. No caso dos
alunos que moram com sua mae, sua habilidade e aumentada, chegando a 118% da sua
habilidade potencial.
No Modelo 2 foi proposta a inclusao de uma estrutura espacial para explicar a variacao
espacial que identificamos na analise exploratoria. Os resultados foram em geral similares
aos resultados obtidos no Modelo 1. Foi observado que ao analisarmos as habilidades
potenciais de determinados indivıduos no Modelo 1, e comparando com as habilidades
66
potenciais estimadas no Modelo 2, algmas mudancas significantes foram notadas. De
acordo com a componente espacial φ estimada, podemos notar que, como era de se
esperar, Estados como Sao Paulo, Rio de Janeiro e Distrito Federal, apresentaram boas
condicoes de aprendizado. As piores condicoes foram para os estados do Para, Amapa,
Alagoas e estranhamente, Parana.
Acreditamos que modelos desse tipo podem ser mais justos e eficientes em detectar
possıveis bons alunos, independentemente, por exemplo, do tipo de escola em que ele es-
tudou. Entao, uma contribuicao do nosso trabalho e oferecer uma opcao ao atual sistema
de cotas utilizado para o ingresso dos alunos em universidades, de maneira mais justa e
social, possibilitando maior inclusao dos membros da sociedade em grandes instituicoes
de ensino do nosso paıs.
67
Apendice A
Podemos entender a Estatıstica Espacial como uma area da estatıstica que estuda os
fenomenos ao longo do espaco, onde o interesse e fazer inferencia sobre as informacoes
provenientes desses fenomenos e nao apenas uma analise puramente descritiva das ab-
servacoes. Cressie (1993) apresenta a estatıstica espacial dividida em tres partes, de
acordo com os tipos de observacoes associadas ao espaco onde elas sao observadas, sendo
elas: geoestatıstica, dados de area e processos pontuais.
Em dados de area, as observacoes sao agrupadas em unidades possibilitando identificar
a existencia de padroes no espaco, areas crıticas e tendencias de crescimento espacial.
Estudos tambem podem ser feitos utilisando a medias das observacoes por regiao.
Para os dados de area, nao existe a possibilidade de uma resposta ocorrer entre as
localizacoes. A area de interesse pode ser dividida em areas regulares ou irregulares,
sendo dividida em k subregioes.
Os modelos que descrevem os dados de area sao conhecidos como campos aleatorios
Markovianos Gaussianos (CAMG). Tambem recebem o nome de modelos condicionais
auto-regressivos (CAR).
A.1 Dados de Area – Modelo CAR Intrınseco
Uma das modalidades da distribuicao CAR e conhecida como CAR intrınseco (CARI),
ou simplesmente CAR. Como o CAR e uma distribuicao impropria, so pode ser utilizada
como distribuicao a priori.
Para estruturar o modelo CAR, e preciso definir o conjunto de vizinhancas. De forma
geral, vamos supor que a regiao de interesse pode ser particionada em K subregioes. As
subregioes sao indexadas pelos inteiros 1, 2, . . . , k e as respostas para cada area k, ρk,
k = 1, ..., K, onde K e o total de regioes.
Defina Nk = l se a regiao l e vizinha a regiao k. Temos entao que Nk e o conjunto que
contem todas as regioes que sao vizinhas a regiao k. Esta vizinhanca pode ser definida
baseada na distancia maxima desta com a demais regioes. Uma outra maneira de definir
a vizinhanca de uma regiao k e agrupando as regioes que compartilhem fronteiras com a
68
regiao k. Essa estrutra e conhecida como estrutura de primeira ordem.
Uma regiao k e definida como vizinha da regiao l se a distribuicao condicional de ρl
dados todos os outros valores, dependa de ρk sempre que k 6= l. Ou seja, para toda regiao
na posicao k, a distribuicao condicional de Zk dado Z−k (o conjunto de todos as regioes
Z exceto a k-esima regiao) depende somente dos Z’s em Nk. Isto e,
p(zk | Z−k) = p(Zk | Zl, l ∈ Nk) ∼ N(µk, P−1) (6.1)
A estrutura de correlacao do CAR pode ser definida pela matriz de precisao P = D−C
utilisada por Vivar-Rojas (2004), onde D e uma matriz diagonal de ordem k e cada
elemento dii e igual ao total de vizinhos que a regiao i possui e os elementos da matriz
C e definido por:
(C)k,l =
ck,l, k ∈ Nl
0, caso contrario
Essa estrutura e conhecida como priori Car intrınseca (CARI). Essa estrutura tem
uma media µ envolvendo pesos padronizados. A precisao condicional depende da es-
trutura de iteracao entre as regioes, representada por cij. As formas tıpicas para cij
sao:
a) valor adjacente binario com cij = 1 se as areas i e j forem vizinhas, cij = 0 caso
contrario;
b) decaimento de distancia com cij = exp(−γdij) onde γ > 0 e dij sao as distancias
entre as areas centrais das regioes i e j.
A.2 Dados de Area – Modelo CAR Proprio
A distribuicao Gaussiana Car proprio e uma outra opcao que surge da distribuicao
CARI, inserindo um parametro ρ que relaciona a dependencia espacial absoluta inferior a
1. Entao, substituindo a matriz de precisao D−C do CARI por D− ρC garantimos que
essa precisao e nao singular (Car Proprio). A equacao da distribuicao pode ser escrita
da seguinte maneira:
φk ∼ CARP (µk, αP−1), P = D − ρC (6.2)
69
onde ρ esta entre o menor autovalor (φmin) e o maior autovalor (φmax) da matrizD−0.5CD−0.5
(Gelfand and Vounatsou, 2003, p. 15).
70
Referencias Bibliograficas
Alexandre, J.W.C., A. D. V. A. e Araujo, A. (2002) Uma proposta de analise de um
construto para a medicao dos fatores crıticos da gestao pela qualidade atraves da
teoria da resposta ao item. Gestao e Producao, v.9, n.2, 129–141.
Alves, C. B. (2004) Diferentes tecnicas no estudo do DIF: Uma analise com os dados do
ENC. Dissertacao de Mestrado, Universidade de Brasılia, Brasılia - DF.
Anastasi, A. (1988) Dynamic generalized linear models and bayesian forecasting. Psi-
choogical testing.
Andrade, D. F., T. H. R. V. R. C. (2000) Teoria de Resposta ao Item: Conceitos e
aplicacoes. ABE: Associacao Brasileira de Estatıstica.
Angoff, W. (1982) Use of difficulty and discrimination indices for detecting item bias.
Handbook of methods for detecting test bias.Baltimore, MD: Johns Hopkins University
Press.
Baker, F. B. (2001) The Basics of Item Response Theory. New York: University of
Wisconsin-Madison.
Beckman, R. M. (2001) Aplicacao dos blocos incompletos balanceados na teoria de res-
posta ao item. Estudos em avaliacao educacional, numero 24.
Besag, J. e Kooperberg, C. (1995) On conditional and intrinsic autoregressions. Biome-
trika.
71
Birnbaum, A. (1968) Some Latent Traits Models and Their Use in Inferring na Exami-
nee’s Ability. In: Statistical Theories of Mental Test Scores [edited by F. M. Lord and
M. R. Novick ]. Ma. Addison-Wesley, 397-472.
Cressie, N. (1993) Statistics for Spatial Data. New York: Wiley.
Fox, J, P. (2010) Bayesian Item Response Modeling. Statistics for Social and Behavioral
Sciences.
Fragoso, T. M. (2010) Modelos Multidimensionais da Teoria de Resposta ao Item. Dis-
sertacao de Mestrado, Instituto de Ciencias Matematicas e de Computacao - USP, Sao
Carlos - SP.
Gamerman, D.; Lopes, H. F. (2006) Markov Chain Monte Carlo: Stochastic Simulation
for Bayesian Inference. London: Chapman-Hall, 2a edn.
Gelfand, A. E., V. P. (2003) Proper multivariate conditional autoregressive models for
spatial data analysis. Biostatistics, 4.
Goncalves, F. B. (2006) Analise Bayesiana da Teoria de Resposta ao Item: uma aborda-
gem generalizada. Dissertacao de Mestrado, Universidade Federal do Rio de Janeiro,
Rio de Janeiro.
Hambleton, R. K., S. H. e Rogers, H. J. (1991) Fundamentals of Item Response Theory.
Newburry Park: Sage Publications.
Klein, R. e Fontanive, N. S. (1995) Avaliacao em larga escala: uma proposta inovadora.
Lord, F. M. (1952) A Theory of Test Scores. Psychometric Monograph. N. 7.
— (1980) Applications of ItemResponse Theory to Pratical Testing Problems. Hillsdale,
NJ: Erlbaum.
Lord, F. M., N. M. R. (1968) Statistical Theories o Mental Test Scores. Reading, MA:
Addison-Wesley.
72
May, H. (2006) A multilevel bayesian item response theory method for scaling socioeco-
nomic status in international studies of education. Journal of Educational Behavioral
Statistics, v.31, 63–79.
Natis, L. (2001) Modelos lineares hierarquicos. Estudos em avaliacao educacional,
numero 23.
Nojosa, R. T. (1997) Modelos multidimensionais para a Teoria de Resposta ao Item.
Dissertacao de Mestrado, Universidade Federal do Ceara, Ceara.
Paez, M. (2004) Analise de modelos para a estimacao e previsao de processos espaco-
temporais. Dissertacao de Mestrado, Universidade Federal do Rio de Janeiro, Rio de
Janeiro.
Pasquali, L. (2003) Psicometria: teoria dos testes na psicologia e na educacao. Petropolis
- Editora Vozes.
Raju, N. S. (1988) The area between two item characteristic curves. Psychometrika, 53,
495–502.
Rasch, G. (1960) Probabilistic Models for Some Intelligence and Attainment Tests. Co-
penhagen: Danish. Institute for Educational Research.
Saeb (2005) Manual do Saeb - Microdados do Saeb 2005. MEC - INEP.
Santos, V. L. F. (2009) Teoria de Resposta ao Item: uma abordagem generalizada das
Curvas Caracterısticas dos Item. Dissertacao de Mestrado, Universidade Federal do
Rio de Janeiro, Rio de Janeiro.
Soares, T. M. (2005) Utilizacao da teoria da resposta ao item na producao de indicadores
socios-economicos. Pesquisa Operacional, v.25, n.1, 83–112.
Tay, L., N. D. A. V. J. K. (2011) Using mixed-measurement item response theory with
covariates (mm-irt-c) to ascertain observed and unobserved measurement equivalence.
Organizational Research Mathods, 14,1, 147–176.
73
Vivar-Rojas, J. C. (2004) Uma nova classe de modelos espacos-temporais para dados de
area. Dissertacao de Mestrado, UFRJ - DME.
74