TRI na Qstione: um grande diferencial pedagógico
Neste artigo, exploraremos a recente implementação da Teoria de Resposta ao Item (TRI) na plataforma Qstione e como essa poderosa ferramenta pode transformar a análise dos resultados das avaliações estudantis.
A psicometria é uma área da psicologia dedicada ao desenvolvimento de métodos e técnicas para medir e interpretar processos mentais e comportamentais. A Teoria Clássica dos Testes (TCT) e a Teoria de Resposta o Item (TRI) são modelagens de análise de avaliações oriundas da psicometria. Trata-se, portanto, de um ramo da psicologia com fortes pontos de contato com a educação.
A TRI representa um avanço significativo da psicometria em comparação à TCT. Na prática, a TRI não substitui a TCT, já que utiliza medidas da TCT para qualificar os itens e analisar os resultados individuais dos estudantes. Assim, a TRI complementa e aprofunda as análises da TCT.
A TRI também é conhecida como Teoria do Traço Latente. O traço latente é uma habilidade ou aptidão hipotética do estudante. Resumidamente, a TRI baseia-se na relação de variáveis observáveis (comportamento) e variáveis hipotéticas para calcular os parâmetros dos itens respondidos pelos estudantes. Em tese, a aferição do nível do traço latente permite estimar probabilisticamente se o estudante responderá corretamente ou não a um determinado item da avaliação.
Seguindo esta lógica, os indicadores gerados na TRI podem indicar a probabilidade de um determinado estudante acertar ou não um item, considerando o perfil deste estudante.
Atualmente, algumas das mais importantes avaliações internacionais utilizam o método, como: Programme for International Assessment (PISA), TOEFL (exame de proficiência em língua inglesa) e o nosso ENEM.
As vantagens da TRI em relação a TCT, associadas a evolução tecnológica do setor educacional, têm suscitado a ideia do uso da metodologia em larga escala, em escolas e instituições de ensino superior. Mas quais são as vantagens práticas da TRI?
1. Uma das maiores vantagens da TRI está na análise dos itens. O cálculo dos parâmetros dos itens (dificuldade e discriminação) independe do grupo de respondentes da avaliação. Isto é, o grau de dificuldade e o índice de discriminação são variáveis que não dependem do grupo avaliado (not test-dependent). Isso possibilita um melhor controle de qualidade dos itens.
2. O cálculo do nível de proficiência independe do conjunto de itens utilizados no teste (not group-dependent).
3. A TRI permite a calibração do teste de acordo com o grau de dificuldade dos itens. Dessa forma, o teste pode conter itens mais ou menos difíceis de acordo com o nível de habilidade dos estudantes.
4. Na TRI, é possível comparar o desempenho entre estudantes de populações diferentes que responderam a testes distintos, desde que os testes preservem alguns itens em comum ou entre estudantes de uma mesma população que responderam a testes completamente diferentes. Isso possibilita o acompanhamento longitudinal do desempenho dos estudantes.
5. Os testes fundamentados na TRI são unidimensionais. Assim, cada item solicita uma habilidade ou aptidão específica. Trata-se do postulado da unidimensionalidade. Essa teoria define que há uma aptidão dominante responsável pelo resultado do estudante no teste. Dessa forma, apesar de reconhecer que o comportamento humano é multifacetado, a TRI supõe que existe uma habilidade dominante que vai determinar o acerto dos itens de uma avaliação deste tipo. Essa característica permite uma análise mais específica e, consequentemente, a geração de microdados acerca dos resultados do teste.
6. A TRI admite que o desempenho do estudante no teste como o todo é produto das probabilidades de acerto de cada item. Na prática, cada item avalia uma aptidão específica, e o perfil probabilístico de acerto de cada item determina o padrão de acertos e erros de cada estudante respondente. Dessa forma, cada estudante respondente tem um padrão específico de acertos, de acordo com a sua proficiência.
Em suma, a TRI possibilita uma análise mais abrangente dos resultados dos estudantes, com a possibilidade de comparação entre resultados de testes distintos. Além disso, a TRI delineia um padrão de acertos específicos para cada estudante respondente, que varia de acordo com o nível de proficiência de cada estudante. Essas características tornam a TRI extremamente interessante enquanto modelo de análise de resultados de avaliações de estudantes.
A ferramenta de análise TRI criada pela Qstione possibilita a análise de qualquer prova gerada na plataforma Qstione de forma muita rápida e segura. Na prática, ela permite a análise de parâmetros estatísticos de qualidade dos itens e da prova, além de gerar o escore de desempenho dos estudantes, classificando-os em diferentes níveis de proficiência previamente calibrados.
Sabemos que, muitas vezes, as instituições não possuem um grande número de alunos ou de avaliações que permitam utilizar a TRI. Por esse motivo, implantamos em nossa ferramenta a estimativa a posteriori (EAP), que é a distribuição de probabilidade dos parâmetros após a observação da amostra. Essa foi a maneira encontrada para que instituições com número reduzido de alunos possam utilizar a TRI, mesmo que em provas pontuais.
Os dados gerados pelas análises podem servir como parâmetros valiosos para o controle de qualidade tanto dos bancos de itens quanto das provas. Adicionalmente, a sua instituição pode começar a trabalhar com o conceito de proficiência na análise do desempenho dos seus estudantes. Essas possibilidades elevam consideravelmente a qualidade de análise de dados das avaliações.
Nós, da Qstione, estamos trabalhando fortemente com o intuito de disseminar o uso da TRI em escolas e universidades, pois só assim poderemos aperfeiçoar a análise da qualidades de nossas avaliações, bem como aferir com mais precisão o desempenho dos estudantes. Isso pode fazer uma grande diferença em sua instituição de ensino.