Análise dos resultados das avaliações de estudantes: quais são as diferenças entre a TRI e a TCT?

O objetivo deste artigo é explicar de forma sucinta e objetiva as principais diferenças entre dois dos principais métodos de análise de resultados das avaliações cognitivas de estudantes, a Teoria de Resposta ao Item (TRI) e a Teoria Clássica dos Testes (TCT). No entanto, antes de qualquer coisa, aviso que o enfoque do presente texto não está no aprofundamento dos aspectos estatísticos intrinsecamente envolvidos no tema em questão.

Trata-se de um “papo curto e reto” sobre TCT e TRI.

Então, se você é um professor ou gestor educacional e quer ampliar seus conhecimentos sobre avaliação de estudantes, continue lendo este artigo.

A TCT e a TRI são modelagens provenientes da psicometria. E o que é a psicometria?

Psicometria é um ramo da psicologia composto por um conjunto de técnicas capazes de aferir e promover a interpretação dos processos mentais.

Portanto, no que tange os processos de avaliação de estudantes, a psicometria é um ponto de contato muito forte entre a psicologia e a educação.

Características da TCT

A TCT é um conjunto de técnicas e conceitos que subsidiam o desenvolvimento de instrumentos avaliativos e serve, também, como base para abordagem de medidas psicométricas.
DE VELLIS, 2006

Uma das vantagens da TCT é a sua simplicidade, podendo ser utilizada em uma grande variedade de situações. De um modo geral, as avaliações estruturadas seguindo a TCT apresentam algumas premissas fundamentais:

1. O resultado do teste deve ser avaliado como um todo. Isto é, avalia-se o somatório total do teste e não o resultado por item;
   ‍
2. O aumento do número de itens ou observações elevam a precisão do teste;
   ‍
3. A análise dos itens do teste é baseada, principalmente, em dois parâmetros: índice de dificuldade e índice de discriminação:
   ‍
4. O índice de dificuldade baseia-se no percentual de acerto do estudante; e
   ‍
5. O índice de discriminação visa a diferenciação entre os indivíduos que obtiveram uma elevada pontuação total no teste dos que obtiveram uma baixa pontuação total;
   ‍
6. Por fim, a dificuldade dos itens não é uma variável decisiva na construção dos testes.

Limitações da TCT

1. As medidas da avaliação são dependentes da amostra de estudantes que responderam o teste. Assim a avaliação do teste só é válida se a amostra for representativa ou se o teste for aplicado em outro grupo com características semelhantes.
   ‍
2. Os diferentes testes apresentam itens com índices de discriminação e de dificuldade diferentes entre si, impossibilitando a análise comparativa entre avaliações distintas, aplicadas em um mesmo grupo de estudantes. Isso também dificulta a análise cumulativa e evolutiva dos resultados das avaliações.
   ‍
3. A avaliação das habilidades dos estudantes é teste-dependente e os parâmetros do teste (discriminação e dificuldade) são dependentes dos estudantes respondentes do teste.
   ‍
4. A TCT admite que os estudantes com baixa proficiência mobilizem erros semelhantes aos dos estudantes de proficiência mais altas. Na prática, não é o que acontece. Dessa forma, o conceito de fidedignidade da avaliação se torna confuso.
   ‍
5. A análise dos resultados é baseada no resultado global do teste, sem considerar a influência exercida por cada item. Adicionalmente, considera-se os itens como adequados a partir da análise do score total do teste. De certa forma, a análise dos itens apresenta um componente quase que arbitrário e, aparentemente, inexplicável.
   ‍
6. Alguns autores sugerem que os testes mais longos são mais confiáveis (EMBRETSON; REISE, 2000).

Características da TRI

A TRI se apresenta como uma avanço da psicometria em relação a TCT. Na prática, a TRI não substitui a TCT, já que utiliza medidas da TCT para qualificar os itens e analisar os resultados individuais dos estudantes. Assim a TRI complementa e aprofunda as análises da TCT.

A TRI também é conhecida como Teoria do Traço Latente. O traço latente é uma habilidade ou aptidão do estudante. Resumidamente, a TRI baseia-se na relação de variáveis observáveis e variáveis hipotéticas para calcular os parâmetros dos itens respondidos pelos estudantes utilizando-se as habilidade solicitadas. Em tese, a aferição do nível do traço latente, permite estimar probabilisticamente se o estudante responderá corretamente ou não a um determinado item da avaliação.

Seguindo esta lógica, os indicadores gerados na TRI podem indicar a probabilidade de um determinado estudante acertar ou não um item considerando o perfil deste estudante.

Atualmente, algumas das mais importantes avaliações internacionais utilizam o método, como: Programme for International Assessment (PISA), TOEFL (exame de proficiência em língua inglesa) e o nosso ENEM.

As vantagens da TRI em relação a TCT, associadas a evolução tecnológica do setor educacional, têm suscitado a ideia do uso da metodologia em larga escala, em escolas e instituições de ensino superior. Mas que vantagens são essas?

Vantagens da TRI

1. Uma das maiores vantagens da TRI está na análise dos itens. O cálculo dos parâmetros dos itens (dificuldade e discriminação) independe do grupo de respondentes da avaliação. Isto é, o grau de dificuldade e o índice de discriminação são variáveis que não dependem do grupo avaliado (not test-dependent). Isso possibilita um melhor controle de qualidade dos itens.
   ‍
2. O cálculo do nível de proficiência independe do conjunto de itens utilizados no teste (not group-dependent).
   ‍
3. A TRI permite a calibração do teste de acordo com o grau de dificuldade dos itens. Dessa forma, o teste pode conter itens mais ou menos difíceis de acordo com o nível de habilidade dos estudantes.
   ‍
4. Na TRI, é possível comparar o desempenho entre estudantes de populações diferentes que responderam a testes distintos, desde que os testes preservem alguns itens em comum ou entre estudantes de uma mesma população que responderam a testes completamente diferentes. Isso possibilita o acompanhamento longitudinal do desempenho dos estudantes.
   ‍
5. Os testes fundamentados na TRI são unidimensionais. Assim cada item solicita uma habilidade ou aptidão específica. Trata-se do postulado da unidimensionalidade. Essa teoria define que há uma aptidão dominante responsável pelo resultado do estudante no teste. Dessa forma, apesar de reconhecer que o comportamento humano é multifacetado, a TRI supõe que existe uma habilidade dominante que vai determinar o acerto do itens de uma avaliação deste tipo. Essa característica permite uma análise mais específica e, consequentemente, a geração de microdados acerca dos resultados do teste.
   ‍
6. A TRI admite que o desempenho do estudante no teste como o todo é produto das probabilidades de acerto de cada item. Na prática, cada item avalia uma aptidão específica, e o perfil probabilístico de acerto de cada item determina o padrão de acertos e erros de cada estudante respondente. Dessa forma, cada estudante respondente tem um padrão específico de acertos, de acordo com a sua proficiência

Em suma, a TRI possibilita uma análise mais abrangente dos resultados dos estudantes, com a possibilidade de comparação entre resultados de testes distintos. Além disso, a TRI delineia um padrão de acertos específicos para cada estudante respondente, que varia de acordo com o nível de proficiência de cada estudante. Essas características tornam a TRI extremamente interessante enquanto modelo de análise de resultados de avaliações de estudantes. No entanto, nem tudo são flores — a TRI tem suas limitações.

Limitações da TRI

• A TRI deve ser aplicada em um grande número de estudantes respondentes.
  ‍
• É necessária a aplicação de muitos recursos computacionais para realização e análise dos testes baseados na TRI.
  ‍
• Os resultados dos testes baseados em TRI são de difícil interpretação para maioria dos estudantes.
  ‍
• Estimar erros e acertos totais no teste é complicado.
  ‍
• A calibração e qualificação dos itens depende da análise de parâmetros. Isso pode aumentar a complexidade de elaboração dos testes.

Na prática, diante do exposto, a TRI não parece ser um modelo adequado para aplicação de avaliações corriqueiras ou destinada a pequenos grupos de estudantes. Portanto a decisão pelo uso da TRI deve considerar a relação custo-benefício, já que a estruturação desse modelo de teste demanda a aplicação de mais recursos. Entretanto os avanços mais recentes das tecnologias educacionais ampliaram o espectro de aplicação da TRI.

Nesse intuito, você, gestor escolar, pode considerar a possibilidade de aplicar indicadores psicométricos para qualificar os itens, buscando a construção de um banco de itens (questões) qualificado. Isto pode flexibilizar a aplicação de diferentes modelos de avaliação, bem como qualificar as avaliações de uma forma geral.

A Qstione faz análises e dá o suporte necessário para aplicação de testes fundamentados na TRI. Entre em contato com nossa equipe e se informe sobre mais este serviço oferecido pela equipe Qstione.

‍