Uma proposta de análise de itens da prova preparatória para o Enade aplicada aos discentes de engenharia civil do IFMG – Campus Avançado Piumhi

Resumo

Considerando a necessidade cada vez maior de se produzir avaliações consistentes, capazes de fornecer informações válidas sobre seus respondentes, este artigo tem o objetivo de analisar dois provões aplicados aos discentes do curso de Bacharelado em Engenharia Civil do Instituto Federal de Minas Gerais – Campus Avançado Piumhi e comparar seus resultados. Trata-se de uma avaliação aplicada semestralmente aos estudantes, visando a oferecer-lhes um preparo para o Exame Nacional de Desempenho de Estudantes (ENADE). Para isto, foram considerados três índices psicométricos provenientes da Teoria Clássica dos Testes: dificuldade, discriminação e confiabilidade. Também foram realizados Testes de hipóteses para verificar se estes provões apresentaram resultados equiparáveis. Estas análises foram realizadas com o auxílio do software estatístico R. Os resultados demonstram que os valores de referência, dispostos na literatura, não foram, em sua maioria, atingidos, apontando para a necessidade de uma revisão sistemática no processo de elaboração dessas provas e de um debate sobre os diferentes resultados obtidos por estudantes matriculados em períodos distintos no curso.

Palavras-chave: Teoria Clássica dos Testes (TCT). Engenharia Civil. Software R.

A proposal for analysing the items of the Enade preparatory assessment applied to civil engineering students of Instituto Federal Minas Gerais - IFMG - Campus Avançado Piumhi

Abstract

Considering the increasing need to produce consistent assessments able to provide valid information about your respondents, this article has the objective of analyzing two tests applied to students of the Bachelor’s Degree in Civil Engineering course of the IFMG – Campus Avançado Piumhi (Federal Institute of Minas Gerais - Piumhi Advanced Campus) and compare your results.This is an evaluation applied to the students every semester, aiming to offer them a preparation for The National Assessment of Students Performance (ENADE). For this, it were considered three psychometric indexes from the Classical Theory of Tests: difficulty, discrimination and reliability. Statistical hypothesis testing were also performed to verify whether these tests had comparable results. These analyzes were carried out with the aid of statistical software R.The results show that the reference values, presented in the literature, were mostly not reached, pointing toward the need for a systematic review in the elaboration of these tests, besides a debate on the different results obtained by students enrolled in different periods of  the course.

Keywords: Classical Theory of Tests (CTT). Civil Engineering. Software R.