Resumo
Considerando a necessidade cada vez maior de se produzir avaliações consistentes, capazes de fornecer informações válidas sobre seus respondentes, este artigo tem o objetivo de analisar dois provões aplicados aos discentes do curso de Bacharelado em Engenharia Civil do Instituto Federal de Minas Gerais – Campus Avançado Piumhi e comparar seus resultados. Trata-se de uma avaliação aplicada semestralmente aos estudantes, visando a oferecer-lhes um preparo para o Exame Nacional de Desempenho de Estudantes (ENADE). Para isto, foram considerados três índices psicométricos provenientes da Teoria Clássica dos Testes: dificuldade, discriminação e confiabilidade. Também foram realizados Testes de hipóteses para verificar se estes provões apresentaram resultados equiparáveis. Estas análises foram realizadas com o auxílio do software estatístico R. Os resultados demonstram que os valores de referência, dispostos na literatura, não foram, em sua maioria, atingidos, apontando para a necessidade de uma revisão sistemática no processo de elaboração dessas provas e de um debate sobre os diferentes resultados obtidos por estudantes matriculados em períodos distintos no curso.
Palavras-chave: Teoria Clássica dos Testes (TCT). Engenharia Civil. Software R.
A proposal for analysing the items of the Enade preparatory assessment applied to civil engineering students of Instituto Federal Minas Gerais - IFMG - Campus Avançado Piumhi
Abstract
Considering the increasing need to produce consistent assessments able to provide valid information about your respondents, this article has the objective of analyzing two tests applied to students of the Bachelor’s Degree in Civil Engineering course of the IFMG – Campus Avançado Piumhi (Federal Institute of Minas Gerais - Piumhi Advanced Campus) and compare your results.This is an evaluation applied to the students every semester, aiming to offer them a preparation for The National Assessment of Students Performance (ENADE). For this, it were considered three psychometric indexes from the Classical Theory of Tests: difficulty, discrimination and reliability. Statistical hypothesis testing were also performed to verify whether these tests had comparable results. These analyzes were carried out with the aid of statistical software R.The results show that the reference values, presented in the literature, were mostly not reached, pointing toward the need for a systematic review in the elaboration of these tests, besides a debate on the different results obtained by students enrolled in different periods of the course.
Keywords: Classical Theory of Tests (CTT). Civil Engineering. Software R.
Referências
ARIAS, M. R. M.; LLOREDA, M. V. H.; LLOREDA, M. J. H. Psicometría. [s.1.]: Alianza, 2006. 488 p.
BORGATTO, A. F.; ANDRADE, D. F. Análise clássica de testes com diferentes graus de dificuldade. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 146-156, 2012. Disponível em: http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/1934. Acesso em: 22 nov. 2018.
BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior Resolução nº 01 de 17 de junho de 2010. Normatiza o Núcleo Docente Estruturante e dá outras providências. Brasília: CONAES, 2010. Disponível em: https://www.ifmg.edu.br/piumhi/cursos-1/superior/nde/docs/resolucoes/Resoluon01de17dejunhode2010NormatizaoNDECONAES.pdf. Acesso em: 13 nov. 2018.
BUSSAB, W. O.; MORETTIN, P. A. Estatística básica. São Paulo: Saraiva. 557 p., 2010.
CORTINA, J. M. What is coefficient alpha? an examination of theory and applications. Journal of Applied Psychology, [s.l], v. 78, n. 1, p. 98-104, 1993. Disponível em: https://psycnet.apa.org/record/1993-19965-001. Acesso em: 20 nov. 2018.
FÁVERO, L.; FÁVERO, P. Análise de dados: modelos de regressão com Excel, Stata e SPSS. Rio de Janeiro: Elsevier, 2015.
HAIR JÚNIOR, J. F.; BLACK, W. C.; ANDERSON, R. E.; TATHAM, R. L. Análise multivariada de dados. 6. ed. Porto Alegre: Bookman, 2009.
INSTITUTOFEDERAL DEEDUCAÇÃO, CIÊNCIA E TECNOLOGIA DE MINAS GERAIS. Campus Avançado Piumhi. Ata de reunião do Núcleo Docente Estruturante (NDE). Piumhi: [IFMG], 2017. Disponível em: https://www.ifmg.edu.br/piumhi/cursos-1/superior/nde/docs/atas/2017/AtareuniaoNDE290317.pdf. Acesso em: 13 nov. 2018.
KELLEY, T. L. The selection of upperand lower groups for the validation of test items. Journal of educational psychology, Warwick & York, v. 30, n. 1, p. 17-24, 1939. Disponível em: https://psycnet.apa.org/record/1939-03313-001. Acesso em: 20 nov. 2018.
LEOTTI, V. B.; COSTER, R.; RIBOLDI, J. Normalidade de variáveis: métodos de verificação e comparação de alguns testes não-paramétricos por simulação. Revista HCPA. Porto Alegre, v. 32, n. 2, p. 227-234, 2012. Disponível em: https://seer.ufrgs.br/hcpa/article/view/29874. Acesso em: 29 maio 2019.
MALHOTRA, N. Review of marketing research. Emerald Group Publishing Limited. Bingley. 2013. Disponível em: https://www.emerald.com/insight/content/doi/10.1108/S1548-6435(2007)0000003004/full/html?skipTracking=true. Acesso em: 28 maio 2019.
PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2013. 397 p.
R Core Team. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing, 2019.Disponível em: www.R-project.org/. Acesso em: 15 nov. 2018.
REVELLE, W. Psych: procedures for personality and psychological research. North western University, Evanston. Illinois, USA, 2014. Disponível em: https://cran.r-project.org/web/packages/psych/index.html. Acesso em: 28 maio 2019.
RIZOPOULOS, D. ltm: an R package for latente variable modeling and item response the ory analyses. Journal of statistical software, [s.l.], v. 17, n. 5, p. 1-25, 2006. Disponível em: https://core.ac.uk/download/pdf/6305163.pdf. Acesso em: 28 nov. 2019.
SHAPIRO, S. S.; WILK, M. B. An analysis of variance test for normality (complete samples). Biometrika, v. 52, n. 3/4, p. 591-611, 1965.
SNOW, G. TeachingDemos: Demonstrations for teaching and learning. R package version, v. 2, 2016.
SOARES, D. J. M. Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de matemática básica. 2018. 121 f. Dissertação (Mestrado em Estatística) -Universidade Federal de Viçosa, Viçosa, 2018. Disponível em: https://www.locus.ufv.br/bitstream/handle/123456789/18404/texto%20completo.pdf?sequence=1&isAllowed=y. Acesso em:15 nov. 2018.
VILARINHO, A. P. L. Uma proposta de análise de desempenho dos estudantes e de valorização da primeira fase da OBMEP. Dissertação (Mestrado Profissional em Matemática). Universidade de Brasília, Brasília, 2015. Disponível em: https://core.ac.uk/download/pdf/33552126.pdf. Acesso em: 15 nov. 2018.
Este trabalho está licensiado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.
Copyright (c) 2020 Array