Comparison of test equating methods based on classical test theory and Item response theory

Abstract

This study aims to choose the equating method with the least equating error by using the equating methods in Classical Test Theory and Item Response Theory. In this study, booklet 1 and booklet 3 data were used for PISA (Programme for International Student Assessment) 2012 Mathematics test. Data from Turkey, Indonesia, Shanghai/China and Finland, countries participating in PISA 2012, were selected for this study. Non-equivalent groups design was used in the test equating process. Linear equating methods [Tucker (w1=1, w1=0.5), Levine observed score (w1=1, w1=0.5), Levine true score, Classical Congeneric and Braun-Holland), equipercentile equating methods (pre smoothing according to C6 polynomial degree, beta4, post smoothing according to S 0.05 cubic function, frequency estimation (w1=1, w1=0.5) ] were used in the study. In Classical Test Theory, the least error is obtained from the frequency estimation method with a synthetic universe weight of w1 = 0.5. For the Item Response Theory, the calibration method was first decided, which is the Stocking-Lord method. After the scale transformation was achieved with the Stocking-Lord calibration method, the equating scores were calculated from the IRT's true and observed equating methods. The least error in IRT was obtained from the true score equating method. For error values, error coefficients were calculated according to Newton-Raphson's delta method and bootstrap methods. When the error coefficients (delta and bootstrap) of the equating methods in both theories were compared, it was found that the equating methods based on IRT had fewer errors than the equating methods in CTT, and the method with the least equating error was the IRT true score equating. The least equating error frequency estimation in CTT (w1=0.5) and the most error Levine true score equating method.

Bu çalışmanın amacı Klasik Test Kuramı (KTK) ve Madde Tepki Kuramı (MTK) bünyesindeki eşitleme yöntemlerini kullanarak en az eşitleme hatasına sahip eşitleme yöntemine karar vermektir. Bu çalışmada PISA 2012 Matematik testi için kitapçık 1 ve kitapçık 3 verileri kullanılmıştır. Bu çalışma için PISA (Uluslararası Öğrenci Değerlendirme Programı) 2012 uygulamasına katılan Türkiye Endonezya, Şangay/ Çin ve Finlandiya ülkelerin verileri seçilmiştir. Test eşitleme sürecinde eşdeğer olmayan gruplar deseni kullanılmıştır. Araştırmada ele alınan KTK’da doğrusal eşitleme yöntemleri [Tucker (w1=1, w1=0.5), Levine gözlenen puan (w1=1, w1=0.5), Levine gerçek puan, klasik konjenerik ve Braun-Holland], eşit yüzdelikli eşitleme yöntemleri [C6 polinomial derecesine göre ön düzgünleştirme, beta4 , S 0.05 kübik fonksiyona göre son düzgünleştirme, frekans kestirim (w1=1, w1=0.5)] kullanılmıştır. Klasik Test Kuramında en az hata w1=0.5 sentetik evren ağırlığıyla Frekans kestirim yönteminden elde edilmiştir. MTK için öncelikle kalibrasyon yöntemine karar verilmiş ve bu yöntem Stocking-Lord yöntemidir. Stocking-Lord kalibrasyon yöntemi ile ölçek dönüşümü sağlandıktan sonra MTK’daki gerçek ve gözlenen eşitleme yöntemlerinden eşitlenmiş puanlar hesaplanmıştır. MTK’daki en az hata gerçek puan eşitleme yönteminden elde edilmiştir. Hata değerleri için NewtonRaphson’un delta yöntemi ve boostrap yöntemlerine göre hata katsayıları hesaplanmıştır. Her iki kuramdaki eşitleme yöntemlerinin hata katsayıları (delta ve boostrap) karşılaştırıldığında MTK’ya dayalı eşitleme yöntemlerinin KTK’daki eşitleme yöntemlerinden daha az hataya sahip olduğu ve en az eşitleme hatasına sahip olan yöntemin MTK gerçek puan eşitleme olduğu bulunmuştur. KTK’da en az eşitleme hatası frekans kestirim (w1=0.5) ve en fazla hata Levine gerçek puan eşitleme yöntemidir.