Görüntüleme
102
İndirme
30
Araştırmanın amacı, çalışma alanlarına göre farklılaşan Klasik Test Kuramı (KTK), Genellenebilirlik Kuramı (GK) ve Madde Tepki Kuramlarının (MTK) yazılı anlatım becerisi analitik puanlama anahtarı kullanılarak elde edilen ölçümlere ilişkin güvenirlik kestirimlerinin incelenmesidir. Betimsel tasarlanan bu araştırmada çalışma grubunu oluşturan 523 öğrencinin hikâyeleri, yedi puanlayıcı tarafından puanlanmıştır. SPSS 22 programı kullanılarak elde edilen KTK bulgularında Eta korelasyon katsayısı incelendiğinde puanlayıcıların puanlamaları arasında bir farklılaşma olmadığı (η=0.926) Cronbach Alfa katsayılarının 0.88’in üzerinde olduğu bulunmuştur. Edu-G 6.1e programı kullanılarak elde edilen GK bulgularında G ve Phi katsayılarının 0.97’nin üzerinde olduğu görülmüştür. Öğrencilerde beklenen farklılaşma ortaya çıkmış, ölçütlerin güçlük düzeyleri bir öğrenciden diğerine değişmemiş, puanlayıcılar arasındaki puanlama tutarlılığı mükemmel seviyede bulunmuştur. Multilog 7.03 programı kullanılarak elde edilen Madde Tepki Kuramı bulgularında Samejima’nın (1969) Derecelendirilmiş Tepki modeline göre kestirilen a parametreleri farklı puanlayıcılara göre maddelerin ayırt ediciliğinin farklılaştığını göstermektedir. b parametrelerine göre tüm puanlayıcılar için bireylerin 0.50 ihtimalle 0’dan yüksek puan almaları için -2.35, 1’den yüksek puan almaları için -0.80, 2’den yüksek puan almaları için 0.41 yetenek düzeylerinin üzerinde bulunmaları gerekmektedir. Marjinal güvenirlik katsayıları incelendiğinde ise güvenirliğin oldukça yüksek (0,93 civarında) olduğu görülmüştür. Tüm güvenirlik kestirimlerinin arasındaki farkın manidarlığı için Microsoft Excel 2016 programında Fisher Z’ istatistiği hesaplanmıştır. Hata varyansı kaynaklarını açıklamada ve güvenirlik belirlemede GK, madde bazında hata kestirimlerinde ve yetenek düzeyi belirlemede MTK, KTK’den daha ayrıntılı bilgiler ortaya koymuştur. Puanlayıcılar arası güvenirlikte ise KTK ile GK’ye göre kestirilen parametreler arasında anlamlı bir fark bulunurken (p < 0.05) KTK ile MTK’ye göre göre kestirilen parametreler arasında anlamlı bir fark saptanmamıştır (p > 0.05).
The aim of the study is to examine the reliability estimations of written expression skills analytical rubric based on the Classical Test Theory (CTT), Generalizability Theory (GT) and Item Response Theory (IRT) which differ in their field of study. In this descriptive study, the stories of the 523 students in the study group were scored by seven raters. CTT results showed that Eta coefficient revealed that there was no difference between the scoring of the raters (η = .926); Cronbach Alpha coefficients were over .88. GT results showed that G and Phi coefficients were over .97. The students’ expected differentiation emerged, the difficulty levels of the criteria did not change from one student to another, and the consistency between the scores among raters was excellent. In the Item Response Theory, parameters were estimated according to Samejima’s (1969) Graded Response Model and item discrimination differed according to the different raters. According to b parameters, for all the raters; individuals are expected to be at least -2.35, -0.80, 0.41 ability level in order to be scored higher than 0, 1 or 2 categories respectively with .50 probability. Marginal reliability coefficients were quite high (around .93). The Fisher Z’ statistic was calculated for the significance of the difference between all reliability estimates. GT revealed more detailed information than CTT in the explanation of error variance sources and determination of reliability; while IRT provided more detailed information than CTT in determining the item-level error estimations and the ability level. There was a significant difference between the estimated parameters of CTT and GT in interrater reliability (p < .05); there was no significant difference between the parameters predicted according to CTT and IRT (p > .05).
Alan : Eğitim Bilimleri
Dergi Türü : Uluslararası
Makale Detay 
Benzer Makaleler
PDF Görüntüle
Dergi Bilgisi
Eseri Dinleyin
Alıntı Yap
Bu Sayfayı Yazdırın
Paylaş
Mendeley
