KONTROL LİSTESİ, ANALİTİK RUBRİK VE DERECELEME ÖLÇEKLERİNDE PUANLAYICI GÜVENİRLİĞİNİN GENELLENEBİLİRLİK KURAMINA GÖRE İNCELENMESİ

Özet

Bu araştırmanın amacı, aynı performans görevlerinin farklı sayıda puanlayıcı tarafından kontrol listesi, dereceleme ölçeği ve analitik rubrik yardımıyla puanlanması durumunda, puanlayıcılar arası güvenirliklerinin G kuramı çerçevesinde incelenmesidir. Bu amaç doğrultusunda, 5. sınıf düzeyindeki öğrencilerin hikâye yazma becerilerini puanlamak amacıyla, kontrol listesi, dereceleme ölçeği ve analitik rubrik hazırlanmıştır. İlköğretim 5. sınıf öğrencilerine yazdırılan hikâyeler arasından seçilen 6 hikâye 45 puanlayıcıya üç farklı puanlama anahtarı ile 10-15 gün aralıklarla puanlattırılmıştır. Araştırmaya katılan 45 puanlayıcı içerisinden 2, 3, 5 ve 10 puanlayıcılı 100’er örneklem çekilmiştir. Elde edilen 400 örneklem için G kuramı’na göre puanlayıcılar arası güvenirlikleri hesaplanmıştır. Elde edilen 1200 hesaplamanın her bir durum için elde edilen 100 örneklemi için ortancaları ve standart hataları hesaplanmıştır. Güvenirlik kestirimlerinin ortanca değerleri incelendiğinde, 5 puanlayıcının kontrol listesi kullanarak yaptıkları puanlamaların güvenirliklerinin ortanca değeri hariç olmak üzere, puanlayıcı sayısı ve aynı zamanda kullanılan ölçeğin kategori sayısı arttıkça ortanca değerlerinin de arttığı; elde edilen standart hataların, puanlayıcı sayısı arttıkça azaldığı gözlenmiştir. En düşük standart hata değerlerinin, 10 puanlayıcı olması durumunda elde edildiği saptanmıştır. Puanlayıcı sayısı 5 ve kategori sayısı 2 olduğunda, güvenirlik kestiriminin en yüksek değeri verdiği belirlenmiştir.