A comparison of the reliability of the SOLO and revised bloom's taxonomy-based classifications in the analysis of the cognitive levels of assessment questions

Öz:Bu araştırmada, değerlendirme sorularının bilişsel düzeylerinin tespitinde SOLO ve revize edilmiş Bloom taksonomisine (REBT) dayalı sınıflamaların güvenirlikleri karşılaştırılmıştır. Araştırmanın verileri, 2015 yılında Milli Eğitim Bakanlığı tarafından basılan Yedinci Sınıf Sosyal Bilgiler Ders Kitabı ile Yıldırım Yayıncılık tarafından basılan Sekizinci Sınıf Fen ve Teknoloji Ders Kitabındaki değerlendirme sorularının üç uzman tarafından SOLO taksonomisi ve REBT'nin düzeylerine göre incelenmesiyle elde edilmiştir. Elde edilen veriler, değerlendirme sorularının ölçme objesi ve uzmanların yüzey olarak yer aldığı çapraz bir desen ile genellenebilirlik kuramına göre analiz edilmiştir. Çalışmada, değerlendirme sorusu ana etkisine ait varyans yüzdesi SOLO taksonomisine göre yapılan sınıflamalarda daha yüksek bulunmuştur. Uzman ana etkisine ilişkin varyans bileşeni ile artık varyans değerleri ise REBT'de SOLO taksonomisine kıyasla daha yüksek çıkmıştır. Son olarak, REBT ile karşılaştırıldığında, SOLO taksonomisine dayalı sınıflandırmalara ait G ve Phi katsayılarının daha yüksek olduğu saptanmıştır. Bu sonuçlar, değerlendirme sorularının bilişsel düzeylerinin belirlenmesinde SOLO taksonomisinin REBT'ye göre daha güvenilir bir model olduğunu göstermektedir.

Abstract:This study aims to compare the reliability of SOLO and revised Bloom's taxonomybased (RBT) classifications in the determination of the cognitive levels of the assessment questions. The data were obtained by three experts' examination of the assessment questions in the Seventh Grade Social Studies Textbook published by the Ministry of National Education and Eight Grade Science and Technology Textbook published by Yıldırım Publishing in 2015. The collected data were analyzed in a crossed design whereby the assessment questions were the object of measurement and the experts were the facet on the basis of the generalizability theory. It was found that the variance percentage of the main effect of the assessment question was found to be higher in the SOLO-based classifications. The variance component related to the experts' main effect and the residual variance values were found to be higher in the RBT than in the SOLO taxonomy. In conclusion, compared to the RBT, the SOLO-based classifications were found to have higher G and Phi coefficients. These results indicate that SOLO taxonomy seems to be more reliable than RBT in the determination of the cognitive level of assessment questions.