1
Afyon Kocatepe University, Faculty of Education, Afyonkarahisar, Turkiye
2
Afyon Kocatepe University, Faculty of Education, Afyonkarahisar, Turkiye
3
Afyon Kocatepe University, Faculty of Education, Afyonkarahisar, Turkiye
Abstract
The need for a detailed evaluation of achievement tests developed in the field of Turkish education in line with scientific criteria has made the current research necessary. In this study, it is aimed to examine the achievement test development studies in the data collection tools in the doctoral dissertations conducted in the field of Turkish language education in Turkey between 2013-2023 by document analysis method according to various criteria. The sample of the study consists of doctoral dissertations conducted in the field of Turkish Education between 2013-2023 and in which achievement tests were developed as data collection tools. Within the scope of the study, a total of 50 achievement tests in 42 doctoral dissertations were analyzed with the “achievement test development process evaluation form” prepared by the researchers. The research revealed that psychometric standards were not sufficiently applied in the majority of achievement tests developed in doctoral dissertations. While a criterion table was not prepared in 68% of the tests, a literature review was conducted in only 54% of the studies during the item writing stage. The KR-20 coefficient was the most frequently preferred method for determining reliability in multiple-choice items, while reliability was generally not reported in open-ended items. Furthermore, no validity studies were conducted in 58% of achievement tests, and evidence was provided for content validity in only 16% of them. The research reveals that the steps of preparing a specification table, creating an item pool, and reporting validity evidence should be carried out in accordance with standards during the achievement test development process. These results indicate that they will guide the development of achievement tests in accordance with standards for future similar studies.
Ayva Yoru, F. G., Karakas Yildirim, O., & Yemenici, A. I. (2025). Analysis of the achievement test development process in doctoral dissertations in the field of Turkish language education. International Journal of Eurasia Social Sciences, 16(62), 2358–2386. https://doi.org/10.70736/ijoess.1746
📄Açıkgöz, M., & Karslı, F. (2015). Alternatif ölçme-değerlendirme teknikleri kullanılarak iş ve enerji konusunda geliştirilen başarı testinin geçerlilik ve güvenilirlik analizi. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 4(1), 1-15.
📄Aera, A. P. A. (2014). NCME. Standards for educational and psychological testing. Washington, DC: American Educational Research Association, 1.
📄Akbulut, H. İ., & Çepni, S. (2013). Bir üniteye yönelik başarı testi nasıl geliştirilir? İlköğretim 7. sınıf kuvvet ve hareket ünitesine yönelik bir çalışma. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
📄Anderson, L. W. (2003). Classroom assessment: Enhancing the quality of teacher decision making (1st ed.). Routledge. [Crossref]
📄Atılgan, H. (2015a). Doğru-yanlış testleri. H. Atılgan (Ed.), Eğitimde ölçme ve değerlendirme (8. baskı, ss. 203–222). Anı Yayıncılık.
📄Atılgan, H. (2015b). Test geliştirme. H. Atılgan (Ed.), Eğitimde ölçme ve değerlendirme (8. baskı., ss. 315-348). Anı Yayıncılık.
📄Aydın, E. (2017). Türkçe dersi öğretim programlarının (2015 ve 2017) değerlendirilmesi. Electronic Turkish Studies, 12(28). [Crossref]
📄Bayırlı, H., & Köksal, H. (2022). 3. Sınıf hayat bilgisi dersi başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Pesa International Journal of Social Studies, 8(2), 86-99. [Crossref]
📄Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması (2. baskı). Pegem Akademi.
📄Bowen, G. A. (2009). Document analysis as a qualitative research method. Qualitative Research Journal, 9(2), 27-40. [Crossref]
📄Boyraz, C. (2018). İlköğretim anabilim dalı doktora tezlerinde kullanılan başarı testlerinin incelenmesi. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 19(3), 14-28. [Crossref]
📄Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2012). Bilimsel araştırma yöntemleri (13. baskı). Pegem Akademi. [Crossref]
📄Cohen, R. J., Swerdlik, M. E., & Phillips, S. M. (2021). Psychological testing and assessment. McGraw-Hill US Higher Ed USE.
📄Coşkun, I., & Sarıkaya, R. (2020). Dördüncü sınıf maddenin özellikleri akademik başarı testi geliştirme: Bir geçerlik ve güvenirlik çalışması. Turkish Studies Educational Sciences, 15(5), 3203-3228. [Crossref]
📄Crocker, L., & Algina, J. (2008). Introduction to classical and modern test theory. Cengage Learning.
📄Cronbach, L. J. (1970). Essentials of Psychological Testing. New York: Harper & Row.
📄Çardak, Ç. S., & Selvi, K. (2018). Öğretim ilke ve yöntemleri dersi için bir başarı testi geliştirme süreci. Akdeniz Eğitim Araştırmaları Dergisi, 26, 379-407. [Crossref]
📄Davis, L. L. (1992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5, 194-197. [Crossref]
📄Demircioğlu, G. (2008). Geçerlik ve güvenirlik. E. Karip (Ed.), Ölçme ve değerlendirme (2. baskı, ss. 52-82). Pegem Akademi.
📄Doğan, N. (2015a). Yazılı yoklamalar. H. Atılgan (Ed.), Eğitimde ölçme ve değerlendirme (8. baskı, ss. 145–168). Anı Yayıncılık.
📄Doğan, N. (2015b). Sözlü sınavlar. H. Atılgan (Ed.), Eğitimde ölçme ve değerlendirme (8. baskı, ss. 169–188). Anı Yayıncılık.
📄Doğan, N. (2015c). Kısa yanıtlı sınavlar. H. Atılgan (Ed.), Eğitimde ölçme ve değerlendirme (8. baskı, ss. 189–202). Anı Yayıncılık.
📄Doğan, N. (2015d). Çoktan seçmeli testler. H. Atılgan (Ed.), Eğitimde ölçme ve değerlendirme (8. baskı, ss. 223–268). Anı Yayıncılık.
📄Doğan, N. (2021a). Geleneksel ölçme ve değerlendirme teknikleri I: Yanıtı seçmeyi gerektiren ölçme araçları. N. Doğan (Ed.), Eğitimde ölçme ve değerlendirme (3. baskı, ss. 113–138). Pegem Akademi.
📄Doğan, N. (2021b). Geleneksel ölçme ve değerlendirme teknikleri II: Yanıtı yapılandırmayı gerektiren ölçme araçları. N. Doğan (Ed.), Eğitimde ölçme ve değerlendirme (3. baskı, ss. 139-179). Pegem Akademi.
📄Downing, S. M. (2006). Twelve steps for effective test development. In S. M. Downing, & T. M. Haladyna (Eds.), Handbook of test development (pp. 3-26). Lawrence Erlbaum Associates.
📄Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme I: Temel kavramlar ve işlemler (1. baskı). Pegem Akademi.
📄Erkuş, A. (2016). Ölçek geliştirme ve uyarlama çalışmalarındaki sorunlar ile yazım ve değerlendirilmesi. Pegem Atıf İndeksi, 1211, 1224. [Crossref]
📄Evrekli, E., İnel, D., Deniş, H., & Balım, A. G. (2011). Methodological and statistical problems in graduate theses in the field of science education. Elementary Education Online, 10(1), 206-218.
📄Fellenz, M. R. (2004). Using assessment to support higher level learning: The multiple choice item development assignment. Assessment & Evaluation in Higher Education, 29(6), 703-719. [Crossref]
📄Guilford, J. P. (1954). Psychometric methods (2nd ed.). McGraw-Hill.
📄Güler, N., & Gelbal, S. (2010). Açık uçlu matematik sorularının güvenirliğinin klasik test kuramı ve genellenebilirlik kuramına göre incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 10(2), 989-1019. https://hdl.handle.net/20.500.12619/73269
📄Haladyna, T. M. (1997). Writing test items to evaluate higher order thinking. Allyn and Bacon.
📄Haladyna, T. M. (2004). Developing and validating multiple-choice test items. Lawrence Erlbaum Associates. [Crossref]
📄Haladyna, T. M. (2015). Item analysis for selected-response test items. In Handbook of test development (pp. 392-409). Routledge. [Crossref]
📄Hançer, F. B., & Dilidüzgün, Ş. (2023). Ortaokul 6. sınıf edat ve bağlaç konusunda başarı testi geliştirme: Güvenirlik ve geçerlik analizi. Ana Dili Eğitimi Dergisi, 11(2), 346-362. [Crossref]
📄Kalyoncuoğlu, G. (2024). 8. sınıf Türkçe dersine ilişkin başarı testi geliştirme. Socrates Journal of Interdisciplinary Social Studies, 10(46), 178-204. [Crossref]
📄Kan, A. (2008). Ölçme aracı geliştirme. S. Tekindal (Ed.), Eğitimde ölçme ve değerlendirme (ss. 245–284). Pegem Akademi.
📄Kaplan, E., Bektaş, O., & Karaca, M. (2022). Madde ve ısı ünitesi başarı testi geliştirme çalışması. Mehmet Akif Ersoy Eğitim Fakültesi Dergisi, 63, 78-116. [Crossref]
📄Kapuscinski, A. N., & Masters, K. S. (2010). The current status of measures of spirituality: A critical review of scale development. Psychology of Religion and Spirituality, 2(4), 191–205. [Crossref]
📄Karadağ, E. (2011). Instruments used in doctoral dissertations in educational sciences in Turkey: Quality of research and analytical errors. Educational Sciences: Theory & Practice, 11(1), 311-334.
📄Kardaş, M. N., & Kardaş, N. (2023). Türkçe dersi öğretim programında ölçme ve değerlendirme. T. Türkben & E. Aydın (Edt.), Türkçe eğitiminde sınıf içi öğrenmelerin değerlendirilmesi (ss. 25-57). Pegem Akademi.
📄Kayabaşı, B. N., & Karakuş Tayşi, E. (2024). Dinlediğini anlama becerisinde uygulanan başarı testlerinin incelenmesi (2011-2021 yılları). Dumlupınar Üniversitesi Eğitim Bilimleri Enstitüsü Dergisi, 8(1), 1–18.
📄Kilmen, S. (2017). Madde analizi, madde seçimi ve yorumlanması. İçinde RN Demirtaşlı. Eğitimde Ölçme ve Değerlendirme (4. Baskı, ss. 327–348).
📄Kline, P. (2013). Handbook of psychological testing. Routledge. [Crossref]
📄Kline, P. (2015). A handbook of test construction (psychology revivals): introduction to psychometric design. Routledge. [Crossref]
📄Köse, E. (2012). Öğretimde ölçme ve değerlendirmenin planlanması. Ölçme ve değerlendirme, 123-152.
📄Kurt, A., Aydın, M., & Bekereci, Ü. (2023). Achievement test development study for 6th grade sound and characteristics unit: Validity and reliability analysis. E-International Journal of Educational Research, 14(3), 20-33. [Crossref]
📄Ladhari, R. (2010). Developing e-service quality scales: A literature review. Journal of Retailing and Consumer Services, 17, 464–477. [Crossref]
📄Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. [Crossref]
📄Merriam, S. B. (2023). Nitel araştırma desen ve uygulama için bir rehber (3. basımdan çeviri) (Çev. Ed. Selahattin Turan). Nobel.
📄Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Sage.
📄Mutluer, C., & Yandı, A. (2012, Eylül). Türkiye’deki üniversitelerde 2010-2012 yılları arasında yayımlanan tezlerdeki başarı testlerin incelenmesi. Paper presented at the Eğitimde ve Psikolojide Ölçme ve Değerlendirme III. Ulusal Kongresi, Bolu, Turkey. https://www.epodder.org/wp-content/uploads/2020/07/EPOD-2012.pdf
📄Nitko, A. J., & Brookhart, S. M. (2014). Educational assessment of students. Harlow: Pearson.
📄Nunnally, J. C. (1978). Psychometric theory (2nd ed.). McGraw-Hill.
📄Özçelik, D. A. (2013). Test hazırlama kılavuzu (5. baskı). Pegem Akademi.
📄Özkan, S., & Yadigaroğlu, M. (2020). Başarı testi geliştirme: Asit-baz başarı testi geçerlik ve güvenirlik araştırması. Turkish Studiess Education, 15(2), 1141-1163. [Crossref]
📄Perrone, M. (2003). Classroom achievement tests: An essential part of the second language learning and teaching processes. Studies in Applied Linguistics & TESOL, 3(1), 1-3. [Crossref]
📄Saadat, S., Noori, M., Alipour-Anbarani, M., Mousavi, N., Babakhanian, M., Khadem, A. M., … et al.(2021). Students’ challenge in answer-changing on multiple-choice exams: Doubting the answer or not? A systematic review. Med Edu Bull, 2(1), 137-144. [Crossref]
📄Sak, R., Şahin Sak, İ. T., Öneren Şendil, Ç., & Nas, E. (2021). Bir araştırma yöntemi olarak doküman analizi. Kocaeli Üniversitesi Eğitim Dergisi, 4(1), 227-250. [Crossref]
📄Seçer, İ. (2015). Psikolojik test geliştirme ve uyarlama süreci, SPSS ve LISREL uygulamaları. Anı Yayıncılık.
📄Silverman, D. (2018). Nitel verilerin yorumlanması (E. Dinç, çev. ed. ve çev.). Ankara: Anı Yayıncılık. (Orijinal eser 2014’te yayımlandı: Interpreting qualitative data)
📄Suruchi, & Rana, S. S. (2014). Test item analysis and relationship between difficulty level and discrimination index of test items in an achievement test in Biology. Indian Journal of Research, 3(6), 56-58.
📄Şahin, M. G., Yıldırım, Y., & Boztunç-Öztürk, N. (2023). Examining the achievement test development process in educational studies. Participatory Educational Research, 10(1), 251–274. [Crossref]
📄Şata, M. (2023). Investigation of achievement test development competencies of primary mathematics teacher candidates. Inonu University Journal of the Faculty of Education, 24(1), 42-56. [Crossref]
📄Şevgin, H. (2023). Ölçme ve değerlendirmenin temel kavram ve nitelikleri. T. Türkben & E. Aydın (Edt.), Türkçe Eğitiminde Sınıf İçi Öğrenmelerin Değerlendirilmesi (ss. 2-23). Pegem Akademi.
📄Taşkın, Y., & Sallabaş, M. E. (2022). Ortaokul öğrencileri için okuma başarı testinin geliştirilmesi: Geçerlik ve güvenirlik çalışması. Okuma Yazma Eğitimi Araştırmaları, 10(2), 236-252. [Crossref]
📄Tekin, H. (2008). Eğitimde ölçme ve değerlendirme. Yargı Yayınları.
📄Tekindal, S. (2015). Duyuşsal özelliklerin ölçülmesi için araç oluşturma. Pegem Akademi.
📄Turgut, M. F. (1971). Şans başarısının test puanlarına etkisi. Orta Doğu Teknik Üniversitesi.
📄Uluman, M. (2023). A review of achievement test development in Turkey regarding the achievement test development process. Journal of Human and Social Sciences, 6(2), 377-405. [Crossref]
📄Üçüncü, G., & Sakız, G. (2020). Başarı testi geliştirme süreci: İlkokul dördüncü sınıf maddeyi tanıyalım ünitesi örneği. Kastamonu Eğitim Dergisi, 28(1), 83-94. [Crossref]
📄Webb, N. L. (2006). Identifying content for student achievement tests. In S. M. Downing & T. M. Haladyna (Eds.), Handbook of test development (pp. 155-180). Lawrence Erlbaum Associates.
📄Yaghmaie, F. (2003). Content validity and its estimation. Journal of Medical Education, 3(1), 25-27.
📄Yıldırım, A., & Simsek, H. (1999). Sosyal bilimlerde nitel araştırma yöntemleri (11 baski: 1999-2018). https://hdl.handle.net/11511/70532
📄Yurdugül, H. (2005). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi, 1, 771-774.
,
Ozge Karakas Yildirim
2
