СТАТИСТИЧНІ МЕТОДИ ОЦІНКИ ВАЛІДНОСТІ ТА НАДІЙНОСТІ МАСОВИХ НЕЗАЛЕЖНИХ ТЕСТУВАНЬ НА ПРИКЛАДІ АНАЛІЗУ РЕЗУЛЬТАТІВ ЄВІ-2024

Яніна Гончаренко; Наталія Дивляш; Олена Коляденко; Олександр Козленко

Автор(и)

Яніна Гончаренко Dragomanov Ukrainian State University, Ukrainian Center for Educational Quality Assessment, Україна https://orcid.org/0009-0009-2541-7631
Наталія Дивляш Ukrainian Center for Educational Quality Assessment, Україна https://orcid.org/0009-0008-8224-8785
Олена Коляденко Ukrainian Center for Educational Quality Assessment, Україна https://orcid.org/0000-0003-3453-2219
Олександр Козленко Ukrainian Center for Educational Quality Assessment, Україна https://orcid.org/0000-0003-3271-9231

Ключові слова:

надійність тесту, валідність результатів тестування, тест Колмогорова-Смірнова-Ліллієфорса, тест Шапіро-Вілка, α Кронбаха, психометричні характеристики тестового завдання, тест загальної навчальної компетентності

Анотація

Досліджено властивості й обґрунтовано можливість і доцільність застосування різних статистичних методів для оцінки характеристик тестів, які використовують для масових випробувань. Проаналізовано різні підходи до перевірки гіпотези щодо нормальності розподілу результатів тестування та інтерпретації отриманих результатів, сформульовано рекомендації щодо перевірки нормальності результатів єдиного вступного іспиту (ЄВІ) на здобуття другого та третього рівнів вищої освіти в Україні. Обґрунтовано деякі властивості статистичних оцінок показників надійності тесту, встановлено за яких додаткових обмежень показник Кронбаха є незміщеною оцінкою показника надійності. Обґрунтовано й продемонстровано на результатах однієї із сесій ЄВІ метод уточнення меж проміжків, у яких може змінюватися спостережуване значення емпіричної оцінки показника надійності. На прикладі результатів тесту загальної навчальної компетентності як складової ЄВІ продемонстровано практичне застосування аналізу надійності тесту загалом та окремих його блоків і завдань, інтерпретовано отримані результати. Проведено психометричний і змістовний аналіз завдань, для яких за результатами дослідження надійності було виявлено потенційну можливість негативного впливу на надійність тесту.

Ключовi слова: надійність тесту, валідність результатів тестування, тест Колмогорова-Смірнова-Ліллієфорса, тест Шапіро-Вілка, Кронбаха, психометричні характеристики тестового завдання, тест загальної навчальної компетентності.

Посилання

. Pro vyshchu osvitu: Zakon Ukrainy vid 1 lypnia 2014 r. № 1556-VII, URL: http://zakon3.rada.gov.ua/laws/show/1556-18 (data zvernennia: 12.09.2024).

. Metodychni rekomendatsii shchodo rozroblennia standartiv vyshchoi osvity (Nakaz Ministerstva osvity i nauky Ukrainy vid 01.06.2017 r. № 600 (u redaktsii nakazu Ministerstva osvity i nauky Ukrainy vid 30.04.2020 r. № 584) URL: https://mon.gov.ua/static-objects/mon/sites/1/vishcha-osvita/rekomendatsii-1648.pdf (data zvernennia: 12.09.2024).

. Kontseptsiia zovnishnoho nezalezhnoho otsiniuvannia iz zahalnoi navchalnoi pravnychoi kompetentnosti dlia provedennia u 2016 rotsi yak eksperymentu vstupnykh vyprobuvan pid chas vstupu na osnovi stupenia bakalavra na navchannia dlia zdobuttia stupenia mahistra za spetsialnistiu 081 «Pravo». 2016. Visnyk «Testuvannia i monitorynh v osviti». № 4–5. S. 7–20.

. LSAT – vstupnyi test do mahisterskykh prohram pravnychykh shkil (dosvid SShA). 2015. / translated from English by S. A. Rakov, V. M. Tereshchenko, T. S. Vakulenko. Visnyk «Testuvannia i monitorynh v osviti». № 11–12. S. 28–43.

. Prohrama Testu zahalnoi navchalnoi kompetentnosti (Nakaz MON Ukrainy № 158 vid 11 liutoho 2022 roku) URL: https://testportal.gov.ua/yedynyj-vstupnyj-ispyt-2/ (data zvernennia: 12.09.2024).

. Struktura Testu zahalnoi navchalnoi kompetentnosti, URL: https://testportal.gov.ua//wp-content/uploads/2024/03/nakaz-vid-25.03.2024-38.pdf (data zvernennia: 12.09.2024).

. Ofitsiinyi zvit UTsOIaO pro provedennia vstupnykh vyprobuvan do mahistratury y aspirantury u 2024 rotsi: yedynoho vstupnoho ispytu (IeVI) ta yedynoho fakhovoho vstupnoho vyprobuvannia (IeFVV). Vol. 1. URL: https://testportal.gov.ua/wp-content/uploads/2024/12/Zvit_YEVI_YEFVV_2024_1.pdf (data zvernennia: 12.09.2024).

. Ofitsiinyi zvit UTsOIaO pro provedennia vstupnykh vyprobuvan do mahistratury y aspirantury u 2024 rotsi: yedynoho vstupnoho ispytu (IeVI) ta yedynoho fakhovoho vstupnoho vyprobuvannia (IeFVV). Vol. 2. URL: https://testportal.gov.ua/wp-content/uploads/2024/12/ZVIT-EVI_2024-Tom_2.pdf (data zvernennia: 12.09.2024).

. Depersonifikovana baza danykh YeVI/YeFVV URL: https://drive.google.com/drive/folders/ 1LCkuTZIFSVHCslZbj5FEKNAy010Z0GWH (data zvernennia: 12.09.2024).

. Lilliefors H. 1969. On the Kolmogorov-Smirnov Test for the Exponential Distribution with Mean Unknown. Journal of the American Statistical Association, Vol. 64, No. 325. (Mar., 1969), pp. 387–389.

. Razali N. M., Yap Bee Wah. 2011. Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests. Journal of Statistical Modeling and Analytics. Vol. 2, No. 1, P. 21–33.

. Bulakh I. Ye., Mruha M. R. 2006. Stvoriuiemo yakisnyi test : navch. posib. Kyiv : Maister;klas. 160 p.

. Nornadiah Mohd Razali1, Yap Bee Wah. 2011. Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests. Journal of Statistical Modeling and Analytics, Vol. 2, No. 1, P. 21–33.

. Cho E., Kim S. 2015. Cronbach's coefficient alpha: Well known but poorly understood. Organizational Research Methods, 18(2), P. 207–230.