Центр тестування на своєму сайті для кожного ліцензійного іспиту оприлюднив «нульовий варіант» екзаменаційних буклетів, що використовувалися у 2017 році.
Надаємо рекомендації щодо використання тестових завдань та їх психометричних характеристик у навчальному процесі.
З метою підвищення прозорості розрахунку результатів ліцензійного іспиту та широкого залучення академічної спільноти до участі у системі зовнішнього оцінювання у формі ліцензійних іспитів «Крок» у березні місяці 2017 року Центром тестування запроваджено на постійній основі додатковий післяекзаменаційний етап експертизи щодо включення/виключення із розрахунку результатів ліцензійного іспиту тестових завдань, які мають недостатні психометричні показники.
Фахове заключення на цьому етапі здійснюють експерти Комітетів фахової експертизи, затверджені наказом МОЗ України від 28.10.2013 № 919.
Методика проведення післяекзаменаційного етапу експертизи була апробована після проведення ліцензійного іспиту «Крок 1. Стоматологія» від 14.03.2017 та застосована до всіх наступних ліцензійних іспитів, які проведені Центром тестування відповідно до Графіку у 2017 році.
Перед початком навчального року на сайті Центру тестування для кожного іспиту оприлюднюється «нульовий варіант» (у кожному тестовому завданні правильна відповідь «А») буклету, що використовувався у цьому році, з обкладинкою, де вказано авторів тестових завдань та фахових експертів, які ці тестові завдання прорецензували.
Для правильного використання тестових завдань буклету у навчальному процесі четвертий розділ «Психометричні характеристики тесту та тестових завдань» Аналітичної довідки до результатів складання іспиту тепер включає такі пункти: психометрія тесту, діаграма психометрії тестових завдань та психометричний аналіз кожного тестового завдання тесту.
Психометричний аналіз кожного тестового завдання тесту представляється у стандартній формі відповідно до рекомендацій Національної ради медичних екзаменаторів Сполучених Штатів Америки (NBME – National Board of Medical Examiners).
Стандартна форма містить кожне тестове завдання разом з його класифікацією по 2–3 осям структури змісту іспиту, індекс складності та індекс дискримінації, а також інформацію, який відсоток студентів обрав ту чи іншу відповідь. Ця інформація подається для 25% сильніших за тестом студентів (позначених як «Hi»), 25% слабкіших за тестом студентів (позначених як «Lo») та для всіх студентів разом (позначених як «All»).
Індекс складності (Р-величина) встановлює, наскільки конкретне тестове завдання є складним для студентів, та відповідає відсотку студентів, які обрали правильну відповідь. Р-величина може коливатися від «0» до «1,0». Якщо індекс складності є великим (р = 0,84 – 1,0), то тестове завдання надто легке; якщо малим – (р = 0,2 – 0,36) – надто складне. Тестові завдання із середньою величиною індексу складності від 0,36 до 0,84 відповідають середньому рівню складності та є найбільш інформативними для оцінювання знань студентів.
Індекс дискримінації (розподільна здатність тестового завдання) встановлює, наскільки конкретне тестове завдання добре розподіляє сильних (група «Hi») та слабих ( група «Lo») студентів. Він розраховується як різниця між Р-величинами для сильних та слабких студентів. Індекс дискримінації може коливатись від «-1» до «+1». Якщо індекс дискримінації позитивний великий, то дане тестове завдання добре розділяє сильних та слабких студентів. Якщо він близький до «0» – то дане тестове завдання не розділяє студентів зовсім. А якщо він негативний, то тестове завдання має бути виключене з тесту, оскільки сильні студенти відповідають на нього гірше за слабких. Бажано, щоб величина індексу дискримінації перевищувала 0,20.
На післяекзаменаційному етапі експертизи фаховим експертам надсилалися тестові завдання з індексом складності меншим 0,2 та від’ємними чи близьким до «0» індексом дискримінації. За рішенням фахових експертів ці тестові завдання включалися або виключалися із розрахунку результатів ліцензійного іспиту як такі, що мають недостатні психометричні характеристики. Можливими причинами того, що тестове завдання має недостатні психометричні характеристики, є: дефект тестового завдання, відсутність відповідних знань у студентів, занадто складне тестове завдання.
У випадку встановленої наявності дефекту у тестовому завданні, воно вилучається Центром тестування не лише з розрахунку результатів іспиту, а й з екзаменаційного банку. У випадку відсутності відповідних знань у студентів або занадто складного тестового завдання, що підтверджується рішенням фахових експертів, ці тестові завдання залишаються у розрахунку результатів іспиту та екзаменаційному банку. Такі тестові завдання мають бути детально розібрані з викладачем на занятті під час вивчення відповідної теми.