Анализ тестовых заданий

Этот пункт представляет средства Moodle, позволяющие обрабатывать результаты тестирования таким образом, чтобы можно было анализировать и оценивать качество каждого тестового задания (вопроса) с точки зрения его вклада в решаемую тестом задачу педагогического измерения.

Используемые статистические параметры рассчитываются в соответствии с классической теорией тестирования, в частности, модели, которую предложил G.Rasch (ref. 1)

Индекс «легкости» тестового задания (доля правильных ответов)

Этот показатель является отношением среднего значения баллов набранных всеми тестируемыми при выполнении конкретного тестового задания к максимальному количеству баллов за это задание. Он рассчитывается по формуле:

ИЛ(i) = [X_{среднее}(i) / X_макс] где X_макс – максимальное количество баллов, которые можно получить за выполнение i-го тестового задания;
X_{среднее}(i) – среднее значение баллов, полученных всеми испытуемыми, выполнившими i-е тестовое задание.

Этот показатель является мерой того, насколько данное тестовое задание является легким/трудным для лиц, проходящих тестирование. Если результаты выполнения тестовых заданий могут быть дихотомично разделены на две категории – с правильными ответами и неправильными ответами, то этот показатель будет совпадать с долей испытуемых, которые ответили на данный вопрос правильно.

Среднеквадратичное отклонение (СКО)

Этот показатель рассчитывается как статистическое среднеквадратичное отклонение (дисперсия) величины Y_k(i) / X_макс(i), где
Yk(i) – количество баллов, набранных k-м испытуемым по i-му заданию,
а X_макс – максимальное количество баллов, которые можно получить за выполнение i -го тестового задания.

Этот показатель измеряет разброс баллов, полученных испытуемыми при ответе на конкретное задание теста.

Для заданий, оцениваемых единицей и нулем, максимум СКО равный 0,5 будет иметь место, когда ровно половина испытуемых ответили правильно, а половина неправильно, то есть при X _{среднее} / X_макс= 0,5.

Если все пользователи отвечают на вопрос одинаково, то есть Y_k (i) = X _{среднее}(i) для всех k, то разброс ответов, характеризуемый этим параметром, будет равен нулю (СКО=0). Это свидетельствует о том, что такое задание не является тестовым и, следовательно, должно отбраковываться.

Индекс дифференциации (ИД)

Данный параметр является грубым индикатором способности конкретного тестового задания отделить более успешных испытуемых от менее успешных. Этот показатель рассчитывается следующим образом. По общим результатам тестирования по всем заданиям испытуемые делятся на три группы: хорошо подготовленных, средних и слабо подготовленных, включающих каждая по одной трети от общего числа (N) испытуемых. Математическое выражение для индекса дифференциации i-го задания имеет вид:

ИД(i)=3[X_сильн(i)–X_слаб(i)] / N где X_сильн(i)=Sum[Y_kсильн(i) / X_макс] - сумма относительных значений баллов полученных при выполнении i -го задания одной третью испытуемых, которые получили самые высокие баллы за тест в целом (группа хорошо подготовленных),
и X_слаб(i)=Sum[Y_kслаб(i) / X_макс] - аналогичная сумма относительных значений баллов, полученная одной третью испытуемых, имеющих самые низкие баллы за весь тест (группа слабых).

Этот параметр может принимать значения между +1 (все испытуемые из сильной группы ответили правильно, а из слабой - неправильно) и -1 (все испытуемые из сильной группы ответили неправильно, а из слабой, напротив, - правильно). Отрицательной значения индекса свидетельствует о том, что слабые испытуемые отвечают на данный вопрос лучше, чем сильные. Такие тестовые задания должны отбраковываться. Фактически они уменьшают точность всей процедуры тестирования.

Коэффициент Дифференциации (КД)

Это - другая мера способности конкретного задания разделять сильных и слабых испытуемых.

Коэффициент дифференциации – это коэффициент корреляции между множеством значений ответов, полученных испытуемыми при выполнении конкретного задания, с результатами выполнения ими теста в целом. Значение этого показателя рассчитывается по следующей формуле:

КД(i)=Sum(x*y) / (N*s_x*s_y) где Sum (x*y) - сумма произведений (x*y),
x - отклонения от среднего значения множества баллов, полученных испытуемыми при ответе на конкретное задание,
y - отклонения от среднего значения множества баллов, полученных испытуемыми за тест в целом,
N - количество ответов, данных по этому заданию,
s_x - среднеквадратичное отклонение множества баллов, полученных испытуемыми при ответе на данное задание и,
s_y - среднеквадратичное отклонение множества баллов, полученных испытуемыми за тест в целом.

Этот параметр также может принимать значения между +1 и -1. Положительные значения соответствуют заданиям, которые действительно разделяют хорошо и слабо подготовленных учеников, в то время как отрицательное значение коэффициента свидетельствует о том, что плохо подготовленные ученики отмечают на данное задание в среднем лучше, чем хорошо подготовленные. Такие задания с отрицательным значением Коэффициента Дифференциации не являются тестовыми, так как не отвечают требованиям задачи тестирования по оценке уровня подготовленности испытуемых. Таких заданий следует избегать.

Преимущество Коэффициента Дифференциации по сравнению с Индексом Дифференциации состоит в том, что первый использует информацию от всей совокупности учеников, а не только критические верхние и нижние трети этой совокупности. Таким образом, этот параметр может быть более чувствителен для того, чтобы обнаруживать эффективность измерительной способности тестовых заданий.