Настоящата работа има за цел да продължи обиколката по тестовия кръговрат – понятие, което въведохме като метафора на процеса на изготвяне на педагогически тестове (вж. Шотлеков, 2011), в нашия пример – онлайн тест по информационни технологии. Надяваме се да бъдем от полза с тази отправна точка за докторанти и неизкушени досега от темата преподаватели, които желаят сами да започнат да разработват критериални тестове в търсене на по-високо качество на обучението, което предлагат. Независимо от изобилието на наличните инструментални средства необходимо е да разбираме същността на съответните показатели и процеси, което ще ни помогне в рефлексията и в постигането на по-добри резултати. Анализът на данните може да се направи доста ефективно със софтуер за обработка на данни като безплатните jMetrik, PSPP, R или комерсиалните SPSS, STATA, SAS и др. Такова упражнение би могло да се използва и за проектно ориентирано обучение при активни методи на преподаване, което предвижда изследователска работа от страна на обучаемите.В настоящата публикация се разглежда изминаването на пътя от пилотния до окончателния вариант на дидактически тест по дисциплината „Информационни технологии”, следвайки класическата теория на тестовете. Посочват се и безплатни софтуерни продукти за анализ на данни като jMetrik, PSPP, R и др. Статията е в отговор на все по-широкото навлизане на тестовото изпитване в педагогическата практика. Дават се примери от реална разработка при педагогически експеримент в курс „Английски език за Информационни технологии” за първокурсници във Факултета по математика и информатика на Пловдивския университет „Паисий Хилендарски“.
Стъпка 6.((Повече за пилотния вариант и стъпки 1–5 вж. в: Шотлеков, И. (2011). Съставяне на пилотен онлайн тест по информационни технологии. i-Продължаващо образование, 25.)) Априорен анализ на базата на пилотния тест
Преди да администрираме окончателния вариант на теста, се заемаме с анализ на представянето на пилотния тест, така че да надградим на негова база и да създадем крайния за текущия академичен семестър или текущата учебна година тест. Някои от съществуващите тестови задачи ще отпаднат, а други ще бъдат редактирани в различна степен, според показателите, които използваме в помощ на това свое решение.
6.1. Индекс на трудността P
Според определените в Стъпка 1 (Шотлеков, 2011) цели на тестовото изпитване, както и по други дидактически съображения, за да решим дали дадена задача удовлетворява този критерий, трябва да сме взели решение за минималната и максималната стойност на P. Според вида на теста една и съща стойност, например P=0.87, има различни интерпретации. В един нормативен тест такава задача е твърде лесна и не носи много информация за обучаемите, които са го положили. В един критериален тест обаче това може да се изтълкува като голям успех, защото 87% от обучаемите са усвоили заложения материал.
6.2. Дискриминативна сила
6.2.1. Индекс на дискриминация D
Този индекс показва възможностите на една тестова задача за разграничаване на онези 27% (някои методики допускат и различна стойност, например 30%), които са я решили вярно и са постигнали висок общ резултат от теста (силната група в класа), от онези 27%, които също са я решили вярно, но имат нисък общ резултат от теста (слабата група в класа). При D=0, тъй като D=Pсилна–Pслаба, силната и слабата група са се представили с равен резултат по отношение на тази задача и тя не може да играе дискриминираща роля. При D<0 е нарушен замисълът на разграничаване в полза на слабата група, оттук – възможно компрометиране на валидността на теста, така че такава тестова задача трябва да бъде извадена от банката или да бъде сериозно преработена.
6.2.2. Коефициент на точково-бисериална корелация Rpbis
Величината на този показател определя корелацията между една вярно или невярно решена задача и тестовия бал на обучаемите за конкретния тест. Докато при D най-често се взимат данните за 54% от тестуваните, при Rpbis се отчитат всички. Формулата за изчисляване на точково-бисериалната корелация е дадена например в: Brown, 1996: 176–177.
Най-ниската приемлива стойност на Rpbis зависи от големината на извадката. При критериално ориентираните тестове минималната гранична стойност може да бъде дори 0.10 при малък брой тестувани лица. Максималната гранична стойност е 1. За нашия онлайн тест по информационни технологии приехме интервала 0.20≤Pbis≤1. Както при D минималната гранична стойност, стойност 0 и особено отрицателна стойност са ясен знак за нужда от сериозно преработване или отхвърляне на съответната тестова задача.