В настоящата публикация се разглежда изминаването на пътя от пилотния до окончателния вариант на дидактически тест по дисциплината „Информационни технологии”, следвайки класическата теория на тестовете. Посочват се и безплатни софтуерни продукти за анализ на данни като jMetrik, PSPP, R и др. Статията е в отговор на все по-широкото навлизане на тестовото изпитване в педагогическата практика. Дават се примери от реална разработка при педагогически експеримент в курс „Английски език за Информационни технологии” за първокурсници във Факултета по математика и информатика на Пловдивския университет „Паисий Хилендарски“.
[dropcap]Н[/dropcap]астоящата работа има за цел да продължи обиколката по тестовия кръговрат – понятие, което въведохме като метафора на процеса на изготвяне на педагогически тестове (вж. Шотлеков, 2011), в нашия пример – онлайн тест по информационни технологии. Надяваме се да бъдем от полза с тази отправна точка за докторанти и неизкушени досега от темата преподаватели, които желаят сами да започнат да разработват критериални тестове в търсене на по-високо качество на обучението, което предлагат. Независимо от изобилието на наличните инструментални средства необходимо е да разбираме същността на съответните показатели и процеси, което ще ни помогне в рефлексията и в постигането на по-добри резултати. Анализът на данните може да се направи доста ефективно със софтуер за обработка на данни като безплатните jMetrik, PSPP, R или комерсиалните SPSS, STATA, SAS и др. Такова упражнение би могло да се използва и за проектно ориентирано обучение при активни методи на преподаване, което предвижда изследователска работа от страна на обучаемите.
Стъпка 6.((Повече за пилотния вариант и стъпки 1–5 вж. в: Шотлеков, И. (2011). Съставяне на пилотен онлайн тест по информационни технологии. i-Продължаващо образование, 25.)) Априорен анализ на базата на пилотния тест
Преди да администрираме окончателния вариант на теста, се заемаме с анализ на представянето на пилотния тест, така че да надградим на негова база и да създадем крайния за текущия академичен семестър или текущата учебна година тест. Някои от съществуващите тестови задачи ще отпаднат, а други ще бъдат редактирани в различна степен, според показателите, които използваме в помощ на това свое решение.
6.1. Индекс на трудността P
Според определените в Стъпка 1 (Шотлеков, 2011) цели на тестовото изпитване, както и по други дидактически съображения, за да решим дали дадена задача удовлетворява този критерий, трябва да сме взели решение за минималната и максималната стойност на P. Според вида на теста една и съща стойност, например P=0.87, има различни интерпретации. В един нормативен тест такава задача е твърде лесна и не носи много информация за обучаемите, които са го положили. В един критериален тест обаче това може да се изтълкува като голям успех, защото 87% от обучаемите са усвоили заложения материал.
6.2. Дискриминативна сила
6.2.1. Индекс на дискриминация D
Този индекс показва възможностите на една тестова задача за разграничаване на онези 27% (някои методики допускат и различна стойност, например 30%), които са я решили вярно и са постигнали висок общ резултат от теста (силната група в класа), от онези 27%, които също са я решили вярно, но имат нисък общ резултат от теста (слабата група в класа). При D=0, тъй като D=Pсилна–Pслаба, силната и слабата група са се представили с равен резултат по отношение на тази задача и тя не може да играе дискриминираща роля. При D<0 е нарушен замисълът на разграничаване в полза на слабата група, оттук – възможно компрометиране на валидността на теста, така че такава тестова задача трябва да бъде извадена от банката или да бъде сериозно преработена.
6.2.2. Коефициент на точково-бисериална корелация Rpbis
Величината на този показател определя корелацията между една вярно или невярно решена задача и тестовия бал на обучаемите за конкретния тест. Докато при D най-често се взимат данните за 54% от тестуваните, при Rpbis се отчитат всички. Формулата за изчисляване на точково-бисериалната корелация е дадена например в: Brown, 1996: 176–177.
Най-ниската приемлива стойност на Rpbis зависи от големината на извадката. При критериално ориентираните тестове минималната гранична стойност може да бъде дори 0.10 при малък брой тестувани лица. Максималната гранична стойност е 1. За нашия онлайн тест по информационни технологии приехме интервала 0.20≤Pbis≤1. Както при D минималната гранична стойност, стойност 0 и особено отрицателна стойност са ясен знак за нужда от сериозно преработване или отхвърляне на съответната тестова задача.