9.1.4. Коефициент Κ
За разлика от нормативно ориентираните тестове при критериално ориентираните се интересуваме дали може да се повторят решенията относно тестуваните за принадлежност към една от двете групи, например издържал-неиздържал теста, а не толкова да се възпроизведе самото подреждане на положилите теста по техния тестов бал. Може да се използва методиката (Ebel & Frisbie, 1991: 96), за да се определи критерият за надеждност К за нашия тест. Също така е важно да се определи процентът на постоянство PA, който показва при какъв процент от обучаемите е имало постоянство при оценяването с двете еквивалентни форми на теста. Процентът на постоянство, който се дължи на случайност, PC определя при какъв процент би могло да се очаква постоянство в оценяването, което да се дължи на случайност. Трябва да имаме предвид, че K зависи от зададения стандарт за успешност.
9.1.5 Коефициент на Ливингстън за надеждност на критериално ориентирани тестове
Надеждността може да се определи и по формулата за критериално ориентирани тестове на Ливингстън (Swezey et al., 1979: 65). Колкото по-голяма е разликата между праговата стойност и средния бал, толкова по-висока е надеждността на теста според Ливингстън.
При критериално ориентираните тестове коефициентите на надеждност оценяват отклоненията спрямо критерия за успешност, докато при нормативно ориентираните оценяват отклоненията спрямо средноаритметичната стойност на тестовия бал (вж. Information for Designers of Instructional Systems: Test and Measurement Handbook, 2002, с. 183).
Можем да използваме формулата на Спиърмън-Браун, за да повишим допълнително надеждността на теста, като добавим още няколко въпроса със сходни технически параметри, когато това е оправдано, отчитайки и други съображения.
9.2. Валидност
Валидността е най-важното съображение, когато оценяваме един тест, защото тя определя „колко уместни, смислени и полезни са конкретните изводи, които се правят на базата на този тест“ (вж. American Psychological Association & National Council on Measurement and Education, 1985, с. 9). В литературата се разглеждат три категории на валидността – съдържателна, критериална и конструктна. Един от аспектите й е доверителната валидност (face validity), която отразява дали тестуваните лица смятат, че тестът измерва това, което е замислено.
9.2.1. Съдържателна валидност
Един тест притежава съдържателна валидност, „когато група от признати експерти в съответната предметна област или по съответното учебно съдържание удостовери, че тестът измерва това, което се очаква от него“ (Shrock & Coscarelli, 2007: 197). След като се спрем на такива специалисти, трябва да ги запознаем с целите на нашето критериално ориентирано тестово изпитване и да им предоставим списък с въпросите, така че те да се произнесат с „да“ или „не“ за всеки от тях.
При нормативните тестове съдържателната валидност се определя като се вземат оценките на независимите експерти и се изчисляват коефициентите на корелация между тях – бисериални или точково-бисериални според скалата (Бижков, Краевски, 2007: 504).
9.2.2. Критериална валидност
Критериалната валидност показва доколко един тест съответства на предварително определен външен критерий. Особено полезна е методиката в: Shrock & Coscarelli, 2007: 202–207, където се дефинира конкурентната валидност като „способността на един тест правилно да класифицира обучените и необучените“. Пак там се твърди, че когато резултатите от теста са от решаващо значение за участниците в него и/или техните организации, коефициентът на конкурентна валидност трябва да бъде поне 0.95, а при важни цели – 0.75, като тестове с ϕ < 0.50 не трябва да се разглеждат като валидни за никакви цели.
След завършване на апостериорния анализ, а дори може и едновременно с него, извършваме Преработване на тестовите задачи (аналогично на Стъпка 7) и Попълване на банката с тестови задачи. Ако специализираният софтуер, който поддържа банка от тестови задачи, е недостъпен за нас, може сами да поддържаме база данни. Всяка задача се придружава от съответните реквизити (необходими параметри), напр. информация от тестовата спецификация и от апостериорния анализ.