Kniha/Metoda Cohenové

Velmi elegantní kompromisní metodou pro stanovení hraničního skóre, kombinující kriteriální a relativní posuzování, je metoda podle Cohenové. Vychází z předpokladu, že ve skupině testovaných je vždy několik poměrně dobrých studentů, kteří mají napříč skupinami v podstatě porovnatelný výkon. Nejsou to ti úplně nejlepší, jejichž variabilita může být značná, ale "druzí nejlepší" - výteční studenti, jejichž výsledky v testu jsou na 95. percentilu dané skupiny. Ukazuje se, že skóre těchto výtečných studentů je velmi dobrým a stabilním měřítkem obtížnosti testu. Prvním krokem metody podle Cohenové tedy je určení obtížnosti testu víceméně metodami relativní standardizace - seřazením studentů podle výsledků a určením, kolik bodů odpovídá 95. percentilu (tj. nad jakým bodovým ziskem se umístilo 5 % nejlepších studentů).

Ve druhém kroku určíme hraniční skóre, kterého je třeba dosáhnout pro průchod testem. Cohenová a Van der Vleuten devět let sledovali úspěšnost studentů v různých testech a navrhli, aby tímto hraničním skóre bylo 60 % počtu bodů, kterého dosáhli studenti na 95. percentilu. Do výpočtu se pak přidá ještě korekce na tipování, takže jeho finální podoba je:

PM = 0,6 · (P – C) + C

PM hraniční skóre (passing mark)

P skóre dosažené na 95. percentilu (tj. nad kolik bodů se dostalo 5 % nejlepších studentů)

C skóre, kterého lze dosáhnout tipováním

Příklad Test obsahoval 30 úloh typu „jediná nejlepší odpověď“. Za každou otázku bylo možné získat 0 nebo 1 bod, celkově tedy bylo možné získat 0 až 30 bodů. V každé otázce se nabízelo 5 možností. Tipováním tedy bylo možné získat pětinu bodů, tj. 30 : 5 = 6 bodů. Test psalo 80 studentů. 5 % nejlepších z nich, tj. nejlepší čtyři studenti, dosáhli 27, 26, 26 a 24 bodů. Skóre dosažené na 95. percentilu je tedy 24 bodů. Metodou podle Cohenové navrhneme hraniční skóre PM

PM = 0,6 · (24 – 6) + 6 = 16,8 .

Student, který získal 16 bodů, ještě neprojde. Student, který získal 17 a více bodů, napsal test úspěšně.

Obr. 5.5.2 Nalezení hraničního skóre podle zjednodušené metody Cohenové (tj. bez korekce na tipování).
Na histogramu zachycujícím distribuci skóre v testu jsou první čárkovanou čarou (vpravo) vyznačeny hodnoty skóre výtečných studentů, kteří se umístili na 95 percentilu. Prostřední čárkovaná linie ukazuje mezní hodnotu pro průchod testem, která je na 60% výkonu výtečných studentů. Poslední čárkovaná line (vlevo) ukazuje hodnotu skóre, které lze dosáhnout prostým tipováním.

Metoda Cohenové se ověřovala na velkém souboru testů a ukázalo se, že má velmi dobré výsledky a vynikající shodu zejména s Angoffovou metodou. Překonává nevýhody široce používaných kriteriálních i relativních metod stanovení hraničního skóre. Její předností je jednoduchost, rychlost i nízké náklady. Nevýhodou může být, že bodovou hranici pro průchod testem nelze oznámit předem, ale až po napsání testu a jeho obodování. To může vyvolávat pochybnosti jak mezi studenty, tak především mezi lidmi odpovědnými za výuku, přestože je předem jasně a jednoznačně oznámený algoritmus, kterým se hraniční skóre stanoví.