Kniha (2022)/Hofstee

Absolutní i relativní standardizace mají svá principiální omezení. Upozornil na to před časem například Hofstee, když prof. Wijnen z Maastrichtské univerzity navrhl zajímavou metodu relativní standardizace (Wijnenovu metodu) : Wijnen předpokládal, že průměrný student se pokusí vydat ze sebe to nejlepší a měl by obstát, takže můžeme průměrné testové skóre vzít jako výchozí parametr. Jako hraniční skóre potom můžeme použít arbitrárně zvolenou hodnotu mezi tímto průměrným skóre a jeho hodnotou sníženou o dvě standardní směrodatné odchylky. Výhodou tohoto řešení je, že koriguje vliv nespolehlivosti testu, protože směrodatnou odchylku používá jako měřítko. Prof. Hofstee nebyl s touto metodou spokojen a argumentoval, že tento postup nebere v úvahu absolutní výsledky testu a jako každá relativní standardizace odsuzuje víceméně pevné procento studentů předem k neúspěchu bez ohledu na jejich výkon.

Hofsteehoo metoda

Hofstee proto navrhl smíšenou standardizaci nabízející kompromis mezi absolutní a relativní standardizací. Hraniční skóre pro úspěch v testu se v této metodě nastaví pomocí expertních odhadů.

Předpokládá se, že každý z expertů je detailně seznámen s

• testem
• povahou testované skupiny
• očekávanou úrovní znalostí kandidátů

Experti musí odpovědět na dvě otázky:

• V jakém rozmezí by se měl pohybovat počet studentů, kteří u daného testu propadnou (např.: Tímto testem by nemělo projít 10–30 % studentů z dané skupiny)
• V jakém rozmezí by se mělo pohybovat minimální skóre pro úspěšné absolvování předloženého testu (např.: Minimum pro úspěšné složení tohoto testu by mělo být někde mezi 50 a 60 %)

Analogicky k absolutní standardizaci jsou tedy experti tázáni na hranici úspěšnosti a současně jsou, podobně jako při relativní standardizaci, tázáni na žádoucí procento úspěšných. Po diskuzi nad navrženými hodnotami, kde experti mohou své návrhy ještě upravit, získáme 4 hodnoty:

• minimální a maximální přípustný podíl neúspěšných f_min a f_max,
• minimální a maximální přípustná hranice úspěšnosti k_min a k_max).

Všechny čtyři hodnoty se stanoví jako mediány návrhů jednotlivých expertů.

Obr. 5.5.1 Hofsteeho metoda určení hraničního skóre pro průchod testem

Hranice úspěšnosti se stanoví po obodování testu takto: Na základě provedeného testu se sestrojí distribuční křivka skóre v testu. Na vodorovné ose se vynese k_min a k_max, na svislé ose se vynese f_min a f_max. Sestrojí se přímka spojující průsečík f_max s k_min a průsečík f_min s k_max. Průsečík této přímky s distribuční křivkou se použije jako hranice úspěšnosti v testu.

Hofsteeho metoda bývá řazena mezi kompromisní metody, které se snaží vyřešit rozdíly mezi absolutní standardizací (posuzující procento správně zodpovězených položek) a relativní standardizaci (posuzující procento zkoušených, kteří v testu uspěli).

Hofsteeho metodě je v mnoha aspektech podobná metoda Beukova. Obě vyžadují, aby hodnotitelé stanovili hraniční skóre přímo, bez zkoumání jednotlivých položek, a zahrnují odhady soudců o výkonu celé zkoumané skupiny. Obě metody potřebují znát skutečné rozložení testového skóre, takže nemohou být provedeny, dokud není test dokončen a obodován. U obou lze potřebná doporučení expertů shromáždit ještě před podáním zkoušky. Beukova metoda dokáže na rozdíl od Hofsteeho metody navrhnout hraniční skóre i v případě, že odhady expertů jsou vyšší nebo nižší než body na distribuční křivce dosažených skóre.