Kniha/Analýza testů a jejich položek

Sumativní didaktický test lze chápat jako nástroj na měření míry znalostí a dovedností, které si student při výuce osvojil. Výsledky rozhodného testování mohou mít pro účastníky testu zásadní důsledky – např. přijetí či nepřijetí do dalšího studia, certifikaci pro určité povolání či udělení titulu. Pokud by byly testy neadekvátní svému účelu a neměřily kvality, které očekáváme, že budou měřit, mohlo by docházet při rozhodování k podstatným chybám a tím ke snížení efektivity a ohrožení věrohodnosti celého systému. Je proto důležité kvalitu testů i testových úloh měřit a průběžně sledovat.

Část vlastností testů (a úloh) je popsatelná pomocí intuitivně pochopitelných kategorií obtížnosti a citlivosti. Obtížnost můžeme chápat jako pravděpodobnost, s níž testovaný na daný test nebo úlohu neodpoví správně. Citlivostí se myslí míra, s níž test nebo položka rozlišují mezi lépe a hůře připravenými studenty.

Kromě těchto intuitivních metrik používáme pro popis vlastností testu ještě pojmy reliabilita a validita. Reliabilita (spolehlivost) vyjadřuje přesnost a opakovatelnost testu. Pomocí reliability vlastně zjišťujeme, zda přezkoušení studenta jinou verzí téhož testu povede k potvrzení předchozího výsledku. Validita (správnost) říká, zda test nebo položka měří znalost, kterou měřit chceme.

Mimo tyto tradiční metriky se v posledních letech věnuje značná pozornost férovosti (spravedlivosti) testů. Ověřujeme, zda test nějakým způsobem neznevýhodňuje některé skupiny testovaných.

Položková analýza umožňuje vyhodnotit na základě analýzy proběhlého testu vlastnosti jednotlivých úloh (položek testu), zejména jejich obtížnost a citlivost. Součástí položkové analýzy může být i analýza distraktorů, která podrobněji zkoumá kvalitu nabízených možností v uzavřených (výběrových) úlohách. Zabývá se např. tím, jak testovaní volili jednotlivé navržené odpovědi v závislosti na celkovém výkonu testovaného.

Výsledky položkové analýzy poskytují pro každou úlohu řadu psychometrických údajů, které umožňují konstruovat nezávislé testy s obdobnými vlastnostmi.

Součástí analýzy testu by měly být jeho popisné statistiky a grafické zobrazení výsledků, nejčastěji ve formě histogramů. Porovnání grafů z jednotlivých běhů testu nám pomůže posoudit, zda nedošlo například k vynesení některých úloh použitých v testu apod.

Podívejme se nejprve na vlastnosti testu jako celku, především na jeho reliabilitu a jeho validitu.