Kniha (2022)/Testový cyklus

Jako celá výuka je i testování cyklický proces. Při přípravě, provedení a vyhodnocení každého testu vytváříme (možná mimoděk) nejjednodušší základ testového cyklu.

Obr. 7.1 Schéma nejjednoduššího intuitivního testového cyklu.

Jakmile začneme testy připravovat opakovaně a systematicky, začneme svoji zkušenost z předchozích běhů promítat do tvorby nových položek a testů a touto zpětnou vazbou vzniká první ucelený testový cyklus, na jehož konci jsme připraveni (lépe) pracovat na novém kole testu.

U testů velkého významu, které musí splňovat standardy validity a reliability, je třeba realizovat řadu kroků, které v intuitivní přípravě testu nejsou explicitně zdůrazněny. Typicky může testový cyklus u testu velkého významu vypadat následovně:

Obr. 7.2 Schéma testového cyklu u testů velkého významu. volně podle

Osnova této knihy prakticky sleduje právě tento "velký" testový cyklus. Pro většinu kroků existuje příslušná kapitola. Proto budeme v komentování jednotlivých kroků poměrně struční, neboť cílem je jen připomenout, o čem se v příslušné kapitole mluví.

Definování cílů výuky

Práce na testu by se měla odvíjet od ujasnění cílů. Definováním cílů výuky učitel vymezí rozsah učiva, které by měl student po absolvování kurzu umět. Učitel specifikuje klíčové kompetence, které je třeba otestovat.

Plán testu

Návrh testu je dalším klíčovým bodem celého procesu. Je třeba stanovit, kolik úloh bude test obsahovat z každého tematického okruhu a jaké typy položek se použijí. Zvlášť významná tato fáze je, pokud se test připravuje ve více variantách, které mají být vzájemně srovnatelné. Cíle výuky se promítnou do výběru úloh a poměru zastoupení jednotlivých témat v připravovaném testu. Podle anglického pojmenování dříve užívaných modrých kopií stavebních plánů se tomuto plánování testu říká blueprinting, v češtině se nejčastěji používá termín specifikační tabulka.

Recenze plánu

Při přípravě důležitých hodnocení je třeba minimalizovat vliv individuálních preferencí jednotlivých pedagogů. Proto je plán testu potřeba nechat oponovat dalšími učiteli, aby se zastoupení témat a využití testových formátů zakládalo na konsenzu více vyučujících.

Tvorba položek

Možná nejnáročnější etapou testové přípravy je tvorba položek. Ve shodě s tématy určenými specifikační tabulkou a ve formátu, který jim specifikační tabulka předepisuje, navrhnou učitelé nové položky.

Recenze položek

Položky nesou zpravidla "rukopis" autora. Proto je předložíme učitelům, kteří rovněž znají cílovou skupinu a probíranou látku. Při oponentuře otázek jsou položky předloženy k posouzení skupině odborníků (např. metodika přípravy testů programu Rogō doporučuje nejméně 5–9 osob, což je ovšem v našich podmínkách většinou nereálné), kteří podle připraveného formuláře procházejí testové úlohy a ověřují jednotlivé aspekty, které musí nová položka splňovat, a případně navrhnou nezbytné úpravy. Jednotlivé recenze potom musí projít zkušený autor položek, posoudit relevanci připomínek a upravit položky, pokud je třeba. Při supervizi recenzí může supervizor přidělovat recenzentům kredit za kvalitní recenze. Tím se recenzentům dostává zpětná vazba a současně vzniká informace o jejich výkonnosti a užitečnosti.

Sestavení testu

Autor testu vybírá z vytvořených položek tak, aby naplnil záměr blueprintu a současně dodržel ostatní (často nevyřčené) požadavky. Například aby udržel přiměřenou obtížnost testu, jeho časovou náročnost, aby počet výpočetních úloh nebyl vyšší než v jiných variantách a podobně.

Pilotování a recenze testu

Má-li být test kvalitní, musí součástí jeho přípravy být i pilotní běh testu a recenze testu. Pro prověření chování položek i celého testu je vhodné test „pilotně“ vyzkoušet. Analýza výsledků pilotního testu může ukázat na (ne)schopnost položek rozlišovat studenty podle zvládnutí látky, ozřejmí jejich objektivní obtížnost atd. Pilotní testování je časově i organizačně náročné, proto se často jako pilotní testování používá až samotný první běh testu. Kromě pilotování necháme prověřit kvality testu ještě skupinou odborníků, kteří identifikují a odstraní poslední chyby, nejednoznačné či problematické formulace. I když se zdá, že díky všem předchozím kontrolám už v testu žádné problémy být nemohou, vždycky se tam najdou!

Nastavení mezí

Důležitým krokem je nastavení mezí pro průchod testem. Pokud je test vztažen ke kritériím, které musí účastník splnit aby prošel, nazývá se tento krok absolutní standardizace a jeho čas je právě v tomto místě testového cyklu. Nastavení kritérií pro průchod testem předem dává účastníkům testu jistotu, že mez nebude nastavena účelově, aby některý konkrétní účastník ještě prošel. Pro učitele je objektivní nastavení meze prostředkem zajišťujícím, že testem projdou pouze dostatečně kompetentní studenti. Možností jak najít "meze" je víc, připomeňme např. zlaté standardy - Angoffovu a Ebelovou metodu.

Realizace testu

Jak jsme už uvedli, může mít písemný test podobu papírovou, nebo počítačovou. V obou případech je třeba zajistit vytvoření "testových verzí", distribuci testů studentům a sběr jejich odpovědí. U testování, jehož výsledky mají významný dopad, musíme navíc zajistit rovné podmínky pro účastníky, například dozor během testu a další.

Zpracování odpovědí

Tento krok v testovém cyklu se týká především případu papírového testování, kdy sebrané odpovědní formuláře musí projít optickým čtením zaškrtnutých odpovědí.

Předběžná analýza testu

U testů velkého významu je žádoucí ještě před vyhodnocením výsledků test předběžně analyzovat. Z podezřelého chování položek můžeme poznat hrubé chyby typu špatně zapsaného klíče položky nebo chyby ve znění. Pro takové položky se ještě před vyhodnocením testu upraví klíč, aby položka fungovala, nebo se položka ze sčítání výsledků vyřadí (všichni účastníci za ni obdrží bod). Předejde se tím situaci, kdy by si po vyhlášení výsledků někdo stěžoval na chybnou úlohu a muselo by se dodatečně přepočítávat např. pořadí přijatých.

Klasifikace studentů

Oznámkování studentů je nejvýznamnějším výstupem testu. Při klasifikaci je možné porovnat počty bodů (celkové skóre) dosažené jednotlivými studenty a zjistit tak jejich relativní umístění. Pomocí expertního odhadu (např. Ebelovou nebo Angoffovou metodou) stanovíme hranici pro rozhodnutí „prošel“ nebo „neprošel“ (tzv. absolutní standardizace) a rozdělením intervalu úspěšnosti na potřebný počet dílů můžeme stanovit klasifikaci studentů v podobě klasifikačních stupňů – známek. K zajištění rovných podmínek účastníků přispívá anonymizace testů před úplným vyhodnocením (oznámkováním) testů.

Nastavení relativních mezí

Pokud je test zaměřen na porovnávání výkonu mezi studenty, pak nastavení mezí pro průchod tímto testem nejde udělat dříve než v tomto okamžiku, kdy jsou známy výsledky a jsou vyřešeny případné problémy odhalené rychlou analýzou. Účastníci testu jsou seřazeni podle dosaženého skóre v testu a dělící linie je nastavena buď podle některé metody relativní standardizace, nebo arbitrárně v případě, že cílem testu bylo vybrat vhodné adepty na omezený počet míst.

Ohodnocení studentů

Výsledky studentů jsou v tomto kroku převedeny na klasifikační hodnocení a poskytnuty studentům.

Analýza výsledků testu

Po testovém kole jsou k dispozici data, pomocí kterých je možné podrobněji zkoumat, jak se test ve skutečnosti choval. Zatímco v rychlé analýze šlo jen o identifikaci a eliminaci případných problémů, v testové analýze zkoumáme charakteristiky položek a testu. Díky tomu pak můžeme poskytnout zpětnou vazbu autorům a recenzentům, nakolik se při své práci "trefili do černého". Test je měřící nástroj a jako každý nástroj má své vlastnosti, které je důležité znát. Optimální je mít možnost odhadnout kvalitu testu ještě před jeho ostrým nasazením, tj. již v rámci pilotního testování. Vlastnosti testu je poté potřeba ověřit na cílové skupině při ostrém nasazení. Při opakovaném použití testu je užitečné porovnávat výsledky v jednotlivých bězích testu.

Zhodnocení a reportování

Výsledky analýzy testu jsou reportovány jako zpětná vazba, jak autorům a recenzentům, tak i příslušným zodpovědným osobám v hierarchii instituce. Vzhledem k tomu, že reportování je u testů s významným dopadem běžnou agendou, obsahuje řada programů pro testovou analýzu i nástroje, které report nebo jeho části připraví. (Iteman, Xcalibre, Remark Office, ...).