Kniha (2022)/Angoffova metoda

Angoffova metoda, resp. její modifikace podle Hambletona a Plakeové , je založena na konceptu minimálně kompetentního kandidáta. Tím se myslí takový modelový kandidát, jehož znalosti a dovednosti jsou právě na spodní hraně přípustného minima. Jinými slovy, je to nejslabší student, který by ještě měl testem projít.

Položky testu posuzuje skupina 4–20 odborníků, kteří mají představu jak o tématu, tak o skutečných kompetencích studentů, tedy nejčastěji učitelů daného oboru. V rámci přípravného setkání by měla být skupina proškolena v metodice a seznámena s požadovanými výkonnostními standardy odpovídajícími kurikulu, aby se sjednotila představa o požadovaných kompetencích. V dalším kroku projdou panelisté samostatně jednu položku testu po druhé a do připravených formulářů si poznamenávají svůj odhad, s jakou pravděpodobností by ji měl onen minimálně kompetentní kandidát zodpovědět správně. Doporučuje se, aby několik prvních položek bylo z tréninkových důvodů posouzeno společně. Výsledky odborníků jsou pak zapsány do společné tabulky. Pokud se odhady pro některou položku liší více, než je předem dohodnutá maximální přípustná odchylka mezi odhady (obvykle 15 %), diskutuje se taková úloha v celé skupině a hledá se konsenzus, tj. shoda v hodnocení. Položky, u nichž nelze konsenzu dosáhnout, se z testu vyřazují, protože rozdílné názory odborníků obvykle indikují problém v položce samotné.

Požadované procentní skóre pro průchod testem se pak stanoví jako průměr pravděpodobností úspěšného řešení všech položek použitých v testu. Výhodou tohoto postupu je jeho objektivita a nezávislost na osobních preferencích. Nevýhodou je časová a odborná náročnost postupu.

Pro nastavení správné meze pro průchod testem je v Angoffově metodě zásadní, že experti musí dobře znát cílovou skupinu a musí být schopni odhadnout, jak budou pro tuto skupinu obtížné konkrétní položky. Navzdory tomu, že se Angoffova metoda v praxi jeví jako funkční, někteří autoři diskutují, zda je představa minimálně kompetentního studenta dostatečnou kotvou pro nastavení standardu. Dle některých názorů by při určování požadovaných standardů výkonu mohlo být vhodnější brát v potaz, čeho je důležité dosáhnout (místo toho, jak obtížné je toho dosáhnout) a čeho by měli dosáhnout všichni kandidáti (nikoli jen čeho by dosáhla skupina úspěšných kandidátů). Existuje tedy podezření, že experti budou mít před očima spíše průměrného kandidáta a budou přemýšlet, jak by prošel, než aby hledali minimálně přípustnou míru kompetence ve vztahu k požadovaným cílům učení.

Jednou z hlavníkch výhod této metody je, umožňuje posoudit položky v položkové v bance nezávisle na sobě, a je-li položek v bance dostatek, lze vygenerovat více testů se stejnou obtížností (cut skóre).

Použití Angoffovy metody

Položky posuzuje skupina expertů a každý z nich u každé položky odhaduje, jaké procento minimálně kompetentních studentů by na danou otázku odpovědělo správně. Experti pracují samostatně, aby se vzájemně neovlivňovali. Výsledky se zapíší do tabulky, v níž řádky představují položky z testu a ve sloupcích jsou odhady jednotlivých expertů.

Tab. 5.4.1 Tabulka expertních odhadů pravděpodobnosti správného zodpovězení otázky minimálně kompetentním studentem

Položka číslo	Odborník 1	Odborník 2	Odborník 3	Odborník 4	Odborník 5	Odborník 6	Odborník 7	Průměr
1	0,70	0,70	0,65	0,65	0,80	0,60	0,70	0,69
2	0,50	0,50	0,60	0,60	0,55	0,50	0,60	0,55
3	0,80	0,75	0,70	0,70	0,70	0,80	0,70	0,74
4	0,70	0,60	0,70	0,70	0,75	0,60	0,60	0,66
...	...	...	...	...	...	...	...	...
Průměr								0,66, tj. 66 %

Poznámka: Pokud by byly v testu otázky typu ANO/NE, byl by samozřejmě nejnižší možný odhad úspěšnosti 0,5, neboť i student, který odpověď nezná, má 50% šanci odpovědět správně. Analogicky u výběrové otázky s pěti možnostmi a jedinou správnou odpovědí bude minimum 0,2.

Po vyplnění tabulky se obvykle posuzuje, zda se experti ve svých odhadech shodli. Položky, v nichž je rozptyl odhadů větší než předem dohodnuté procento (typicky 15 %), je třeba prodiskutovat; často se odhalí nejednoznačná formulace či jiný problém.

Na závěr se vypočte průměr všech odhadů v tabulce. Tento průměr říká, kolik procent z celkového možného počtu bodů by měl dosáhnout minimálně kompetentní student. Jinými slovy tento průměr udává mez úspěšnosti pro daný test – tedy hranici mezi „prošel“ a „neprošel“. Mez úspěšnosti rozdělí soubor testovaných na úspěšné a neúspěšné.

Obr. 5.4.1 Mez úspěšnosti stanovená pomocí Angoffovy metody rozdělí soubor testovaných na úspěšné a neúspěšné. Tuto metodu podporují i některé testovací programy, například Rogō (o němž bude pojednáno v samostatné kapitole), z nějž můžete obdržet právě tento graf.

Podpora Angoffovy metody je zahrnuta nejen v testovacím programu Rogō, ale volně (za registraci) ji včetně návodu na YouTube nabízí i společnost Assessment Systems, výrobce programů pro testování a analýzu testů.,

Podmínky použití Angoffovy metody

Pro úspěšné použití Angoffovy metody je nutné, aby zúčastnění experti měli dostatek zkušeností v dané oblasti a poměrně přesně se shodli v představě, co studenti v daném kurzu musí zvládnout. Experti si tedy musí umět představit, co minimálně kompetentní student umí, resp. by měl umět.