Kniha (2022)/Férovost testů a položek

Férovostí (spravedlivostí, objektivností) testu myslíme jeho schopnost měřit studovaný rys nebo konstrukt se stejnou validitou ve všech podskupinách testované populace. Férovostí jsme se zabývali při recenzi testových úloh a zmiňovali jsme, že patří mezi důkazy validity. Ale protože se nám pro její ex-post analýzu (z dat proběhlého testu) budou hodit nástroje teorie odpovědi na položku, vracíme se zde k tomuto tématu znovu.

Položku označujme jako "diferencující" (differential item functioning - DIF), když lidé se stejnou latentní schopností, ale z různých podskupin, mají různou pravděpodobnost správné odpovědi. Samotný rozdíl v průměrném výkonu mezi skupinami ještě nemusí být nutně neférový. Neférovost nastává pouze tehdy, pokud rozdíl v měřeném výkonu neodpovídá skutečnému rozdílu latentní vlastnosti, kterou má test měřit.

Představme si například, že zkoumáme spravedlnost testu porozumění čtenému textu. Přitom zjistíme, že studenti se zrakovým postižením dosahují horších výsledků. Znamená to, že test je vůči těmto studentům nespravedlivý? To zatím nevíme. Je možné, že studenti s zrakovým postižením mají skutečně nižší čtenářské dovednosti než ostatní studenti.

Předpokládejme nyní, že test vytiskneme znovu s výrazně větší velikostí písma a zjistíme, že průměrný výsledek postižených studentů stoupne na úroveň studentů bez postižení. To naznačuje, že test čtení v původní verzi s malým písmem byl pro postižené žáky nespravedlivý (neobjektivní). Výsledek také naznačuje, že test je spravedlivý, pokud je prezentován ve verzi s velkým písmem. Malá velikost písma vnášela do konstrukce testu systematickou chybu.

Rozlišujeme proto tzv. "benigní" DIF, kdy rozdíl v pravděpodobnosti správné odpovědi souvisí s měřeným latentním znakem, a "nepříznivý" DIF, kde se do výsledku promítají artefakty v procesu měření, nestejné možnosti přípravy, na jazykovém prostředí závislá interpretace textu a podobně. Neexistuje žádná jednoznačná kvantitativní metoda, která by dokázala rozlišit tyto dva případy od sebe. Pokaždé, když narazíte na diferenciální fungování položky, je třeba položku pozorně přezkoumat v týmu odborníků.

Diferenciální funkce položky pohledem IRT

Pro zkoumání férovosti položek lze použít analýzu založenou na teorii odpovědi na položku vztaženou na zkoumané podskupiny testované populace. Teoreticky by měly být problematické položky vyřazeny nebo opraveny již při recenzi položek, kdy se ověřuje obsahová a konstruktová validita, ale ani pečlivá recenze nemusí zachytit vše. Analýza odpovědí testovaných studentů zahrnující chování položek vůči různým podskupinám testovaných může pomoci zachytit problematické položky a zlepšit kvalitu a férovost testu v dalších kolech.

V praxi se zkoumá, zda obtížnost položky není rozdílná pro vybrané podskupiny testovaných (např. absolventi gymnázií vs. absolventi ostatních středních škol), které mají jinak stejné schopnosti (měřeno např. celkovým skóre). Pro dané skupiny proložíme naměřenými body charakteristické křivky podle IRT teorie a porovnáme tyto křivky mezi sebou. Jako index popisující rozdílné fungování položky pro obě skupiny pak bereme plochu mezi oběma křivkami.

Ve Spojených státech se v testech SAT se vyskytla otázka na verbální analogie: Najděte podobný vztah

Běžec : Maraton

(a) vyslanec : velvyslanectví

(b) mučedník : masakr

(C) veslař : regata

(d) rozhodčí : turnaj

(e) kůň : stáj

Je snadné najít správnou odpověď („veslař“ a „regata“) pokud jste z prostředí, kde se pojmy "maraton" a "regata" používají. Při analýze testů se ukázalo, že na tuto otázku odpovídali prokazatelně hůře afroameričtí studenti (22 % správných odpovědí), než jejich bílí kolegové (53 % správných odpovědí), ačkoli v jiných otázkách tomu tak nebylo. Otázka předpokládala „samozřejmou“ znalost sportu rozšířeného jen mezi jednou ze subpopulací.

Obr. X.XX Ilustrace nejjednoduššího případu neférového chování položky. Charakteristické křivky IRT pro dvě skupiny řešící stejnou, leč rozdílně fungující položku (viz příklad výše). Velikost plochy mezi křivkami odpovídá velikosti koeficientu DIF. Obě charakteristické křivky jsou stejně diskriminující, ale vykazují pro sledované skupiny odlišnou obtížnost. Případ, kdy neférová položka poskytuje v celém intervalu schopností výhodu jedné skupině studentů oproti druhé (jako zde), se označuje jako "uniform DIF".

Obr. X.XX Ilustrace nejednotného diferenciálního chování položky. Charakteristické křivky spočtené pro obě sledované podskupiny vykazují nejen různou obtížnost položky pro obě skupiny, ale i různou diskriminaci. Pro první skupinu (čárkovaná charakteristická křivka) je položka snazší na většině intervalu schopností, vyjma nejvyšších hodnot, kde se položka naopak stává snazší pro druhou skupinu (plná charakteristická křivka). Tento typ diferenciálního chování položky se označuje jako "non-uniform DIF". Rozdílný tvar a hodnoty má pro obě skupiny i informační funkce této položky. Průběh křivek převzat z interaktivní tréninkové sekce webové aplikace ShinyItemAnalysis.

Využití IRT pro analýzu férovosti přináší detailní informace, které by byly základě recenze férovosti jen těžko odhadnutelné. Ukázalo se například, že v otázkách k přijímacím testům na lékařskou fakultu se vyskytují diferencující položky, na které odpovídaly ženy výrazně lépe, než muži. Byly to zejména úlohy týkající se dětských nemocí.

Pro odhady férovosti je možné využít i další statistické metody, například vizualizaci pomocí grafického zobrazení proporcí správných odpovědí, či analýzu kontingenčních tabulek (metoda Mantel-Haenszel). Všechny uvedené nástroje najde zájemce v aplikaci ShinyItemAnalysis.

Problematika férovosti svým rozsahem překračuje rozsah tohoto textu. Případným zájemcům doporučujeme publikace, kurzy a nástroje, které se tématem zabývají hlouběji. , ,