Kniha (2022)/Proktorované testování

Jsou situace, kdy je potřeba vyzkoušet kandidáty, kteří nejsou všichni na stejném místě. Většinou se vyžaduje, aby ke zkoušce všichni přijeli do místa konání. To ale nemusí být vždy efektivní, nebo to dokonce nemusí být ani uskutečnitelné.

Klasickým řešením takové situace je, že se zkoušení shromáždí do několika center, kam za nimi přijede zkušební komise. Ve všech místech může zkouška probíhat současně, nebo i v různých časech. Vytvářejí se tedy paralelní testová sezení, případně se využívají i paralelní verze (varianty) testu.

Plně kvalifikovaný zkoušející může být zastoupený dohlížitelem, proktorem. Proktor není odborníkem ve zkoušené oblasti, nemůže tedy být hodnotitelem testu, nedokáže k testu poskytovat zpětnou vazbu a experta nenahradí ani v jiných rolích. Může však zajistit prostředí a podmínky pro regulérní provedení testu.

Proktorované zkoušení získalo oblibu nejprve při ověřování kompetencí armádních důstojníků, kdy bylo potřeba vyzkoušet lidi rozptýlené po celém světě, nebo v mezinárodních jazykových zkouškách. V typickém uspořádání se zkoušení dostaví do vybaveného zkušebního centra s proškoleným personálem, který ověří identitu zkoušeného, poskytne mu test a dohlíží, aby průběh zkoušky odpovídal vypsaným pravidlům.

Ani dohlížitel nemusí být na místě, kde se píše test, fyzicky přítomen. Může na testované dohlížet na dálku (vzdálené proktorování). Tato cesta umožňuje využít stávající typ testů a doplňuje je důsledným online dohledem. Popsaná metodika online dohledu nad distančním testováním se zhruba před deseti lety rozvinula do samostatné disciplíny - "online proktorování". Proktorování se snaží technickými prostředky eliminovat rizika nežádoucího chování účastníků testu. Pokrývá celý proces od identifikace zúčastněných, kontroly prostoru, v němž je testovaný, umístění kamer(y), kontroly spuštěných programů v počítači, až po odeslání a vyhodnocení výsledků.

On-line proktorované testování má dvě hlavní modality. Jednak testování ve velkém měřítku, kde se jako výhoda jeví úspory z rozsahu. Druhou modalitou jsou distanční zkoušky velkého významu, které mají vyšší bezpečnostní standardy a používají se například pro přijímací a výstupní zkoušky, pro certifikace apod. Oba typy se nabízejí i komerčně jako služba.

Proktorované testování velkého rozsahu se zpravidla organizuje pro stovky až tisíce účastníků. Pro doručování testu nejčastěji využívá mírně modifikované nástroje pro běžné elektronické testování (Moodle, BlackBoard, ...), případně rozšířené o moduly omezující např. otevírání dalších aplikací. Pro dohled se v takových velkokapacitních systémech často využívá umělá inteligence, která detekuje nestandardní chování účastníků. Při volbě software pro online testování je potřeba brát v úvahu, jak se chová při ztrátě spojení. Pokud se např. rozpadne spojení při testování v Moodle, jsou všechna data vyplněná testovaným ztracena. Pokud dojde k výpadku spojení při testování v Rogō, je ztracena pouze poslední (aktuálně zodpovídaná) položka.

Prevence a detekce podvádění při distančním testování

Prevence podvádění při proktorovaném testování se řídí stejnými pravidly jako prevence podvádění při testování, které probereme v samostatné kapitole o bezpečnosti testování.

Specifikou proktorovaného testování je nepřítomnost pedagoga na místě, což může pro některé studenty představovat výzvu k hledání neetických metod ovlivňování výsledku. Proto je při distančním testování věnována velká pozornost technickým řešením, která nahrazují osobní dohled a omezují možnosti podvádění. Provedení dohledu může mít několik podob, lišících se mírou zabezpečení, počtem testovaných a cenou.

Živé proktorování v reálném čase

Ke kontrole slouží streamované video z webové kamery a mobilního telefonu v reálném čase. Tento druh vzdáleného dohledu vytváří obtížně řešitelný souběh požadavků na přenos obrazu. Na rozdíl od videokonferencí, kde ve vysokém rozlišení stačí přenos od přednášejícího, u dohledových systémů je požadavek na přenos obrazu ve vysokém rozlišení od všech testovaných osob. To by při sdílení plného videa vedlo k rychlému vyčerpání šířky přenosového pásma a tím k omezení maximálního počtu osob v jednom běhu testu. Používají se proto výkonné komprimace videa, obraz se přepíná mezi testovanými, nebo se přenášejí jen jednotlivé fotografie pořízené v náhodných časech.

Proktorování pomocí záznamu a dodatečného přezkoumání

Průběh testování se zaznamenává a záznam se posléze vyhodnocuje, či uchovává pro pozdější vyhodnocení. Výhodou je možnost testovat větší skupiny s menším množstvím dohlížitelů. Proktorování pomocí záznamu obrazu z webové kamery má prokazatelné příznivé efekty na zmírnění akademické nepoctivosti v online testech. Nicméně problémy se šířkou přenosového pásma jsou stejné, jako v případě živého proktorování.

Proktorování pomocí umělé inteligence

Dohled je dvojstupňový. V první úrovni sleduje zkoušené studenty umělá inteligence, která vyhodnocuje chování studenta v reálném čase. V případě incidentu upozorní živý dohled, který situaci řeší. Výhodou je opět možnost obsloužit velký počet testovaných s malým počtem dohlížejících. Pokud aplikace s umělou inteligencí běží na počítači testovaného, snižují se nároky na přenosové pásmo a otevírají se možnosti obsloužit skutečně velké počty testovaných.

Kromě dohledu se obvykle nasazují i technická řešení omezující možnosti nelegálního získávání informací z internetu v průběhu testování. Používají se k tomu speciálně vyvinuté internetové prohlížeče - např. Safe Exam Browser a další. Programy tohoto typu obvykle skvěle fungují na standardizovaných počítačích v učebnách, ale při jejich použití v domácím prostředí studentů mohou vznikat problémy s různými variantami operačních systémů a neslučitelnými kombinacemi jiných programů.

Zvláštní prohlížeč není jediným řešením zmíněného problému. Jako alternativa byl vyzkoušen JavaScriptový program PageFocus, který velmi citlivě a selektivně monitoruje pokus o otevření dalšího okna a upozorní testovaného na jeho nedovolené jednání.

Doporučená preventivní opatření

• Testujete najednou všechny účastníky testu, testováním v "časovém okně", snížíte množství sdílených informací
• Předem si změřte trvání testu a nastavte časovou dotaci velmi těsně
• Povolte účastníkům testu jen jeden běh testu
• Seřaďte položky v testovém zadání jednotlivých účastníků náhodně, tak aby pořadí položek nebylo stejné.
• Účastníkům testu nedovolte měnit odpovědi a vracet se k dříve zodpovězeným položkám
• Při testu monitorujte nebo omezte aktivity testovaných pomocí specifického prohlížeče

Kontroverze proktorovaného zkoušení

Diskutovaným pedagogickým problémem proktorovaného zkoušení je, že a priori pohlíží na testovaného s nedůvěrou a svými technickými opatřeními předjímá nežádoucí soutěž - "kdo s koho". Nevýhod proktorovaného online zkoušení a námitek vůči němu je více:

• Dochází k nežádoucí intruzi do soukromí studenta, například uchováváním obrazového záznamu z jeho domácnosti. Vznikají problémy s uchováváním osobních a biometrických údajů.
• Vytváří se prostředí vzájemné nedůvěry a podezřívání.
• Zvyšuje se testová úzkost.
• Mezi zkoušeného a zkoušejícího se staví řada technických prostředků, z nichž každý může selhat (ztráta spojení, zamrznutí systému...). Některé kroky testování jsou složitější (např. ověření identity, kontrola pracovního místa). Vznikají proto rozsáhlé pokyny a scénáře pro proktory i zkoušené. Proškolování všech zúčastněných může nežádoucím způsobem odvádět pozornost od samotné zkoušené oblasti, na niž by se měli studenti před testem soustředit.
• Online zkoušení je ovlivněno tím, do jaké míry je zkoušený seznámen s použitými technickými prostředky. Závisí na tom rychlost, kterou dokáže odesílat odpovědi, ale také jistota, se kterou odpovídá, a testová úzkost. Přechod na vzdálené zkoušení tak může vnést do hodnocení významné zkreslení.

V současné době není uzavřená diskuse, zda přínosy online proktorovaného zkoušení a proktorovaného zkoušení využívajícího umělou inteligenci vůbec mohou vyvážit jejich nevýhody a rizika . Někdy však není vyhnutí a proktorované testování je třeba použít i s vědomím těchto problémů.

Alternativní přístupy

Velká část problémů spojených s proktorovaným zkoušením ve vysokoškolském vzdělávání souvisí se znalostním pojetím hodnocení. Vzdálené zkoušení ohrožuje ve větší míře, než je tomu u prezenčního zkoušení, jen několik hrozeb: záměna identity zkoušeného (tj. odpovídá někdo jiný, než by měl), nedovolená spolupráce (tj. zkoušenému někdo pomáhá či napovídá) a zejména použití nedovolených zdrojů a pomůcek.

Ačkoliv současné technické prostředky umožňují v ideálních podmínkách poměrně spolehlivě ověřovat identitu zkoušeného (např. i podle biometrických znaků), při časovém stresu, velkém počtu testovaných a špatné kvalitě spojení může být identita snadno podvržena. Zvláště pokud má podvádějící povědomí o použitých technických prostředcích a omezeních, jimž zkoušející čelí. V takovém případě je na místě zvážit nahrání a uložení identifikační procedury, což dává dodatečnou možnost řešit případné pochybnosti.

Velkým ohrožením validity výsledků je nedovolená spolupráce a používání nedovolených zdrojů a pomůcek během zkoušky. Pokud vyčerpáme technické a organizační prostředky pro jejich vyloučení, může tato rizika dále snížit vhodná konstrukce testu a testových úloh. Napovídání (vzájemná spolupráce) je snadné u uzavřených úloh. Efekt nedovolených pomůcek je podstatný zejména při zodpovídání znalostních otázek.

Vhodnou cestou se proto zdá konstruovat vzdálené zkoušky tak, aby ověřovaly především dosažení vyšších vzdělávacích cílů, nikoli jen samotné zapamatování a vybavení faktických znalostí. Konkrétní faktické údaje se totiž dají v průběhu testu nejsnáze najít pomocí vyhledávače, v poznámkách nebo v literatuře, a v krátkém čase použít. Naproti tomu při řešení úloh zaměřených na hlubší porozumění nebo dokonce určité dovednosti nepomůže hůře připravenému kandidátovi ani vyhledávání na internetu, ani opisování z knih či taháků - samotná izolovaná fakta pro zodpovězení úlohy nestačí. Obtížnější je také napovídání nebo spolupráce s další osobou.

Častým doporučením je, aby se vzdálené zkoušky co nejvíce koncipovaly jako "zkoušky s otevřenou knihou" (open book). V současné době sice ještě není dostatek studií, kterými by bylo možné toto doporučení jednoznačně podpořit, je však dobře podložené teoreticky.

V úvahu je třeba brát i vztahy mezi zkoušeným a zkoušejícími. Atmosféra důvěry a férovosti do značné míry potlačuje pokusy o podvodné jednání. Méně přísný dohled se proto jeví jako vhodné řešení hlavně tehdy, pokud vyučující/zkoušející pracuje se studenty dlouhodobě, jsou vytvořené kvalitní vztahy mezi učitelem a studenty i mezi studenty navzájem, a pokud se zkouší vyšší úrovně vzdělávacích cílů. Naproti tomu typickou situací, kdy se nelze obejít bez "tvrdého" přístupu a přísného dohledu, jsou vysoce kompetitivní zkoušky, u nichž se kandidáti a zkoušející navzájem neznají, např. přijímací nebo certifikační zkoušky.