Kniha (2022)/Bezpečnostní plán testu

Bezpečnostní plán testu popisuje hodnoty, které je třeba chránit, známá rizika a postupy, které mají rizika omezit.

Plán zabezpečení testu je komplexní soubor zásad, postupů a dokumentů, které nastiňují a řídí akce související s bezpečností testu. Od vypracování plánu zkoušky po rekapitulaci výsledků při bezpečnostním auditu se "bezpečnost" týká téměř každého kroku. Využití skóre dosažených v testu pro posouzení výkonu kandidátů předpokládá důvěru v integritu a objektivitu testu. Bez důvěry by byla ohrožena i důvěryhodnost.

Co je potřeba udělat, aby testová skóre byla důvěryhodná a interpretovatelná? Minimálně to vyžaduje mít spolehlivý testovací bezpečnostní plán a řídit se jím.

Většina zásad a postupů v rámci bezpečnostního plánu testu je založena na zdravém rozumu. Například je nezbytné mít komunikační kanál pro jasné a jednoznačné zasílání zpráv uchazečům. Jak jinak lze od uchazečů očekávat, že se budou řídit pravidly, pokud nebudou tato pravidla spolu s odpovídajícími důsledky vysvětlena? Přijaté postupy musejí dávat smysl, dobře zapadat do daného testovacího programu, musí být vynutitelné a musí být právně obhajitelné. Navržené postupy by se měly sladit s hrozbami, které jsou specifické pro vaše programy, a měly by být přizpůsobeny konkrétním potřebám. Zatímco v jednom případě může být hlavním problémem vynesení položek mezi termíny zkoušek, v jiném uspořádání může být největší hrozbou podvod s identitou uchazeče. Hrozby se v jednotlivých programech liší a bezpečnostní plány by měly ochranu před těmito hrozbami řešit.

Role, úkoly, odpovědnosti

Příprava důležitých testů je kolektivní práce. I z hlediska bezpečnosti by byla věrohodnost obtížně zajistitelná, pokud by se všechny pravomoci koncentrovaly v rukou jediného člověka.

S omezením těchto rizik pomáhá přístup založený na rolích. Všichni pracovníci spolupracující na testování by měli mít specifikované role a pracovat jen v rozsahu těchto rolí. Někdo může mít roli "autor položky", někdo roli "recenzent položek", další "autor testu", nebo "správce testování". Bezpečnostní limity rolí pomohou zajistit, že např. ten, kdo má na starosti správu seznamu testovaných studentů, možná nikdy neuvidí žádné testové položky.

Mezi odpovědnosti, které musí bezpečnostní tým zajistit, patří mimo jiné i ochrana interních informací před vynesením. V rámci tzv. "měkké bezpečnosti" se o tuto důvěrnost staráme výběrem odpovědných pracovníků, jejichž morální integrita napovídá, že se o utajovaných informacích nebudou zbytečně šířit, či nepodlehnou pokušení tyto informace poskytnout někomu za úplatu. V konceptu "tvrdé bezpečnosti" (například když nemáme o zapojených pracovnících dostatek informací) se používá pro ochranu utajovaných informací testovací bezpečnostní dohoda, někdy označovaná jako dohoda o mlčenlivosti (non disclosure agreement, NDA). Jde zpravidla o jednostrannou, právně závaznou smlouvu mezi institucí vyvíjející test (nebo vlastníkem obsahu) a další stranou řešící dílčí úkol. Dohoda o mlčenlivosti obvykle stanoví, jaké informace nebo materiály jsou považovány za důvěrné a/nebo chráněné, jaká je lhůta pro zachování důvěrnosti a jaké jsou důsledky porušení dohody.

K opakujícím se úkonům patří aktualizace právních zásad a postupů a školení zaměstnanců o testové bezpečnosti. V době, kdy je většina testů produkována a uchovávána v elektronickém prostředí, je úkolem testového týmu zabezpečit testová data na lokálních nebo cloudových serverech. Přístup k těmto serverům musí být omezen jen na p(r)ověřené pracovníky, monitorován a logován.

Je dobrou praxí vyžadovat, aby každý, kdo má přístup k testovému obsahu nebo jiným chráněným informacím, byl vyškolen a podepsal dohodu o mlčenlivosti. Patří sem odborníci, kteří se podílejí na vývoji testů, pracovníci, kteří monitorují provádění zkoušky, zaměstnanci, kteří zpracovávají testovací materiály a výsledky, učitelé, kteří přijímají nebo ukládají testovací materiály atd. Smlouvy o mlčenlivosti by měly být každoročně aktualizovány a uchovávány v evidenci po dobu stanovenou v bezpečnostním plánu zkoušky (obvykle nejméně tři roky).

Příprava a správa testů

Existuje řada bezpečnostních opatření, které by měly být provedeny před samotným testem. Sem patří nejen bezpečná příprava obsahu testu, ale i monitorování webů a sociálních médií. Nebezpečí vynesení položek se umocňuje s technologiemi sdílení obsahu. Existují specializované stránky, které od jednotlivců sbírají jimi zachycené položky k certifikacím a zkouškám, kumulují je podle kategorií a za úplatu pak nabízejí zájemcům. Tyto stránky je možné najít pod heslem "brain dump". Bezpečnostní příprava proto předpokládá, že tým připravující test bude sledovat sociální sítě, zkoušet cílené dotazy do webových vyhledávačů při hledání uniklých položek, či sledovat blogy komentující danou zkoušku či certifikaci, aby mohl uniklé položky včas identifikovat.

Při podezření na nelegální praktiky je možné použít techniku označovanou jako „tajné nakupování“. Tento typ ověřování bezpečnosti zkoušky předpokládá, že domluvený spolupracovník testového týmu se jako student zaregistruje k provedení zkoušky a po jejím provedení podá zprávu o bezpečnosti testu z pohledu zkoušeného. Tato forma monitorování bezpečnosti je sice nákladná, ale v případě pochybností může poskytnout velmi cenné a jinak nedostupné údaje.

Vzhledem k významu je třeba věnovat pozornost i distribuci citlivých materiálů a přístupu k nim. V testovém plánu by proto měly být popsány postupy, jak jsou chráněné materiály distribuovány, shromažďovány a archivovány a kdo k nim má přístup. Nahlížení a zásahy do citlivých materiálů (např. do znění ostrých testů) musí být buď zaznamenáno technickými prostředky (logování, kamerové záznamy), nebo provedeno komisionálně (nejméně ve dvou lidech) a o úkonu by měl by být proveden zápis. Nekontrolovaným rizikem jsou individuální přístupy a zásahy, o kterých není zpětně žádný doklad.

V neposlední řadě je třeba se zabývat otázkou školení. Každý, kdo se účastní testovacího cyklu, by měl být vyškolen v oblasti bezpečnosti testu. Školení se může zabývat celou řadou témat, včetně, ale nejen, správného zacházení s testovacími materiály, zřízení nebo udržování bezpečného testovacího prostředí, kritických aspektů dohody o zachování důvěrnosti, práv a povinností zkoušejících, či přijatelných postupů testového dozoru. Školení může také zahrnovat scénáře typu „co dělat, když“. Školení by mělo být přizpůsobeno tak, aby bylo v souladu s rolemi různých členů týmu, včetně odborníků na předměty, dohledů, administrátorů a koordinátorů zkoušek, pracovníků pro vývoj obsahu, psychometriků a managementu. Školení by měli absolvovat i pracovníci třetích stran, kteří na testování spolupracují. Zajistit bezpečnost testování vyžaduje spolupráci celého týmu.

Zásady testovacího dne

Dalším důležitým aspektem bezpečnosti jsou tzv. zásady testovacího dne. Je testovací prostředí bezpečné? Jsou pracovníci dohledu dostatečně proškoleni o bezpečnosti testů? Jaké jsou požadavky na přihlášení? Jak se účastníci identifikují? Kolik forem identifikace je potřeba? Je průběh testu natočen kamerovým systémem? Existuje předem stanovený zasedací pořádek testovaných v místnosti? Existuje bezpečné místo pro ukládání osobních věcí, jako jsou mobilní telefony a studijní materiály? Jsou povoleny kalkulačky? Je dodáván odpovědní formulář? Pokud ano, je formulář individualizovaný? Sbírají se formuláře na konci testu? Používají se chrániče obrazovky u počítačových monitorů? Jsou pracovní stanice odděleny? Jsou během testu povoleny přestávky nebo odchody na toalety?

Komunikace s uchazeči začíná v dostatečném předstihu před datem zkoušky a pokračuje až do okamžiku, kdy jsou oznámeny výsledky. Pravidla musí být jasně stanovena a šířena zájemcům a zúčastněným stranám. Kromě toho musí být jasně stanoveny a šířeny důsledky porušení pravidel. Před testováním lze od zkoušejících požadovat, aby potvrdili, že četli, porozuměli a souhlasili s dodržováním vyžadovaných pravidel.

Při pravidelném testování velkého významu se neobejdeme bez nějaké formy komplexního testového systému (položkové banky). To ovšem přináší nový druh rizik, protože cenné informace (znění položek, ale i znění připravených ostrých testů) jsou zde koncentrovány ve finální podobě na jednom místě po dlouhou dobu, což zvyšuje riziko jejich nežádoucí expozice. K důležitým bezpečnostním opatřením týkajícím se položkových bank patří technické zajištění trvalého logování rizikových událostí, zejména spojených s exporty testů, nebo zobrazením většího množství testových položek, či přímo celých testů.

Zabezpečení výsledků

Další složkou zabezpečení jsou postupy při skladování a distribuci citlivých materiálů (např. zadání testů) a uchovávaní testových výsledků. Tento postup určuje, jak jsou chráněné materiály distribuovány, shromažďovány a archivovány. Ukládána jsou také jména a funkce osob odpovědných za provádění těchto postupů. Data a podpisy od každé osoby zapojené do testování a dohledu jsou shromažďovány a archivovány jako součást historie testů. Obecně platí, že při práci s citlivými údaji je třeba přístupy buď logovat, nebo dělat pod kontrolou dvojích očí a vést o provedených úkonech protokoly.

Rychlá analýza testových dat

Pro odhalování náznaků nesrovnalostí v právě proběhlých (ale ještě neobodovaných) testech je mimořádně cenným nástrojem rychlá analýza testových dat. Umožňuje například ještě před klasifikací studentů odhalit případné nejasnosti ve znění položek, chyby v klíči určujícím správné odpovědi a podobně. Podezřelé položky např. s velmi vysokou nebo nízkou obtížností, nebo s velmi nízkou diskriminační schopností jsou podrobeny obsahové kontrole a v případě chyb, dvojznačností nebo nepřesností je taková položka je vyloučena z bodování, nebo je upraven klíč pro její bodování. Informaci o problematických položkách dostávají i autoři a recenzenti, aby je opravili před dalším použitím. Podobně může rychlá analýza zachytit i některé nestandardní vzorce chování poukazující na případné bezpečnostní problémy.

Vyhodnocení průběhu testového kola

Pro zajištění věrohodnosti testů by měl v testující organizaci existovat postup pro hlášení incidentů a nesrovnalostí ve správě a zabezpečení testu. Účastníci testu, členové pedagogického dohledu a další testovací pracovníci by měli znát mechanismus pro hlášení incidentů, anomálií nebo možných porušení pravidel. Nabídnutá forma by měla sahat od anonymního upozornění až po formální zprávu.

Reakce na incidenty

Bezpečnostní plán testu by měl stanovit, jak budou incidenty registrovány, zpracovávány a vyšetřovány. Má být zřejmé, za jakých okolností bude zneplatněno dosažené skóre a kdy se přikročí k případným sankcím.

Bezpečnostní audit testu

Při bezpečnostním auditu testu bezpečnostní tým rekapituluje opatření, která byla preventivně učiněna, jejich efektivitu, ohrožení která byla zaznamenána, jak byla vyřešena a jaké úpravy bezpečnostních pravidel je třeba provést před dalšími testy.