Kniha (2022)/Software pro testování

Nástrojů pro podporu formativního i sumativního testování jsou desítky. Průběžně vznikají nové, některé naopak ztrácejí na významu a jsou opouštěny. Stávající jsou pak součástí intenzivního vývoje, zejména směrem k mobilním platformám. V této kapitole, zaměřené na testové nástroje, se nebudeme pokoušet o ucelený přehled dostupných produktů, neboť statický formát této publikace nedovoluje zachytit dynamický vývoj, ale omezíme se na zprostředkování našich zkušeností s těmi nástroji, které se nám osvědčily, nebo naopak neosvědčily.

Obr. 10.1.1 Info-grafika pokrytí testového cyklu testovými nástroji Rogō, Moolde a Remark Office.

Rogō

upravit

Mezi nástroji pro elektronické testování zaujímá význačné místo program Rogō. Mimořádné postavení tohoto systému spočívá v tom, že je to kvalitní, bezpečný a snadno použitelný testovací nástroj, který je přitom volně šiřitelný.

Výhody (kvalita)

• Každá úloha má vlastní záznam o změnách a použití v testech.
• Přizvaní externí spolupracovníci mají snadný a bezpečná přístup k recenzím.
• Při distančním testování je možné nastavit ukončení testu po vyčerpání časové dotace.
• Položky použité v testu se uzamknou.
• U právě probíhajícího testu nelze přidávat ani odebírat položky.
• Možnost nastavení časového limitu testu.
• Odpovědi studentů lze analyzovat a jednoduše zhodnotit vlastnosti položek.
• Hodnocení lze dle výkonu kohorty upravit po skončení testu pomocí Hofsteeho metody.
• Pro nastavení hodnocení testu jsou k dispozici rovněž modifikovaná Angoffova a Ebellova metoda.

Bezpečnost

• K připojení se používá výhradně protokol HTTPS. Data jsou šifrována pomocí 256bitového SSL.
• Bezproblémové a bezpečné sdílení materiálů v rámci týmů zaměstnanců pro společnou práci na hodnocení.
• Přizpůsobitelné kontroly a váhy pro zajištění spravedlivého hodnocení pro všechny uživatele.
• Pro přístup studentů a učitelů umí využívat zavedené místní autentizační systémy.
• Při výpadku internetového připojení se ztratí jen odpověď na aktuálně otevřené stránce testu, nikoliv celý test.
• Přístup k testu se dá omezit na vybrané IP adresy.

Použitelnost

• Může běžet na serverech Windows i Linux.
• Kompatibilita s LDAP – pro uživatele není potřeba vytvářet další přihlašovací údaje.
• Podpora jazykových mutací.
• Systémy nápovědy na míru – samostatná nápověda pro uživatele podle rolí.
• Rogō je webová aplikace, která běží na všech hlavních prohlížečích - Chrome, Edge, Firefox, Safari, Internet Explorer.
• Adeptům se speciálními potřebami lze upravit jak vzhled testu, tak i časovou dotaci.

Licence

Z pohledu licence je webová aplikace pro on-line testování Rogō svobodně šiřitelný open source program, uvolněný pod GPL verze 3.0. Je tedy možné kód měnit, rozšiřovat jej a přispívat tak k projektu. V praxi to funguje tak, že požadavky na úpravy kódu, ať už se týkají nahlášení problémů, nebo jde o návrhy na nové funkcionality, se zapisují do fronty požadavků a komunita je postupně řeší.

Historie

Testovací systém byl od roku 2003 vyvíjen na lékařské fakultě University of Nottingham pod názvem "TouchStone" („prubířský kámen“). Systém Rogō vznikl na lékařské fakultě a je velmi dobře přizpůsoben zvláště pro výuku medicíny. Mimo jiné dovoluje použít v úlohách interaktivní obrázky, na nichž student myší vyznačí hledaný objekt. Systém pak vyhodnotí, zda hledanou strukturu označil s požadovanou přesností.

Po úspěchu na domovské fakultě byl rozšířen na celou univerzitu, převeden na software s otevřeným zdrojovým kódem a při té příležitosti i přejmenován, aby nedocházelo k záměnám s jinými systémy. Rogō v latině znamená "ptám se" . Komunita zabývající se vývojem Rogō získala finanční podporu společnosti JISC, která umožnila další rozvoj systému, mimo jiné možnost překladu do národních jazyků. V ČR je systém Rogō nainstalován (na serverech 1. LF UK) na adrese https://www.rogo.cz/ a kromě 1. LF UK slouží i dalším fakultám UK. 1. LF UK připravila český překlad prostředí a pracuje kontinuálně i na lokalizaci nápovědy. Díky podpoře LDAP jsou studenti do systému importování automaticky ze SIS (Studijní informační systém UK) a mohou se autentifikovat svým CAS účtem (Centrální autentizační systém UK).

Specifické vlastnosti

Na rozdíl od jiných programů Rogō pokrývá a podporuje mnoho kroků cyklu tvorby testů, od spolupráce při přípravě testových úloh, přes jejich oponování z hlediska obtížnosti a relevance, tvorbu plánu testu, standardizaci, až po vyhodnocení kvality otázek. Takto komplexní řešení přináší podstatné výhody. Např. k oponentuře testových úloh je vhodné přizvat řadu vlastních i externích odborníků, což bývá obvykle časově a organizačně náročné. Pokud přitom návrhy položek kolují mezi větším počtem lidí, je velmi obtížné zajistit jejich utajení. V Rogō jsou naopak oponenti vyzváni k připojení do systému, takže testové úlohy systém vůbec neopustí. Komentáře a připomínky se opět vkládají přímo do Rogō a autoři úloh na ně mohou ihned reagovat. Poté, co test proběhl, je možné zobrazit popisné charakteristiky, histogram celkových skóre všech studentů, nebo obtížnosti položek. Rogō automaticky vypočítává diskriminační indexy pro každou položku testu, což umožňuje identifikovat špatně sestavené úlohy a vyloučit je z dalšího používání. Z hlediska uplatňování moderních postupů v testování je systém zcela unikátní a jeho zavedení podporuje rozšíření správné testové praxe do terénu.

Systém umožňuje distribuovat jak papírové, tak i on-line testy, a to pro sebehodnocení i pro zabezpečené sumativní testování.

Rogō obsahuje nástroje umožňující automaticky importovat do systému studenty a předměty, které mají zapsány. Studenti se pak díky podpoře adresářové služby LDAP, kterou používá celá Univerzita Karlova, mohou rovnou přihlásit svým CAS účtem a v Rogō jsou přiřazeni ke všem svým předmětům.

Systém umožňuje pedagogům vytvářet řadu typů testů a průzkumů:

• Formativní hodnocení
• Sumativní hodnocení
• Testy pokroku
• Průzkumy (dotazníky)
• e-OBSE (klinické zkoušení)
• Offline testy
• Vzájemné hodnocení (studentské)

Každý z těchto typů testů a průzkumů může používat řadu forem položek:

• Vymezení plochy
• Dichotomické úlohy
• Úlohy s výběrem odpovědi
• Extended Matching
• Multiple true false
• Doplňování textu
• Označení bodů v obrazu
• Likertova škála
• Test shody scénářů
• Textová pole

Výhody

Tab. X.X Výhody systému Rogō

Nízké náklady na pořízení Podpora celého procesu testování Podpora týmové spolupráce Vysoká úroveň zabezpečení Velký výběr typů testových úloh včetně multimediálních

Nevýhody

Tab. X.X Nevýhody systému Rogō

Menší komunita udržující a rozvíjející systém Potřeba lokální podpory a administrace Ne zcela intuitivní ovládání Časová náročnost při osvojování programu

Moodle

upravit Systém pro řízení výuky Moodle je celosvětově rozšířené online výukové prostředí. Tuto open-source platformu využívá více než 250 milionů studenů. Moodle je dnes asi nejrozšířenější systém pro řízení výuky na vysokých školách. Vznikl v roce 2002 a průběžně se aktualizuje. Svým otevřeným kódem, zabezpečením a ochranou osobních údajů představuje pro mnoho vysokých škol a univerzit lákavé řešení. Na vývoji Moodle spolupracuje rozsáhlá a aktivní komunita. Služby, které přesahují možnosti jednotlivých správců, nabízejí specializované firmy s kvalifikací Moodle partner. Jedná se zejména o služby jako je hosting, přizpůsobení, podpora, školení, nebo i komplexní správa celých projektů v Moodle.

Výhody

• Cena
• Rozšíření
• Komunita vývojářů
• Flexibilita díky mnoha modulům
• Možnosti integrace
• Mobilní i PC rozhraní
• Podpora LDAP

Nevýhody

• Nepřehlednost
• Chaotické uživatelské rozhraní
• Příliš mnoho modulů
• Absence vedení a jednotné koncepce
• Serverová náročnost při souběžné práci více uživatelů
• Upgrady mohou znehodnotit předchozí práci
• Z pohledu moderních mobilních aplikací jde o "moloch"

Zásadní předností Moodle je jeho rozšíření a flexibilita. Na druhou stranu je potřeba mít na paměti, že při velkém počtu současných přístupů (typická situace pro testování) se systém může zahltit. Řešení je ve vhodném dimenzování infrastruktury, např. rozložení zátěže na více serverů.

Výhody pro testování

LMS Moodle není vysloveně zaměřen na testování, ale přesto poskytuje některé zajímavé možnosti. Pokud jej používáte při proktorovaném testování, je možné využít zabezpečený prohlížeč Safe Exam Browser. Pro adaptivní testování je k dispozici modul Ada Quiz. Adaptivní kvíz vede studenta itinerářem otázek, přizpůsobeným právě jeho znalostem.

• Více typů úloh
• Míchání úloh
• Časový limit testu
• Automatická klasifikace
• Lokalizace
• Dobré zabezpečení

Nevýhody pro testování

Z pohledu položkového bankovnictví je škoda, že Moodle neshromažďuje u úloh informace o jejich fungování v předchozích použitích. To by umožňovalo používat Moodle více v roli položkové banky. Zvláštní je, že statistiky v analýzách testů mají svébytné názvosloví, takže učitel občas musí experimentálně zjišťovat, co kterým označením autoři Moodle mysleli.

• Malá podpora týmové práce
• Nutnost vyškolení učitelů
• Mnoho jiných funkcionalit mimo testování
• Neintuitivní rozhraní
• Pracnost přípravy testu

Nicméně i přes tyto výhrady je Moodle hojně používaný nástroj, výtečně využitelný i pro testování. Testové úlohy lze připravit i mimo prostředí Moodle, nebo je možné je převzít z položkové banky. Moodle podporuje standardy interoperability QTI a řadu importních formátů.

Remark Office

upravit Testování velkých skupin studentů se často provádí pomocí "tužky a papíru". Výhodou je nezávislost na technických prostředcích a velmi dobrá prokazatelnost v případě sporu. Nicméně vyhodnocování odevzdaných odpovědních formulářů může být úzkým hrdlem této technologie. Zvláště v případě velkého počtu testovaných a velkého významu zkoušky je třeba zajistit, aby byl proces rychlý, pokud možno bezchybný, prokazatelný a reprodukovatelný. Vyhodnocování pomocí průsvitky těchto parametrů nedosahuje. Používají se proto programy pro optické rozpoznávání znaků (optical mark recognition, OMR).

Jedním z takových programů je Remark Office OMR. Tento program slouží k rozpoznávání naskenovaných odpovědních formulářů, dotazníků či testů a jejich převedení do elektronické podoby.

Program dovoluje načítat data přímo ze skeneru nebo z uložených souborů. Sebraná data mohou být exportována do různých datových formátů nebo přímo zpracována. Program dále umožňuje tvorbu reportů nad sebranými daty. Seznam dostupných statistik a druhů reportů lze nalézt na webu výrobce (www.gravic.com).

Předem musí být načten prázdný formulář - šablona, na kterém jsou označena místa pro optické čtení. Šablona definuje typ proměnné, název a popis proměnné apod. Software rozpozná začerněné kolečko, prázdné kolečko, a dokonce i začerněné, ale později přeškrtnuté kolečko. Poradí si s nevyplněnými odpověďmi, umazanými a poškozenými formuláři, vícenásobnými značkami a dalšími anomáliemi. Remark čte čárové kódy a umí rozpoznávat text (ORC). U rukou psaného textu dokáže pole uložit jako grafický soubor k dalšímu zpracování.

Pokud automatika narazí na případ, kdy si neví rady, poskytne obsluze zvětšený pohled na příslušné místo formuláře a vyžádá si pomoc. Je to uživatelsky velmi přátelské a nerozpoznaných případů je minimum. S mírnou nadsázkou firma razí heslo: Když to dokážete přečíst vy, dokážeme to přečíst taky.

Software je velmi užitečný nejen pro vyhodnocování testů a anket, ale např. pro akademické volby a jiné příležitosti, kdy je třeba zpracovat velké množství papírových formulářů.

Trvalá licence stojí cca 30 tis. Kč a roční podpora řádově 20 % z této ceny. Vzhledem k funkčnosti se cena nezdá být přehnaná. Nepraktické se může jevit fixování licence na konkrétní počítač.

Socrative

Socrative (https://www.socrative.com) je nástroj pro online testy, kvízy a průzkumy. Původně sloužil především pro frontální výuku, v níž nahrazoval dříve používaná "hlasovátka". Socrative umožňuje vytvářet kvízy s výběrovými úlohami (pravda/nepravda, s jedinou nejlepší odpovědí i multiple true-false) i úlohy s krátkou tvořenou odpovědí. Studenti odpovídají pomocí mobilních telefonů, učitel řídí kvíz z počítače nebo také z mobilního telefonu.

Předností Socrative je kvalitně zpracované rozhraní pro učitele, které na jedné straně umožňuje poměrně velkou variabilitu testů a kvízů a jejich snadné přizpůsobení tomu, co je v danou chvíli potřeba, na druhou stranu je ale jednoduché a přehledné. Učiteli se v něm dobře orientuje a práce se Socrative neodvádí nežádoucím způsobem pozornost od výkladu nebo komunikace se studenty.

Po skončení kvízu je možné úlohy automaticky obodovat, ohodnocení úloh s krátkou tvořenou odpovědí může učitel upravit nebo takové úlohy bodovat zcela ručně. K dispozici jsou pak vizualizace, jak studenti odpovídali, které se opět snadno využijí při další práci se studenty. Je také možné stáhnout několik forem reportů, od přehledu odpovědí pro každého studenta až po tabulky s výsledky pro učitele.

Kromě celých kvízů je možné studentům pokládat i jednotlivé otázky. Zajímavý nástroj je k dispozici pro otázky s tvořenou odpovědí, kde učitel může nejprve nechat studenty, aby napsali své odpovědi, a pak je v druhém kroku může nechat hlasovat o tom, která odpověď je nejlepší. Mezi další funkce Socrative patří zpětnovazebný dotazník na konci lekce.

Základní verze Socrative je zdarma. Kvízy je možné používat opakovaně, vytvářet jejich nové verze a ukládat je v různých složkách. Placená verze umožňuje vytvořit více "místností", což je užitečné, pokud jeden učitel využívá tento nástroj pro více různých kurzů a má v něm větší množství kvízů.

Kahoot!

Kahoot! je aplikace pro vytváření kvízů, která se používá především v nižších stupních vzdělávání. Poskytuje hravé, stimulující prostředí, které umožňuje vytvářet atraktivní soutěže. Žáci nebo studenti opět odpovídají pomocí mobilního telefonu. Kromě kvízů pro jednotlivce podporuje Kahoot! i soutěže mezi týmy. Vytvořené kvízy lze sdílet a na internetu se dá najít mnoho různých soutěží, testů a kvízů v Kahoot! z nejrůznějších oblastí.

Mentimeter

Jiným nástrojem, ve kterém učitel pokládá posluchačům otázky a nechává je odpovídat pomocí jejich mobilního telefonu nebo notebooku, je Mentimeter. Na rozdíl od předchozích není vhodný pro testování, ani v něm není možné pohodlně sledovat, kterou odpověď napsal který student. Mentimeter se hodí především pro pokládání postojových otázek a pro stimulaci diskuse na určité téma. Obsahuje řadu možností, jak vizualizovat odpovědi. Nejčastěji se využívá world cloud. Posluchači jsou vyzváni, aby odpovídali jednotlivými slovy nebo slovními spojeními (lze nastavit, kolik odpovědí může jeden student odeslat). Výsledek se zobrazí jako "oblak", ve kterém je slovo nebo slovní spojení tím větší, čím častěji se v odpovědích vyskytuje. Využívají se také průzkumy pomocí různých typů stupnic, jako jsou Likertovy škály, jejichž výsledky se opět přehledně vizualizují.

Ve verzi dostupné zdarma je omezený počet otázek, které je možné použít v rámci jedné prezentace. Lze ale vytvářet větší počet prezentací, již vytvořené průzkumy je možné používat opakovaně, výsledky průzkumů lze stáhnout a dále s nimi pracovat.