Kniha (2022)/Rogo

Mezi nástroji pro elektronické testování zaujímá význačné místo program Rogō. Mimořádné postavení tohoto systému spočívá v tom, že je to kvalitní, bezpečný a snadno použitelný testovací nástroj, který je přitom volně šiřitelný.

Výhody (kvalita)

• Každá úloha má vlastní záznam o změnách a použití v testech.
• Přizvaní externí spolupracovníci mají snadný a bezpečná přístup k recenzím.
• Při distančním testování je možné nastavit ukončení testu po vyčerpání časové dotace.
• Položky použité v testu se uzamknou.
• U právě probíhajícího testu nelze přidávat ani odebírat položky.
• Možnost nastavení časového limitu testu.
• Odpovědi studentů lze analyzovat a jednoduše zhodnotit vlastnosti položek.
• Hodnocení lze dle výkonu kohorty upravit po skončení testu pomocí Hofsteeho metody.
• Pro nastavení hodnocení testu jsou k dispozici rovněž modifikovaná Angoffova a Ebellova metoda.

Bezpečnost

• K připojení se používá výhradně protokol HTTPS. Data jsou šifrována pomocí 256bitového SSL.
• Bezproblémové a bezpečné sdílení materiálů v rámci týmů zaměstnanců pro společnou práci na hodnocení.
• Přizpůsobitelné kontroly a váhy pro zajištění spravedlivého hodnocení pro všechny uživatele.
• Pro přístup studentů a učitelů umí využívat zavedené místní autentizační systémy.
• Při výpadku internetového připojení se ztratí jen odpověď na aktuálně otevřené stránce testu, nikoliv celý test.
• Přístup k testu se dá omezit na vybrané IP adresy.

Použitelnost

• Může běžet na serverech Windows i Linux.
• Kompatibilita s LDAP – pro uživatele není potřeba vytvářet další přihlašovací údaje.
• Podpora jazykových mutací.
• Systémy nápovědy na míru – samostatná nápověda pro uživatele podle rolí.
• Rogō je webová aplikace, která běží na všech hlavních prohlížečích - Chrome, Edge, Firefox, Safari, Internet Explorer.
• Adeptům se speciálními potřebami lze upravit jak vzhled testu, tak i časovou dotaci.

Licence

Z pohledu licence je webová aplikace pro on-line testování Rogō svobodně šiřitelný open source program, uvolněný pod GPL verze 3.0. Je tedy možné kód měnit, rozšiřovat jej a přispívat tak k projektu. V praxi to funguje tak, že požadavky na úpravy kódu, ať už se týkají nahlášení problémů, nebo jde o návrhy na nové funkcionality, se zapisují do fronty požadavků a komunita je postupně řeší.

Historie

Testovací systém byl od roku 2003 vyvíjen na lékařské fakultě University of Nottingham pod názvem "TouchStone" („prubířský kámen“). Systém Rogō vznikl na lékařské fakultě a je velmi dobře přizpůsoben zvláště pro výuku medicíny. Mimo jiné dovoluje použít v úlohách interaktivní obrázky, na nichž student myší vyznačí hledaný objekt. Systém pak vyhodnotí, zda hledanou strukturu označil s požadovanou přesností.

Po úspěchu na domovské fakultě byl rozšířen na celou univerzitu, převeden na software s otevřeným zdrojovým kódem a při té příležitosti i přejmenován, aby nedocházelo k záměnám s jinými systémy. Rogō v latině znamená "ptám se" . Komunita zabývající se vývojem Rogō získala finanční podporu společnosti JISC, která umožnila další rozvoj systému, mimo jiné možnost překladu do národních jazyků. V ČR je systém Rogō nainstalován (na serverech 1. LF UK) na adrese https://www.rogo.cz/ a kromě 1. LF UK slouží i dalším fakultám UK. 1. LF UK připravila český překlad prostředí a pracuje kontinuálně i na lokalizaci nápovědy. Díky podpoře LDAP jsou studenti do systému importování automaticky ze SIS (Studijní informační systém UK) a mohou se autentifikovat svým CAS účtem (Centrální autentizační systém UK).

Specifické vlastnosti

Na rozdíl od jiných programů Rogō pokrývá a podporuje mnoho kroků cyklu tvorby testů, od spolupráce při přípravě testových úloh, přes jejich oponování z hlediska obtížnosti a relevance, tvorbu plánu testu, standardizaci, až po vyhodnocení kvality otázek. Takto komplexní řešení přináší podstatné výhody. Např. k oponentuře testových úloh je vhodné přizvat řadu vlastních i externích odborníků, což bývá obvykle časově a organizačně náročné. Pokud přitom návrhy položek kolují mezi větším počtem lidí, je velmi obtížné zajistit jejich utajení. V Rogō jsou naopak oponenti vyzváni k připojení do systému, takže testové úlohy systém vůbec neopustí. Komentáře a připomínky se opět vkládají přímo do Rogō a autoři úloh na ně mohou ihned reagovat. Poté, co test proběhl, je možné zobrazit popisné charakteristiky, histogram celkových skóre všech studentů, nebo obtížnosti položek. Rogō automaticky vypočítává diskriminační indexy pro každou položku testu, což umožňuje identifikovat špatně sestavené úlohy a vyloučit je z dalšího používání. Z hlediska uplatňování moderních postupů v testování je systém zcela unikátní a jeho zavedení podporuje rozšíření správné testové praxe do terénu.

Systém umožňuje distribuovat jak papírové, tak i on-line testy, a to pro sebehodnocení i pro zabezpečené sumativní testování.

Rogō obsahuje nástroje umožňující automaticky importovat do systému studenty a předměty, které mají zapsány. Studenti se pak díky podpoře adresářové služby LDAP, kterou používá celá Univerzita Karlova, mohou rovnou přihlásit svým CAS účtem a v Rogō jsou přiřazeni ke všem svým předmětům.

Systém umožňuje pedagogům vytvářet řadu typů testů a průzkumů:

• Formativní hodnocení
• Sumativní hodnocení
• Testy pokroku
• Průzkumy (dotazníky)
• e-OBSE (klinické zkoušení)
• Offline testy
• Vzájemné hodnocení (studentské)

Každý z těchto typů testů a průzkumů může používat řadu forem položek:

• Vymezení plochy
• Dichotomické úlohy
• Úlohy s výběrem odpovědi
• Extended Matching
• Multiple true false
• Doplňování textu
• Označení bodů v obrazu
• Likertova škála
• Test shody scénářů
• Textová pole

Výhody

Tab. X.X Výhody systému Rogō

Nízké náklady na pořízení Podpora celého procesu testování Podpora týmové spolupráce Vysoká úroveň zabezpečení Velký výběr typů testových úloh včetně multimediálních

Nevýhody

Tab. X.X Nevýhody systému Rogō

Menší komunita udržující a rozvíjející systém Potřeba lokální podpory a administrace Ne zcela intuitivní ovládání Časová náročnost při osvojování programu