Kniha (2022)/Software pro analýzy testů

Analýza testu a její reportování patří k důležitým krokům v procesu testování. Při položkové a testové analýze můžeme zjistit, jak se chová náš test jako celek a jaké jsou vlastnosti jednotlivých položek. Díky této zpětné vazbě můžeme test pro další kola korigovat a vylepšovat. Komerčních nástrojů pro analýzu testů a položek je mnoho desítek. Volně dostupných nástrojů je výrazně méně. Některé moduly analytických nástrojů mohou být obsaženy přímo v programech pro testování (Rogō), či systémech pro správu výuky (Moodle), ale pro opravdu důkladnou analýzu je třeba použít specializované nástroje, či statistické prostředí s příslušnými knihovnami.

Specializované komerční programy bývají uživatelsky přátelské, velmi sofistikované a poměrně nákladné. Volně dostupná nekomerční řešení mají zase většinou vysoký práh obtížnosti.

Protože předpokládáme, že naši čtenáři se rekrutují spíše z akademických kruhů, kde je vyžadována vysoká kvalita analýzy a je snáze dostupná mentální kapacita než finanční zdroje, začneme výtečným analytickým nástrojem - statistickým software R. Ti, kdo nemají problém se zadáváním příkazů z příkazové řádky mohou použít některý z mnoha balíčků v "R knihovně" CRAN zaměřený na oblast "Psychometric Models and Methods". Pro ty, kdo mají přece jen raději více uživatelsky přátelská řešení je tu webová aplikace ShinyItemAnalysis odvozená od stejnojmenného balíčku v knihovně R.

ShinyItemAnalysis

Na webu volně dostupná aplikace ShinyItemAnalysis od Patrície Martinkové a jejích kolegů, byla původně vytvořena pro analýzu přijímacích testů na vysoké školy. Nově nabízí i širokou škálu dalších analýz v oblasti didaktických a psychologických měření. Umožňuje provádět testové a položkové analýzy včetně grafických výstupů (distraktorovou analýzu, dvoubarevné DD grafy, ...). Pomocí přednahraných dat si můžete vyzkoušet analýzy na ukázkových datech. Nabízených metod je hodně a v relaci k tomu je nápověda trochu stručná. Nicméně, když víte co potřebujete, tak to zas takový problém není.

Ne zcela bezprahové je nahrávání dat do systému. Pokud máte chybu ve formátu dat, nedostanete žádnou zprávu o příčině selhání. Můžete tak strávit dost času, než problém odhalíte, ale nenechte se odradit, podruhé to již půjde lépe. Jinak je to totiž opravdu jedinečný nástroj. Najdete jej na adrese http://www.shinyitemanalysis.org/

jMetrik

jMetrik je bezplatný psychometrický software s otevřeným zdrojovým kódem. Byl vyvinut J. Patrickem Meyerem na University of Virginia. Nabízené psychometrické metody zahrnují klasickou analýzu položek, odhad spolehlivosti, škálování testů, diferenciální fungování položek, teorii odpovědi na položku, Raschovy modely a další. K programu je obsáhlá nápověda. Nicméně podle některých autorů je jMetrik poněkud těžkopádný. Nově je dostupný samostatný modul IRT illustrator, který umožňuje vykreslovat různé funkce teorie odpovědi na položku (IRT). jMetrik i IRT illustrator jsou čistě Javová aplikace, fungující na všech operačních systémech, které mají aktuální verzi Javy. Více informací a software samotný najdou čtenáři na adrese https://itemanalysis.com/

Z komerčních analytických nástrojů si dovolíme zmínit tři - Lertap, Iteman a Xcalibre, které jsme měli možnost vyzkoušet.

Lertap

V Austrálii působící odborník na psychometrii Larry Nelson vytvořil řadu programů pro analýzy testů. Poslední z této řady LERTAP5 je komplexní softwarový balík pro analýzy testů, využívající Microsoft Excel. Počítá analýzu výsledků testů, položek, včetně grafických výstupů. Nabízí nástroje pro detekci podvádění. I je Lertap5 spíše orientován na metody klasické teorie testů (CTT), nabízí také základní Raschovy analýzy pro dichotomické testové položky. Výpočty nejsou nejrychlejší, což je způsobeno prostředím Excelu, v němž probíhají. Volně dostupná verze obsahuje všechny funkce, ale nezpracuje více než 250 datových záznamů. Trvalá licence (vázaná na počítač) stojí 78 dolarů, čím se tento produkt řadí na pomezí mezi komerčními a nekomerčními nástroji.

Iteman

Program Iteman je zajímavý komerční software pro analýzu položek a testů pomocí klasické teorie testů (CTT). Unikátní je tím, že vytváří obsáhlé a profesionálně zpracované zprávy ve formátu Microsoft Word o kvalitě testových položek, o testu jako celku a o jeho psychometrických vlastnostech a to včetně vložené grafiky a tabulek. Popis jedné ze starších verzí přináší Byčkovský Iteman je nyní (ve verzi 4) k dispozici buď jako cloudová verze, nebo aplikace pro Windows. Cloudová verze umožňuje používat software kdekoli. Verze pro Windows zase umožňuje uchovávat všechna (potenciálně citlivá) data na jednom počítači. Nekomerční licence (pro akademickou sféru) programu Iteman stojí 1295 USD ročně. Ukázková verze má omezení na 100 studentů a 100 položek. Více informací, popis aktuální verze a licencování najde čtenář na stránkách výrobce http://www.assess.com/.

Xcalibre

Xcalibre 4, od stejného výrobce, představuje výkonný nástroj pro analýzu testů založený na teorii odpovědi na položku (IRT). Program má velmi uživatelsky přátelské rozhraní. Poskytuje profesionální zprávy shrnující výsledky analýzy, včetně vložených tabulek a grafů. Umožňuje analyzovat velké soubory dat, provádět srovnávací studie, nebo vylepšovat položky pomocí distraktorové analýzy. Ovládání je typu "point-and-click", nepotřebujete psát žádný kód. Nekomerční verze programu Xcalibre stojí ročně 1495 USD.