Kniha/Položkové banky

• https://www.youtube.com/watch?v=HS-sJTwIGso&t=33s
• https://en.wikipedia.org/wiki/Item_bank
• https://www.researchgate.net/publication/316148365_Item_Banking
• https://link.springer.com/chapter/10.1007/978-3-030-35758-0_15
• https://assess.com/2017/04/12/item-banking-can-improve-assessment/
• https://assess.com/2020/10/04/item-banks-6-ways-to-improve/
• https://link.springer.com/chapter/10.1007/978-3-030-25264-9_11
• Introduction to Item Banking - How To Develop Better Exams With Professional Assessment Software
• A Cost–Benefit Analysis for Developing Item Banks in Higher Education, 2019
• What is Item Banking? What are Item Banks?

Položková banka (nebo též "banka testových úloh") je úložiště testů a testových úloh a jejich metadat. Banky testových úloh úzce souvisejí s testovým cyklem popsaným výše, protože položková banka v širším pojetí může obsahovat nástroje pro vytváření položek, jejich recenzování a správu, dále pro plánování, vytváření a doručování testů a nakonec i pro zhodnocení odpovědí, včetně analýzy testů a testových položek. Mohou tedy podporovat celý testový cyklus.

Spolu s testy a úlohami se uchovávají i metadata, včetně psychometrických charakteristik položek vypočtených z předchozích běhů testů, jichž lze využít jako zpětné vazby pro zlepšování dalších běhů testu. Pokud systém udržuje i informaci o autorovi položky a recenzentech, může jim poskytnout zpětnou vazbu, jak se položka chovala v testu, a tím přispívat k jejich edukaci.

Položky mají většinou formát „s výběrem možností“, ale lze použít jakýkoli formát. Úlohy z banky slouží ke konstrukci testů distribuovaných jak klasicky, tak elektronicky.

David Vale popsal položkovou banku jako "organizovanou sbírku testových položek". Nejjednodušší položkovou bankou může být krabice od bot s lístky, na nichž jsou testové úlohy. Když byly k dispozici statistiky položek, psaly se často na zadní stranu karet, spolu s datem, kdy test proběhl. Pokud chtěl autor testů vytvořit nový test, prohledal ručně krabici s položkami, zkontroloval obsah úloh a jejich statistiky a vybral ty, které pak použil v testu.

Rozdíl, mezi položkovou bankou a prostou sadou testových položek je v tom, že položkové banky umožňují sledovat položku v celém jejich životním cyklu, v němž položka může být využita v řadě testů. Informace o chování úlohy v jednom cyklu se ukládají a využívají pro konstrukci kvalitnějších testů v dalších cyklech. Tato "znovupoužitelnost" a zvyšování kvality díky vyhodnocování předchozích použití položek patří k základním rysům položkových bank.

Na přelomu století byly předmětem výzkumu "znovupoužitelné výukové objekty". V případě výukových materiálů se snaha uchovávat je v repozitářích i s metadaty pro další použití neprosadila. Popis pomocí metadat byl pro vytížené pedagogy příliš pracný a jeho náročnost potlačila efekt úspory z opětovného využití. V případě položkových bank je situace jiná. Práce s metadaty je užitečná a většinou plně automatizovaná. Myšlenka využití "znovupoužitelných výukových objektů" tak dochází po desetiletích svého naplnění, i když v jiném kontextu, než se původně plánovalo.

Položkové banky jsou nezbytnou součástí procesu kvalitního hodnocení. Kromě podpory tvorby testových otázek umí mnohem více: ukládat metadata o položkách, ukládat psychometrické vlastnosti položek v testech, sledovat jejich využití, řešit správu uživatelů, správu bezpečnosti a vynucovat správné pracovní postupy, které pomáhají dodržovat kvalitativní normy. Položkovou banku nepotřebujete, pokud děláte malý počet spíše formativních testů. Ale neobejdete se bez ní, pokud připravujete rozsáhlá a důležitá hodnocení studentského výkonu.

Položky a jejich metadata

Položkové banky neobsahují pouze text každé položky, ale také řadu informací týkajících se jejího původu, začlenění, využití a psychometrických charakteristik. Mezi tato metadata patří například:

• Text položky
• Datum vytvoření
• Správná dopověď
• Formát položky
• Přiřazení k tématům
• Autor položky
• Recenzenti položky
• Vyjádření recenzentů (pro Angoffovu metodu)
• Stav recenze (k recenzi, hotová, odmítnutá, k přepracování, ...)
• Stav položky (např. nová, zrecenzovaná, aktivní, archivovaná, nahrazená novou verzí, ...)
• Charakteristiky podle klasické testové teorie
• Charakteristiky podle teorie odpovědi na položku
• Zapojení položky v testových plánech
• Vztahy k ostatním položkám

Při konstrukci položkové banky je třeba přihlédnout k potřebám konkrétního oboru a přizpůsobit mu například již členění položek. Položka totiž může být v databázi uložena jako celek, nebo po jednotlivých částech - jako kmen (medailonek), samotná otázka a nabídnuté odpovědi. Pak lze snadno generovat odvozené varianty položek (např. s odlišnými daty pro výpočet), ale je obtížnější udržet pořádek v informacích, v jaké podobě byla položka použita v kterém testu. Zvolit způsob ukládání je třeba provést na začátku, závisí na něm řada dalších vlastností položkové banky.

Typy vztahů mezi položkami v testech

U položek se ukládá řada metadat. Mezi jinými se ukládají i vztahy mezi položkami, které popisují, zda a za jakých okolností mohou dvě úlohy být spolu v jednom testu.

Přátelé	Položky se musí vyskytovat společně, neboť se opírají o společný základ, nebo používají společný podpůrný materiál.
Blízcí přátelé	Položky se musí vyskytovat společně. Pokud se objeví jedna, musí být přítomna i druhá.
Snobové	Položky typu „Blízcí přátelé“, které mohou být použity jen v určitém pořadí, aby byly srozumitelné.
Závislí	Položky, které se mohou vyskytnout pouze s podporou „Podporovatel“
Podporovatelé	Položky bez samostatné interakce, které poskytují kontext pro následující „Závislé“ položky. Může jít například o text, na který se bude několik úloh ptát.
Antagonisté	Položky, které nesmějí být v testu blízko, neboť je jedna pro druhou nápovědou.
Nepřátelé	Položky nesmějí být ve stejném testu, protože se ptají na totéž.
Klon (potomek)	Položka byla odvozena změnou (opravou, vylepšením) rodičovské položky.

Funkcionality položkových bank

Od položkové banky obvykle očekáváme, že zajistí a bude podporovat:

• Autentizaci přístupů
• Vytváření položek
• Ukládání položek
• Třídění položek
• Recenzi položek (včetně řízení postupu recenze)
• Tvorbu testových plánů (blueprint)
• Správu položek
• Správu testů
• Správu výukových cílů pro kategorizaci položek
• Tisk nebo elektronické provedení testu
• Načtení výsledkových formulářů
• Automatické psychometrické analýzy
• Logování aktivit
• Záznamy o exportech položek a testů
• Uchovávání dat psychometrických dat z předchozích použití položek

Zásadní vlastností, která odlišuje položkovou banku od úložiště položek, je právě to, že položková banka uchovává psychometrické charakteristiky z předchozích kol testování. Umožňuje tak jejich využití pro tvorbu lepších položek a konstrukci lepších testů.

Jak si čtenář jistě povšiml, ve výčtu vlastností není explicitně uvedeno automatizované generování testů. Ukazuje se totiž, že návrh testu vyžaduje, aby bral autor v úvahu velké množství často nevyjádřených parametrů položek a jejich zastoupení v testu vyvažoval. Takže i v případě, že systém umí vygenerovat návrh sady testových položek, stejně se předpokládá, že tento návrh projde korekturou "autora" testu, který je zodpovědný za jeho vyváženost. Položková banka k tomu nabízí autorovi řadu nástrojů, například možnost sledovat, jak úlohy pokrývají testovanou oblast (blueprinting), kolik je v testu výpočetních úloh a podobně.

Komplexní položkové banky mají zabudované další užitečné mechanismy, které například hlídají změny závislých parametrů položek. Po přepracování položky tak dokážou změnit proměnou "stav recenze" z hodnoty "k přepracování" na hodnotu "k recenzi" apod.

Poznámka: Vliv rozhodnutí o potřebnosti forenzních analýz testu na strukturu položkové banky. Samotná položková banka nepotřebuje ukládat informaci o identitě testovaného. Pokud to autoři položkové banky považují v daném kontextu za potřebné, mohou ukládat do položkové banky informace o ročníku, pohlaví a dalších atributech, ale pro ukládání konkrétní identity většinou není důvod. Situace se změní, když se ukáže, že je potřeba statistickými nástroji prověřovat, zda při testování nedochází k nedovolenému jednání. V tom případě je nezbytné s identitou testovaných pracovat. Jde o koncepční otázku, protože se pak musíme zabývat nejen statistikami testových úloh, ale i statistikami testovaných. Při návrhu položkové banky je vhodné na tuto okolnost pamatovat a počítat s ní předem.

Výhody položkových bank

Položková banka by měla být v základu každého seriózního systému pro testování. Její použití totiž přináší řadu výhod :

1. Umožňuje opakovanou tvorbu testů s predikovatelnými vlastnostmi.
2. Poskytuje možnost objektivně zjistit specifika jednotlivých autorů položek. Může se ukázat, že někteří autoři položek připravují systematicky lehčí nebo naopak obtížnější položky. Někteří upřednostňují jednu tematickou oblast, nebo jeden typ úloh (např. výpočetní). Potřebujete-li např. doplnit testovou sadu o specifickou položku, víte, na koho se obrátit.
3. Pravidelná práce s autory vám umožňuje je školit a zvyšovat jejich dovednosti při tvorbě úloh.
4. Banka nutí ke standardizovanému postupu při přípravě testových položek (obsahová recenze, jazyková korektura, typografická kontrola, stanovení obtížnosti, vyhodnocení po testu...), což je zárukou systematického zvyšování kvality.
5. Udržuje se pořádek v různých verzích položek. Když je potřeba úlohu opravit nebo opravit, vzniká podle rozsahu změny buď její nová verze, nebo jen upravená varianta (např. pokud jde jen o opravu překlepů nebo úpravu typografie).
6. Všechny položky jsou přiřazeny ke konkrétním tématům a systém v nich umožňuje vyhledávat podle řady kritérií. Tím je při tvorbě testů zajištěno lepší pokrytí testované látky, usnadní se dodržení plánu testu, zamezí se opakování a nedochází k problémům s položkami s neznámým nebo nepotřebným zaměřením.
7. Položkové banky umožňují k položkám přiřadit výsledky psychometrické analýzy proběhlých testů. Je tak možné vytřídit málo kvalitní položky, nebo sledovat, zda položka nebyla mezi dvěma testy vynesena.
8. V položkové bance jsou nastavována oprávnění jednotlivých uživatelů na základě rolí. Současně jsou všechny aktivity logovány, zejména změny položek, hromadné exporty a přístupy k finalizovaným testům. To vše přispívá ke zvýšení bezpečnosti testu.
9. Položková banka by měla umožnit snadnou identifikaci duplicitních položek a položek, které mají nějaký typ vzájemné vazby (nepřátelé, přátelé, blízcí přátelé, ...)
10. Položková banka zvyšuje efektivitu a kvalitu testování tím, že prohlíží na položky jako na znovupoužitelné objekty a podporuje celý cyklus vývoje testů.

Příklady položkových bank

Položková banka je v podstatě jednoduchá databáze, může tedy být uložena v databázovém systému, nebo dokonce v prostředí tabulkového procesoru.

Příklad položkové banky vytvořené v Excelu byl prezentován na konferenci Association for Educational Assessment - Europe 2016. Řešení bylo relativně jednoduché a přitom zcela funkční a rozhodně můžeme potenciálním zájemcům tento krok doporučit. I kdyby to bylo jen dočasné řešení - pomůže vám vyjasnit, jaké máte potřeby a co požadujete od případného budoucího komplexnějšího řešení.

Vlastní položkové banky si vyvinula většina velkých společností, které se zbývají testováním. V Česku mají bezesporu nějakou formu položkové banky například SCIO, nebo Cermat. Na některých vysokých školách mají části položkové banky integrované v přímo v informačním systému školy.

Položková banka 1. LF UK.

Samostatnou položkovou banku si vyvinuta i 1. LF UK. Jedná se komplexní položkovou banku pro formát položek MTF. Podobně jako v případě testovacího systému Rogō se jedná o webovou aplikaci, která běží na všech hlavních prohlížečích. Banka, jejíž vývoj se datuje od roku 2014, podporuje všechny kroky testového cyklu od blueprintingu přes tvorbu položek, jejich recenzování a správu verzí. Banka umožňuje tvorbu testů, jejich recenzování, tiskovou přípravu, import výsledků, položkovou analýzu a reportování výsledků testu. V bance je asi 10 tisíc položek včetně metadat o výsledcích použití v předchozích kolech. Vzhledem k využití při zkouškách velkého významu je banka silně zabezpečena a každý přístup do ní je logován. Vlastnosti právě této položkové banky jsou základem obecného popisu položkových bank uvedeného výše. A zrcadlově - tato banka má všechny vlastnosti požadované v obecném modelu.

Řada zájemců o testování hledá ekonomicky přijatelnou cestu, jak pořídit některou komerční položkovou banku. Nabízených možností je celá řada, ale model jejich licencování zpravidla vychází z prostředí, kde je na tyto účely alokováno podstatně více prostředků, což tato řešení činí pro tuzemské zájemce prakticky nedostupnými.

Zkušenost s TAO of testing

Na pomezí komerčních produktů stojí systém "TAO of testing", který nás zaujal dostupností bezplatné verze. Protože by to mohlo zlákat i další zájemce, považujeme za užitečné naši zkušenost sdílet.

TAO je jednak v čínské filozofii výraz pro základní princip vesmíru, ale též francouzská zkratka pro Testing Assisté par Ordinateur (počítačově podporované testování). Platforma TAO je vyvíjena na Lucemburské univerzitě jako open source projekt. Poskytuje účastníkům procesu počítačového testování komplexní sadu funkcí, které podporují vytváření, správu a administraci elektronických testů. Pokrývá zejména:

• Vývoj a správu položek
• Správu testovaných
• Vytváření a správu testů
• Správu autorů a recenzentů
• Doručení testů
• Správu výsledků

TAO je otevřený a modulární systém, který vychází z předpokladu, že žádné řešení nemůže vyhovovat všem, takže se očekává, že si jej uživatelé přizpůsobí pro své potřeby. Jde o webovou aplikaci, která běží na serveru a nevyžaduje cokoliv instalovat na počítači uživatele. Podporuje překlady do národních jazyků. Autorům nabízí pro intuitivní tvorbu položek WYSIWYG editor, včetně integrace multimédií.

Systém je sice open source, ale "zadarmo" je jen zdánlivě. Máte dvě možnosti, jak jej využívat. Buď využijete placenou cloudovou instalaci poskytovatele, která stojí jako ostatní položkové banky na trhu, nebo si TAO nainstalujete na svoje servery sami. Dokumentace je ovšem nedostatečná a instalace a aktualizace jsou špatně popsané. Instalační skripty obsahují chyby a v manuálech jsou odkazy na neexistující skripty a další zdroje. Výrobce sice nabízí podporu, ale ta je draze zpoplatněna.

V systému chybí podpora pro adresářové služby (LDAP), což znemožňuje využít v konkrétní instituci její stávající ověřování identit (a správu uživatelských jmen a hesel). To je velmi nepraktické při nasazení ve velkých institucích, které by tak kvůli testování musely udržovat adresářů několik. Systém TAO rovněž neobsahuje nástroje pro analýzu testů a položek (pouze export do formátů QTI 2.2. nebo CSV), takže pro testové a položkové analýzy je potřeba používat software jiných výrobců.

Tuto položkovou banku jsme implementovali a experimentálně provozovali , ale problémy s dokumentací a aktualizacemi i nutností řešit uživatelská jména a hesla studentů separátně mimo stavající adresáře (LDAP) vedly k ukončení tohoto experimentu.

Rozsáhlé banky testových úloh

V některých případech přerostla běžná práce s položkovou bankou obvyklý rozměr. Zmiňme dva takové zajímavé případy. Nejzajímavější z těchto spoluprací je britská Medical Schools Council Assessment Alliance (MSA-AA), jež sdružuje všech 31 lékařských škol ve Velké Británii.

Medical Schools Council Assessment Alliance

Provozuje pro ně společnou položkovou banku. Společným cílem všech účastníků je zlepšit hodnocení výsledků výuky na lékařských fakultách.

Aliance navazuje na činnost Sdružení lékařských fakult - Universities Medical Assessment Partnership (UMAP), které bylo založeno v roce 2003 za účelem spolupráce při tvorbě a sdílení testových položek. Sdružení se postupně rozrůstalo o další školy a po roce 2009 se přeměnilo na MSC-AA.

Společná položková banka obsahuje především položky ve formátu s jednou nejlepší odpovědí (SBA), ale přibývají i úlohy pro stanice OSCE a „multiple-mini interview“. Banka je přístupná všem zúčastněným školám. Otázky vznikají ve spolupráci a procházejí rozsáhlým testováním kvality a standardizací. Všechny lékařské vysoké školy v UK se dohodly, že zahrnou do závěrečných zkoušek dohodnutý podíl sdílených otázek, čímž zajistí vzájemnou psychometricky validní porovnatelnost "státních" zkoušek.

Item Management System

V německy mluvících zemích se na mnoha vysokých školách používá položková banka Item Management System (IMS). Vznikla v roce 2006 jako výsledek spolupráce lékařských fakult univerzity v Heidelbergu, v Berlíně a v Mnichově. Skupina se postupně rozrostla na 77 institucí zejména v Německu a ve Švýcarsku a je zastřešována konsorciem Umbrella Consortium for Assessment Networks (UCAN).

Item Management System je databáze položek, která umí spolupracovat s aplikacemi pro počítačové testování, pro papírové či mobilní testování, pro analýzu výsledků a tak dále. V systému bylo k březnu 2021 uloženo 700 000 položek (bez rozlišení formátu), z nichž 125 000 bylo sdíleno.,

Umbrella Consortium for Assessment Networks (UCAN), které se o položkovou banku stará, je deklarováno jako nezisková organizace, ale na venek funguje jako komerční subjekt. Licence se počítá podle počtu testovaných. Ceny jsou nastaveny pro západoevropské poměry.