Kniha (2022)/Náklady testování
Příprava kvalitních testových úloh, provedení a vyhodnocení testů jsou odborně náročné, pracné a nákladné úkony. Při velkém počtu zkoušených studentů lze očekávat, že cena jednoho testu klesne („úspory z rozsahu“), protože fixní náklady se rozdělí na víc částí.
Pro malé počty hodnocených je rozhodně méně pracné zkoušet ústně než připravovat, provádět a hodnotit testy. K rozhodnutí zkoušet malý počet studentů pomocí testů obvykle vedou závažné důvody. Hodnocení studentů pomocí testů může být metodou volby, pokud potřebujeme, aby výsledky byly prokazatelně objektivní a reprodukovatelné, např. když hrozí, že se proti nim budou testovaní odvolávat. Z ekonomického hlediska se testování vyplatí při velkém počtu zkušených, neboť vysoké pořizovací náklady budou vyváženy nízkými provozními náklady.
- Náklady na položku
Vytvoření kvalitních testových úloh vyžaduje tým expertů v příslušném oboru, proškolených navíc v metodice tvorby testů. Další výdaje přináší recenzování otázek a pilotní testování s dostatečně velkou skupinou studentů.
Náklady na přípravu kalibrovaných položek pro důležité testy se odhadují na 1000 USD za úlohu; obecně se dá říci, že náklady na položku neklesají pod 300 USD. [1]
Celkové náklady na vývoj jedné kvalitní položky do adaptivního přijímacího testu spočítal např. Rudner. [2] Ukázal, že kvalitní kalibrovaná položka stojí (v USA) 1500–2000 USD. Porovnáme-li údaj s odhadem nutného počtu položek v položkové bance pro běžné adaptivní testování od Breithauptové [3] (asi 2000 položek v bance), dojdeme k astronomické částce 3–4 miliony USD za obsah položkové banky. [4]
Náklady na položky se mohou snížit, můžeme-li znovu použít již hotové úlohy. Mohou to být položky, které jsme připravili a kalibrovali v minulých kolech testování, pokud jsme si jisti, že nebyly předchozím použitím exponovány.
|
Na 1. LF UK jsme spočítali náklady na novou položku v akademickém roce 2020/21. Bylo připraveno 230 položek, při výsledné ceně 1 500,-Kč za položku. Do ceny se největší měrou promítají náklady na práci autorů a recenzentů a v menší míře náklady na provoz a pořízení položkové banky. Je zřejmé, že v porovnání se zahraničním máme výhodu nízké ceny kvalifikované pracovní síly. |
- Náklady na testovaného
Zajímavé je podívat se na náklady testování vztažené na jednoho otestovaného studenta. Je zde patrný velký rozptyl údajů vzhledem k různým podmínkám a nárokům.
Centrum pro výzkum vzdělávacích standardů a studentského testování (CRESST) ve zprávě z roku 1996 počítalo náklady hodnocení pomocí testů se započtením platů učitelů. Jeho odhady se pohybovaly od 848 do 1 792 USD na studenta. [5]
Jak významné mnohou být úspory z rozsahu, ukazuje příklad známých zkoušek ACT a SAT, které jsou ve Spojených státech součástí přijímacího řízení na vysoké školy. Tyto zkoušky v roce 2020 absolvovalo 1,65 a 1,1 milionu testovaných. Ceny za tyto testy, které pokrývají veškeré náklady na vývoj, bodování a administraci testů, se pohybují od 20 do 70 USD.
Ačkoli jsou odhady nákladů a přínosů obvykle závislé na kontextu a rozsahu, je zřejmé, že přínosy počítačově podporovaného testování podstatně převažují nad jeho náklady.[6]
|
Opět můžeme porovnat tyto náklady s náklady při přijímacím řízení na 1. LF UK v akademickém roce 2020/21. Omezíme-li se na magisterské obory, do kterých se hlásilo cca 4000 uchazečů, dostáváme náklady na jednoho testovaného přibližně 250 Kč. Z toho největší část nákladů tvoří tzv. "náklady testového dne", které představují více než třetinu celkové sumy. Další zhruba třetina jsou tiskové náklady a zbylá část se dělí na tvorbu úloh a náklady položkové banky. I zde je patrné, že jsme na zlomku (cca třetině) porovnávaných nákladů zkoušek typu SAT a ACT, a to navzdory nepoměru v počtu testovaných. Menší poměr nákladů než v případě tvorby otázek, kde byl poměr více než 1:20, přisuzujeme rozdílu v počtu testovaných a nestlačitelnosti nákladů tisku, které nejsou tak geograficky citlivé jako náklady na pracovní sílu. |
Odkazy
Reference
- ↑ Chybná citace: Chyba v tagu
<ref>; citaci označenéDowningnení určen žádný text - ↑ RUDNER, Lawrence M.. Implementing the graduate management admission test computerised adaptive test [online] . In van der Linden, Wim J.; Glas, Cees A.W. Elements of Adaptive Testing. 1. vydání. New York : Springer, 2010. s. 151-165. Dostupné také z <https://link.springer.com/chapter/10.1007/978-0-387-85461-8_8>. ISBN (Print) 978-0-387-85459-5, (Online) 978-0-387-85461-8
- ↑ BREITHAUPT, Krista, Adelaide A ARIEL a Donovan R HARE. Assembling an inventory of multistage adaptive testing systems [online] . In van der Linden, Wim J.; Glas, Cees A.W. Elements of Adaptive Testing. 1. vydání. New York : Springer, 2010. s. 247-266. Dostupné také z <http://link.springer.com/chapter/10.1007%2F978-0-387-85461-8_13>. DOI:10.1007/978-0-387-85461-8_13. ISBN (Print) 978-0-387-85459-5, (Online) 978-0-387-85461-8
- ↑ GIERL, Mark J, Hollis LAI a Simon R TURNER. Using automatic item generation to create multiple-choice test items. Medical Education [online]. 2012, roč. -, vol. 46, no. 8, s. 757-765, dostupné také z <http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2923.2012.04289.x/full>. sv. DOI:. ISSN 1365-2923. PMID: 22803753.DOI: 10.1111/j.1365-2923.2012.04289.x.
- ↑ PICUS, Lawrence O., Alisha TRALLI a Suzanne TACHENY. Estimating the Costs of Student Assessment in North Carolina and Kentucky: A State-Level Analysis. In: CSE Report 408: National Center for Research on Evaluation, Standards, and Student Testing (CRESST). [online]. Los Angeles: University of California, 1996 [cit. 2021-11-17]. Dostupné z: https://cresst.org/publications/cresst-publication-2780/
- ↑ PHELPS, Richard. Estimating the Costs and Benefi ts of Educational Testing Programs. In: The Education Consumers Consultants Network: Issues in Public Education: Research and Analysis from the Education Consumers Foundation [online]. Arlington: Education Consumers Foundation, 2002 [cit. 2021-11-18]. Dostupné z: http://education-consumers.org/research/briefs_0202.htm
