Tvorba testov v Moodle (tréningový seminár)

1. Ciele vzdelávania a testovanie
   Podľa Bloomovej taxonómie (Bloom, 1956; Anderson and Krathwohl, 2001; Gavora, 2015) možno rozlišovať rôzne úrovne kognitívnych procesov:
   1. zapamätanie (schopnosť reprodukovať poznatky),
   2. porozumenie  (položka si vyžaduje interpretáciu),
   3. aplikácia  (použiť poznatok v novej situácii),
   4. analýza (využíva sa v otvorených testových úlohách),
   5. hodnotenie,
   6. tvorba.
   Kvalitný test by mal pokrývať viacero z týchto úrovní, pričom ich zastúpenie závisí od charakteru učiva.
2. Obsahová reprezentatívnosť testu
   Obsah testu má byť reprezentatívnym výberom učiva. Ukážka maturitného testu. To znamená, že:
   1. úlohy pokrývajú podstatné časti tematického celku,
   2. nie sú jednostranne zamerané na marginálne témy,
   3. reflektujú dôležitosť jednotlivých obsahových prvkov.
   4. Nereprezentatívny test môže viesť k deformovanému obrazu výkonu žiaka.
3. Štruktúra testovej úlohy
   Každá testová úloha by mala obsahovať:
   1. Jasne formulované zadanie.
   2. Jednoznačne definovanú správnu odpoveď.
   3. V prípade uzavretých úloh kvalitné distraktory.
   4. Primeranú jazykovú úroveň.
   5. Formulácia zadania musí byť vecná, bez nadbytočnej komplikovanosti a bez dvojznačností.

1. Uzavreté úlohy s výberom jednej správnej odpovede (multiple choice).
   Tieto otázky umožňujú vybrať len jednu odpoveď pomocou rádiových tlačidiel vedľa odpovedí. Pre každú odpoveď môžete určiť záporné alebo nenegatívne známky, zvyčajne nula za nesprávne odpovede, maximálny počet bodov za správne odpovede a čiastočné za čiastočne správne odpovede.
2. Úlohy s výberom viacerých správnych odpovedí
   Tieto úlohy predstavujú rozšírenie klasického multiple choice. Žiak identifikuje všetky správne tvrdenia z ponúknutého súboru.
3. Numerické úlohy
   Numerické úlohy sú v matematike mimoriadne dôležité, pretože umožňujú overovať výpočtové postupy bez vplyvu hádania.
4. Matching (priraďovanie)
   Matching úlohy overujú schopnosť identifikovať vzťahy medzi pojmami. Sú vhodné najmä pri systematizácii učiva.
5. Cloze (vložené odpovede)
   Cloze úlohy umožňujú kombinovať rôzne typy odpovedí v rámci jedného zadania.
6. Otvorené úlohy v testovaní
   Aj keď sú testy tradične spájané s uzavretými úlohami, otvorené položky majú svoje miesto, najmä v učiteľskej praxi.
7. Popíšte ďalšie typy úloh.

1. Uzavreté úlohy s výberom jednej správnej odpovede (multiple choice)
   1. Charakteristika
      Úlohy s výberom jednej správnej odpovede patria medzi najčastejšie používané formy testových položiek. Pozostávajú zo zadania (kmeňa úlohy) a z niekoľkých ponúknutých odpovedí, z ktorých jedna je správna a ostatné sú distraktory.
      Ich hlavnou výhodou je objektivita hodnotenia a jednoduchá administrácia. Pri vhodnej konštrukcii môžu overovať nielen zapamätanie, ale aj porozumenie a aplikáciu poznatkov (Anderson & Krathwohl, 2001).
   2. Konštrukčné zásady
      1. Jednoznačnosť zadania
         Zadanie musí byť formulované presne a bez dvojznačností. Nejednoznačnosť môže viesť k viacerým interpretáciám správnej odpovede. v
      2. Kvalita distraktorov (Distraktor je nesprávna ponúkaná odpoveď v uzavretej testovej úlohe - napr. multiple‑choice. Jeho úlohou nie je len „byť zlou odpoveďou“, ale: lákať žiaka, ktorý urobí typickú chybu, odhaliť spôsob jeho uvažovania, umožniť učiteľovi diagnostikovať neporozumenie.)
         Distraktory by mali:
         • vychádzať z typických chýb žiakov,
         • byť obsahovo plausibilné,
         • mať podobnú dĺžku a jazykovú štruktúru ako správna odpoveď.
      3. Vyvážená štruktúra odpovedí
         Správna odpoveď by nemala byť systematicky dlhšia, presnejšia alebo formálne odlišná od ostatných možností.
      4. Vyhýbanie sa negatívnym formuláciám
         Otázky typu „Ktoré tvrdenie nie je pravdivé?“ zvyšujú kognitívnu záťaž a môžu viesť k chybám nesúvisiacim s obsahovým porozumením.
   3. Didaktické limity
      Uzavreté úlohy vždy obsahujú prvok hádania. Pravdepodobnosť náhodného zásahu správnej odpovede treba zohľadniť pri interpretácii výsledkov. Navyše, tento typ úloh obmedzuje možnosť sledovať postup riešenia, čo je v matematike často podstatné.

Príklad 1 (Kvalitná úloha)
Prečo je v didaktike matematiky dôležité pracovať s chybou žiaka ako s diagnostickým nástrojom?

1. A) Pretože chyba umožňuje identifikovať miskoncepciu a porozumieť spôsobu myslenia žiaka.
2. B) Pretože chyba znižuje autoritu učiteľa.
3. C) Pretože chyba je prejavom nedisciplinovanosti.
4. D) Pretože chyba by sa mala okamžite opraviť bez analýzy.

Didaktická analýza

1. Distraktory reprezentujú bežné mylné postoje.
2. Všetky možnosti sú formálne rovnocenné.
3. Správna odpoveď nie je najdlhšia ani formálne odlišná.
4. Úloha overuje porozumenie didaktickému princípu, nie pamäť.

Príklad 2 (Nevhodná úloha)
Ktoré tvrdenie NIE je správne?

1. A) Test môže mať diagnostickú funkciu.
2. B) Test môže byť nástrojom motivácie.
3. C) Test je vždy objektívny.
4. D) Test môže podporiť spätnú väzbu.

Prečo je úloha nevhodná?

1. Negatívna formulácia („NIE je správne“) zvyšuje kognitívnu záťaž.
2. Všetky odpovede okrem jednej sú veľmi podobné.
3. Žiak môže urobiť chybu z nepozornosti, nie z neporozumenia.
4. Úloha skôr meria schopnosť čítať pozorne než didaktické porozumenie.

1. Validita testu
   Validita vyjadruje mieru, do akej test meria to, čo je cieľom výučby v danej tematickej oblasti oblasti. Validita sa nemeria kvantitatívne (napr. priemery bodových hodnotení, Cronbachovo alfa a pod.) ale kvalitatívnym posúdením obsahu otázok testu. Skúma sa kombináciou:
   • obahovej analýzy daného tematického celku, či sú optimálne (primerane) zastúpené čistkové témy,
   • analýzy cieľov vyučovania a porovnaním s reálnou výučbou,
   • niekedy aj koreláciou s inými ukazovateľmi (medzi predmetové/tematické vzťahy).
   V kontexte didaktiky matematiky rozlišujeme najmä:
   1. Obsahovú validitu (najdôležitejšia pre učiteľa)
      Test pokrýva podstatné časti učiva primerane ich významu. Nejde o náhodný výber úloh, ale o reprezentatívnu vzorku cieľov. Pre učiteľa je dôležité, aby na nasledujúce otázky dostal kladnú odpoveď:
      • Pokrýva test všetky podstatné oblasti učiva?  
      • Nevynecháva kľúčové koncepty?
      Na vyhodnotenie validity je vhodné zapísať relevantné údaje z overovaného tematického celku do tabuľky, ktorá má aspoň 3 stĺpce. Pozrite si napríklad Tabuľku 1. 
      
      Tabuľka 1: Validita testu "Poznávací proces"
      Tabuľka 1 zodpovedá validite testu Didaktika matematiky - poznávací proces. Z údajov tabuľky je zrejmé, že test má nízku validitu, lebo Aplikácia pojmov je najmennej zastúpená.
   2. Konštruktovú validitu
      Test má zodpovedať teoretickému chápaniu toho, čo  je „matematická kompetencia“.  Ako učiteľ matematiky položte si otázku: Meria test to, čo považujeme za „matematickú kompetenciu“?  Test nepredstavuje iba reprodukciu základných pojmov a vzťahov medzi nimi, ale najmä skúma porozumenie týmto pojmom a ich aplikácii v školskej matematike.  Napríklad ak v danom tematickom celku
      • sa zameriavame na porozumenie, argumentáciu  alebo aplikujeme bádateľské myslenie,
      ale test obsahuje len
      • definície, fakty alebo len jednoduché výpočty,
      potom validita je nízka.
   3. Kritériovú validitu
      Výsledky testu korelujú s inými relevantnými ukazovateľmi výkonu (napr. dlhodobý prospech, ústna skúška). Nízka validita znamená, že test poskytuje skreslený obraz o úrovni poznania žiaka. Napríklad:
      • Koreluje skóre testu s celkovým prospechom? Sú najlepší študenti v teste aj najlepší na seminároch?
      Ak nie → test možno meria inú vlastnosť (napr. pamäť, rýchlosť, testovú zručnosť). V nami skúmanom teste je podľa analýzy:
      • väčšina úloh veľmi ľahká, dominovali definície a faktografické otázky a len jedna úloha bola náročnejšia (č. 15).
      
      Tabuľka 2: Jednoduchý nástroj na skúmanie kritériovej validity
2. Reliabilita testu
   Reliabilita vyjadruje spoľahlivosť merania. Test je reliabilný, ak by pri opakovanom meraní poskytol porovnateľné výsledky. Spoľahlivosť je ovplyvnená najmä:
   • počtom úloh,
   • ich kvalitou,
   • jednoznačnosťou hodnotenia,
   • mierou náhodnosti odpovedí.
   Pri krátkych testoch je reliabilita spravidla nižšia. V matematike môže byť reliabilita ovplyvnená aj tým, že jedna chyba v algoritme ovplyvní viacero následných krokov.
   Reliabilita odpovedá na otázku: Meria test konzistentne? Validita odpovedá na otázku: Meria test správnu vec? Test môže byť: veľmi reliabilný a málo validný, alebo naopak.
   Reliabilita testu sa najčastejšie určuje pomocou Cronbachovo alfa, ktoré je definované ako

   $\alpha = \frac{k}{k-1} \left( 1 - \frac{\sum_{i=1}^{k} \sigma_i^2}{\sigma_T^2} \right),$

   kde $k$ je počet položiek testu, $\sigma_i^2$ je rozptyl jednotlivých položiek a $\sigma_T^2$ je rozptyl celkového skóre.}

1. Vyriešte test Školská aritmetika - úvodný test
2. Urobte modelovú analýzu testu: Školská aritmetika - úvodný test.
3. Vytvorte vyhodnotenie testu, pričom využite v štruktúre z príspevku "Ilustračná štatistická analýza reálneho testu".
4. Navrhnite úpravu testu a doplňte ďalšie otázky, aby sa zvýšila efektivita testu.