Tvorba testov v Moodle (tréningový seminár)

Analýza testu

Kvalita a štatistická analýza didaktického testu.

Pozrite si ukážku "Ilustračná štatistická analýza reálneho testu: Didaktika matematiky - poznávací proces. Ak ste študentom kurzu Didaktika, tak ukážku štatistiky pre test "Poznávací proces" môžete zdieľať Tu.

Kvalita didaktického testu sa nevyčerpáva jeho obsahovou správnosťou či technickou bezchybnosťou. Test je nástrojom pedagogickej evaluácie, a preto musí byť posudzovaný z hľadiska jeho psychometrických vlastností, najmä validity, reliability a diskriminačnej schopnosti (Chráska, 2007; str. 32),(Gavora, 2010).
Štatistická analýza výsledkov testu umožňuje učiteľovi získať spätnú väzbu nielen o výkone žiakov, ale aj o kvalite samotných testových úloh.

Validita testu
Validita vyjadruje mieru, do akej test meria to, čo je cieľom výučby v danej tematickej oblasti oblasti. Validita sa nemeria kvantitatívne (napr. priemery bodových hodnotení, Cronbachovo alfa a pod.) ale kvalitatívnym posúdením obsahu otázok testu. Skúma sa kombináciou:
- obahovej analýzy daného tematického celku, či sú optimálne (primerane) zastúpené čistkové témy,
- analýzy cieľov vyučovania a porovnaním s reálnou výučbou,
- niekedy aj koreláciou s inými ukazovateľmi (medzi predmetové/tematické vzťahy).
V kontexte didaktiky matematiky rozlišujeme najmä:
1. Obsahovú validitu (najdôležitejšia pre učiteľa)
  Test pokrýva podstatné časti učiva primerane ich významu. Nejde o náhodný výber úloh, ale o reprezentatívnu vzorku cieľov. Pre učiteľa je dôležité, aby na nasledujúce otázky dostal kladnú odpoveď:
  - Pokrýva test všetky podstatné oblasti učiva?
  - Nevynecháva kľúčové koncepty?
  Na vyhodnotenie validity je vhodné zapísať relevantné údaje z overovaného tematického celku do tabuľky, ktorá má aspoň 3 stĺpce. Pozrite si napríklad Tabuľku 1.
  
  Tabuľka 1: Validita testu "Poznávací proces"
  Tabuľka 1 zodpovedá validite testu Didaktika matematiky - poznávací proces. Z údajov tabuľky je zrejmé, že test má nízku validitu, lebo Aplikácia pojmov je najmennej zastúpená.
2. Konštruktovú validitu
  Test má zodpovedať teoretickému chápaniu toho, čo je „matematická kompetencia“. Ako učiteľ matematiky položte si otázku: Meria test to, čo považujeme za „matematickú kompetenciu“? Test nepredstavuje iba reprodukciu základných pojmov a vzťahov medzi nimi, ale najmä skúma porozumenie týmto pojmom a ich aplikácii v školskej matematike. Napríklad ak v danom tematickom celku
  - sa zameriavame na porozumenie, argumentáciu alebo aplikujeme bádateľské myslenie,
  ale test obsahuje len
  - definície, fakty alebo len jednoduché výpočty,
  potom validita je nízka.
3. Kritériovú validitu
  Výsledky testu korelujú s inými relevantnými ukazovateľmi výkonu (napr. dlhodobý prospech, ústna skúška). Nízka validita znamená, že test poskytuje skreslený obraz o úrovni poznania žiaka. Napríklad:
  - Koreluje skóre testu s celkovým prospechom? Sú najlepší študenti v teste aj najlepší na seminároch?
  Ak nie → test možno meria inú vlastnosť (napr. pamäť, rýchlosť, testovú zručnosť). V nami skúmanom teste je podľa analýzy:
  - väčšina úloh veľmi ľahká, dominovali definície a faktografické otázky a len jedna úloha bola náročnejšia (č. 15).
  Tabuľka 2: Jednoduchý nástroj na skúmanie kritériovej validity
Reliabilita testu
Reliabilita vyjadruje spoľahlivosť merania. Test je reliabilný, ak by pri opakovanom meraní poskytol porovnateľné výsledky. Spoľahlivosť je ovplyvnená najmä:
- počtom úloh,
- ich kvalitou,
- jednoznačnosťou hodnotenia,
- mierou náhodnosti odpovedí.
Pri krátkych testoch je reliabilita spravidla nižšia. V matematike môže byť reliabilita ovplyvnená aj tým, že jedna chyba v algoritme ovplyvní viacero následných krokov.
Reliabilita odpovedá na otázku: Meria test konzistentne? Validita odpovedá na otázku: Meria test správnu vec? Test môže byť: veľmi reliabilný a málo validný, alebo naopak.
Reliabilita testu sa najčastejšie určuje pomocou Cronbachovo alfa, ktoré je definované ako
$\alpha = \frac{k}{k-1} \left( 1 - \frac{\sum_{i=1}^{k} \sigma_i^2}{\sigma_T^2} \right),$
kde $k$ je počet položiek testu, $\sigma_i^2$ je rozptyl jednotlivých položiek a $\sigma_T^2$ je rozptyl celkového skóre.}

Index obtiažnosti (percento úspešnosti)
Jedným zo základných ukazovateľov kvality úlohy je percento správnych odpovedí.
Index obtiažnosti 𝑝 možno vyjadriť ako:

$p= \frac{\text{počet správnych odpovedí}}{\text{celkový počet odpovedí}}$

Hodnota 𝑝 sa pohybuje od 0 do 1.

$p>0,85$ → úloha je pravdepodobne príliš ľahká,
$p< 0,20$ → úloha je pravdepodobne príliš náročná alebo nejasná,
$0,30 \leq 0,80$

Príliš ľahké alebo príliš ťažké úlohy majú nízku diskriminačnú schopnosť.Diskriminačný index
Diskriminačný index vyjadruje schopnosť úlohy rozlišovať medzi žiakmi s vyšším a nižším celkovým výkonom. Jednoduchý spôsob výpočtu spočíva v porovnaní úspešnosti horného a dolného kvartilu skupiny. Pozitívny diskriminačný index znamená, že úspešnejší žiaci riešia úlohu správne častejšie než menej úspešní. Ak je diskriminačný index:

blízky nule → úloha nerozlišuje,
záporný → úloha je problematická (môže byť nejasná alebo obsahovať chybu).

V prostredí Moodle je možné tieto údaje získať v časti „Štatistiky testu“.Distraktorová analýza
Pri uzavretých úlohách je dôležité sledovať, ako často sú vyberané jednotlivé distraktory. Kvalitný distraktor:

je zvolený určitým percentom žiakov,
reprezentuje typickú chybu.

Distraktor, ktorý si nikto nevyberá, je pravdepodobne príliš slabý alebo zjavne nesprávny.
Distraktor, ktorý si vyberajú najmä výkonnejší žiaci, môže signalizovať nejednoznačnosť úlohy.Rozloženie výsledkov
Primerane skonštruovaný test vedie približne k normálnemu (Gaussovmu) rozdeleniu výsledkov. Ak väčšina žiakov dosiahne extrémne vysoké alebo extrémne nízke skóre, môže to signalizovať:

nevhodnú náročnosť,
nesúlad medzi vyučovaním a testovaním,
obsahovú nevyváženosť.

Rozloženie výsledkov poskytuje učiteľovi spätnú väzbu o primeranosti testu.Interpretácia výsledkov v didaktickom kontexte
Štatistické ukazovatele samy osebe neposkytujú úplný obraz. Ich interpretácia musí byť zasadená do pedagogického kontextu:

Ak je úloha príliš náročná, bola náročná aj výučba?
Ak je úloha príliš ľahká, bola potrebná?
Ak úloha nerozlišuje, je jej formulácia jednoznačná?.

Štatistická analýza predstavuje dôležitý nástroj profesijnej reflexie učiteľa matematiky.

Štatistická analýza predstavuje dôležitý nástroj profesijnej reflexie učiteľa matematiky. Nejde len o vyhodnotenie výkonu žiakov, ale aj o evaluáciu vlastnej didaktickej práce.

$<span class="nolink">$\small$ $