Zmena hodnotenia testu z matematiky bola zbytočná a odborne pomýlená /marec 2011/

9.4.2011 | Vladimír Burjan | Vláda a reforma

Postup NÚCEM-u pri hodnotení matematického testu v tohtoročnom Testovaní 9 vyvolal vlnu nevôle medzi učiteľmi a žiakmi. Pokúsim sa stručne a zrozumiteľne vysvetliť niektoré princípy teórie školských testov, z ktorých vyplýva, že postup NÚCEM-u bol zbytočný, kontraproduktívny a z odborného hľadiska nesprávny.


Pre tých, čo túto „kauzu“ nezachytili, stručná rekapitulácia: po vyhodnotení tohtoročného Testovania 9 sa ukázalo, že tri úlohy (z dvadsiatich) v matematickom teste mali veľmi nízku úspešnosť. Presné čísla zatiaľ nepoznáme, ale zrejme tieto úlohy zvládlo menej ako 10 % žiakov. Pracovníci NÚCEM-u boli tou¬to skutočnosťou zjavne zaskočení (v minulosti sa ešte takéto nízke úspešnosti v Testovaní 9 nevyskytli), videli v tom problém a cítili potrebu ho riešiť. Rozhodli sa preto uvedené tri úlohy anulo-vať, a to takým spôsobom, že všetkým deviatakom za ne automaticky pripísali po 1 bode. (Všetky úlohy v teste boli jednobodové.) Pedagogická verejnosť na tento krok zareagovala dosť kriticky. Časť učiteľov mala pocit, že vo vyhodnotení sú chyby (až dodatočne sa vyjasnilo, že nejde o chybu, ale o zámernú zmenu hodnotenia). Ďalší namietali, že tí žiaci, ktorí sa s problematickými úlohami počas testovania trápili a vyriešili niektoré z nich správne, sú úpravou hodnotenia znevýhodnení (čo je pravda). No a veľká časť pedagógov podozrieva NÚCEM, že záme¬rom tohto kroku bolo umelo zdvihnúť priemernú úspešnosť testu z matematiky, ktorá by inak bola „nežiaduco“ nízka.

V tejto súvislosti sa vynára niekoľko otázok: bola nízka úspešnosť troch otázok naozaj problémom? Bolo potrebné na tento problém reagovať úpravou hodnotenia? Ak áno, aké boli možnosti? Bol zvolený postup správny? Aby sme na tieto otázky mohli odpovedať, musíme si najskôr položiť a zodpove¬dať jednu dôležitú otázku ohľadom spomínaného testu: chce byť Testovanie 9 overovacím testom (t. j. testom absolútneho výkonu) alebo rozlišovacím testom (t. j. testom relatívneho výkonu)? Táto skutočnosť má totiž zásadný vplyv na to, ako narábame pri tvorbe a vyhodnocovaní testu s položkami, ktoré majú príliš vysokú alebo príliš nízku úspešnosť.


1. Predpokladajme na chvíľu, že Testovanie 9 chce byť overovacím testom.

Cieľom overovacieho testu je overiť, do akej miery zvládli konkrétni jednotlivci (alebo celá populácia) po-žiadavky dané kurikulom a štandardmi. Pri tvorbe takéhoto testu sa preto striktne vychádza z kurikula a zahrňuje sa do neho všetko podstatné, čo sa mali žiaci naučiť. Na obťažnosť jednotlivých položiek sa pritom neprihliada – tá vyplýva z obťažnosti jednotlivých častí učiva. Jednoducho povedané: ak kurikulum predpisuje, že sa žiaci niečo mali naučiť, tak to máme testovať. A výsledky ukážu, do akej miery sa to naozaj naučili. Hovoríme, že meriame absolútny výkon respondentov, teda ich výkon vo vzťahu ku štandar¬dom a ku kurikulu, nie vo vzťahu k iným respondentom. Tomuto cieľu musí byť prispôsobená aj konštrukcia testu. Jeho autori pri tvorbe testu neriešia náročnosť položiek, ale sa maximálne sústreďujú na to, aby presne odrážali predpísané učivo. Výsledky takéhoto testu slúžia na to, aby sme o konkrétnom žiakovi (alebo o celej populácii) vedeli čo najpresnejšie povedať, čo z učiva zvládol a čo nie. Výsledky sú teda predovšetkým ukazovateľom rozsahu a kvality vedomostí konkrétnych žiakov, ale aj efektívnosti vzdelávacieho systému, či primeranosti kurikula. Výsledky takéhoto testu sa však nehodia (z viacerých dôvodov) na porovnávanie žiakov navzájom.

Ako by sa teda bolo malo postupovať s troma príliš ťažkými úlohami v prípade, keby Testovanie 9 bolo overovacím testom? V prvom rade by sa malo preskúmať, či otázky skutočne boli v súlade s kurikulom a s výkonovými štandardmi. Ak neboli, takéto položky nemali v teste čo robiť a bola by to pomerne vážna chyba autorov testu. V takomto prípade by asi bolo zmysluplné položky anulovať. Určite by však bol vhodnejší iný spôsob, než zvolil NÚCEM, a síce vyškrtnúť ich z testu, nikomu za ne nezarátať žiadne body a maximál¬ny možný počet bodov znížiť na 17. Nedošlo by tak k umelému „nafúknutiu“ úspešnosti, ktoré sa mnohým (oprávnene) nepozdáva. A počet žiakov, u ktorých sa upravuje skóre, by bol minimálny. Títo žiaci by však neboli vyradením úloh nijako poškodení, pretože pri overovacom teste sa výsledky žiakov navzájom neporovnávajú. Ak by sa však ukázalo, že otázky boli plne v súlade s kurikulom a štandardmi, potom sa s nimi nemalo robiť nič. Jednoducho odhalili isté časti učiva, ktoré sme síce plánovali žiakov naučiť, v praxi sa nám to však nepodarilo. To však rozhodne nie je dôvod na zmenu hodnotenia, ktoré iba objektívne odráža úroveň vedomostí žiakov v daných oblastiach. Malo by sa však niečo urobiť buď s kurikulom, ktoré je príliš ambiciózne a preplnené, alebo s hodinovou dotáciou, ktorá mu nezodpovedá, alebo s metódami vyučovania. Rozhodne však nie so samotnými úlohami. Poslov zlých správ netreba zabíjať, treba im načúvať...


2. Predpokladajme na chvíľu, že Testovanie 9 chce byť rozlišovacím testom.

Cieľom rozlišovacieho testu je zmerať úroveň istých vedomostí či schopností v danej skupine žiakov a čo najviac zvýrazniť rozdiely medzi žiakmi, rozlíšiť ich od seba navzájom. Tento typ testov sa používa najmä na prijímacích skúškach, keď počet uchádzačov prevyšuje počet voľných miest. Cieľom tohto typu testu nie je vypovedať o jednotlivcoch, čo konkrétne z kurikula zvládli a čo nie. Cieľom je vhodným sumárnym údajom (testovým skóre) vyjadriť ich celkovú úroveň, a to tak, aby meranie čo najviac zvýraznilo rozdiely medzi tými s najvyššou úrovňou a tými s najnižšou úrovňou. V tomto prípade meriame relatívny výkon respondentov, teda ich výkon v porovnaní s inými respondentmi, nie vo vzťahu ku štandardom a kurikulu. Tomuto cieľu musí byť prispôsobená aj konštrukcia takéhoto testu. Pri jeho tvorbe sa (na rozdiel od overujúceho testu) kladie veľký dôraz na primeranú obťažnosť položiek. Do rozlišovacieho testu by totiž mali byť zaradené iba stredne náročné položky, s úspeš¬nosťou okolo 50 – 60 %. Príliš ľahké a príliš ťažké položky do takéhoto testu nepatria. Prečo? Pretože nepomáhajú rozlíšiť dobrých a slabých. Ak 90 % žiakov zodpovie nejakú otázku nesprávne, skoro nič sa z toho nedozvieme o rozdieloch v ich vedomostiach či schopnostiach. Taká položka zbytočne zabrala vzácne miesto v teste a ni¬čím neprispela k jeho rozlišovacej schopnosti. To isté platí o príliš ľahkých položkách. Pri tvorbe kvalitného rozlišovacieho testu by sa preto malo postupovať tak, že sa položky vopred pilotujú (overujú) na vzorkách respondentov, aby sa empiricky zistila ich obťažnosť. Príliš ľahké a príliš ťažké položky sa potom v ostrom teste nepoužijú.

Ako by sa teda malo postupovať s troma príliš ťažkými úlohami v prípade, keby Testovanie 9 bolo rozli-šovacím testom? Nuž, v takom prípade by sa v ňom také ťažké otázky vôbec nemali objaviť. Bola by to konštrukčná chyba testu, ktorá padá na hlavy jeho autorov. Ak by sa to však už stalo, rozhodne by bolo naj¬rozumnejšie nemeniť ich hodnotenie. Prečo? Pretože aj keď má položka úspešnosť iba 10 %, predsa len aspoň trochu rozlišuje (odlíšila tých 10 % najlepších, ktorí ju vyriešili, aj keď všetkých ostatných „hodila do jedného vreca“). Ak za ňu dáme všetkým bod, vyrobíme tým položku, ktorá nediskriminuje (nerozlišuje) ani trochu, teda z hľadiska rozlišovacieho testu tú najhoršiu možnú položku. Ak by sme sa teda na Testovanie 9 pozerali ako na rozlišovací test, bol krok NÚCEM-u nezmyselný a kontraproduktívny: z troch zle rozlišujúcich položiek vyrobili tri vôbec nerozlišujúce položky a zbytočne tak celkovú rozlišovaciu schopnosť testu ešte viac znížili. Zhoršili tak jeho (aj tak už dosť slabú) použiteľnosť pre účely prijímacích skúšok.

Možno si kladiete otázku, prečo sme zbytočne uvažovali aj o rozlišovacích, aj o overovacích testoch a ne-skúmali iba ten prípad, ktorý sa vzťahuje na Testovanie 9. Odpoveď je jednoduchá: Testovanie 9 je akýmsi čudesným hybridom oboch týchto typov. Na jednej strane sú stredné školy vyzývané, aby ho zohľadňovali v prijímacom konaní, čo je možné iba pri rozlišovacom teste. Na druhej strane sa každý rok na tlačových konferenciách robia z výsledkov Testovania 9 závery o úrovni vzdelávania v SR, čo je možné iba pri overovacom teste. Pri rozlišovacom teste je to nezmyselné, pretože ten musí byť zámerne konštruovaný tak, aby jeho úspešnosť bola okolo 50 – 60 %! A ak si myslíte, že v našich ekonomických podmienkach je rozumným riešením zabiť dve muchy jednou ranou a vytvoriť akýsi univerzálny „overovaco-rozlišovací“ test, musím vás sklamať: z mnohých principiálnych dôvodov nie je možné, aby akýkoľvek školský test bol súčasne dobrým rozlišovacím aj dobrým overovacím testom. Aj z toho mála, čo sme tu uviedli, je zrejmé, že overovací test musí byť konštruovaný a vyhodnocovaný celkom inak ako rozlišovací. Snaha vytvoriť jeden test pre oba účely musí nutne skončiť jediným spôsobom: vytvorením testu nevhodného na oboje, čo je, žiaľ, prípad nášho Testovania 9.

Takže, aby som to zhrnul: v danej situácii bolo jednoznačne najrozumnejšie neurobiť vôbec nič. Pone-chať tri úlohy tak, ako dopadli a nemeniť hodnotenie. Namiesto toho sa otvorene a do hĺbky porozprávať o tom, čo tie tri problematické úlohy tes¬tovali, či sú naozaj v súlade s kurikulom a štandardmi, prečo ich žiaci nezvládli, čo sa s tým bude do budúcnosti robiť, kto tvoril testy, či autori testu rozumejú princípom tvorby školských testov (a nielen matematike), či boli otázky pilotované, no najmä: či má byť Testovanie 9 do budúcnosti overovacím alebo rozlišovacím testom. To všetko by bolo bývalo omnoho užitočnejšie ako neuvážená zmena hodnotenia, ktorá mnoho učiteľov a žiakov nahnevala a nič pozitívne nepriniesla. A odvolávanie sa na to, že takýto postup používajú aj renomované zahraničné inštitúcie, je celkom zavádzajúce. Príliš ťažké (a príliš ľahké) úlohy sa síce naozaj škrtajú, avšak predovšetkým vo fáze pilotovania a zosta¬vo¬vania testu. Dodatočné vyraďovanie takýchto úloh počas vyhodnocovania môže mať opodstatnenie jedine vtedy, ak sa používajú celkom iné metódy hodnotenia testov (napr. IRT a iné parametrické modely). Aplikovať takýto postup v rámci tzv. klasického modelu používaného u nás je celkom nenáležité.

Autor je riaditeľom spoločnosti EXAM testing.

Diskusia k článku Zmena hodnotenia testu z matematiky bola zbytočná a odborne pomýlená /marec 2011/ je zatiaľ bez príspevkov.


Ak sa chcete zapojit do diskusie k článkom, prosím, zaregistrujte sa.
Ak ste už na našom portáli registrovaný, prosím, prihláste sa.

Vláda a reforma

Malé víťazstvo socializmu nad kapitalizmom za 35 miliónov eur /apríl 2018/

Výzva ministrovi vnútra a ministerke školstva /marec 2018/

Odluka škôl od samospráv nepomôže /február 2018/

Čo sa udialo | Súhrn vybraných postrehov z diania v školstve v roku 2017 /január 2018/

Premiér Fico orbanizuje slovenské školstvo /december 2017/

Otvorený list o inklúzii /november 2017/

Rozpočet a reforma spolu neladia /október 2017/

K riadeniu a financovaniu školstva /september 2017/

Každý školský rok víta deti v školách iný minister /august 2017/

K zverejnenému počtu asistentov učiteľa /júl 2017/

Prehliadka strateného času /jún 2017/

Regionálne školstvo sa dnes nedá riadiť /apríl-máj 2017/

Vajce vs. sliepka v slovenskom školstve /marec 2017/

Hromadná pripomienka za asistentov učiteľov /február 2017/

Čo sa udialo | Súhrn vybraných postrehov z diania v školstve v roku 2016 /január 2017/

Preto volíme, ako volíme /december 2016/

Reformný tím navrhol prekopať vysoké školstvo od základu /november 2016/

Oceňujeme prvý krok /október 2016/

Školstvo – chce to zmenu /september 2016/

Školy nedokážu čeliť extrémizmu, pretože sú neslobodné /august 2016/

Sú pre Fica s Kažimírom učiteľky kravy a vedci teliatka? /júl 2016/

Rodičia otvorili v parlamente viacero problémov nášho školstva /jún 2016/

Porušovanie základných práv detí vo vzdelávaní na Slovensku /máj 2016/

Deti nie sú v centre záujmu vzdelávania /apríl 2016/

Vzdelávanie a školstvo v programoch politických strán a hnutí /marec 2016/

Bilancia programového vyhlásenia vlády /február 2016/

Čo sa udialo | Súhrn vybraných postrehov z diania v školstve v roku 2015 /január 2016/

Fico s Kažimírom sú hrobári slovenského školstva /december 2015/

Zatriasť školstvom nestačí /november 2015/

Najvyšší súd podporil inkluzívne vzdelávanie /október 2015/

Vláda zbabrala aj opravnú skúšku z reformy školstva /september 2015/

Päť dôvodov na obavy /august 2015/

Správy z prieskumu verejnej mienky o vzdelávaní /júl 2015/

Školstvo potrebuje impulz /jún 2015/

Kam smerujú eurofondy vo vzdelávaní na Slovensku? /máj 2015/

Čo potrebujú angličtinári /apríl 2015/

Hromadná pripomienka proti okliešteniu školskej samosprávy /marec 2015/

Je nový Štátny vzdelávací program skutočne inovovaný? /február 2015/

Duálny model po slovensky /január 2015/

Čo sa udialo | Súhrn vybraných postrehov z diania v školstve v roku 2014 /december 2014/

Fico si vylepšuje imidž Pellegrinim, na školstvo kašle /november 2014/

Svet ešte nikdy nebol tak nedorobený /október 2014/

Ilúzie o vzdelávaní na Slovensku /september 2014/

Kam kráča ministerstvo školstva /august 2014/

Pellegrini plní Kažimírov sľub /júl 2014/

Zverejňujeme ministerské návrhy na zmeny kľúčových zákonov v školstve /jún 2014/

O budúcnosti školstva rozhoduje jeden človek /máj 2014/

Koncentrácia moci školstvo nezachráni /apríl 2014/

Inšpirujme sa tým, čo funguje /marec 2014/

Hlas detí zatiaľ nepočuť /február 2014/

Čaplovičov švédsky stôl /január 2014/

Chceme vedieť viac /december 2013/

Všetko, čo nie je v poriadku, treba zverejniť! /november 2013/

Málo miest v škôlkach má riešenie! /október 2013/

Čaplovičove národné projekty /september 2013/

Štátne týranie vs. blaho detí /august 2013/

Správa z vládneho auditu vykonanom na ministerstve školstva /júl 2013/

Varovanie ministrom: Školy nie sú lego! /jún 2013/

O skutočnom duálnom modeli vzdelávania /máj 2013/

Čaplovičova utajená správa o stave školstva /apríl 2013/

Zmätky a precitnutia ministra Čaploviča /marec 2013/

Testovanie podľa INEKO – chybné rady Čaplovičovi /február 2013/

Ide o deti /január 2013/

Inkluzívne vzdelávanie /december 2012/

Zvýšme učiteľom platy a posuňme diskusie ďalej /november 2012/

Nový vzdelávací systém pre všetkých /október 2012/

K tupinám z debaty o platoch v školstve /september 2012/

Centrálne plánovaný absolvent /august 2012/

Prvých 100 dní Dušana Čaploviča v kresle ministra školstva /júl 2012/

„Akčný“ pán a jeho „akčný“ plán /jún 2012/

Výzva Iniciatívy rodičov za dobré školy /máj 2012/

Čaplovič nie je svätý Juraj a nebojuje s drakom /apríl 2012/

Volebný odpočet /marec 2012/

Ako (a načo) čítať volebné programy strán /február 2012/

Ako ohlupovať národ /január 2012/

Základná línia vzdelávacej politiky na Slovensku a jej reflexia vo verejnej diskusii /december 2011/

Domáca škola, mravov stodola /november 2011/

Slabá záplata na deravé vrece /október 2011/

Planéta nehorázností /september 2011/

Čo si myslia učitelia o dnešnom stave v oblasti učebníc? /august 2011/

Horká pilulka na záver školského roka /júl 2011/

Reformu školstva brzdia systémové prekážky /jún 2011/

Čo všetko musí slovenský učiteľ /máj 2011/

Planéta vedomostí /apríl 2011/

Zmena hodnotenia testu z matematiky bola zbytočná a odborne pomýlená /marec 2011/

Otvorené listy ministrovi školstva /február 2011/

Policajti poznajú vízie svojho šéfa. A učitelia? /január 2011/

Kto nečíta, nevie. Kto číta, nerozumie? /december 2010/

Smutné voľby rektora /november 2010/

Vlažné korekcie Mikolajovej deformy /október 2010/

Angličtina do každého vrecka? /september 2010/

Hodnotenie programového vyhlásenia vlády v oblasti vzdelávania /august 2010/

Učiteľom treba dať slobodu /júl 2010/

Vzdelávací systém - odporúčania pre budúcu vládu /jún 2010/

Tradične žalostná gramotnosť /máj 2010/

Európska óda na vzdelanie /apríl 2010/

Kauza Waldorf na Slovensku /marec 2010/

Rodičia vynechaní z reformnej hry /február 2010/

Falošný vlastenecký diktát /január 2010/

Premýšľanie o reforme /december 2009/

Reforma školstva bez učebníc podľa Mikolaja /november 2009/

Absurdné divadlo v alternatívnych školách /október 2009/

Papieroví draci na predvolebnej oblohe /september 2009/

Druhý rok reformy klope na dvere /august 2009/

Rok jeden reformy vzdelávania bez reformy /júl 2009/

(druhý) pohľad obyčajného (m)učiteľa na reformu školstva /jún 2009/

Učiteľské noviny ako čistý kšeft /máj 2009/

Mikolajov papierový drak /apríl 2009/

Nevedomosť skrytá za ústretovosť /marec 2009/

10 dôvodov, prečo dať výpoveď kvôli Mikolajovi /február 2009/

Zahmlené kontúry školskej politiky /január 2009/

Národné učebnice? Deforma /december 2008/

Pochod veľkej septembrovej obsahovej reformy /november 2008/

Reforma po slovensky: Základné omyly štátnych vzdelávacích programov /október 2008/

Ciele ministerstva školstva sledujú viac kvantitu ako kvalitu /september 2008/

Reformná prskavka /august 2008/

Edičná politika plná pochybností /júl 2008/

Ministerstvo školstva schválilo vzorové školské programy /jún 2008/

Falošné pierka kačku na páva nepremenia /máj 2008/

Reforma? - hodnotenie Štátneho vzdelávacieho programu /apríl 2008/

Otvorená výzva ministrovi školstva /marec 2008/

Školstvo v roku 2007 /február 2008/

Nový školský zákon je omyl /január 2008/

Výsledky PISA 2006 – problém zo slepej uličky /december 2007/

EuroSZM - hodnotenie návrhu zákona o podpore a rozvoji práce s mládežou /november 2007/

Pripomienka za zachovanie rovnoprávnosti vo financovaní ZUŠ a školských zariadení /október 2007/

Hodnotenie návrhov nového školského zákona /september 2007/

Hodnotenie Mikolajovho školského zákona: nebude reformný /august 2007/

Hodnotenie legislatívneho zámeru zákona o výchove a vzdelávaní /júl 2007/

Hodnotenie Návrhu koncepcie vyučovania cudzích jazykov v základných a stredných školách /jún 2007/

Hodnotenie Návrhu koncepcie dvojúrovňového modelu vzdelávacích programov v oblasti odborného vzdelávania a prípravy v SR /máj 2007/

Minister školstva vymenoval Kurikulárnu radu /apríl 2007/

Centralizácia z kuchyne ministerstva školstva /marec 2007/

Hodnotenie koncepcie profesijného rozvoja učiteľov v kariérnom systéme /február 2007/

Pripomienky k Návrhu koncepcie predškolskej výchovy /január 2007/

Hodnotenie návrhu stratégie celoživotného vzdelávania /január 2007/

Hodnotenie programového vyhlásenia vlády /2006/