V Testovaní 9 sa podvádza!
13.5.2013 | Vladimír Burjan | Dobrá škola
Situácia sa opakuje každý rok v apríli. NÚCEM zverejní výsledky Testovania 9, ktoré obsahujú jasné dôkazy, že sa v tomto testovaní pomerne masívne podvádza. Napriek tomu NÚCEM vždy zdôrazňuje, že všetko prebieha regulárne a v poriadku. Nie je to pravda. Nevieme posúdiť, či pracovníci NÚCEMu vo svojich vlastných grafoch dôkazy podvádzania nevidia alebo o nich iba nechcú hovoriť. Ale o takých veciach hovoriť treba...
Na prvom obrázku pod článkom je graf zachytávajúci výsledky testu z matematiky v tohtoročnom Testovaní 9. Graf pochádza priamo z oficiálnej správy, ktorú zverejnil NÚCEM. Do grafu je dokreslená aj tzv. Gaussova krivka, ktorá znázorňuje, ako by (podľa štatistickej teórie) mali byť výsledky žiakov rozdelené. Keď testujeme malé počty žiakov, výsledky sa môžu od tohto očakávaného teoretického rozdelenia odchýliť. Ak však testujeme 41 774 žiakov (toľko ich písalo tento test z matematiky), je niečo také nemožné. Zákon veľkých čísel nepustí. A to už ani pri omnoho menších počtoch žiakov. Pre porovnanie: posledný, tretí graf predstavuje výsledky veľmi podobného testu z matematiky, ktorý písalo „iba“ 20 657 deviatakov. Ako vidno, rozdelenie veľmi presne kopíruje teoretickú predpoveď.
Prečo graf NÚCEMu nesedí?
Keď sa odborník na testovanie pozrie na rozdelenie úspešnosti z Testovania 9, okamžite mu musí udrieť do očí, že s grafom niečo nie je v poriadku. Vyzerá o dosť inak, ako by mal. V čom spočíva jeho anomália? Gaussova krivka (ktorú samotný NÚCEM prikreslil do grafu) dáva odpoveď: žiakov s úspešnosťou 50 – 70 % je menej, ako by ich malo byť, a naopak žiakov s úspešnosťou 80 – 100 % je omnoho viac, ako by ich malo byť. S pravítkom a trochou trpezlivosti ľahko spočítate, že „posunutých smerom doprava“ (k vyššej úspešnosti) je viac ako 5 000 žiakov, teda viac ako 12 % testovanej populácie. Je pravda, že pri niektorých testovaniach môže byť výsledná Gaussova krivka posunutá smerom k maximálnemu skóre. K tomu však dochádza iba vtedy, keď je test pre danú skupinu žiakov príliš ľahký, čo tento rozhodne nebol – celková úspešnosť bola 60,07 %. A navyše: aj vtedy si krivka zachová svoj typický tvar.
Človek nemusí byť Sherlockom Holmesom, aby mu bolo jasné, čo sa v Testovaní 9 stalo: výsledky nezodpovedajú skutočným vedomostiam žiakov z matematiky. Tie totiž naozaj majú Gaussovo rozloženie, ako o tom svedčí posledný graf (viac o ňom v závere článku), ale aj stovky ďalších grafov z rôznych iných testovaní.
Kde sa dáta „pokazili“?
Vyvstávajú teda prirodzené otázky ako, kedy a prečo sa dáta „pokazili“. Do úvahy prichádzajú dve možnosti: 1) ku ich „skresleniu“ došlo priamo počas administrácie testov na škole, 2) ku skresleniu došlo pri vyhodnocovaní výsledkov Testovania 9 v NÚCEMe. Vlastne je tu ešte tretia možnosť, a síce že nastali oba uvedené prípady. Na úrovni škôl je spôsobov, ako pomôcť žiakom, hneď niekoľko. Aj keď vylúčime možnosť, že by sa niektorí učitelia a žiaci dostali k testom skôr, stále je tu ešte priestor na pomoc žiakom priamo počas písania testov. Tá môže siahať od priameho diktovania správnych odpovedí, cez nenápadné upozorňovanie na nesprávne odpovede až po tiché tolerovanie nedovolenej spolupráce žiakov (odpisovania, našepkávania) a používania nedovolených pomôcok (ťahákov, učebníc...).
Teoreticky je tu však aj druhá možnosť, a síce dodatočné vylepšovanie dát počas spracovania výsledkov. V prípade testu zo slovenčiny na to priestor veľmi nie je, pretože ten obsahuje iba uzavreté otázky a jeho vyhodnotenie prebieha celé strojovo. No test z matematiky obsahuje aj otvorené otázky, ktoré sú najskôr ručne (zaškolenými osobami) ohodnotené a až následne sú výsledky spracovávané strojovo. A práve pri bodovaní otvorených otázok by teoreticky bolo možné vniesť do hodnotenia istú „korekciu“, napríklad príliš benevolentným hodnotením.
Kriminalisti si pri vyšetrovaní zločinu vždy kladú dôležitú otázku: cui bono? Kto má z toho prospech? Motivácia učiteľov pomáhať svojim žiakom je viac-menej zrejmá. Akú motiváciu by mohol mať NÚCEM? Ak by predbežné výsledky naznačovali, že test, ktorý vytvorili, bol neprimerane ťažký, mal by aj NÚCEM prirodzenú motiváciu snažiť sa ich nejakým spôsobom vylepšiť a odvrátiť tak kritiku a zdôvodňovanie, prečo sú vedomosti žiakov také slabé.
A čo slovenčina?
Nie je bez zaujímavosti, že v prípade testu zo slovenského jazyka a literatúry je efekt „hromadného vylepšenia dát“ oveľa menší ako v prípade matematiky – viď druhý graf v poradí. Do úvahy prichádzajú dve možné vysvetlenia: test zo SJL je vnímaný ako ľahší (aj zvykne dopadnúť lepšie ako MAT), preto sú obavy žiakov a učiteľov i snaha „prilepšiť“ výsledky menšie. Druhým možným vysvetlením je fakt, že test zo slovenčiny neobsahuje otvorené otázky, preto počas spracovania jeho výsledkov nie je priestor na korekciu.
Štatistiku neoklameme
Keďže sa 24 rokov profesionálne venujem tvorbe a vyhodnocovaniu testov, nepotrebujem žiadne ďalšie dôkazy – prvý graf priam „kričí“, že výsledky Testovania 9 sú kontaminované podvádzaním. Ak by vám to však nestačilo, možno vás presvedčí toto: tretí graf pochádza z testovania KOMPARO, ktoré sa odohralo 8. novembra 2012, teda štyri mesiace pred Testovaním 9. Tento test KOMPARO písali tí istí deviataci a test sa (zámerne) veľmi podobal na Testovanie 9 – testoval skoro rovnaké učivo, obsahoval rovnaký počet uzavretých a otvorených otázok a žiaci mali na jeho vypracovanie presne rovnaké podmienky (vrátane času a pomôcok). Rozdelenie výsledkov z testu KOMPARO však vyzerá celkom inak a je plne v súlade s teoretickým očakávaním. Ako je to možné? Jednoducho: v KOMPARE nemajú školy, žiaci a ani jeho organizátor žiadnu motiváciu podvádzať. Výsledky sú totiž anonymné a nič vážne od nich nezávisí.
Nechceme týmto článkom obviniť NÚCEM z manipulácie dát. Nemáme na to žiadne dôkazy a navyše za oveľa pravdepodobnejšie pokladáme, že k podvádzaniu dochádza na školách počas administrácie. Je tu však otázka, či odborníci z NÚCEMu dôkazy podvádzania vo svojich vlastných grafoch nevidia alebo či o nich zámerne mlčia. Oboje by bolo zlé...
Autor je riaditeľom spoločnosti EXAM testing a šéfredaktorom časopisu Dobrá škola.
Článok bol pôvodne uverejnený v časopise Dobrá škola.
Dobrá škola
Nie som čarodejník, naozaj nie
30.6.2017, Vladimír Burjan, Dobrá škola
Pre niekoho peklo, pre niekoho raj
30.5.2017, Vladimír Burjan, Dobrá škola
Nepleťme tie peniaze do všetkého
3.4.2017, Vladimír Burjan, Dobrá škola
Korupcia? Pridajme hodinu čestnosti
8.3.2017, Vladimír Burjan, Dobrá škola
Pre iných bežné veci, pre nás sci-fi?
13.2.2017, Vladimír Burjan, Dobrá škola
Čísla hovoria jasne – svet nám uteká
4.1.2017, Vladimír Burjan, Dobrá škola
13.12.2016, Vladimír Burjan, Dobrá škola
7.11.2016, Vladimír Burjan, Dobrá škola
Peter Dráľ: Treba odmeňovať iba kvalitu
14.10.2016, Dobrá škola
10.10.2016, Vladimír Burjan, Dobrá škola
20.9.2016, Vladimír Burjan, Dobrá škola
15.6.2016, Vladimír Burjan, Dobrá škola
18.5.2016, Vladimír Burjan, Dobrá škola
20.4.2016, Vladimír Burjan, Dobrá škola
14.3.2016, Vladimír Burjan, Dobrá škola
8.2.2016, Vladimír Burjan, Dobrá škola
11.1.2016, Vladimír Burjan, Dobrá škola
Neviem, či sme mohli byť ďalej
3.12.2015, Vladimír Burjan, Dobrá škola
Neviem ho definovať, ale spoznám ho
5.11.2015, Vladimír Burjan, Dobrá škola
Zuzana Zimenová: Nepotrebujeme ďalšiu reformu
9.10.2015, Lenka Kunová, Dobrá škola
Keď politici počúvajú, treba hovoriť
9.10.2015, Vladimír Burjan, Dobrá škola
Priveľa práva nás postupne zadusí
19.9.2015, Vladimír Burjan, Dobrá škola
Diskusie treba, aj keď nič neriešia
9.6.2015, Vladimír Burjan, Dobrá škola
15.5.2015, Vladimír Burjan, Dobrá škola
4.5.2015, Vladimír Burjan, Dobrá škola
2.3.2015, Vladimír Burjan, Dobrá škola
18.2.2015, Vladimír Burjan, Dobrá škola
Výroky účastníkov workshopov kampane Chceme vedieť viac
16.1.2015, Dobrá škola
Nie je nič dôležitejšie ako záujmy vlastnej strany
14.1.2015, Vladimír Burjan, Dobrá škola
Wikipédia vie čoraz viac, ľudia čoraz menej
30.11.2014, Vladimír Burjan, Dobrá škola
Čo sme sa dozvedeli v kampani Chceme vedieť viac
17.11.2014, Zuzana Zimenová, Dobrá škola
11.11.2014, Vladimír Burjan, Dobrá škola
3.10.2014, Vladimír Burjan, Dobrá škola
Šiesty ročník, štvrtý minister
10.9.2014, Vladimír Burjan, Dobrá škola
Hodnoťte a plánujte, ale nie formálne
8.6.2014, Vladimír Burjan, Dobrá škola
Chrám, výťah, poisťovňa... A čo ďalej?
7.5.2014, Vladimír Burjan, Dobrá škola
Pozvánka na konferenciu: Cesty k dobrej škole
2.5.2014, Dobrá škola
Chutný zákusok s pár kamienkami
3.4.2014, Vladimír Burjan, Dobrá škola
Učiteľov musí byť vidieť a počuť
28.2.2014, Vladimír Burjan, Dobrá škola
Zmena je možná, no nádeje plané
4.2.2014, Vladimír Burjan, Dobrá škola
23.1.2014, Vladimír Burjan, Dobrá škola
29.11.2013, Zuzana Zimenová, Dobrá škola
27.11.2013, Vladimír Burjan, Dobrá škola
30.10.2013, Vladimír Burjan, Dobrá škola
8.10.2013, Vladimír Burjan, Dobrá škola
2.9.2013, Vladimír Burjan, Dobrá škola
Po rokoch opäť v školskej lavici
3.6.2013, Vladimír Burjan, Dobrá škola
13.5.2013, Vladimír Burjan, Dobrá škola
8.5.2013, Vladimír Burjan, Dobrá škola
Anna Chlupíková: Dôverujem svojim učiteľom
23.4.2013, Dobrá škola
5.4.2013, Vladimír Burjan, Dobrá škola
Zemeguľa je vaša, držíme palce!
5.3.2013, Vladimír Burjan, Dobrá škola
1.2.2013, Vladimír Burjan, Dobrá škola
Krátkozrakosť hraničiaca so slepotou
9.1.2013, Vladimír Burjan, Dobrá škola