V Testovaní 9 sa podvádza! [ 13.5.2013, Vladimír Burjan, Dobrá škola]

Situácia sa opakuje každý rok v apríli. NÚCEM zverejní výsledky Testovania 9, ktoré obsahujú jasné dôkazy, že sa v tomto testovaní pomerne masívne podvádza. Napriek tomu NÚCEM vždy zdôrazňuje, že všetko prebieha regulárne a v poriadku. Nie je to pravda. Nevieme posúdiť, či pracovníci NÚCEMu vo svojich vlastných grafoch dôkazy podvádzania nevidia alebo o nich iba nechcú hovoriť. Ale o takých veciach hovoriť treba...

Na prvom obrázku pod článkom je graf zachytávajúci výsledky testu z matematiky v tohtoročnom Testovaní 9. Graf pochádza priamo z oficiálnej správy, ktorú zverejnil NÚCEM. Do grafu je dokreslená aj tzv. Gaussova krivka, ktorá znázorňuje, ako by (podľa štatistickej teórie) mali byť výsledky žiakov rozdelené. Keď testujeme malé počty žiakov, výsledky sa môžu od tohto očakávaného teoretického rozdelenia odchýliť. Ak však testujeme 41 774 žiakov (toľko ich písalo tento test z matematiky), je niečo také nemožné. Zákon veľkých čísel nepustí. A to už ani pri omnoho menších počtoch žiakov. Pre porovnanie: posledný, tretí graf predstavuje výsledky veľmi podobného testu z matematiky, ktorý písalo „iba“ 20 657 deviatakov. Ako vidno, rozdelenie veľmi presne kopíruje teoretickú predpoveď.

Prečo graf NÚCEMu nesedí?

Keď sa odborník na testovanie pozrie na rozdelenie úspešnosti z Testovania 9, okamžite mu musí udrieť do očí, že s grafom niečo nie je v poriadku. Vyzerá o dosť inak, ako by mal. V čom spočíva jeho anomália? Gaussova krivka (ktorú samotný NÚCEM prikreslil do grafu) dáva odpoveď: žiakov s úspešnosťou 50 – 70 % je menej, ako by ich malo byť, a naopak žiakov s úspešnosťou 80 – 100 % je omnoho viac, ako by ich malo byť. S pravítkom a trochou trpezlivosti ľahko spočítate, že „posunutých smerom doprava“ (k vyššej úspešnosti) je viac ako 5 000 žiakov, teda viac ako 12 % testovanej populácie. Je pravda, že pri niektorých testovaniach môže byť výsledná Gaussova krivka posunutá smerom k maximálnemu skóre. K tomu však dochádza iba vtedy, keď je test pre danú skupinu žiakov príliš ľahký, čo tento rozhodne nebol – celková úspešnosť bola 60,07 %. A navyše: aj vtedy si krivka zachová svoj typický tvar.

Človek nemusí byť Sherlockom Holmesom, aby mu bolo jasné, čo sa v Testovaní 9 stalo: výsledky nezodpovedajú skutočným vedomostiam žiakov z matematiky. Tie totiž naozaj majú Gaussovo rozloženie, ako o tom svedčí posledný graf (viac o ňom v závere článku), ale aj stovky ďalších grafov z rôznych iných testovaní.

Kde sa dáta „pokazili“?

Vyvstávajú teda prirodzené otázky ako, kedy a prečo sa dáta „pokazili“. Do úvahy prichádzajú dve možnosti: 1) ku ich „skresleniu“ došlo priamo počas administrácie testov na škole, 2) ku skresleniu došlo pri vyhodnocovaní výsledkov Testovania 9 v NÚCEMe. Vlastne je tu ešte tretia možnosť, a síce že nastali oba uvedené prípady. Na úrovni škôl je spôsobov, ako pomôcť žiakom, hneď niekoľko. Aj keď vylúčime možnosť, že by sa niektorí učitelia a žiaci dostali k testom skôr, stále je tu ešte priestor na pomoc žiakom priamo počas písania testov. Tá môže siahať od priameho diktovania správnych odpovedí, cez nenápadné upozorňovanie na nesprávne odpovede až po tiché tolerovanie nedovolenej spolupráce žiakov  (odpisovania, našepkávania) a používania nedovolených pomôcok (ťahákov, učebníc...).

Teoreticky je tu však aj druhá možnosť, a síce dodatočné vylepšovanie dát počas spracovania výsledkov. V prípade testu zo slovenčiny na to priestor veľmi nie je, pretože ten obsahuje iba uzavreté otázky a jeho vyhodnotenie prebieha celé strojovo. No test z matematiky obsahuje aj otvorené otázky, ktoré sú najskôr ručne (zaškolenými osobami) ohodnotené a až následne sú výsledky spracovávané strojovo. A práve pri bodovaní otvorených otázok by teoreticky bolo možné vniesť do hodnotenia istú „korekciu“, napríklad príliš benevolentným hodnotením.

Kriminalisti si pri vyšetrovaní zločinu vždy kladú dôležitú otázku: cui bono? Kto má z toho prospech? Motivácia učiteľov pomáhať svojim žiakom je viac-menej zrejmá. Akú motiváciu by mohol mať NÚCEM? Ak by predbežné výsledky naznačovali, že test, ktorý vytvorili, bol neprimerane ťažký, mal by aj NÚCEM prirodzenú motiváciu snažiť sa ich nejakým spôsobom vylepšiť a odvrátiť tak kritiku a zdôvodňovanie, prečo sú vedomosti žiakov také slabé.

A čo slovenčina?

Nie je bez zaujímavosti, že v prípade testu zo slovenského jazyka a literatúry je efekt „hromadného vylepšenia dát“ oveľa menší ako v prípade matematiky – viď druhý graf v poradí. Do úvahy prichádzajú dve možné vysvetlenia: test zo SJL je vnímaný ako ľahší (aj zvykne dopadnúť lepšie ako MAT), preto sú obavy žiakov a učiteľov i snaha „prilepšiť“ výsledky menšie. Druhým možným vysvetlením je fakt, že test zo slovenčiny neobsahuje otvorené otázky, preto počas spracovania jeho výsledkov nie je priestor na korekciu.

Štatistiku neoklameme

Keďže sa 24 rokov profesio­nálne venujem tvorbe a vyhodnocovaniu testov, nepotrebujem žiadne ďalšie dôkazy – prvý graf priam „kričí“, že výsledky Testovania 9 sú kontaminované podvádzaním. Ak by vám to však nestačilo, možno vás presvedčí toto: tretí graf pochádza z testovania KOMPARO, ktoré sa odohralo 8. novembra 2012, teda štyri mesiace pred Testovaním 9. Tento test KOMPARO písali tí istí deviataci a test sa (zámerne) veľmi podobal na Testovanie 9 – testoval skoro rovnaké učivo, obsahoval rovnaký počet uzavretých a otvorených otázok a žiaci mali na jeho vypracovanie presne rovnaké podmienky (vrátane času a pomôcok). Rozdelenie výsledkov z testu KOMPARO však vyzerá celkom inak a je plne v súlade s teoretickým očakávaním. Ako je to možné? Jednoducho: v KOMPARE nemajú školy, žiaci a ani jeho organizátor žiadnu motiváciu podvádzať. Výsledky sú totiž anonymné a nič vážne od nich nezávisí.

Nechceme týmto článkom obviniť NÚCEM z manipulácie dát. Nemáme na to žiadne dôkazy a navyše za oveľa pravdepodobnejšie pokladáme, že k podvádzaniu dochádza na školách počas administrácie. Je tu však otázka, či odborníci z NÚCEMu dôkazy podvádzania vo svojich vlastných grafoch nevidia alebo či o nich zámerne mlčia. Oboje by bolo zlé...

Autor je riaditeľom spoločnosti EXAM testing a šéfredaktorom časopisu Dobrá škola.

Článok bol pôvodne uverejnený v časopise Dobrá škola.