A szerző a pedagógiai értékelés néhány problémájáról ír. Elemzi a tanulói önértékelés nevelési és didaktikai céljait, hátterét. Bemutatja azokat a kutatásokat, amelyek a tanári és a szakértői értékelés közötti eltérések problémáit, ezek lehetséges kezelésének módozatait vizsgálják. Felvázolja a pedagógiai értékelésben alkalmazott modellek alkotásának folyamatát. Zárógondolataiban azt elemzi, hogyan befolyásolja a pedagógiai értékelés gyakorlatát az értékelés elmélete.
Csíkos Csaba
A pedagógiai értékelés új irányzatai
A pedagógiai értékelés elméletében az utóbbi egy-két évtizedben jelentőssé vált irányzatok bemutatása során az "új" jelző nem azt fejezi ki, hogy a magyarországi pedagógiai gyakorlat számára ismeretlen dolgokról van szó. A tanulmányban tárgyalt három problémakört az teszi újjá, hogy a nemzetközi kutatásokban most került előtérbe a vizsgálatuk. Hogy miért éppen most? Ennek indoklása egyszerre igényli a pedagógiai méréselmélet eredményeinek áttekintését és a társadalmi igények figyelembevételét.
A tanulmányban kiemelt három kutatási terület alapgondolata nem új a hazai pedagógiai gondolkodásban. A tanulók önértékelésével kapcsolatos nevelési célok és didaktikai eljárá-sok régóta jelen vannak a magyar pedagógiai gyakorlatban. Ismert jelenség az is, hogy esetenként a tanulmányi versenyeken olyan feladatok fordulnak elő, amelyek megoldását illetően az adott szaktárgyi munkaközösség nincs azonos véleményen. Az is elfogadott tény, hogy a pedagógiai értékelés tanításban-tanulásban betöltött szerepének vizsgálata rendszerszemléletű modellalkotást igényel.
Az elmúlt egy-két évtized szakirodalmában megjelent elméleti és gyakorlati irányzatok konvergenciája tapasztalható, és a sok irányzat együtt már az újszerűség, a forradalmi változás látszatát képes kelteni. Ezen változásokat mintegy összefoglalta az EARLI (European Association for Research on Learning and Instruction) "Assesment and evaluation" (Pedagógiai mérési és értékelési) szakcsoportjának első konferenciája (2000. szeptember 13–15., Maastricht).
A következőkben három problémakör mentén haladva a konferencián elhangzott néhány különösen érdekes előadás rövid tartalmi ismertetésére kerül sor.
Tanulói önértékelés
Alighanem mindannyian alkalmaztuk már azt a didaktikai módszert, hogy egy röpdolgozat megírása után a tanulókkal értékeltettük a teljesítményt. A tanulói önértékelés mint pedagógiai értékelési kutatási irány esetében azonban többről van szó annál, mint hogy valamiféle bizalompróbának vetjük alá tanulóinkat, és valójában az általunk alkalmazott javítókulcs alapján a tanári javítómunkát végzik el. Elméleti szempontból az a kérdés bizonyul különösen érdekesnek és relevánsnak, hogy a tanulók által választott értékelési szempontok és az értékelés következetessége milyen eltéréseket mutat a tanárokéihoz képest.
Smith utolsó évfolyamos középiskolások példáján mutatta be a tanulói önértékeléssel kapcsolatos problémákat. A tanulók a kérdőíves vizsgálat és az interjúk tanúsága szerint képesnek érzik magukat arra, hogy értékeljék saját teljesítményüket. Az önértékelést legalább annyira pontosnak és ráadásul informatívabbnak tartják, mint a tanárét. Látják ugyanakkor az önbecsapás veszélyét is.
Schuurs és Verschoor a holland mint idegen nyelv teszteredményeit hasonlította össze a tanári és a tanulói rangskálás értékeléssel, amely az egyes feladatok nehézségére vonatkozott. Az eredmények szerint mind a tanári, mind a tanulói értékítélet pozitív korrelációt mutat a tapasztalati nehézségmutatókkal, de a tanári és tanulói értékítéletek egymás közötti korrelációja alacsony. Ez azt jelenti, hogy bár általánosságban a tanárok és a tanulók viszonylag jól ítélték meg a feladatok nehézségét, egyes feladatok esetében jelentős különbségek lehetnek a két csoport között.
Dori és Herscovitz azt hangsúlyozták, hogy a tanulói önértékelés egyes didaktikai módszerek, stratégiák természetes velejárója. A sokak értékrendjében kitüntetett helyen szereplő kooperatív tanulási módszerek esetén különösen fontos, hogy a tanulók minél többször értékeljék saját teljesítményüket és tanulótársaik munkáját.
Értékelés a szakértők véleményének egyezése alapján
Tanulmányi versenyek feladatai esetén viszonylag gyakran előfordul, hogy nincs teljes véle-ményazonosság a szaktanárok között a helyes megoldás vagy a pontozás tekintetében. A pedagógiai értékelés elmélete és gyakorlata egzakt mérőszámot alkalmaz olyan esetekben, amikor a tanári vélemények különbözőségét avagy hasonlóságát kell kvantifikálni. A tárgyi tudás kategóriájába tartozó ismeret jellegű tudáselemek értékelése általában nem kívánja a szakértők véleményegyezésének vizsgálatát. Ugyanakkor a magasabb rendű kognitív műveletek és a nem csupán a kognitív szférához besorolható produktumok (mint például egy művészeti alkotás) értékelése esetén fontos jellemző lehet a véleményegyezés mértéke.
Kaftandjieva és Takala azt a feladatot adta hét tantárgyi szakértőnek, hogy egy finn nyelvi teszt 60 feladatának nehézségét jelöljék meg egy hatfokú skálán. (Ez a hatfokú skála az Európai Unióban általánosan elfogadott a nyelvi jártasság értékelésében.) Az így kapott eredményeket összevetették a tényleges tanulói teljesítményekkel. Az eredmények szerint a feladatok kétharmadában különbség mutatkozott a tanári becslés és a tanulói teljesítmény között. Az adatfeldolgozás során a holland Értékelési és Vizsgaközpont (CITO) munkatársai által kifejlesztett valószínűségi tesztelméleti programot használták (OPLM).
Érdekes, hogy a tanárok a nyílt végű feladatok esetében általában túlbecsülték, míg a zárt végű feladatok esetében alulbecsülték a tanulói teljesítményt. A tanári becslések nagyfokú konzisztenciát mutattak, bár egyéni különbségek is megfigyelhetők voltak, amelyeket a szerzők szerint súlyozással lehetne kompenzálni. (Mintha műkorcsolyaversenyen a rendszeresen és következetesen leglágyabb szívű pontozó pontszámai egy 0,8-es szorzóval szerepelnének...)
Dochy és Dierick elméleti áttekintésükben arra utaltak, hogy az új értékelési módszerek az értékelés jóságának új kritériumait hívják életre. A mérés validitása (érvényessége) például sok esetben a szakértők véleményének az egyezését számszerűsítő Kendall-féle konkordanciamutatóval jellemezhető.
Zoller szuggesztív előadásában azt a fölfogást hangsúlyozta, hogy az oktatásnak és a pedagógiai értékelésnek is a tárgyi tudás tanításától a magasabb rendű értelmi műveletek tanu-lása felé kell elmozdulnia. Érdemes fölfigyelni itt a kettős dichotómiára: alacsonyabb szintű (tárgyi tudás) Ť magasabb rendű (értelmi műveletek), tanítás Ť tanulás. Zoller szerint a magasabb rendű értelmi műveletek előtérbe kerülése a társadalom igényeinek felel meg, a pedagógiai értékelésnek pedig ebből adódóan a tradicionális módszerek alkalmazása helyett alternatív eszközökre van szüksége. A magasabb rendű értelmi műveletek mérése sok esetben szakértők véleményének egyezésén alapul.
A magasabb rendű kognitív műveletek mérésének fontosságára remek példát láttunk Lafontaine előadásában, aki a nemzetközi olvasásmegértés-mérések áttekintésére vállalkozott. Hangsúlyozta, hogy míg az IEA első olvasásvizsgálatában kizárólag zárt végű feladatok szere-peltek, addig a most tervezett újabb nemzetközi mérésekben főszerephez jutnak a nyílt végű feladatok. Ennek egyik következménye, hogy az olvasásmegértési tesztek javítása az eddigieknél kevésbé lesz automatizálható.
A pedagógiai értékelés elméleti modelljei
Az utóbbi egy-két évtizedben Magyarországon is teret nyert a pedagógiai szakirodalomban a tanítás-tanulás rendszerszintű modellezése. A nemzetközi kutatásokban felhasznált modellek közös jellemzője, hogy a pedagógiai értékelés a tanítás-tanulás modelljeinek alapvetően fontos rendszereleme.
Birenbaum nagy hatású előadásában az ILA (tanítás-tanulás-értékelés angol kezdőbetűiből álló mozaikszó) modellt alkalmazva fejtette ki nézeteit. Ebben a modellben az értékelés a tanítás és a tanulás közötti hidat jelenti. A hagyományos ILA-modellhez képest a Birenbaum által vázolt ún. alternatív ILA néhány fontos jellemzője: a tesztekben az egyszeres választásos feladatok helyét egyre inkább nyílt végű feladatok foglalják el, a frontális osztálymunka helyett a kooperatív tanulás kap egyre nagyobb hangsúlyt, a tesztre tanulás helyett a tanítás-tanulás folyamatába ágyazott, segítő s gyakran tanulói önértékelésre támaszkodó értékelési formák kerülnek előtérbe.
Cantwell és Jeanneret a zenével kapcsolatos teljesítmény értékeléséhez két olyan modellt is alkalmazott, amelyek a pedagógiai értékelésben használt fogalmakat rendszerezik. Brophy tantervi-értékelési integrációs modellje szerint a pedagógiai értékelés (1) információt ad a követelmények minőségéről, (2) visszajelzést ad a tanulás folyamata számára, és (3) méri a kimeneti teljesítményt. Brophy modelljében az oktatás mint rendszer bemeneti, folyamat- és kimeneti tényezői is a pedagógiai értékeléssel való kapcsolatuk alapján szerepelnek. A széles körben használt, Biggs és Collis nevéhez köthető, SOLO nevezéktan (SOLO, mozaikszó: "a tanulás megfigyelhető eredménye") öt szintet különböztet meg a tanulói teljesítmény értékelésében. A szintek kvalitatív leírása lehetővé teszi, hogy bármilyen tartalmi terület esetében egy értékelési rangskála alapjául szolgáljon. Cantwell és Jeanneret a modelleket mesteri módon ötvözve annak példáját adják, hogy egy megfoghatatlannak tűnő területen, amilyen a zenei teljesítmény, hogyan lehet az értékeléshez fogalmi és metodológiai keretet adni.
Braun a nagymintás pedagógiai mérések szakértőjeként azt emelte ki, hogy a pedagógiai értékelés két fő pilléren áll: (1) az adatok gyűjtésére alkalmas mérőeszközök tervezése és felhasználása (2) és a kapott adatokból – valamilyen jól meghatározott cél szerint – információ nyerése és interpretálása. Előadásában nagy súlyt fektetett arra, hogy az internet és a multimédia hogyan befolyásolhatják a pedagógiai értékelés gyakorlatát. Megszívlelendő egyik mondata: "Nem az a feladatunk, hogy megsejtsük, mit hoz a jövő, hanem az, hogy mai munkánkkal mi alakítsuk."
Hogyan befolyásolja az elmélet a pedagógiai értékelés gyakorlatát?
A pedagógiai értékelés magyarországi gyakorlatát nem ismerjük kellő pontossággal. A kutatók által bemért és feldolgozott tesztek az értékelési gyakorlatnak csak egy szűk szegmensét jelentik. Az osztályozási kultúráról, a szaktanár által készített röpdolgozatokról és tesztekről kevés tudományosan ellenőrzött adatunk van. Ez egyben azt is jelenti, hogy nehéz lenne empirikus vizsgálatot tervezni arra vonatkozóan, hogy a most uralkodó elméleti irányzatok közül melyik és milyen mértékben lesz hatással a hazai értékelési gyakorlatra.
Mit hozhat a tanárképzés és a tanártovábbképzés számára a pedagógiai értékelés elméletének fejlődése? Véleményünk szerint a területek (tanulói önértékelés, a szakértők véleményazonosságának mérése, elméleti modellek és fogalmi keret keresése) nagymértékben segítheti a pedagógiai értékeléssel kapcsolatos szemléletmód megváltozását.
A tanulói önértékelés hangsúlyossá válása semmiképpen sem jelent egy újabb kipipálandó feladatot a gyakorlat számára. Önmagában, elszigetelten, a régi módszerek és régi szemléletmód megtartása mellett csak kevés eredményt hozhat, ha a tanórán bizonyos rendszerességgel a tanulók megbecsülnék vagy pontoznák saját teljesítményüket. A tanulói önértékelés hangsúlyossá válása ugyanis elsősorban olyan oktatási módszerek (módszerek együtteséből fölépülő stratégiák) esetében hozhat eredményt, amelyek nálunk kevésbé elterjedtek (gondoljunk például a projektmódszerre). Az eredményt ráadásul nem feltétlenül a kognitív szférában kell keresnünk, hanem a szociális és személyes kompetencia területén. A régi szemléletmód ellenében a tanulói önértékelés elméleti középpontba állítása azt jelzi, hogy a tanár nem tekinthető valamiféle csodás, mégis autoriter hatalom birtokosának a tanulói teljesítmény értékelése terén.
A szakértők véleményazonosságának a mérésére – akár kvantitatív, akár kvalitatív módon – gyakran van szükség a nagymintás pedagógiai mérések tesztszerkesztő és tesztfejlesztő munkái során. Az iskolai gyakorlatban nincs szükség arra, hogy a röpdolgozatokat többen átnézzék és a szóbeli feleleteket többen zsűrizzék. Ismét a szemléletmód fontosságára utalunk: amikor a tesztfeladatokat megírom, legyen bár a feladat a legegyszerűbb adatot számon kérő is, egy adott szakértői kör tagjaként teszem ezt. Elképzelhető, hogy a jelenlegi kereskedelmi forgalomban kapható atlaszok, könyvek többfélét írnak arról, hogy mi Hollandia fővárosa. A földrajztanár azonban a tesztben nem egy adott könyv ismeretét kéri számon, ha Hollandia fővárosáról tesz föl kérdést. Az adott területen meglévő szakértelmünk alapján ezért megfelelően tudjuk elbírálni azt a tanulói választ is, ha Amszterdamot, és azt is, ha Hágát nevezi meg fővárosként, vagy éppen mindkettőt. A szakértői vélemények egyezésének problémaköre ismét csak a pedagógiai értékelés tekintélyelvűsége ellen szól. Nemcsak hogy nem én vagyok a tudás kizárólagos forrása és elbírálója, de még nem is egy adott tankönyv rabszolgájaként dolgozom.
A modellalkotás gyakorlati konzekvenciái közül a SOLO nevezéktannal kapcsolatban azt emeljük ki, hogy a tanulói tudás értékelésekor elsősorban a tanulói teljesítményből indulunk ki. A feladatokban nyújtott produktumból következtetünk a tanuló felkészültségére, bár tud-juk, hogy a tényleges teljesítmény más tényezőktől (például a motiváltságtól, a feladat kontextusától) is függ. A tudást mérő feladatokban nyújtott teljesítményre támaszkodva ugyanakkor előtérbe kerülnek a teljesítménnyel kapcsolatos lehetséges nevezéktanok, tipológiák. Ezen a területen a pedagógia a kognitív pszichológia számos eredményét hasznosíthatja.
A hivatkozott konferencia-előadások:
Birenbaum, M.: New insights into learning and teaching and the implications for assessment.
Braun, H.: Reflections on the future of assessment.
Cantwell, R. H.–Jeanneret, N.: Reconceptualising the focus of assessment in music: an alternative framework.
Dochy, F.–Dierick, S.: New lines in edumetrics: New forms of assessment lead to new assessment criteria.
Dori, Y. J.–Herscovitz, O.: Project-based alternative assessment of science teachers.
Kaftandjieva, F.–Takala, S.: Intra-judge inconsistency or What makes an item difficult for...experts?
Lafontaine, D.: Large scale assessments in reading: lessons from the past and challenges for the future.
Schuurs, U.–Verschoor, A.: Self-assessment, teacher evaluation and standardized tests in DSL.
Smith, K.: How do foreign language learners value the use of self-assessment compared to teacher and external assessment?
Zoller, U.: Alternative assessment for new goals: Towards evaluative learning via STES education.