III. rész
A szakirodalom ismertetése
A tanítás megváltoztatása a fejlesztő értékelés alkalmazásával: kutatás és gyakorlat
A King’s-Medway-Oxfordshire Fejlesztő Értékelési Projekt
Paul Black és Dylan Wiliam, King’s College, London1
Bevezetés
Ez az írás annak a fejlesztésnek a történetét mutatja be, mely a fejlesztő értékeléssel foglalkozó kutatások eredményeinek áttekintésével kezdődött. Elsőként ezt az áttekintést mutatjuk be. E munka eredményei vezettek ahhoz a pedagógusok bevonásával végzett fejlesztőmunkához, melynek során megvizsgáltuk, hogy a kutatásokból vett ötletek hogyan ültethetők át a gyakorlatba. Ezt a munkát mutatja be a második fejezet, melyet az eredmények és következtetések ismertetése követ a harmadik fejezetben. A negyedik fejezet átfogóbban tárgyalja, hogy ezek a tapasztalatok milyen megvilágításba helyezik a kutatási eredmények gyakorlatba való átültetésének feladatát.
A kutatások áttekintése
A történet kiindulópontja a fejlesztő értékelés iránti régi keletű érdeklődésünk volt. Ezért döntöttünk úgy, hogy megpróbáljuk bebizonyítani: a formatív értékelés továbbfejlesztésével emelhető az oktatás színvonala. Ehhez elengedhetetlen volt a szakirodalom áttekintése. Azt is szükségesnek tartottuk, hogy bizonyítékot keressünk arra, hogy a jelenlegi gyakorlat fejleszthető-e, illetve útmutatást kapjunk ahhoz, hogyan tökéletesíthető a fejlesztő értékelés.
A kutatásokról szóló szakirodalom áttekintése során számtalan könyvet, több mint 160 folyóirat kilenc évfolyamát, és a kutatásokról szóló korábbi ismertetéseket kellett átnéznünk (Crooks 1988; Natriello 1987). Ennek eredményeként mintegy 580 cikket, illetve fejezetet választottunk ki tanulmányozásra. Ezek alapján készítettünk egy hosszadalmas ismertetést, melyben az említett források közül 250 anyagát használtuk fel. Ez az ismertetés öt különböző ország szakértőinek munkánkhoz fűzött megjegyzéseivel együtt került kiadásra (Black és Wiliam 1998a).
Az ismertetés első része a bizonyítékok áttekintését tartalmazta. Ezek közé tartozott például egy 1986-ban megjelent tanulmány, mely elsősorban – de nem kizárólag – az enyhén fogyatékos gyermekek osztályteremben folyó értékelésével foglalkozott, és számos fejlesztő célú újítást vizsgált meg. Ezek közül 23-at választottunk ki (Fuchs és Fuchs 1986). A kísérleti és egy kontrollcsoport adatainak összehasonlítása szerint a csoport minden tagjánál számszerű bizonyítékokkal igazolható volt a tanulás javulása. Ezt követően számos további dolgozat jelent meg, melyek hasonlóan szigorú kvantitatív kísérleteket írtak le. Mi körülbelül 20 további tanulmányról számoltunk be az általunk írt összefoglalóban, melyek mind azt mutatták, hogy a fejlesztő értékelés gyakorlatának a megerősítésére irányuló újítások jelentős, sok esetben lényegi javuláshoz vezettek a tanulásban. Ezek a kutatások különféle korcsoportokra (az ötévesektől az egyetemistákig), számos tantárgyra és több országra terjedtek ki.
Az a tény, hogy ezeket az eredményeket különféle módszerekkel érték el, melyek közös jellemzője a fejlesztő értékelés előtérbe helyezése volt, arra utal, hogy a siker – legalább részben – ennek az összetevőnek köszönhető. Ebből azonban még nem következik, hogy az átlagos osztályokban is könnyű dolog lenne ilyen eredményeket elérni széles körben.
A második rész a pedagógusok jelenlegi módszereire vonatkozó kutatásokat vizsgálta. A kapott kép lehangoló volt. Ami az eredményes tanulást illeti, úgy tűnt, hogy a tanárok által alkalmazott kérdések és tesztek a gépies, felszínes tanulást ösztönzik, még akkor is, amikor állításuk szerint a megértést kívánják fejleszteni. Bizonyítottnak látszott az is, hogy a tanulók egymással való összehasonlítása negatív hatással jár, mert a versengést hangsúlyozza az egyéni fejlődéssel szemben. Úgy tűnt továbbá, hogy a pedagógustól kapott visszajelzéseknek sok esetben a társas érintkezés szabályozása és az irányítás a célja – gyakran a visszacsatolás tanulást szolgáló szerepe kárára. Általánosságban tehát úgy tűnt, hogy a fejlesztő értékelés a gyakorlatban kevéssé érvényesül, alkalmazásához pedig a pedagógusoknak jelentősen meg kell változtatniuk mind a szerepükről vallott felfogásukat, mind az osztályteremben végzett munkájukat.
A harmadik rész a tanulók fejlesztő értékelésbe való bevonására vonatkozó kutatásokkal foglalkozott. Ezek a kutatások azt mutatták, hogy a tanulóknak a tanulás céljáról, a válaszadás különböző módjaiban rejlő kockázatról, illetve a tanulás módszereiről alkotott elképzelései mind befolyásolják, hogy mennyire motiváltak a cselekvésre, milyen cselekvéssort választanak, és mennyire vállalnak azért felelősséget. Más kutatások a pozitív magatartás kialakításának különböző lehetőségeit vizsgálták olyan témakörökre vonatkozóan, mint a tanulási módszerek, a tanulási készségek, a kortársi és önértékelés.
A negyedik rész azt vizsgálta, hogy a kutatásokból milyen ötletek gyűjthetők össze a pedagógusok számára hasznos stratégiákra vonatkozóan. Ezek egyike az volt, hogy a pedagógus által megtervezett tanulási feladat segíthet feltérképezni azt, hogyan tanulnak a tanulók. A másik az osztályteremben folyó diskurzus fontossága volt, melyet a tanár kérdései irányítanak, illetve az, hogy hogyan kezeli a diákok válaszait.
Az ötödik rész a tanítás és tanulás olyan átfogó rendszereit mutatta be, melyekben a fejlesztő értékelés is szerepet játszik. Ezek egyik példája a „mesterfokú tanulás” (mastery learning), ahol azt kell megfigyelni, hogy a tanulók egy elvárt teljesítményszinthez (azaz a „mesterfokhoz”) viszonyítva kapnak visszajelzést az aktuális teljesítményükről, és a visszacsatolás gyors. Emellett lehetőségük van arra, hogy társaikkal megbeszéljék az esetleges hiányosságok pótlását.
A hatodik rész a visszacsatolásra vonatkozó szakirodalom részletesebb vizsgálatát tartalmazta. Ennek egyik figyelemreméltó példája volt Kluger és DeNisi (1996) empirikus bizonyítékokról készült részletes ismertetője, mely szerint a viszszacsatolásnak csak akkor van pozitív hatása, ha azt a fejlődést elősegítő útmutatásként fogalmazzák meg. Ugyanilyen fontos volt az a konceptuális elemzés, mely a következőképpen definiálja a visszacsatolást: „… valamely rendszerparaméter tényleges szintje és referenciaszintje közötti különbségét kifejező adatok, melyeket valamilyen módon a különbség módosítására használnak föl” (Ramaprasad 1983), illetve ennek Sadler (1989) általi továbbfejlesztése annak hangsúlyozásával, hogy a tanulónak mind a „referenciaszintet” – azaz a tanulása célját –, mind a saját tényleges tudásszintjét ismernie kell.
Hasonlóan fontos volt az attribúciós elmélettel kapcsolatos kutatások (például Vispoel és Austin 1995) egyértelműen kibontakozó üzenete. E szerint a pedagógusnak arra kell törekednie, hogy a tanulókban az a meggyőződés alakuljon ki, hogy a siker nem állandó, általános tényezők eredménye, mint amilyen a képesség (belső tényező) vagy a tanár általi pozitív megítélés (külső tényező), hanem belső, nem állandó és konkrét tényezőké, mint amilyen például az erőfeszítés.
Összességében a tanulmányok többségéből a következő jellemzők látszanak kitűnni.
- A fejlesztő munka olyan új módszereket tartalmaz, melyekben fokozódik a tanított és a tanító közötti visszacsatolás szerepe; és ezek a módszerek új pedagógiai szemléletet és az osztálytermi gyakorlat jelentős megváltoztatását igénylik.
- A különféle megközelítések alapját a tanulás hatékonyságát biztosító tényezőkről alkotott előfeltevések képezik – különösen az, hogy a tanulóknak aktívan részt kell venniük a tanulásban.
- Ahhoz, hogy az értékelés fejlesztő hatású legyen, az eredményeket fel kell használni, és ezek alapján kell módosítani a tanítást és a tanulást – ezért minden programnak tartalmaznia kell azt, hogy pedagógus ezt hogyan valósítja meg.
- Az értékelésnek a tanulók motivációjára és önbecsülésére gyakorolt hatását és az önértékelés előnyeit egyaránt alaposan meg kell figyelni.
A kutatások értelmezése
A kutatások összegzése soha nem objektív folyamat – a szubjektivitás elkerülhetetlen. A fent leírt, hat részből álló felépítés nem automatikusan adódott: mi választottuk ezt az utat a témához tartozó szakirodalom visszaadására, rendszerezésére és súlypontjának meghatározására. A munka során egyre inkább kibővült az elképzelésünk arról, hogy „mi tartozik a témához”, így meg kellett találnunk az egyre szélesedő kutatási terület strukturálásának a módját, és új fogalmi összefüggéseket kellett feltárnunk ahhoz, hogy a különféle megállapításokból a lehető legkoherensebb kép álljon össze. Többek között ez volt az egyik oka annak, hogy szakirodalom-ismertetőnk fellendítette a területen folyó munkát: olyan új keretrendszert hozott létre, melyet nehéz lenne másképp kialakítani. A kutatások áttekintése nem pusztán másodlagos eredményeket létrehozó tudományos tevékenység.
Nyilvánosság
Bár a szakirodalom-ismertetés összeállítása és írása során törekedtünk a társadalomtudományi kutatómunka hagyományos követelményeinek szigorú betartására, ez nem vonatkozott a szakpolitikai következtetések vizsgálatára, melyeket az Inside the Black Box (Black és Wiliam 1998b) c. könyvecskében tettünk közzé. Ezt a könyvecskét a tudományos ismertetővel párhuzamosan adtuk ki, és széles körben terjesztettük. Nagy érdeklődést keltett, lendületet adott projektünk végrehajtásához és az eredmények későbbi terjesztéséhez. Míg a szakirodalom-ismertetőről elmondható, hogy a „tudományos racionalizmus” követelményeinek megfelelően bizonyítékokkal támasztottuk alá az állításokat, az „Inside the Black Box” esetében alkalmazott normák sokkal inkább a Stephen Toulmin társadalomtudományi kutatásokra vonatkozóan javasolt „ésszerűség elvéhez” álltak közel (Toulmin 2001). Az Inside the Black Box bizonyos értelemben véleményünket és előítéleteinket tartalmazza, bár szeretnénk azt hinni, hogy ezeket bizonyítékok támasztják alá, és összhangban állnak a szerzők e területen szerzett összesen 50 évnyi tapasztalatával. Azt is meg kell jegyezni, hogy az Inside the Black Box sikere legalább annyira köszönhető a könyv retorikai erejének, mint az alapját képező bizonyítékoknak. Ez a tudományos munkát végzők számára kellemetlen lehet, hiszen a tény és az érték közötti határok elmosódását jelzi; azonban, amint azt Flyvbjerg (2001) kifejti, a társadalomtudományok területén folyó kutatás kudarca pontosan abból adódik, hogy az elemző racionalitásra összpontosít, szemben az értékracionalitással (ld. még Wiliam 2003).
Átültetés a gyakorlatba
A projekt megszervezése
Történetünk második része szinte szükségszerűen követte az elsőt: mivel ismertetőnk megmutatta, hogy a fejlesztő értékeléssel kapcsolatos innovációk javíthatják a tanulók teljesítményét, természetszerűleg merült fel az a gondolat, hogy hogyan segíthetünk az iskoláknak ezeknek az előnyöknek a biztosításában. A pedagógusok szakmai fejlődésével kapcsolatban szerzett saját tapasztalatok megtanítottak minket arra, hogy az új osztálytermi gyakorlat megvalósítása nem egyszerűen abból áll, hogy összeállítunk egy receptet, melyet a tanárok követhetnek. Ennek egyik oka az, hogy az innovációk változatossága és a kipróbálásuk eltérő körülményei miatt nem feltételezhetjük, hogy más körülmények között egyszerűen „lemásolhatók” lennének. A másik ok az – ami a kutatók beszámolóinak elolvasásából is kiderül –, hogy senki nem képes olyan részletességgel leírni a munkáját, mint amennyire az a megismétlésére vonatkozó tanácsok megfogalmazásához szükséges lenne. A harmadik ok – mely az első kettő nélkül is eldöntené a kérdést – maga az a szemlélet, amellyel a kutatási eredmények gyakorlatba történő átültetését megközelítjük. Meggyőződésünk, hogy a tanulással és tanítással kapcsolatos új elképzelések csak akkor fognak működni egy adott kontextusban – esetünkben (kezdetben) az Egyesült Királyság középiskolai tanárainak körében –, ha a pedagógusok képesek azokat átalakítani a saját feladataik ellátása során felhasználható új, gyakorlati tudássá.
Mindezek alapján sikerült támogatást szereznünk egy kétéves fejlesztési projekthez (az Egyesült Királyságban működő Nuffield Alapítványtól). Hat 11–18 éves korúakat oktató iskola döntött a velünk való együttműködés mellett. Mindegyikben kiválasztottak két természettudomány és két matematika szakos tanárt, akik hajlandók voltak vállalni a projekttel járó kockázatokat és a különmunkát. A projekt második évében ugyanezen iskolák mindegyikéből még két angoltanár, egy matematika és egy természettudomány szakos tanár csatlakozott a programhoz, így a résztvevők száma összesen 48 volt. Munkájukat a helyi (körzeti) oktatási hatóságok munkatársai segítették, a projekt pedig a King’s-Medway-Oxfordshire Fejlesztő Értékelési Projekt (King’s-Medway-Oxfordshire Formative Assessment Project – KMOFAP) nevet kapta, ami hangsúlyozta a partnerekkel folytatott szoros együttműködést (Black és Wiliam 2003).
A pedagógusok és a kutatók a két év során öthetente tartottak egy-egy egész napos megbeszélést. Emellett két kutató látogatásokat tett az iskolákban, megfigyelte a tanárok osztályteremben végzett munkáját, visszajelzéseket adott nekik, interjúk segítségével adatokat gyűjtött a tapasztalataikról, és ötleteket kért tőlük arra vonatkozóan, hogy milyen kérdéseket vitassanak meg az egész napos megbeszéléseken. Megállapításaink részletes leírásai (Black et al. 2002, 2003) egyrészt az egész napos megbeszélések jegyzőkönyvein, másrészt a King’s College kutatóinak óralátogatásokból származó megfigyelésein és feljegyzésein, a tanárokkal készített interjúkon és az általuk leírtakon, valamint a tanulócsoportokkal folytatott néhány megbeszélésen alapulnak.
E projektet követően a King’s College gárdájának tagjai számos meghívást kaptak, hogy másoknak is tartsanak előadásokat. Három év során több mint 200 ilyen eseményen vettek részt, melyek az összes tantárgyra és az elemi és középfokú oktatási szakaszokra egyaránt kiterjedtek. Emellett négy elemi iskolában tovább folyt a munka. A King’s College munkatársai tanácsadói minőségben számos önkormányzat iskolakörzetében vettek részt nagyszabású fejlesztési vállalkozásokban az Egyesült Királyság különböző pontjain, együttműködtek Skócia és Jersey oktatási minisztériumaival, és a közelmúltban közreműködtek egy olyan kormányzati program osztálytermi szintű eredményeinek a vizsgálatában, melynek célja az iskolákban alkalmazott tanítási és tanulási módszerek fejlesztése volt.
A projekt kezdetén komoly motivációt jelentett a pedagógusoknak, hogy számszerű adatok bizonyították a fejlesztő értékelés teljesítményjavító hatását. A KMOFAP keretében a King’s College gárdája az egyes tanárokkal együttműködve adatokat gyűjtött az innováció által érintett diákok teszteken elért eredményeinek javulásáról, és az innováció által nem érintett, hasonló osztályok összevethető adatait is gyűjtötték (Wiliam et al. 2004). A projektben semmilyen saját tesztet nem vezettünk be – a teljesítményadatok azokból a tesztekből származtak, amelyeket az iskola minden diákjának meg kellett írnia, függetlenül attól, hogy részt vett-e a projektben. Az adatok elemzése a tanulási eredmények általános és jelentős mértékű javulását mutatta. A kutatások áttekintéséből származó bizonyítékok tehát ezután kiegészíthetők az Egyesült Királyságban alkalmazott országos és iskolai szintű vizsgákon elért eredmények javulását bizonyító adatokkal.
A kidolgozott módszerek
A kidolgozott módszereket a következő négy címszó alatt ismertetjük: szóbeli visszacsatolás az osztályteremben folyó párbeszéd során, visszacsatolás osztályozás, kortársi és önértékelés révén, és a minősítő tesztek fejlesztő céllal történő felhasználása. A témákat itt csak röviden ismertetjük – a részletesebb ismertetés megtalálható másutt (Black et al., 2003).
Az osztályteremben folyó párbeszéd esetében a fejlesztő értékelés fő elemének tekintett interaktív visszacsatolás javítása volt a cél. Egy várakozási időre vonatkozó kutatás leírása (Rowe 1974) arra ösztönözte a tanárokat, hogy a kérdés feltevése után több időt hagyjanak a tanulóknak a válasz kigondolására, így mindenkitől elvárhatják a kérdésekből és feleletekből álló megbeszéléseken való részvételt, illetve a hosszabb válaszokat. A részvétel fokozásának egyik módja abból állt, hogy mielőtt a tanár a válaszokat kérte volna, a tanulóknak két-három percben – esetleg párokban – minél több ötletet kellett összegyűjteniük. Ezt követően minden választ komolyan kellett venni, akár helyes volt, akár helytelen, mivel a cél nem az elvárt válaszok produkálása, hanem a gondolkodás fejlesztése volt. E változtatások következtében a pedagógusok jobban megismerték a tanulók előzetes tudását, tudásbeli hiányosságait és esetleges tévhiteit, így a következő lépéseiknél a tanulók tényleges szükségleteihez tudtak alkalmazkodni.
Amikor a pedagógusok megpróbálták ezt a módszert fejleszteni, rájöttek, hogy jobban oda kell figyelniük azoknak a kérdéseknek a megfogalmazására, melyeket érdemes feltenni, azaz amelyek a tanulók tudásának elmélyítése szempontjából fontos dolgokra irányulnak. Emellett figyelniük kellett arra, hogy a kérdéseket követő tevékenységek a diákok számára értelemmel bíró válaszokat és kihívásokat tartalmazzanak, amelyek tudásuk bővülését segítik.
Az osztályteremben folyó párbeszéd interaktívvá tétele számos pedagógustól azt követelte, hogy tanítási stílusát radikálisan megváltoztassa. Ezt kihívásként élték meg, nem utolsósorban azért, mert kezdetben úgy érezték, hogy kicsúszik a kezükből az irányítás. Volt, aki már több mint egy éve vett részt a projektben, mire ezt a változást el tudta érni. A más iskolákban végzett későbbi munka során kiderült, hogy a fejlesztő értékelésnek ezt az elemét képesek a legkevesebben sikeresen megvalósítani.
Az osztályozás révén történő visszacsatolás esetében először megismertettük a tanárokkal azoknak a kutatásoknak a leírásait, amelyek megállapították, hogy míg az észrevételek formájában adott visszajelzés előreviheti a tanulást, az osztályozásnak negatív hatása van, mivel ha osztályzatot is kapnak, akkor a megjegyzéseket figyelmen kívül hagyják a tanulók (Butler 1988). Ezek az eredmények meglepték és aggasztották a pedagógusokat, mivel tartottak attól, hogy milyen hatása lehet annak, ha osztályzat helyett csak észrevételeikkel ellátva adják vissza a tanulóknak a munkáikat. Az iskolák irányelveivel való potenciális összeütközéseket azonban sikerült kiküszöbölni, miután a tapasztalatok azt mutatták, hogy az észrevételek mind a tanulók, mind a szülők számára útmutatást nyújtanak a fejlődéshez. Emellett az osztályzat értelmezésére való törekvés helyett a tanulással kapcsolatos kérdések kerültek a figyelem középpontjába. Ahhoz, hogy az írásbeli munkára kapott visszajelzések által teremtett tanulási lehetőség minél inkább kihasználható legyen, olyan módszereket kellett kidolgozni, melyek a tanulási folyamat egésze során megkövetelik a tanulóktól a kapott észrevételek felhasználását a későbbi munka során.
Ennek a változásnak az volt az egyik következménye, hogy a tanároknak jobban át kellett gondolniuk az írásbeli munkákhoz fűzött észrevételek megfogalmazását, mert egyértelművé vált, hogy ezek segítségével kell meghatározniuk, hogy mi az, ami jó volt, min kell javítani, és ez hogyan érhető el. Az ilyen visszajelzések megfogalmazásához és használatához szükséges készségek megállapítása során világossá vált, hogy döntő fontosságú az írásbeli házi feladatnak vagy órai munkának adott feladat minősége: az ilyen feladatokat a szóbeli kérdésekkel együtt úgy kell megtervezni, hogy a tanulókat a tanultak lényegének jobb megértésére és kifejezésére ösztönözzék.
A kortársi és az önértékelés esetében Sadler (1989) érve volt a kiindulási pont, mely szerint a tanuláshoz nélkülözhetetlen a saját munka értékelése, mivel a tanuló csak akkor lesz képes egy tanulási cél elérésére, ha érti az adott célt, és fel tudja mérni, hogy mit kell tennie a cél eléréséhez. Ezért a tanulási eredmények értékelésének alapját képező szempontokat mindig átláthatóvá kell tenni a diákok számára, hogy mind a munka céljáról, mind a sikeres teljesítés jelentéséről pontos képük lehessen. Amennyiben ez így van, akkor elkezdik átlátni az adott feladatot, és képesek lesznek annak irányítására és ellenőrzésére: más szóval kialakul a képességük a metakognitív gondolkodásra. Az ilyen munka sikerének figyelemreméltó példájáról számol be White és Frederiksen kutatása (1998).
Az önértékelési készségek fejlesztésénél az első és legnehezebb feladat annak elérése, hogy a tanulók célok halmazaként gondoljanak a munkájukra. A gyakorlatban bebizonyosodott, hogy a kortársi értékelés nagymértékben ösztönzi az önértékelést. A kortársi értékelés azért különösen hasznos, mert a tanulók egymástól olyan kritikát is elfogadhatnak, melyet a pedagógustól nem vennének komolyan. Azért is hasznos, mert az egymás értékelése során folyó párbeszédben azt a nyelvet használják, ami számukra természetes, és abból is tanulnak, hogy a tanár, illetve a vizsgáztató szerepébe bújhatnak (Sadler 1998). Megjegyzendő, hogy a jelek szerint a tanulók könnyebben megértik a saját munkájuk értékelésének szempontjait akkor, ha azokat nem a saját, hanem társaik munkájának fényében vizsgálják.
Ahhoz azonban, hogy a kortársi csoportok sikeresen tudjanak dolgozni, sok tanulónak útmutatást kellett adni arra, hogyan kell a csoportban viselkedni, pl. a másikat meghallgatni, felváltva szólni és az egymás munkájára vonatkozó konstruktív kritika mellett pozitív megerősítést is adni. Jellemző példa volt erre a házi feladat kijavítása. A tanulóknak a közlekedési lámpa színeivel kellett megjelölniük a házi feladatukat, azaz pirossal, illetve sárgával akkor, ha egyáltalán nem, illetve csak közepesen biztosak abban, hogy jól oldották meg, és zölddel akkor, ha biztosak a sikerben. Ezután a zöldet és sárgát választók vegyes csoportban, egymást segítve értékelték egymás munkáját, és segítették annak kijavítását, míg azokkal, akik a piros jelzést választották, a tanár foglalkozott.
A minősítő tesztek fejlesztő felhasználására három módszert dolgoztak ki a pedagógusok. Ezek közül az egyik az volt, hogy a tesztre való felkészülés során a közlekedési lámpa színeivel kellett megjelölniük azokat a kulcsszavakat, illetve témaköröket, melyekről a teszt szólt. Ez a gyakorlat arra ösztönözte őket, hogy gondolják végig, mely területeken érzik biztosnak a tudásukat, és mire kellene erőfeszítéseiket összpontosítaniuk. Ezt azért tették a tanárok, mert felismerték, hogy sok diák nem úgy készül a dolgozatra, hogy stratégiai értékelésnek vetné alá a tudását.
A második módszer egymás dolgozatainak kortárscsoportokban való kijavítása volt, mely a házi feladatok osztályozásának fent vázolt módszeréhez hasonlóan történt. Ez különösen nagy kihívás lehet akkor, ha az osztályozás alapját képező táblázatot is a tanulóknak kell összeállítaniuk, ehhez ugyanis végig kell gondolniuk az egyes kérdések célját és a válasz minőségének megítéléséhez használt értékelési szempontokat. Egymás osztályozását követően a tanár időt szakíthat a különös nehézséget jelentő kérdések megbeszélésére.
Egy másik ötlet bevezetését azok a kutatások ösztönözték (Foos et al. 1994; King 1992), melyek kimutatták, hogy azok a tanulók, akiket megtanítottak arra, hogy saját kérdések megfogalmazásával és megválaszolásával készüljenek fel a vizsgákra, jobb eredményeket értek el, mint azok a hasonló csoportok, akik hagyományos módon készültek. A tesztkérdések kidolgozása ugyanis megköveteli azt, hogy a kérdezőnek átfogó képe legyen az adott témáról, és ezáltal elő is segíti az átfogó kép kialakulását.
A tanárok minősítő értékeléssel kapcsolatban végzett munkája megkérdőjelezte azt az előzetes feltevésünket, hogy abban a környezetben, melyben ezek a pedagógusok dolgoztak, olyan nagy a különbség a minősítő és a fejlesztő értékelés célja között, hogy a két értékelést külön kell választani. Egészen más megállapításra jutottunk: a minősítő tesztek a tanulási folyamat pozitív összetevői, és így is kell rájuk tekinteni. Amennyiben aktívan részt vehetnek a tesztelés folyamatában, a tanulók ahelyett, hogy a dolgozatírás áldozataként tekintetének magukra, felismerhetik, hogy a tesztek a javukat szolgálják, mert segítséget nyújtanak nekik a tanuláshoz. Ez a szinergia azonban nem érhető el azoknál a dolgozatoknál, amelyeknek nagy a tétje, és amelyeket az iskolán kívül javítanak.
Az eredmények továbbgondolása
Világosan látható volt, hogy a kutatás során a tanárok körében, illetve a részünkről nem egyszerűen új ötletek merültek fel, amelyeket mint hasznos szakmai fogásokat hozzáfűzhetnénk az eddigi anyaghoz, hanem olyan lényeges kérdések vetődtek fel, melyek megválaszolásához az eredmények továbbgondolására volt szükség.
Középpontban a tanulás
A kezdeti projektértekezleteken az jelentette az egyik legnagyobb meglepetést, amikor a részt vevő tanárok arra kértek bennünket, hogy tartsunk külön foglalkozást a tanulási elméletekről. Visszatekintve ez talán nem is annyira meglepő, hiszen korábban éppen azt hangsúlyoztuk, hogy a visszacsatolásnak csak akkor van fejlesztő hatása, ha a tanuló a kapott információkat felhasználja teljesítménye javításához. Azonban míg utólag megállapítható, hogy az adott visszajelzés elérte-e a kívánt eredményt, a pedagógusoknak arra volt szükségük, hogy olyan visszajelzést tudjanak adni a tanulóknak, amelyről már előre tudják, hogy hasznos lesz. Ehhez modelleket kellett felállítaniuk tanítványaik tanulásáról.
Ezért a tanárok egyre nagyobb figyelmet fordítottak arra, hogy olyan feladatokat, kérdéseket és egyéb rávezető eszközöket válasszanak, amelyekkel feltárják, hogy milyen tudással kezdenek meg egyes tanulók egy tanulási feladatot. A hatékony tanítás kulcsa ezután az, hogy megtaláljuk, hogyan lehet segítséget nyújtani a tanulónak ismeretei átstrukturálásához, és az új, erőteljesebb ismeretek beépítéséhez. A projekt során a pedagógusok, miközben egyre jobban kezdtek figyelni a tanulók válaszaira, egyre inkább megértették, hogy a tanulás nem az ismeretek passzív befogadásából áll, hanem olyan folyamat, melyben a tanulónak aktívan részt kell vennie saját tudása felépítésében.
Ezek a gondolatok a tanulás konstruktivista felfogásának elveit tükrözik: arról a szintről kell kiindulni, ahol a tanulók állnak, és aktívan be kell vonni őket a folyamatba. A tanárok számára világossá vált, hogy bármennyire erős legyen is a jó teszt- és vizsgaeredmények elérésére ösztönző nyomás, a tanulást nem végezheti el más a diák helyett, azt magának kell megtennie.
Az értékelési szempontok fókuszba állítása és példákkal történő szemléltetése révén a tanulók megtudták, hogy mi számít jól végzett munkának. Egyes esetekben ezt egy adott példa egész osztály bevonásával történő megbeszélésével érték el a tanárok, míg máskor azzal, hogy a tanulók egymás értékelése során alkalmazták az értékelési szempontokat. Ezek a tevékenységek, azzal, hogy munkájuk célok és értékelési szempontok fényében való felülvizsgálatára ösztönözték a diákokat, elősegítették azt, hogy kialakuljon bennük a tanulás metakognitív szemlélete.
Végezetül, a tanulók részvétele az egész osztály bevonásával folyó párbeszédben és a kortársi csoportokon belüli megbeszélésekben – egy olyan osztálytermi kultúra mellett, melynek kialakulásához mind a négyfajta módszer hozzájárult – oda vezetett, hogy egy termékenyebb tanulóközösség alakult ki, melyben a tanulók szociális fejlődése feltűnő és hatékony.
A tanulási környezet és a szerepek megváltozása
Ezen a ponton mélyebbre hatoló kérdések is felvetődnek. A tanulási környezetet úgy kell kialakítani, hogy elősegítse az aktívabb részvételt. Hangsúlyt kell fektetni arra, hogy a diákok feladata legyen a gondolkodás, és hogy ez a gondolkodási folyamat megismerhető legyen. Az egyik pedagógus ez így fogalmazta meg:
Történt egy érzékelhető váltás, amikortól már nem az állt a középpontban, hogy én mit teszek bele a folyamatba, hanem az, hogy a tanulók mivel járulnak hozzá. Kiderült, hogy a jelentős és tartós változás elérésének egyik módja az, ha a ráveszem a diákokat, hogy nagyobb részt vállaljanak a gondolkodásból. Ekkor kezdtem el olyan módszereket keresni, amelyekkel a tanulási folyamatot átláthatóbbá tudom tenni számukra. Most arra keresek lehetőségeket, hogy a diákok átvehessék a tanulásért vállalt felelősséget, és ugyanakkor nagyobb szerepe lehessen az együttműködésnek a tanulásban.
Tom, Riverside School
Ez a tanár megváltoztatta saját szerepét: korábban a tartalom előadója volt, ma a felfedezést és az új gondolatok megfogalmazását vezeti, melyben minden tanuló részt vesz. A projekt során meglepő volt az, ahogy a korai fázisban sokan „ijesztőnek” nevezték a módszert, mert úgy érezték, hogy kicsúszik majd a kezükből az osztály irányítása. A projekt vége felé ugyanezt a folyamatot nem az irányításról való lemondás folyamataként írták le, hanem a tanulásért vállalt felelősség osztállyal való megosztásaként – ez ugyanaz a folyamat, csak a nézőpontok között van óriási különbség.
Az elérni kívánt tanulási környezet olyan osztálytermi kultúra kialakítását igényli, mely mind a tanárok, mind a tanulók számára szokatlan és zavaró lehet. A projektben részt vevő tanárok által bevezetett újítások hatására megváltoztak azok az általában kimondatlan szabályok, amelyek a tanárok és diákok által helyénvalónak vélt és tekintett viselkedést szabályozzák. Amint azt Perrenoud (1991) megfogalmazta:
Minden pedagógusnak, aki fejlesztő értékelést kíván alkalmazni, újra kell fogalmaznia a tanítási szerződést ahhoz, hogy közömbösíteni tudja a tanulók kialakult szokásait.
Ami a diákokat illeti, a felkínált tudás passzív befogadójából aktív tanulókká kellett válniuk, akik képesek felelősséget vállalni a saját tanulásukért. Az ilyen tanuló jobban tudatában van annak, hogy mikor tanult meg valamit, és mikor nem tanult semmit. Az egyik osztály, amelyben később olyan tanár tanított, aki nem fektetett hangsúlyt a tanulást szolgáló értékelésre, azzal okozott meglepetést ennek a tanárnak, hogy panaszt emelt: „Nézze, hiszen mondtuk, hogy ezt nem értjük. Akkor miért térünk rá a következő témakörre?”
Az történt, hogy a tanár- és a tanulói szereppel kapcsolatos elvárások, feladataikra vonatkozó elképzelések is megváltoztak. Bár az ilyen változások bevezetése ijesztőnek tűnhet, nem kell, hogy hirtelen menjen végbe. A projektben részt vevő tanároknál a változások lassan, folyamatosan alakultak ki, párhuzamosan azzal, ahogy tapasztalatokra tettek szert és egyre nagyobb jártasságot szereztek a visszacsatolás és interakció javítását szolgáló különféle stratégiákban.
További kutatások
Az 1998-ban kiadott ismertetőnkben felsoroltunk néhány további vizsgálatot érdemlő témakört. Ezek közül az első az volt, hogy mikor tekinthetjük egy kutatás körülményeit olyan mértékben mesterségesnek, ami lehetetlenné teszi az eredmények általánosítását. Ez a fenntartás volt a KMOFAP kidolgozásának egyik oka, és most ennek a munkának a fényében vizsgálhatjuk meg az eredmények általánosíthatóságának kérdését. A saját innovációkat a KMOFAP eredményeire építő iskolákban tett látogatásaink során szerzett tapasztalatokból azt a következtetést vontuk le, hogy legalább két évig tartó elkötelezettségre van szükség, hogy minden tervbe be kell építeni az utólagos értékelést és a visszacsatolást, és hogy a részt vevő pedagógusoknak mind kollégáiktól, mind az iskola vezetésétől komoly támogatást kell kapniuk.
A további kutatásra javasolt második témakör abból a meglepő tényből következett, hogy az általunk tanulmányozott kutatások nem foglalkoztak a származással, társadalmi helyzettel és nemi hovatartozással kapcsolatos kérdésekkel; ezek további vizsgálatra várnak. A harmadik tanulmányozandó területet a tanulás elméletére vonatkozó hitek és előfeltevések alkotják. A tanterv és a pedagógiai szemlélet alapját képező tanulással kapcsolatos feltevések, a pedagógusok tanulásra és saját értékelői szerepükre, illetve tanulóik „képességeire” és kilátásaira vonatkozó meggyőződései egyaránt befolyásolják, hogy hogyan értelmezik a tanulók által végzett munkát, és ezáltal meghatározzák az általuk végzett fejlesztő értékelés színvonalát. Ezzel párhuzamosan meg kell vizsgálni azt, hogy a diákok hogyan látják önmagukat mint tanulókat, és hogyan élik meg a fejlesztő értékeléssel kapcsolatos újításokból következő változásokat.
Negyedikként azt a kérdést ajánlottuk vizsgálatra, hogy a tanár által a tantárgy tanításában alkalmazott szaktárgyi és pedagógiai módszertani ismeretek hogyan befolyásolják a gyakorlatot. Ez a kutatás olyan kérdésekkel foglalkozhatna, mint hogy hogyan határozzák meg ezek azt, hogy a pedagógus miként állítja össze és ismerteti a tanulási feladatokat, és milyen értelmezési keretrendszer alapján reagál a tanulók visszajelzéseire.
Az osztályteremben kialakuló szociális környezet, az ott kialakuló közösség, és az ebben a közösségben zajló interakciók mind erőteljes hatással lehetnek az olyan innovációkra, mint amilyen például a párbeszéd kialakítása az osztályteremben, illetve a kortársi és önértékelés. Ezzel kapcsolatban kutatható lenne az osztályteremben kialakuló szociális környezet, melyet befolyásol egyrészt a felelősség tanulók és tanárok közötti megosztása, ami a fejlesztő értékelés velejárója, másrészt a tágabb iskolarendszer jelentette korlátok.
Két további téma tűnik még fontosnak. Az egyik a tanárok saját értékelései és a társadalom által előírt értékelések eredményei és módszerei közötti feszültségek és lehetséges szinergiák kérdése. A másik az, hogy szükséges lenne a fenti kérdéseket átfogó elméleti keretbe szervezni, mely összekapcsolná az osztálytermekben folyó értékelést a pedagógiával és a tantervvel kapcsolatos kérdésekkel – ez a feladat még megoldásra vár.
Kutatás és gyakorlat
Miért vált be?
Ezzel történetünk ezen a szinten lezárult. A kutatásokra alapozott innováció sikeresnek bizonyult, és az eredményekről szóló publikációk éppolyan népszerűségnek örvendtek, mint a kutatásokat bemutató eredeti beszámoló (Black et al. 2002, 2003). Meglepő volt azonban, hogy milyen sikert értünk el a tanári gyakorlat meglehetősen radikális megváltoztatásának ösztönzése terén, és elgondolkodtunk azon, hogy van-e ennek valamilyen tanulsága a kutatási eredmények gyakorlatba történő átültetésének elismerten nehéz problémájára nézve.
Az egyik lényeges tényező láthatólag a hitelesség volt, amivel kutatóként hozzá tudtunk járulni a folyamathoz. Projektnaplójában több tanár is említést tett arról, hogy a projektbe való bekapcsolódásra legalább annyira ösztönözte őket az, hogy mi ezeket az elképzeléseket támogattuk, mint maguk az elképzelések: az oktatással foglalkozó kutatásoknál a tények nem feltétlenül beszélnek magukért. A hitelességnek része volt az is, hogy a három tantárgy (angol, matematika és természettudomány), melynek tanáraival együttműködtünk, olyan tantárgy volt, ahol csapatunk egy-két tagja maga is szakértelemmel rendelkezett, és a szaktanárok körében jó hírnévnek örvendett. Így aztán olyan konkrét problémákat is komolyan meg tudtunk vitatni, mint például az, hogy egy adott kérdés alkalmas-e a tanulók fotoszintézis fogalmával kapcsolatos elképzeléseinek a feltárására.
A tartalomhoz kapcsolódó további tényező volt az, hogy az elképzelések természetükből adódóan elfogadhatók voltak a pedagógusok számára. Mi arról beszéltünk, hogyan javítható a tanulás az osztályteremben, ami szakmai szempontból központi kérdés, szemben az olyan bürokratikus intézkedésekkel, mint az elérendő célok kijelölése. Az általunk készített ismertetőnek az volt az egyik jellemzője, hogy jobbára olyan kérdésekkel foglalkozott, mint a diákok látásmódja, az önértékelés és a kortársi értékelés, vagy a visszacsatolás szerepe a tanulásra összpontosító pedagógiában. Ez elősegítette azt, hogy a fejlesztő értékelésről szóló tanulmányokban a rendszerekről – azaz a minősítő és a fejlesztő értékelés ütköztetéséről – az osztálytermi folyamatokra helyeződjön át a hangsúly.
Az előző tényezőhöz kapcsolódik az, hogy amikor úgy döntöttünk, hogy az osztálytermi folyamatokra fogunk összpontosítani, akkor egyben azt is el kellett határoznunk, hogy megpróbálunk együtt élni a minősítő és a fejlesztő értékelés találkozásánál ható külső kényszerítő erőkkel, azaz nem foglalkozunk az 1980-as és 1990-es éveknek a rendszer megváltoztatására irányuló sikertelen angliai kísérleteivel. Bár pusztán a megfontoltság is sugallhatta azt, hogy ne próbáljunk meg ismét szélmalomharcot vívni, ez azzal a sokkal fontosabb előnnyel is járt, hogy így az a szint került előtérbe, ahol maga a tanulás folyik, és ahol a fejlesztő értékelés figyelmet követel magának. Miután bármilyen változás csak akkor érhető el, ha az a tanárok gyakorlati munkája során beválik, a reformnak mindig is erről a szintről kellett volna kiindulnia. A tanulás javulásának szakirodalom-ismertetőből és az általunk végrehajtott projektből származó bizonyítékai újra felvetik és megerősítik azt – amit a korábbi szakpolitikai ajánlások (DES 1988) hiába próbáltak elfogadtatni –, hogy a fejlesztő értékelést kiemelten kell kezelni. A tanárok által végzett fejlesztő értékelés és a külső minősítő értékelés közötti optimális szinergiát biztosító szakpolitika tartalmáról folyó vita ugyan még nem dőlt el, de a fejlesztő értékeléssel kapcsolatos munka újbóli előtérbe kerülése megváltoztatta az érvek mérlegét.
A folyamat
Fejlesztési modellünkben a pedagógusok fejlődésének tartalmára és folyamatára egyaránt figyelmet fordítottunk (Reeves et al. 2001). A szakmai fejlődés folyamatával kapcsolatban elismertük, hogy a tanároknak időre, szabadságra és kollégáik támogatására van szükségük ahhoz, hogy képesek legyenek saját gyakorlatukat kritikusan szemlélni és továbbfejleszteni (Lee 2005), miközben gyakorlati stratégiákat és technikákat is kínáltunk a folyamat megkezdéséhez. Ezek azonban önmagukban még nem elégségesek. A tanároknak arra vonatkozóan is konkrét ötletekre van szükségük, hogy milyen irányban fejleszthetik a gyakorlatot eredményesen, ezért a pedagógus-továbbképzés terén kiemelt figyelmet kell fordítani a pedagógusok tanulásának tantárgy-specifikus vonatkozásaira (Wilson and Berne 1999).
A projekt egyik alapfeltevése az volt, hogy egy hagyományosan felépített kutatás keretében – ahol a kutató mondja meg a tanárnak, hogy mit tegyen – nem aknázhatók ki a fejlesztő értékelésben rejlő lehetőségek. Mi amellett érveltünk, hogy egy támogatott fejlesztési folyamatot kell végrehajtani. Egy ilyen folyamat során az osztályteremben dolgozó tanárnak kell megtalálnia a választ azokra a gyakorlati kérdésekre, melyekre a kutatási adatok nem adnak magyarázatot. A kérdéseket velük együtt kell újrafogalmazni, lehetőség szerint alapvető felismerésekhez kapcsolódva, és mindenkor úgy, hogy azok az átlagos osztályokban tanító kollégák számára értelmezhetők legyenek.
A továbbképzések egyik fő témája a cselekvési tervek kidolgozása volt. Mivel más kutatásokból tudtuk, hogy a fejlesztő értékelés eredményes megvalósításához a tanárnak újra kell tárgyalnia a közte és a tanulók között létrejött „tanulási szerződést” (Brousseau 1984; Perrenoud 1991), hogy a fejlesztő értékelés bevezetésére az iskolaév kezdete a legalkalmasabb időpont. A projekt első hat hónapjában (1999 januárjától 1999 júniusáig) ezért arra buzdítottuk a pedagógusokat, hogy kísérletezzenek a kutatások által javasolt stratégiákkal és technikákkal, így például a gondolkodásra ösztönző kérdések feltevésével, a csak szöveges értékeléssel, az értékelési szempontok tanulókkal való megismertetésével, a kortársi értékeléssel és az önértékeléssel. Ezután minden tanár cselekvési tervet dolgozott ki a fejleszteni kívánt módszerekről, és meghatározta azt, hogy melyik osztálynál kívánja bevezetni őket az új tanév elején, 1999 szeptemberében. A tervekről részletes beszámolót tett közzé Black et al. (2003). Miközben a tanárok feltérképezték, hogy hogyan használható a fejlesztő értékelés saját munkájuk során, a kutatásban szereplő, illetve más tanároktól hallott ötleteket új ötletekké, stratégiákká és technikákká gyúrták össze, amiket azután továbbadtak a többieknek, egyfajta lavinát indítva meg ezzel. Miközben egyre több olyan pedagógussal ismertettük meg ezeket az elképzeléseket, akik nem vettek részt a programban, mi magunk is egyre jobban tudtuk elmondani a legfontosabb gondolatokat.
A pedagógusokkal végzett közös munka során egyre világosabbá vált számunkra, hogy a kutatási eredmények gyakorlatba történő átültetése sokkal bonyolultabb folyamat annál, mint amit a kutatók eredményeinek osztályteremben történő egyszerű megismétlése jelent. A projektben részt vevő tanárok új tudást teremtettek, még akkor is, ha ez a tudás behatárolható, és talán csak a saját munkájuk környezetét alkotó közegben használható (Hargreaves 1999). Az általunk alkalmazott megközelítésnek ezt az elemét a projekt kezdetétől fogva hangsúlyoztuk a pedagógusoknak. Később megtudtuk, hogy voltak, akik ebben a szakaszban még nem hittek nekünk: azt gondolták, hogy mi pontosan tudjuk, hogy mit kellene tenniük, csak azt akartuk, hogy maguk jöjjenek rá. Miután jobban megismertek bennünket, rájöttek, hogy ami a mindennapi tanítási gyakorlatot illeti, valóban nem tudtuk, mi a teendő.
A kutatások átültetése a gyakorlatba
Bár nem gondoljuk azt, hogy minden oktatással kapcsolatos kutatásnak a gyakorlatban hasznosíthatónak kell lennie, erős meggyőződésünk, hogy az oktatással foglalkozó kutatások többségének az oktatás jobbá tételére kell irányulnia – azaz a Stokes (1997) által a Pasteur-négyzetnek nevezett mezőben kell folynia (gyakorlati problémából kell kiindulnia, melynek megoldásához alapkutatás végzésére van szükség). Bár még nem tudunk mindent arról, hogy „mi az, ami működik” a tanításban, úgy véljük, hogy abban alapvetően egyetértés van, hogy milyen típusú környezet segíti leginkább a tanulást. Arról, hogy ez hogyan valósítható meg, már sokkal kevesebbet tudunk.
Sokkal nehezebb dolog azt kutatni, hogy a pedagógusok hogyan veszik át a kutatási eredményeket, hogyan ültetik át és teszik magukévá azokat, mint azt, hogy, milyen hatást váltanak ki a különböző tantervek, osztálylétszámok vagy az osztályteremben alkalmazott pedagógiai asszisztensek. Bár nem tudunk még annyit a hatékony szakmai fejlődésről, mint amennyit szeretnénk, ha megállapításaink mércéjéül a „minden valószínűség szerint” követelményét állítjuk a „minden kétséget kizáróan” követelménye helyett, akkor az oktatáskutatásnak sokkal több mondanivalója lesz. A bizonyítékok hiányában kialakított szakpolitika és a némi bizonyítékra épített fejlesztés közüli választásban a fejlesztésnek kellene győzedelmeskednie. Ezért vitába szállunk azokkal a szakpolitikusokkal, akik láthatólag azt szeretnék, hogy a kutatók az elemző racionalitás legmagasabb követelményeinek megfelelő, nagyszabású kutatásokat végezzenek, és ezek eredményei ugyanakkor a szakpolitikában is hasznosíthatók legyenek. Gyakran előfordulhat ugyanis, hogy ez a két cél a gyakorlatban nem összeegyeztethető.
Felhasznált irodalom
Black, P. and D. Wiliam (1998a), „Assessment and Classroom Learning”, Assessment in Education, Vol. 5, pp. 7-71.
Black, P. and D. Wiliam (1998b), Inside the Black Box: Raising Standards through Classroom Assessment. See also Phi Delta Kappan, Vol. 80, pp. 139-148.
Black, P. and D. Wiliam (2003), „In Praise of Educational Research: Formative Assessment”, British Educational Research Journal, Vol. 29(5), pp. 623-637.
Black, P. et al. (2002), Working inside the Black Box: Assessment for Learning in the Classroom, Department of Education and Professional Studies, King’s College, London.
Black, P. et al. (2003), Assessment for Learning: Putting it into Practice, Open University Press, Buckingham, United Kingdom.
Brousseau, G. (1984), „The Crucial Role of the Didactical Contract in the Analysis and Construction of Situations in Teaching and Learning Mathematics” in H.-G. Steiner (ed.), Theory of Mathematics Education: ICME 5 Topic Area and Miniconference, Institut für Didaktik der Mathematik der Universität Bielefeld, Bielefeld, Germany, pp. 110-119.
Butler, R. (1988), „Enhancing and Undermining Intrinsic Motivation; the Effects of Task-involving and Ego-involving Evaluation on Interest and Performance”, British Journal of Educational Psychology, vol. 58, pp. 1-14.
Crooks, T. J. (1988), „The Impact of Classroom Evaluation Practices on Students”, Review of Educational Research, Vol. 58, pp. 438-481.
DES (1988), Task Group on Assessment and Testing: A Report, Department of Education and Science and the Welsh Office, London.
Flyvbjerg, B. (2001), Making Social Science Matter: Why Social Inquiry Fails and how it can Succeed again, Cambridge University Press, Cambridge UK.
Foos, P.W., J. J. Mora and S. Tkacz (1994), „Student Study Techniques and the Generation Effect”, Journal of Educational Psychology, Vol. 86, pp. 567-576.
Fuchs, L. S. and D. Fuchs (1986), „Effects of Systematic Formative Evaluation: a Meta-Analysis”, Exceptional Children, Vol. 53, pp. 199-208.
Hargreaves, D. H. (1999), „The Knowledge Creating School”, British Journal of Educational Studies, Vol. 47, pp. 122-144.
King, A. (1992), „Facilitating Elaborative Learning through Guided Student-generated Questioning”, Educational Psychologist, Vol. 27, pp. 111-126.
Kluger, A. N. and A. DeNisi (1996), „The Effects of Feedback Interventions on Performance: A Historical Review, a Meta-Analysis, and a Preliminary Feedback Intervention Theory”, Psychological Bulletin, Vol. 119, pp. 254-284.
Lee, C. (2005), „Studying Changes in the Practice of Two Teachers”, International Journal of Teacher Development, in press.
Natriello, G. (1987), „The Impact of Evaluation Processes on Students”, Educational Psychologist, Vol. 22, pp. 155-175.
Perrenoud, P. (1991), „Towards a Pragmatic Approach to Formative Evaluation”, in P. Weston (ed.), Assessment of Pupils Achievement: Motivation and School Success, Swets and Zeitlinger, Amsterdam, pp. 79-101.
Ramaprasad, A. (1983), „On the Definition of Feedback”, Behavioral Science, Vol. 28, pp. 4-13.
Reeves, J., J. McCall and B. MacGilchrist (2001), „Change Leadership: Planning, Conceptualization and Perception”, in J. MacBeath and P. Mortimore (eds.), Improving school effectiveness, Open University Press, Buckingham UK, pp. 122-137.
Rowe, M. B. (1974), „Wait Time and Rewards as Instructional Variables, their Influence on Language, Logic and Fate Control”, Journal of Research in Science Teaching, Vol. 11, pp. 81-94.
Sadler, R. (1989), „Formative Assessment and the Design of Instructional Systems”, Instructional Science, Vol. 18, pp. 119-144.
Sadler, R. (1998), „Formative Assessment: Revisiting the Territory”, Assessment in Education, Vol. 5, pp. 77-84.
Stokes, D. E. (1997), Pasteur’s Quadrant: Basic Science and Technological Innovation, Brookings Institution Press, Washington DC.
Toulmin, S. (2001), Return to Reason, Harvard University Press, Cambridge MA.
Vispoel, W. P. and J. R. Austin (1995), „Success and Failure in Junior High School: A Critical Incident Approach to Understanding Students’ Attributional Beliefs”, American Educational Research Journal, Vol. 33, pp. 377-412.
White, B. Y. and J. R. Frederiksen (1998), „Inquiry, Modeling, and Metacognition: Making Science Accessible to all Students”, Cognition and Instruction, Vol. 16, pp. 3-118.
Wiliam, D. (2003), „The Impact of Educational Research on Mathematics Education” in A. Bishop, M.A. Clements, C. Keitel, J. Kilpatrick and F.K.S. Leung (eds.), Second International Handbook of Mathematics Education, Kluwer Academic Publishers, Dordrecht Netherlands, pp. 469-488.
Wiliam, D. et al. (2004), „Teachers Developing Assessment for Learning: Impact on Student Achievement”, Assessment in Education, Vol. 11, pp.49-65.
Wilson, S. M. and J. Berne (1999), „Teacher Learning and the Acquisition of Professional Knowledge: An Examination of Research on Contemporary Professional Development”, in A. Iran-Nejad and P.D. Pearson (eds.), Review of Research in Education, American Educational Research Association, Washington DC, pp. 173-209.