3. vitafórum
Indikátorok az oktatás eredményességének értékelésében a különböző szinteken

Indikátorok az elemzésben és az értékelésben a különböző szinteken
Imre Anna előadása

Keretek és előzmények

Előzmények

Egy hagyományosan működő oktatási rendszerben az oktatás kimeneti eredményeire kevesebb figyelmet fordítanak, mint a bemeneti jellemzőire. Részben azért, mert ehhez nem mindig állnak rendelkezésre a megfelelő eszközök és adatok, míg a bemeneti oldalt jól követhetővé teszik a statisztikai adatok (például a beiskolázott tanulók száma, a tanárok létszámadatai, az oktatásra fordított költségek stb.). Egy hagyományosan működő rendszerben az oktatási miniszterek általános célokat fogalmaznak meg, s ők állapítják meg a normákat az inputok tekintetében. Azt például, hogy hány pedagógus kell meghatározott számú tanulóra, mennyi pénz és milyen feltételek szükségesek az oktatáshoz. Ezek a normák biztosítják, hogy az oktatási rendszer megfelelően felszerelt legyen, és minden gyerek megfelelő lehetőséget kapjon a tanulásra. Egy ilyen, jellemzően központból vezérelt oktatási rendszerben viszonylag kevesebb, de jól körülhatárolt adatra van szükség a döntéshozók tájékozódásához. Ezek jellemzően oktatásstatisztikai adatok, melyek az oktatási rendszer ráfordításait és egyes bemeneti folymatait teszik megragadhatóvá. Az indikátorok széles körű terjedését elsősorban a fentihez képest megváltozott oktatáspolitikai igények és az indikátorok alkalmazási lehetőségei tették lehetővé az oktatáspolitikai tájékozódásban, a döntéshozatalban, az oktatásirányításban. Az oktatási eredményesség kérdésének előtérbe kerülése, a kimeneti folyamatok iránti érdeklődés, az elszámoltathatóság igénye, a célok által vezérelt irányítás vagy a programfinanszírozás, a pontos célmeghatározáson nyugvó stratégiák mind növelik az információ iránti igényt, és átlakítják a szükséges információk, adatok szerkezetét, összetételét is. Ezeknek az igényeknek az egyszerű, összehasonlítható és időszerű, nyilvánosan ellenőrizhető adatok felelnek meg, amelyek rendszerbe foglalva képesek az oktatásügy legfontosabb területeit és folyamatait leírni. Az indikátorok olyan mutatószámok, amelyek ezen igények kielégítését többféle funkcióban és módon szolgálják, néha csak egyetlen adat formájában, gyakran azonban elemzési, egész értékelési folyamatot is feltételező komplex mutatók formájában (Riley– Nutall, 1994).

Az oktatásügyi indikátorok fogalma, rendszere és alkalmazása hazánkban új jelenségnek számít, másutt már jól ismert eszköze az oktatáspolitikának és az oktatáspolitikai célú értékelésnek. Előzményének leginkább a hatvanas évek végén kialakított amerikai oktatási teljesítményértékelő rendszer, illetve az ebből kialakult monitoringrendszer indikátorai (National Assessment of Educational Progress, NAEP), valamint a hetvenes évek elején az OECD által kezdeményezett szerény indikátorrendszer tekinthető, mely egy ötéves program eredményeként 46 indikátort közölt. [(A framework for educational indicators to guide government decisions). Ez utóbbi kezdeményezés azonban akkor nem járt sikerrel az oktatáspolitika érdeklődésének hiányában (Bottani–Tuijnman, 1994)].

Az indikátorok iránti érdeklődés, s ezzel az indikátorok oktatáspolitikai alkalmazása a nyolcvanas évek végén újult meg, összefüggésben és összekapcsolódva az akkor előtérbe kerülő kérdésekkel: a költséghatékonyság és az elszámoltathatóság problémakörével (Husén– Tuijnman, 1994). Az érdeklődés megélénkülésében szerepet játszott az 1983-ban „Nation at Risk” címmel publikált jelentés s más fejlett országok oktatásirányítási rendszerében bekövetkezett változás is (például a piaci vagy kvázipiaci megközelítés, a decentralizációs tendenciák). Az indikátorok lehetővé tették a kimeneti eredmények követését, a más országokkal és más folyamatokkal való összehasonlítást; a standardok, az elérendő célok megfogalmazását; ezzel a célok által vezérelt irányítás megvalósítását is, ami újabb változást hozott a nyolcvanas években. Addig nem sok ország foglalkozott azzal, hogy specifikus célokat fogalmazzon meg tartalmi vagy teljesítményhez kötődő standardok formájában az oktatás számára, a nyolcvanas évek közepétől azonban az USA-ban egyre inkább előtérbe került az a szemlélet, hogy az általánosságban megfogalmazott nemes célkitűzések helyett (goals) ellenőrizhető eredménystandardokat, illetve teljesíthető célokat (objectives) állapítsanak meg. A nyolcvanas évekre a fentiekkel összefüggésben a cél többé nem volt szerény, hanem éppenséggel nagyon is ambiciózussá vált, és felölelte az egész oktatási rendszert, a rendszer egészének működéséről és eredményességéről kívántak rendszerszemléletű információt gyűjteni. Több országban fokozatosan az értékelés módszeres megközelítései kerültek előtérbe országos szintű monitoringrendszer formájában.

A kilencvenes évek elejére számos országban (például Kanadában, Írországban, Svédországban, Hollandiában, az USA-ban, Ausztráliában, Nagy-Britanniában, Franciaországban) koherens rendszerszemléletet tükröző megközelítések alakultak ki az oktatási rendszer működésének folyamatos ellenőrzéséről (monitoring), melyben az adatokat már nem csupán az oktatási kiadásokról, a beiskolázási tendenciákról gyűjtik országos szinten, hanem a rendszer részét képezik a kimeneti adatok is (például a végzettek adatai, a tanulói teljesítmények adatai a tantervi kulcsterületeken) osztálytermi, iskolai, lokális, regionális, állami és országos szinten egyaránt megragadható módon. Több országban az oktatási kormányzat egy lépéssel továbbment, és tartalmi követelményeket is meghatározott. A kilencvenes években a fejlett országokban jellemzővé vált irányítási és értékelési rendszerekben a hangsúly döntően a kimeneten van, ami radikális változást jelent a hagyományos megközelítéshez képest, s az iskoláról a komplexebb folyamatokra tereli a figyelmet, amivel tágabb perspektívába helyezi az oktatás eredményességének kérdését is, beemelve az elsajátított készségek és a munkaerő-piaci beválás folyamatait is. A kimeneti adatok interpretációja azonban szükségessé teszi az adatgyűjtést és elemzést az oktatási rendszer más területein is. Mindez új oktatáspolitikai, irányítási eszközt eredményez, s új funkciókat jelent a fontosabb szereplők: az iskolahasználók, a tanárok, az igazgatók, a központi és helyi szintű tanügy-igazgatási döntéshozók számára. A kilencvenes évek végén egyre több fejlett országban az oktatáspolitika inkább a rugalmasságot és az elszámoltathatóságot ösztönzi az előírások lazításával, s ehhez „posztbürokratikus” irányítási eszközöket alkalmaz (Maroy, 2004). Ezzel az indikátorok az oktatáspolitika aktív formálóivá is váltak néhány országban. Az inputnormákra való összpontosítás helyett több országban a célok specifikusabb kijelölésére és teljesítménystandardok meghatározására, illetve az ezeknek való megfelelés követésére helyezik a hangsúlyt a tanulók, tanárok és iskolák, valamint a rendszer egésze számára.

A tapasztalatokat és az egyre ambiciózusabbá váló célokat a kilencvenes évek során az OECD foglalta egységes elméleti rendszerbe az INES-program keretében. A nyolcvanas évek végén az OECD két nemzetközi konferenciát támogatott a főbb kérdések tisztázása érdekében. A konferenciák tapasztalatai alapján az OECD CERI egy projekttervet fogadott el 1988-ban, s az ezzel elindított munka kedvező fogadtatása vezetett az INES-program stabilizálódásához, valamint 1992-ben az indikátorokat elméleti és nemzetközi keretbe helyező Education at a Glance megjelenéséhez. A kilencvenes években az indikátorok alkalmazása ezzel a nemzetközi dimenzióban is egyre inkább megjelenik, sőt az aktív politikaformálás eszköze is: a nyitott koordinációs módszer meghatározó jellemzője, hogy a tagországok politikáinak az összehangolását mérhető indikátorokhoz köti. A közös célok kialakítása közös indikátorok kidolgozásával jár együtt, melyek a célok megvalósulásának mérésére, a folyamatok összehasonlítására, végső soron bizonyos mértékben nemzeti oktatáspolitikák értékelésére alkalmas eszközök. Az indikátorok kidolgozása lehetővé teszi a tagállamok oktatási rendszereiben zajló folyamatok objektív értékelését, és ennek alapján olyan mérföldkövek vagy viszonyítási pontok kijelölését, amelyhez az egyes országok állapota viszonyítható, s melyek alapján a kormányzati politikáik értékelhetőek (Halász, 2003).

Fogalmak és definíciók

Az indikátorok többféle funkciója és sokféle előfordulási formája szükségessé teszi nemcsak az indikátorok fogalmának tisztázását, hanem néhány fontosabb, ezekhez kapcsolódó fogalom definiálását is, amelyet egy, az indikátor- és monitoringrendszereket tárgyaló kötet alapján végzünk el (Husén-Tuijman, 1994).

Oktatási indikátorok: Olyan statisztikai adatok, amelyek az oktatási rendszer működéséről vagy teljesítményéről nyújtanak információt – ebből adódik inherens módon politikai funkciójuk is (Darling-Hammond, 1994). Az indikátorok meghatározó funkciója, hogy információt szolgáltassanak az oktatási rendszer állapotáról, elsősorban diagnosztikus célból. Alapvető vonásuk a mérhetőség, s ezzel az oktatásügyi folyamatok mérhetővé tétele. Ideálisan egy indikátorrendszer részeit alkotják. Jellemzően referenciapontokhoz kapcsolódnak, melyek révén értékelő megállapításokat involválnak és tesznek lehetővé, ennek révén köthetők oktatáspolitikai kérdésekhez. A referenciapont többnyire egy standard, egy korábbi állapotot tükröző érték vagy iskolák, régiók, országok vonatkozásában adódó összehasonlítás (Bottani– Tuijnman, 1994).

Standard: Meghatározott célokhoz rendelt mérték, az adekvát, társadalmilag és a gyakorlatban kívánatos teljesítményszint. Koncepcionális értelemben az oktatási standardokat olybá vehetjük, mint a kimenet specifikációi meghatározott oktatási célokkal összefüggésben, melyeket gyakran kitűznek nemzeti szinten. Az oktatás céljai gyakran nagyon általános formában meghatározottak, nem köthetőek közvetlenül mérhető elemekhez. Ezért érdemes ezeket megvalósítható célokhoz kapcsolni, legyen szó akár növekedési vagy tantervi célról egy meghatározott tanulói csoport esetében. Többféle oktatási standard kialakítása lehetséges, leggyakrabban a tanuláshoz való hozzáférés, a tartalom és a tanulási teljesítmény területén találkozunk ilyenekkel.

Monitoring: Helyi, regionális vagy országos szintű, szisztematikus és rendszeres adatgyűjtésre alapoz. A monitoringtevékenység többnyire a teljesítményértékelési (assessment) adatokat is összegyűjti, de nem csak a kimeneti adatokra alapoz. Az oktatási folyamatok koherens megközelítése a kontextuális információkat és az oktatási folyamatokat is tekintetbe veszi.

Értékelés (evaluation): Az adatok szisztematikus gyűjtése és értelmezése, amely a folyamat részeként értékítélethez vezet, mégpedig cselekvési kitekintéssel. Az értékelés magában foglalja az értékítéletet, amely mérhető attribútumok, jellemzők és jelenségek révén szerzett bizonyítékokon alapul. Bár a monitoring és az értékelés összekapcsolódik, van egy jelentős különbség is közöttük. A monitoring a kontextus, a bemeneti tényezők, folyamatok mellett a kimeneteket is magában foglalja, az értékelésnek pedig az értékítélet képezi kötelező részét (Bottani–Tuijnman, 1994).

Értékelés (assessment): Azokra a technikákra utal, melyeket az oktatási kimenetről való információszerzés során szervezünk meg. Ezeknek különböző megközelítései vannak, amelyek mind külön célt szolgálnak, és külön mérési stílust jelentenek. A két legjellemzőbb megközelítés a kritériumorientált és a normaorientált értékelés.

Elszámoltathatóság (accountability): Ez a fogalom a fejlett nyugati országokban a helyi, az országos és a nemzetközi szinteken egyaránt a mai közpolitika egyik jelszava. Az elszámoltathatóság a közoktatás újabb reformjainak, az oktatáspolitika-formálásnak is integráns részévé vált. Az elszámoltathatósági modell fontos eleme az oktatási teljesítmény alakulásáról való szisztematikus információgyűjtés. Az elszámoltathatóságot szolgáló ítéletek megfogalmazását az irányítási vagy más ellenőrző rendszerben monitoring teszi lehetővé.

Benchmarking: Az oktatási rendszerek teljesítményének explicit normák és kritériumok alapján történő összehasonlítása. (Ennek leggyakoribb formája az, amikor egy benchmark – mérföldkő – alkalmazása a döntéshozatalt, illetve az elszámoltathatóságot szolgálja.)

Az OECD indikátorrendszere

Az indikátorok alkalmazási lehetőségeinek egyike az indikátorrendszer. Az OECD a nyolcvanas évek végén, a kilencvenes évek elején alakított ki egy keretet az indikátorok fejlesztése érdekében. 1992-től az ekkor kialakított koncepcionális keret teszi lehetővé az adott szerkezetben létrehozott véges számú indikátor segítségével a fontosabb oktatásügyi folyamatok követését és nemzetközi összehasonlítását, s megjelenítését évi rendszerességgel az Education at a Glance kötetei révén. Az indikátorok rendszerét a kötet struktúrája mutatja. Ez ugyan nem az egyedüli lehetséges felépítés; nem is változatlan: 2002 óta a fent említett koncepcionális modell némileg módosult, összetettebbé vált, s jobban hangsúlyozza a kimeneti oldalt.

Az INES indikátormátrixának egyik dimenziója (oszlopa) az oktatásügy főbb területeit tartalmazza, s a mérhetőség igényének megvalósítása mellett igyekszik azt a logikát is bevinni a struktúrába, ami az oktatási rendszerek tág értelemben vett eredményességének megítéléséhez szükséges. A mátrix egyes oszlopai ennek érdekében az oktatásügy kontextusához tartozó tényezőket, a kimeneti tényezőket, s a folyamatokat oktatáspolitikai eszközökkel befolyásolni képes tényezőket egymástól elkülönítve – de egymással összefüggésbe hozható módon – kezelik. Ezzel lehetővé válik az egyes területek összevetése, s annak megítélése, hogy az oktatási rendszer eredményesen működik-e; igaz, elsősorban heurisztikus módon. A kontextus dimenziójának megjelenítése azért fontos, mert az oktatási rendszerek nem önmagukban, nem vákuumban működnek, hanem komplex társadalmi, történeti folyamatok között, melyek mind hatást gyakorolnak rájuk (ilyen például a bruttó hazai termék, a foglalkoztatottsági vagy a demográfiai helyzet). A folyamatindikátorok olyan tényezőket igyekeznek megragadhatóvá tenni, amelyek a működési folyamatokat írják le (például a tanárok, a tantervek, a tanulói részvétel az oktatásban, a döntéshozatal jellemzői). Ezek egyben jellemzően az oktatáspolitika által leginkább formálható tényezők. A kimeneti indikátorok több módon értelmezhetők: a tanulmányi teljesítmények, az iskolázottság szintje a fiatalok körében és a munkaerőpiac jellemzői (például foglalkoztatottság, keresetek) mind összefüggnek az oktatási rendszer eredményes működésével, így annak – különböző – kimeneti oldalát, eredményességét világítják meg.¹

A mátrix sorai az oktatási rendszer egyes szintjeit különítik el: az egyén, az osztály, az intézmények és az oktatás egészének szintje külön elemzési lehetőséget és szintet jelent az értelmezési keretben. A rendszerszintű indikátorokat akkor alkalmazzák, ha az elemzés egysége maga az adott ország oktatási rendszere. Az alsóbb szintű elemzési szintek az intézmény, az osztály vagy a tanulók elemzése esetében alkalmazhatóak.

A mátrix celláiban szereplő területeken kívül is sor kerülhet azonban indikátorfejlesztésre egyes téma- és problématerületeken (például az esélyegyenlőség, a tanárpolitika, a tanulás és a munka közötti átmenet kérdéseiben). Ezek az OECD fejlesztési tevékenységében sokszor külön projektekhez kapcsolódnak.

1. táblázat • Az OECD indikátorrendszere

Forrás: Imre, 2003.
	1) Az oktatási és tanulási folyamat kimenete	2) Oktatáspolitikai eszközökkel befolyásolható, az oktatási folyamatot meghatározó tényezők	3) Kontextus: előzmények és korlátok
A) Az oktatásban és tanulásban részt vevő egyének	1.A) Az egyéni oktatási teljesítmények minősége és megoszlása	2.A) Egyéni hozzáállás, elkötelezettség és viselkedés	3.A) A tanulók háttérjellemzői
B) Oktatási, tanulási környezet	1.B) Az oktatás színvonala	2.B) Pedagógiai és tanulási gyakorlat, osztálytermi légkör	3.B) A diákok tanulási feltételei és a tanárok munkafeltételei
C) Oktatási szolgáltatást kínáló intézmények	1.C) Az oktatási intézmények kimeneti adatai	2.C) Iskolai környezet és szervezet	3.C) A szolgáltatást nyújtók jellemzői és társadalmi környezete
D) Az oktatási rendszer egésze	1.D) Az oktatási rendszer egészének kimeneti mutatói	2.D) Rendszerszintű intézményi jellemzők, forrásfelosztás és politikák	3.D) Oktatási, társadalmi, gazdasági és demográfiai kontextus

Az indikátorok alkalmazása

Mint a bevezetőben vázoltuk, az elsősorban bemeneti adatok leírására alkalmas statisztikai adatokhoz képest az indikátorok lehetővé teszik a fontosabb tényezők és folyamatok megragadását, összehasonlítását, folyamatos követését, valamint a kimeneti mérőszámok bevonásával mélyebb elemzés elvégzését is. Az indikátorok alkalmazása többféle lehet. Lehetővé teszi például azt, hogy a fontosabb területeken követhessük a rendszer működését, vagy a bemeneti és kimeneti adatok segítségével informál az oktatási rendszer működésének eredményességéről. Nemzetközi összehasonlítások segítségével egy adott oktatási rendszer helyzetét más országokhoz viszonyítva lehet megismerni. Az indikátorok időbeni összehasonlításokra is alkalmazhatóak, azaz a saját fejlődési pálya elemzését teszik lehetővé. Használhatóak továbbá tematikus elemzések készítésnél, a jó gyakorlat példáinak bemutatásánál, de egyre gyakrabban fordul elő, hogy az indikátorokat úgynevezett mérföldkövekként (benchmarkokként), azaz konkrét oktatáspolitikai célok kijelöléséhez és ezek teljesülésének méréséhez alkalmazzák.

A következőkben az indikátorok alkalmazási lehetőségeit két, többé-kevésbé elkülöníthető területen, az elemzés és az értékelés területén tárgyaljuk saját tapasztalataink alapján, elsősorban az oktatási folyamatok indikátoraira összpontosítva. (A kimeneti adatok mellett az oktatási folyamatok indikátorai jelentik talán a legfontosabb alkalmazási területet, mivel ezek az indikátorok olyan tényezőkről informálnak, amelyek oktatáspolitikai eszközökkel befolyásolhatóak.)

Elemzés, összehasonlítás

Az indikátorok elemzési célú alkalmazása leggyakrabban az oktatási eredményesség, valamint az eredményesség összetevőinek megismerésére irányul. Nem ritkán azonban csak egy-egy terület vagy részkérdés közelebbi megismerésére, monitorozására, valamint nemzetközi kontextusba való elhelyezésére és nemzetközi összehasonlító keretben való értelmezésére terjed ki az indikátorok használata. Oktatáspolitikai kérdésekben pusztán a leírás, illetve a nemzetközi vagy egyéb (például idő, fenntartók) dimenziókban történő összehasonlítás is nagyon tanulságos lehet, hiszen már ez is lehetővé teszi az oktatási rendszer működésének áttekintését vagy monitorozását. Megfelelő adatok birtokában túl is lehet lépni ezen a felhasználási szinten; a különböző lehetőségek ugyanis részben az adatforráson múlnak. A rendszerszintű statisztikai adatok felhasználása esetén jellemzően korlátozottabbak a lehetőségek, mint például egy intézményi szintű vizsgálatban, mivel kevés az összevethető adat, csak szűk keresztmetszetben lehet nemzetközi összehasonlításra alkalmas indikátorokat kialakítani, míg iskolai vagy tanulói szinten, kérdőív segítségével számos, mélyebb elemzést lehetővé tevő információt lehet összegyűjteni (például PISA, ISUSS).

Az elemzési célú felhasználást az indikátorrendszerek szerkezete teszi lehetővé, amelynek mögöttes koncepcionális modellje elkülöníti a kimeneti oldalt (intézményi szintű indikátorok elemzése esetén ezek az intézményi szintű eredmények, a tanulói tesztekkel mért teljesítmény, a továbbtanulás stb.), a folyamatokat (az iskolai környezet és az iskolaszervezet fontosabb, oktatást befolyásoló tényezőit) és a kontextust (a képzést kínáló iskolák és közösségük jellemzőit: például a fenntartó, az iskola székhelyének településtípusa, az iskola mérete). Az elemzés egyszerűbb formában az egyes tényezők közötti összefüggést keresi korrelációszámítás segítségével, vagy egyes vizsgált tényezők nemzetközi átlagtól való eltérésének mértékét kutatja, de bonyolultabb módszertani megoldásokkal is találkozhatunk. Mivel az intézményi történésekre jelentős hatással vannak a rendszerszinten alakuló folyamatok (például a szabályozás, a demográfiai vagy a munkaerő-piaci helyzet), ezért ezekre mind az adatgyűjtés, mind az elemzés igyekszik tekintettel lenni.

Az oktatási folyamatok indikátorai számos területet igyekeznek lefedni: az iskola működése kapcsán, például a tanári munkaerő, illetve a humánerőforrás-felhasználását, a tantervek, a tárgyi ellátottság kérdéseit. Az oktatási folyamat fontosabb befolyásoló tényezői jellemzőinek megragadása olyan indikátorok segítségével történik, mint például az intézményi háttérjellemzők tekintetében a tanulók és a tanárok aránya, a tanulók és a segítő személyzet aránya, a tanárok és a vezetők aránya, az átlagos osztályméret, a lemorzsolódók aránya, a tanulói hiányzások mértéke stb. A humán erőforrásokat mérő indikátorok között olyanokat találunk, mint a teljes időben foglalkoztatott tanárok és a részmunkaidős tanárok aránya, az állandó és ideiglenes megbízással dolgozó pedagógusok aránya, a tanári hiányzás következtében elmaradt tanórák száma, a tanítási és a tanítással összefüggő más tevékenységek aránya, a pedagógusok továbbképzéseken való részvétele és hasonlók. Az oktatási szolgáltatást ellátó intézmények fizikai és anyagi feltételeit jellemzi az IKT eszközökkel való ellátottság, az egy számítógépre jutó tanulók, illetve tanárok száma stb. (Scheerens, 2000). Némely szakértő ide sorolja továbbá az intézmények külső kapcsolatait jellemző indikátorokat is (Hopkins, 1994). A fentieket kiegészíthetik olyan mutatók, amelyek az intézményi vezetés működésére, a főbb intézményi stratégiákra utalnak oktatáspolitikai kérdésekben (például ösztönzők, autonómia alkalmazása), vagy esetleg az oktatásügyi egyenlőtlenségek alakulását mérik háttérváltozók bevonásával. Az elemzés során ezekkel követhetővé válik az oktatási intézmények ellátottsága, személyi és tárgyi feltételeik alakulása önmagában, de több elemzési, bontási dimenzióban is összevethető módon. Kimeneti adatok birtokában vizsgálhatóvá válik ezen tényezők hozzájárulása az iskolák eredményességéhez is.

Az intézményi, osztály- vagy tanulói szintű adatfelvétel lehetőséget ad további indikátorok kialakítására is. Az OECD INES „C” munkacsoportjának eddigi gyakorlatában két nemzetközi intézményi szintű adatfelvétel szolgálta az indikátorfejlesztést: egy az alapfokú oktatási intézményekre és egy a felső középfokú intézményekre irányuló vizsgálat. Az alapfokú intézményeké például hét olyan intézményi tényezőt kutatott közelebbről, amelyek egyes elemzések szerint összefüggésben állnak az iskolai eredményességgel, ezek: a személyzet stabilitása, az iskolavezetés, a tanárok közötti kooperáció, az értékelés, a differenciálás, a teljesítményorientáció, a szülői részvétel (Scheerens, 2000). A PISA-vizsgálat lehetővé teszi az intézményi folyamatok és a kimeneti adatok összekapcsolását, s ezzel az egyes intézményi tényezők eredményességre gyakorolt hatásának mérését. Az elemzési célú alkalmazás magában rejti a hozzáadott érték mérésének lehetőségét is: azt, hogy a kimeneti teljesítményhez milyen mértékben járulnak hozzá külső tényezők (például a családi háttér), s milyen mértékben tulajdonítható ez az iskola működésének, a pedagógusok munkájának.

Az elemzés és az indikátorfejlesztés kölcsönhatásban áll egymással. A kutatás célja lehet indikátorok kialakítása is, azaz a fontos befolyásoló tényezők azonosítása elemzés segítségével. Ezek közül különösen az oktatáspolitikai eszközökkel befolyásolható tényezők indikátorként gyakran visszakerülnek az elemzés közelébe, vagy beépülhetnek az értelekelés valamely rendszerébe.

Értékelés és monitoring

Az indikátorok alkalmazásának másik fő területe az értékeléshez, standardokhoz, értékelési rendszerekhez kapcsolódik. Ezt a területet az értékelési rendszerek felől tárgyaljuk, szintén egy szakirodalmi forrásra támaszkodva (Scheerens, 2004). A minőségre irányuló empirikusan megalapozott mérések és ellenőrzések a szakértő szerint három fő funkciót töltenek be az oktatási rendszerekben: minősítéssel formálisan szabályozzák az oktatási kimenetek és szolgáltatások kívánatos minőségét; az oktatási szolgáltatókat elszámoltathatóvá teszik, és támogatják az oktatás folyamatos fejlesztését. A monitoring- és értékelési formákat három funkcióhoz kapcsolódva írja le a szerző. A minősítés annak vizsgálatát jelenti, hogy a vizsgált jellemzők megfelelnek-e a formálisan meghatározott standardoknak és normáknak. Az elszámoltathatósági célú értékelésnél az a kérdés, hogy a vizsgált minőségi jellemzők a társadalom más egységei számára mennyire hozzáférhetőek. A fejlesztést, szervezeti tanulást szolgáló értékelés esetében az értékelés a fejlesztés alapjául szolgál.

A monitoring- és értékelési formák a három alapfunkció mentén különböznek a standardok és kritériumok formalitásában, az ellenőrzés külső vagy belső természetében és az orientáció szummatív vagy formatív voltában. Az értékelési formák közös vonása, hogy nagyon gyakran indikátorokat alkalmaznak a mérhetőség, összehasonlíthatóság érdekében, vagy azért, hogy a standardokhoz kapcsolt mérhetőséget bitosítsák.

2. táblázat • Monitoring és értékelési típusok

	Minősítés	Elszámoltathatóság	Fejlesztés
Forrás: Scheerens, 2004. Adatszükséglet: T= teszt, S=statisztika, V=módszeres vizsgálat
Rendszer		– országos és nemzetközi értékelési programok (T) – az irányítás információs rendszere (S) – nemzetközi review panelek (V)	– az irányítás információs rendszere (S) – nemzetközi review panelek (V)
Program	Formatív és summatív kimeneti értékelés különböző adatok alapján
Intézmény	– intézményi akkreditáció/audit (V) – minőség audit (V)	– iskolai önértékelés (T) – az irányítás információs rendszere (S) – iskola (S) – szakfelügyeleti vizsgálat (V)	– tesztalapú iskolai önértékelés (T) – az irányítás információs rendszere (S) – iskola (S) – szakfelügyeleti vizsgálat (V) – iskolai önértékelés (V)
Tanár	– a tanárok képesítése (T)	– kompetencia-értékelés (T) – iskola (S) – az irányítás információs rendszere (S) – szakfelügyeleti vizsgálat (V)	– az iskolai irányítás információs rendszere (S)
Tanuló	– vizsgák (T)	– tanulói monitoringrendszer (T)	– a tanulók viselkedésének monitorozása (V) – az iskolai irányítás információs rendszere (S)

Számos fejlett országban alakítottak ki olyan tanulói teljesítményértékelésre alapozott értékelési rendszereket, amelyek egyaránt jelenthetik az elszámoltathatóság vagy a fejlesztés alapját. Több országban ezen túlmenően kialakultak alkalmazásuk lehetőségei és formái is közvetlen oktatáspolitikai formában (target setting, benchmark) (Guidance for LEAs… 2003).

A hazai oktatásügyi gyakorlatban nincs egységes értékelési rendszer, de az értékelési típusok több eleme fellelhető: megtalálhatjuk a nemzetközi méréseket, az országos méréseket, sőt a helyi és intézményi szintű értékelésekre is bőven akad példa. A hazánkban előforduló értékelési formák nagy része fejlesztésorientált értékelésnek tekinthető (például kompetenciamérés, intézményi értékelés), de előfordul ettől független értékelési forma is (például középiskolai továbbtanulási mutatók).

Problémák, felmerülő kérdések

Az indikátorok használata során egyes szakértők véleménye alapján több komoly problémával kell szembenézni, illetve több területen kell óvatosan eljárni. Mivel az indikátorok leggyakrabban döntéshozatalt segítő eszközök, gyakran közvetlen következményekkel jár a segítségükkel történő értékelés. Veszélyes lehet azonban az indikátorok alkalmazása során a „közvetlen kapcsolások” megteremtése, mivel az indikátorrendszerek elsődleges célja a jelzés, s nem a következtetések levonása, akár a büntetés, akár a sikeresek honorálása. Az idézett tanulmányok szerzői ezért is óvnak az indikátorok értelmezésének a finanszírozással való közvetlen összekapcsolásától. Figyelmeztetnek arra is, hogy a teljesítmény mérése önmagában még nem javítja a teljesítményt, illetve hogy nem elégséges mérni az oktatás országos és helyi szintjén, vagy a tanulói szinten, hanem nélkülözhetetlen az intézmények szintjén is. Különösen nehéz kérdés az indikátorok használata az oktatás területén akkor, ha az oktatást mint közszolgáltatást akarjuk értékelni. A közszolgáltatások minőségének mérése és értékelése ugyanis jóval nehezebb, mint a tanulói teljesítmények mérése és értékelése, ugyanakkor a fogyasztóorientált oktatási rendszerekben a közszolgáltatás minőségére és a lakosság mint fogyasztói csoport informálására is igen nagy hangsúlyt helyeznek (Riley–Nutall, 1994).

Óvatosságra int az az ismert tény is, hogy az értékelésbe bevont tényezők visszahatnak a folyamatokra, erősen befolyásolják azok alakulását („teaching to the test”, azaz: a tesztnek tanítani), míg másokat esetleg homályban hagynak, ezzel némileg torzítva a folyamatok érzékelését és a róluk kialakítható ítéletet, s nem hatnak a mérésekből kimaradt területekre. Körültekintéssel kell eljárni az indikátorok kiválasztásánál, fontos tisztázni továbbá a legfontosabb alapkérdéseket, valamint összehangolni az indikátorok használatát az oktatásirányítás más elszámoltathatósági, ellenőrzési és értékelési formáival (Anderson–Ben Jaafar, 2004). Végül arra is vigyázni kell, hogy az indikátorok alkalmazása az értékelési formák keretében ne váljék a döntéshozatal és a valódi megoldások helyettesítőjévé (Darling-Hammond, 1994).

Mivel az indikátorok használata és a hozzájuk kapcsolódó kérdések, így különösen az elszámoltathatóság a magyar közoktatásban mostanában jelennek meg, úgy véltük, érdemes megismerkedni ezek lehetőségeivel, előnyeivel és a felmerülő lehetséges problémákkal is.

Irodalom

A hozottérték-index és a hozzáadott pedagógiai érték számítása a 2003-as kompetenciamérésben
Balázsi Ildikó előadása

A teljes körű kompetenciamérés – még a központi elemzésbe bevont 20-as minták révén is – lehetővé teszi, hogy a korábban megszokott iskolai teljesítményelemzést kiegészítsük a nemzetközi szakirodalomban gyakran vizsgált indexek számításával.

Mint azt már tudjuk, a teljesítményátlag meglehetősen igazságtalan eszköz az iskolák munkájának megítélésében: nem méri megfelelően az iskola hatékonyságát, tanárainak felkészültségét és mindazon tényezőket, amelyek a diákok teljesítményét növelik. Hiszen a teljesítmény több tényező függvényében alakul azzá, amit tesztjeinkkel mérünk: az intelligencia, a tanulási képességek, az otthoni szociális körülmények és az iskola mind hozzájárulnak a diák tudásához. Éppen ezért az egyszerű teljesítménymutatók alapján nem szerencsés megítélni az iskolát.

A hozzáadott pedagógiai érték bevezetésével az iskolák méltányos megítélésének megvalósítása a célunk. Meghatározásának többféle megközelítése lehet, például az intelligenciateszt vagy a diák korábbi eredményeinek figyelembevétele az iskola hatásának pontosabb megragadását segíti. A hazai és a nemzetközi mérési eredmények egyértelműen alátámasztják azt a tényt, hogy a tanulók otthoni körülményei, szociális és kulturális helyzete erősen befolyásolják tanulmányi eredményeiket. Éppen ezért a kompetenciamérésben az iskolák helyzetének értékelésekor a diákok otthoni szociokulturális körülményeinek hatását vettük figyelembe. Ehhez először elkészítettük a diákok hozottérték-indexét, amely a diákok szociokulturális hátterét feltáró kérdésekre kapott válaszok aggregálásával készült.

A hozottérték-index modellje

A nemzetközi gyakorlatban gyakran használnak különböző indexeket, amelyek egy-egy kérdéscsoport által képviselt témaköröket összesítenek. Így egy változóval jellemeznek összetettebb területeket (pl. olvasási szokások, otthoni tanulást segítő eszközök, a diák iskolához való viszonyát jellemző index), megkönnyítve ezzel a diákok összehasonlítását, adott témakörben való jellemzését. A változók összevonásával készülő indexek átfogóbb, megbízhatóbb képet adnak az adott témakörről, mint ha az egyes kérdéseket külön-külön vizsgálnánk.

A TIMSS-felmérés által használt indexek általában az adott témakör szerinti három kategóriába – alacsony (1-es indexérték), közepes (2-es indexérték) vagy magas (3-as indexérték) – osztják a tanulókat aszerint, hogy az adott témakör kérdéseire hogyan válaszoltak (TIMSS 1999 Technical Report). Például az otthoni tanulási források indexe (Index of Home Educational Resources – HER) a tanulók következő kérdésekre adott válaszain alapul: könyvek száma otthon, tanulást segítő eszközök (számítógép, saját íróasztal, szótár) megléte, szülők iskolai végzettsége. Magas HER-indexe annak a tanulónak van, akinek az otthonában legalább 100 könyv és mind a három eszköz megtalálható, és szülei közül legalább egyik felsőfokú végzettséggel rendelkezik. Alacsony HER-indexe annak a tanulónak van, akinek az otthonában legfeljebb 25 könyv és legfeljebb kétféle tanulást segítő eszköz található, szülei pedig legfeljebb középfokú végzettséggel rendelkeznek. Közepes index jellemzi a kérdésekre adható összes többi válaszkombinációt. Ennek a fajta indexképzésnek az előnye, hogy egyszerű és könnyen érthető, ugyanakkor a kevés kategória következtében az információvesztés jelentős mértékű.

A PISA tesztelméleti modellek alkalmazásával építette fel indexeit (PISA 2000 Technical Report). Ezek előnye, hogy abban az esetben is kiszámíthatók, ha a tanuló nem adott választ az indexben szereplő minden kérdésre, hátrányuk azonban, hogy az indexértékek nehezebben értelmezhetők, mint a hagyományos, additív indexek esetében. A szocioökonómiai státus (SES) indexe a szülők foglalkozása és iskolai végzettsége, a családi jólét indexe, az otthoni tanulást segítő eszközök indexe és a kulturális javak indexe – utóbbi három maga is egy-egy témakört összefogó változó – alapján faktoranalízissel készített index. A kompetenciamérés háttérkérdőíve a helyszűke és a személyiségi jogok védelme miatt nem tartalmazhatott több olyan kérdést, amely a SES-indexben jelentős szerepet játszik. Ezért ilyen indexet nem tudtunk létrehozni. Kimaradt többek között a háttérkérdőívből a szülők foglalkozására vonatkozó kérdés, és csupán a szülő foglalkozásának típusáról, a beosztásáról, munkaterületéről kérdeztük meg a tanulókat.

A hozottérték-index (HÉI) megalkotásának célja a tanuló otthoni szociális és tanulási körülményeinek jellemezése volt úgy, hogy az index minél jobban magyarázza a teszten elért eredményeket. Az index elkészítéséhez a diákok által kitöltött négyoldalas háttérkérdőívet vettük alapul. A kérdőív a diákok teljesítményét – tapasztalataink szerint – erősen befolyásoló háttértényezőkre irányuló kérdéseket tartalmazott. A szülők iskolai végzettségéről, a diák által várt saját végzettségéről, a vele együtt lakó személyekről, az otthonukban található könyvek számáról, olvasási szokásairól, az otthonukban megtalálható tanulást segítő és anyagi javakról, az internet-hozzáférésről és a szülők munkájának jellemzőiről kérdeztük a diákokat.

A modell kiválasztását többváltozós lineáris regresszióval végeztük, a lehetséges modellek közül azt választottuk, amelyre a magyarázó erő magas, és a szükséges változók értékei is az esetek nagy részében rendelkezésre állnak. A fenti háttérváltozókat a faktorelemzés módszereivel is megvizsgáltuk, feltérképezve a mögöttük húzódó latens struktúrát és az adódó faktorokban jelentős súllyal szereplő változókat.²

Először azokat a változókat választottuk ki, amelyek a háttérindex számolásánál egyáltalán szóba jöhetnek, azaz a diák anyagi vagy kulturális helyzetének egy aspektusát ragadják meg, és a legtöbb diákra vonatkozóan rendelkezésre áll az értékük. A nem megfelelő válaszarány miatt el kellett vetnünk néhány olyan változót, amely segített volna a magyarázó erő növelésében. Például a szülők munkájával kapcsolatos kérdésekre csupán a diákok körülbelül 70%-a válaszolt, ezért ezeket már az elemzés első lépésében kizártuk. Az index lehetséges változóit tehát a szülők iskolai végzettsége, a könyvek száma, az otthonukban megtalálható tanulást segítő és anyagi javak, valamint az internet-hozzáférés adták.

A szóba jöhető kérdések kiválasztása után felmértük azoknak a változóknak a körét, amelyek önmagukban jelentős hatással vannak a teszteredményre. Ebből a listából a többdimenziós regresszió segítségével választottuk ki a legjobb modellt oly módon, hogy a többváltozós lineáris modell esetében már nem szignifikáns változókat egyenként kizártuk. Végül a legtöbb esetben jelentős hatást mutató legfontosabb változókat választottuk ki.

Ezekből alakult ki a súlyokat kerekítve, a HÉI. Az összehasonlíthatóság és egységesség érdekében a HÉI számítása egységes a két évfolyamon. Az 1. táblázatban az indexben szereplő változók lehetséges értékei és a hozzájuk rendelt súlyok találhatók. Az utolsó három változó súlya azért negatív, mert a kedvezőbb körülményeket tükröző válasz kapta a kisebb kódot.

1. táblázat • Az indexben szereplő változók, lehetséges értékeik és a hozzájuk rendelt súlyok

Az indexet alkotó változók		A változó súlya	A változó lehetséges értékei és az értékek jelentése
Mi a legmagasabb iskolai végzettsége édesanyádnak?		2	1 – Nem fejezte be az általános iskolát 2 – Általános iskola 3 – Szakmunkásképző 4 – Érettségi 5 – Egyetemi vagy főiskolai diploma
Mi a legmagasabb iskolai végzettsége édesapádnak?		2,5	1 – Nem fejezte be az általános iskolát 2 – Általános iskola 3 – Szakmunkásképző 4 – Érettségi 5 – Egyetemi vagy főiskolai diploma
Megközelítőleg hány könyvetek van otthon, szüleidnek és neked együtt?		2	1 – Kevesebb mint egypolcnyi (kb. 0–50 könyv) 2 – Egypolcnyi (kb. 50 könyv) 3 – 2-3 könyvespolcnyi (max. 150 könyv) 4 – 5-6 könyvespolcnyi (max. 300 könyv) 5 – 2 könyvszekrényre való (300–600 könyv) 6 – 3 vagy több könyvszekrényre való (600–1000 könyv) 7 – 1000-nél több könyv
Megtalálhatók-e nálatok otthon a következők?	Saját könyveid	–4	1 – Igen
			2 – Nem
	Számítógép	–4	1 – Igen
			2 – Nem
	Autó	–2	1 – Igen
			2 – Nem

Az Iskolajelentés és az elemzések interpretálhatósága érdekében az index standardizált formában került felhasználásra, tehát az elemzésekben megjelenő érték az index lineáris transzformációja, amelyre az adott évfolyamon a diákok indexének átlaga 0, szórása pedig 1. Éppen ezért a két évfolyamon közölt értékek között lineáris kapcsolat áll fenn, de ugyanaz az érték a 6. és 10. évfolyamon némiképp eltér. A 2. táblázat példákat hoz arra, hogyan érhet el a diák átlagos (HÉI értéke 0), szórásnyival az átlag alatti (HÉI értéke –1) és szórásnyival az átlag feletti (HÉI értéke 1) indexértéket a két évfolyamon.

2. táblázat • A hozottérték-index értékeinek a jelentése

Évfolyam	A HÉI értéke
	–1	0	1
6.	Édesanyja szakmunkásképzőt, édesapja általános iskolát végzett, kb. 50 könyvük van otthon, a diáknak van saját könyve, számítógép van, autó nincs a család birtokában.	Édesanyja érettségivel, édesapja szakmunkás-bizonyítvánnyal rendelkezik, 100–150 könyvük van, a diáknak vannak saját könyvei, számítógép és autó van otthon.	Szülei érettségivel rendelkeznek, 600-1000 könyvük van otthon, vannak saját könyvei, számítógép és autó van otthon.
	Édesanyja érettségivel, édesapja általános iskolai bizonyítvánnyal rendelkezik, 100-150 könyvük van, a diáknak vannak sajátkönyvei, számítógép és autó nincs otthon.	Szülei szakmunkásképzőt végeztek, 200-300 könyvük van, a diáknak vannak saját könyvei, számítógép és autó van otthon.	Édesanyja érettségi, édesapja szakmunkás-bizonyítvánnyal rendelkezik, több mint 1000 könyvük van otthon, vannak saját könyvei,számítógép és autó van otthon.
10.	Édesanyja szakmunkásképzőt végzett, édesapja nem végezte el az általános iskolát, 300-600 könyvük van, a diáknak van saját könyve, számítógép nincs, autó van a család birtokában.	Édesanyja szakmunkásképző, édesapja főiskolai végzettséggel rendelkezik, kb. 50 könyvük van, a diáknak vannak saját könyvei, számítógép és autó van otthon.	Szülei egyetemi vagy főiskolai végzettséggel rendelkeznek, 200-300 könyvük van otthon, vannak saját könyvei, számítógép és autó van otthon.
	Édesanyja érettségivel, édesapja főiskolai végzettséggel rendelkezik, 0-50 könyvük van, a diáknak nincsenek saját könyvei, számítógép nincs, autóvan otthon.	Szülei főiskolai diplomával rendelkeznek, 100-150 könyvük van, a diáknak vannak saját könyvei, számítógép és autó nincs otthon.	Édesanyja érettségivel, édesapja főiskolai diplomával rendelkezik, 600-1000 könyvük van otthon, vannak saját könyvei, számítógép van, autó nincs otthon.

A fent leírt többváltozós lineáris regresszió eredményeit megerősítve a kiválasztott változók a faktoranalízis esetében is a legfontosabbak közé kerültek. A szülők végzettsége, a megtalálható könyvek és a számítógép mellett az autó és a saját könyvek jelentősége kismértékben ugyan, de elmarad a tanulást segítő programok és a saját számítógép jelentőségétől. Ezek indexben való szerepeltetése a jövőben még további megfontolást igényel. (Persze itt is megmutatkozott a szülők munkájának jellege, de a túl kevés válasz miatt ezekkel nem lehet érdemben foglalkozni.)

Változóink két mögöttes változó köré csoportosulnak, ezekre kellően elkülönülten tudnak illeszkedni: az egyik a szülői faktor, a másik a számítógép-informatikai háttér faktora. Említésre méltó még az is, hogy a 10. évfolyamnál nem túl nagy teljes súllyal, de semmiképpen sem elhanyagolható mértékben megjelent egy eddig nem tapasztalt változó: az internet használata.

Az elemzés során alkalmazott módszerek

Miután hozottérték-indexünket megalkottuk, a hozzáadott pedagógiai értéket (HPÉ) az iskola hozottérték-indexe alapján várt és becsült teljesítménye közötti különbségként definiálhatjuk. A várt teljesítménytől való eltérés azt jelenti, hogy az iskola diákjai jobb vagy rosszabb eredményt értek el a teszten, mint azt az ország egy „tipikus” iskolája tette volna hasonló háttérrel rendelkező diákok esetében.

A hozottérték-index alapján várt és becsült teljesítmény meghatározásához két különböző módszert is alkalmaztunk, a hozzáadott pedagógiai értéknek kétfajta becslését is adva ezáltal. Az egyik a lineáris regresszió, amelynél az iskola teljesítményét és HÉI-értékét diákjainak az átlagával becsüljük, a várt teljesítmény pedig a HÉI-re illesztett iskolai szintű lineáris regresszió. Ezzel a módszerrel becsültük az Iskolajelentésben közölt hozzáadott pedagógiai értéket.

A másik módszer a hierarchikus lineáris modell alkalmazása, amely nem aggregált adatok alapján készül, hanem a diákok eredményeit külön-külön tekinti, figyelembe véve, hogy kétlépcsős mintavételi eljárást alkalmaztunk (Snijders–Bosker 1999). A módszer lényege tehát, hogy nem csupán iskolai, aggregált szinten illeszt regressziós egyenest, hanem az aggregált szint mellett figyelembe veszi az iskolán belül érvényesülő hatásokat is. Az iskolákon belüli regressziós egyenesek paramétereit is kiszámítja és beépíti regressziós modellünkbe.

A hierarchikus lineáris alapmodell a teljes populáció varianciáját két részre bontja: az iskolák közötti eltérésekből és az iskolán belüli eltérésekből eredő részre. A hierarchikus lineáris alapmodell a véletlen hatásokat figyelembe vevő ANOVA (szóráselemzés), ahol az iskolák hatását is véletlennek tekintjük:

Y_ij = μ + U_j + R_ij. (1)

Y_ij a j-edik iskolába járó i-edik diák matematikai/szövegértési képességpontja, μ a teljes populáció átlaga, U_j a j-edik iskola hatása, R_ij pedig az itteni i-edik diákra jellemző egyéni (reziduális) hatás.

A HÉI alapján várt teljesítményt a következő képlet paramétereinek a meghatározásával kapjuk, amelybe magyarázó változóként beépítettük az iskola átlagos HÉI-jét és a diák HÉI-jének ettől való eltérését.

Y_ij = μ + γ·H._j + U_j + β·(H_ij - H._j)+ R_ij, (2)

ahol H._j a j-edik iskola átlagos HÉI-je, H_ij a diák hozottérték-indexe. A HÉI iskolai átlagon keresztüli és iskolán belüli hatásának megkülönböztetésére azért van szükség, mert a diákszintű változók gyakran eltérő hatást mutatnak a csoportra jellemző értékük és az egyén ettől való eltérése mentén. Elképzelhető például, hogy az iskola átlagos HÉI-je döntően befolyásolja a teljesítményt, az iskolán belüli HÉI-ben mutatkozó különbségek viszont kevésbé fontosak. A fenti képlet esetében akkor lesz a HÉI hatása azonos az iskola átlaga és az iskolán belüli ettől való eltérés alapján, ha γ= β.

Az iskola teljesítményét ebben az esetben nem az átlaggal, hanem a Bayes-módszerrel becsüljük. Ez az iskolán belüli megfigyelések átlagának és a hasonló iskolákban tapasztalt eredményeknek a súlyozott átlaga. Ily módon becslésünk megbízhatósága jelentős mértékben megnő, hiszen több megfigyelés alapján becsülünk, ez pedig a hiba csökkenéséhez vezet.

A továbbiakban bemutatjuk a lineáris regresszió, illetve a hierarchikus lineáris modellek alkalmazásával kapott eredményeket.

Az Iskolajelentés és a lineáris regressziós modell

Az Iskolajelentés HÉI-vel kapcsolatos elemzése lineáris regresszió alkalmazásával készült. A 3. táblázat a regressziós egyenesek paramétereit tartalmazza az egyes tantárgyak esetében. A teljesítményskálákra a már megszokott 500 képességpontos országos átlag és 100 képességpontos szórás teljesül.

3. táblázat • A regressziós egyenesek paraméterei az egyes tantárgyak esetében

	Együtthatók	Standard hiba	t-érték	Szig.	Együtthatók	Standard hiba	t-érték	Szig.
	6. évfolyam, matematika				6. évfolyam, szövegértés
Állandó	501	0,67	743	0	502	0,65	777	0
Hozottérték-index	57	1,13	51	0	60	1,08	56	0
	10. évfolyam, matematika				10. évfolyam, szövegértés
Állandó	498	1,07	464	0	500	1,12	447	0
Hozottérték-index	83	1,58	52	0	87	1,65	53	0

Láthatjuk, hogy a 6. évfolyamon a HÉI értékében 1 pontnyi növekedés több mint félszórásnyi teljesítménynövekedést eredményez, tehát például az 1 HÉI-vel rendelkező iskolák tanulói átlagosan kb. 120 képességponttal jobb eredményt érnek el, mint a –1 HÉI-vel rendelkező iskolába járó társaik. A 10. évfolyam esetében még ennél is nagyobb különbséget, több mint 80 pontnyi eltérést eredményez 1 pontnyi HÉI-növekedés. Az oktatás minőségének egyik jellemzője pedig éppen az, hogy az iskola mennyire tudja felzárkóztatni, megfelelő képzésben részesíteni a hátrányos helyzetű tanulókat. A fenti eredmények szerint ebben a tekintetben oktatási rendszerünk nem áll a helyzet magaslatán, sőt az is kitűnik az eredményekből, hogy a 6. évfolyamon az otthoni körülményektől függő teljesítménykülönbség a 10. évfolyamra tovább nő. Mivel a matematika és a szövegértés esetében az eredmények hasonlóak, a továbbiakban csak a matematikára vonatkozó eredményeket mutatjuk be. Az 1. és 2. ábráról leolvasható, hogy az iskolák hogyan szóródnak a regressziós egyenesek körül. Az Iskolajelentésben a regressziós egyenes és az iskolák pontfelhője mellett az iskola saját eredményét külön jelöléssel láttuk el. A hozzáadott pedagógiai érték a pont és az egyenes távolsága a pontra illesztett függőleges egyenesen mérve, azaz az iskolát jelölő pont és az egyenes neki megfelelő pontjának magasságkülönbsége.

1. ábra • Az iskolák átlagteljesítménye a HÉI függvényében (6. osztály, matematika)

2. ábra • Az iskolák átlagteljesítménye a HÉI függvényében (10. osztály, matematika)

Korábbi tapasztalataink szerint az általános iskolások esetében a településtípus, a középiskolások esetében pedig az iskolatípus szerint tapasztalhatók jelentős különbségek a diákok teljesítményében. Ha megnézzük, hogy 10. osztályban iskolatípusonként, 6. osztályban pedig településtípusonként hogyan alakul a HÉI értéke (4. táblázat), akkor láthatjuk, hogy mind az iskolatípusok, mind a településtípusok között jelentős különbségek vannak, ami követi a megszokott teljesítménybeli különbségeket.

4. táblázat • Az átlagos HÉI és az átlagos matematikateljesítmény az egyes település-, illetve iskolatípusok esetében

6. évfolyam	HÉI		Matematika standard pont
Településtípus	Átlag	Standard hiba	Átlag	Standard hiba
Budapest	0,59	0,026	530	2,36
Megyeszékhely	0,32	0,025	523	2,32
Város	–0,02	0,015	500	1,44
Község	–0,41	0,012	474	1,03
10. évfolyam	HÉI		Matematika standard pont
Iskolatípus	Átlag	Standard hiba	Átlag	Standard hiba
Gimnázium	0,58	0,019	556	2,36
Szakközépiskola	–0,10	0,017	502	2,15
Szakiskola	–0,88	0,022	406	1,59

Megvizsgáltuk továbbá, hogy a HÉI hatása hogyan változik e kategóriák mentén. Elvégeztük a regressziót az egyes kategóriákba tartozó iskolákra külön-külön is. Az 5. táblázat a regressziós egyenes együtthatóit tartalmazza ezen esetekre.

5. táblázat • A regressziós egyenes együtthatói településtípusonként és iskolatípusonként

		Együtthatók	Standard hiba	t-érték	Szig.
6. évfolyam, matematika
Budapest	Állandó	491	2,82	174	0
	Hozottérték-index	68	3,55	19	0
Megyeszékhely	Állandó	502	1,75	287	0
	Hozottérték-index	67	3,02	22	0
Város	Állandó	502	1,20	420	0
	Hozottérték-index	62	2,45	25	0
Község	Állandó	496	1,40	354	0
	Hozottérték-index	47	2,29	21	0
10. évfolyam, matematika
Gimnázium	Állandó	505	2,54	199	0
	Hozottérték-index	74	3,55	21	0
Szakközépiskola	Állandó	503	1,65	304	0
	Hozottérték-index	63	3,88	16	0
Szakiskola	Állandó	437	3,74	117	0
	Hozottérték-index	34	3,96	9	0

Noha a 6. évfolyam esetében a különböző településtípusokra illesztett egyenesek paraméterei nem azonosak, és néhol a különbségek még szignifikánsnak is tekinthetők, a 10. évfolyam esetében tapasztalható (szakiskola és egyéb iskolatípusok közötti) különbségekkel összevetve mégsem jelentősek. Jól látható ez a 3. és 4. ábrán is, amelyek együtt ábrázolják a különböző regressziós egyeneseket.

3. ábra • A HÉI hatása a 6. osztályos matematikateljesítményre országosan és településtípusonként

4. ábra • A HÉI hatása a 10. osztályos matematikateljesítményre országosan és iskolatípusonként

Ebből arra következtethetünk, hogy míg a képességekben tapasztalható különbségek a településtípusok szerint jól magyarázhatók a szociokulturális egyenlőtlenségekkel, addig az iskolatípusok átlagos eredményeiben mutatkozó különbség oka nem pusztán a diákok otthoni körülményeiben keresendő. Ez összhangban áll azzal a feltételezéssel, hogy a magyar középfokú oktatás erősen szegregáló jellegű, a gimnáziumok és a népszerűbb szakmákat oktató szakközépiskolák kiválogatják a jó képességű diákokat, a szakiskolák viszont gyenge, hiányos képességekkel rendelkező diákokkal dolgoznak. Jól látható az is, hogy a szakiskolában a leggyengébb a HÉI hatása, itt a leglaposabb az egyenes. A szakaszok végpontjainak x-koordinátái az adott település-, illetve iskolatípus leggyengébb és legjobb HÉI-átlagait mutatják. Így az ábrákon is jól láthatók az egyes település- és iskolatípusok közötti HÉI-beli különbségek.

Akár a településtípus és az iskolatípus figyelembevételével, akár anélkül becsüljük az iskola hozzáadott pedagógiai értékét, a becslés hibáját érdemes megvizsgálni, hiszen becslésünk az iskola teljesítményének és HÉI-jének a becsléséből, illetve a regresszió paramétereinek a becsléséből adódó hibákkal terhelt. A becslés bizonytalansága tehát több tényező együttes következménye, ezért a heurisztikus bootstrap hibaszámítási módot választottuk. A módszer lényege, hogy szimulációkat végzünk: iskolánként olyan mintákat generálunk a rendelkezésre álló mintaelemekből, amelyek ugyancsak lehetségesek lettek volna. Ezzel mintegy modellezzük a bizonytalanságunkat. A módszer matematikai alapjait Efron fektette le, bizonyítva, hogy a kapott becslések aszimptotikusan (azaz a mintaelemszám növekedésével) pontosak (Efron–Tibshirani 1993). Ebben az esetben az ugyan nem túl nagy az iskolánkénti mintaelemszám (maximum 20), de ez nem jelent szisztematikus eltérést (természetesen azt nem várhatjuk, hogy minden egyes iskolára pontosan adjuk vissza a becslésünk ismeretlen szórását).

Az 5. ábra a hozzáadott pedagógiai érték becslésének 95%-os konfidenciaintervallumait mutatja iskolánként, a 10. évfolyamos matematikateszt esetében (mivel a bootstrap konfidenciaintervallumok jellemzői hasonlóak mind a négy teszt esetében, elegendőnek találtuk ezt az egy ábrát bemutatni).

5. ábra • A hozzáadott pedagógiai érték 95%-os konfidencia-intervalluma iskolánként (10. osztály, matematika)

Az iskolánkénti kis mintaelemszám (maximum 20 diák) miatt – mint ahogy várható is – a konfidencaintervallumok meglehetősen szélesek, a hozzáadott pedagógiai érték csak nagy hibával becsülhető. A 10. évfolyamon a matematika esetében a 95%-os konfidenciaintervallum szélessége 39 és 164 pont között mozog, az iskolák 90%-ára pedig 54 és 104 közötti pontértéket kapunk. Az iskolák kb. 17%-áról mondható el, hogy a hozzáadott pedagógiai értékük szignifikánsan nagyobb 0-nál, tehát az iskola lényegesen többet hozott ki diákjaiból, mint ami HÉI-jük alapján várható lett volna, és szintén körülbelül 17%-uk marad el szignifikáns mértékben a várható teljesítménytől.

A kapott eredményekből tehát nem szabad elhamarkodott következtetéseket levonnunk. Az iskolák hozzáadott pedagógiai értékének pontosabb és megbízhatóbb meghatározásához folyamatos, ismétlődő megfigyelések szükségesek, a mérések együttes elemzése és a trendek nyomon követése a mérési hibák csökkenéséhez és az iskolák helyzetének pontosabb meghatározásához vezet majd.

A hierarchikus lineáris modell

A nemzetközi gyakorlatban a hozzáadottérték-vizsgálatok szinte mindig a hierarchikus lineáris modellek alkalmazásával valósulnak meg. A továbbiakban a korábban már bemutatott modellek alkalmazásával kapott eredményeket ismertetjük.

Elsőként megvizsgáltuk, hogy az alapmodell (1) alkalmazásával, a háttérváltozók figyelmen kívül hagyásával a teljes populáció szórásnégyzete hogyan oszlik meg az iskolák közötti és az iskolákon belüli szórásnégyzetek között. Az iskolák közötti szórásnégyzet és a teljes szórásnégyzet aránya az iskolarendszer igen fontos mutatója, hiszen ebből következtethetünk arra, hogy milyen mértékű az iskolarendszer szegregáló hatása. Ha ez az érték magas, azt jelenti, hogy az iskolák átlagos teljesítménymutatói jelentős mértékben különböznek az egy iskolán belüli diákok közötti különbségekhez képest. Tehát az iskola mintegy „behatárolja” diákjainak a lehetőségeit. Az 6. táblázat az iskolák közötti szórásnégyzet és a teljes szórásnégyzet arányát mutatja százalékban kifejezve a két évfolyam két-két tesztje esetében.

6. táblázat • Az iskolák közötti szórásnégyzet és a teljes szórásnégyzet százalékos aránya

Évfolyam	Matematika	Szövegértés
6.	17,4	18,3
10.	46,6	51,1

A táblázat jól mutatja, hogy míg a 6. évfolyam esetében a szórásnégyzet iskolák között realizálódó része kicsi, mindössze a teljes szórásnégyzet 17–18%-a származik az iskolák közötti különbségekből, a 10. évfolyam esetében ez az arány már körülbelül 50%, ami meglehetősen nagynak mondható. Ez a kép összhangban van korábbi – a PISA- és PIRLS-vizsgálatok összehasonlítása kapcsán ismertetett – eredményeinkkel. Látható tehát, hogy míg az általános iskolák szegregáló hatása nem jelentős, addig a középiskola teljesítmény szerinti csoportokra bontja a diákokat. A szegregáció hátránya pedig, hogy két ugyanolyan képességgel induló diák közül az, akinek az iskolájában az átlagos képesség gyengébb, hajlamos lemaradni jobb iskolában tanuló társához képest (ez bekövetkezhet például a tanárok kisebb elvárása vagy a versenyhelyzetek hiánya miatt).

Nézzük ezek után, hogy milyen eredményt hoz a HÉI magyarázó változóként való alkalmazása. A 7. táblázat a modell paramétereit ismerteti a négy teszt esetén a (2) képletben alkalmazott jelöléseket alkalmazva.

7. táblázat • A (2) modell paraméterei

A paraméter neve	Becslés	Standard hiba	t-érték	Szig.	Becslés	Standard hiba	t-érték	Szig.
	6. évfolyam, matematika				6. évfolyam, szövegértés
μ	508	0,65	776	0	508	0,62	820	0
γ	58	1,36	43	0	60	1,15	52	0
β	44	0,64	68	0	43	0,62	69	0
	10. évfolyam, matematika				10. évfolyam, szövegértés
μ	502	1,10	458	0	504	1,11	455	0
γ	85	1,55	55	0	88	1,51	59	0
β	13	0,78	17	0	9	0,72	13	0

A táblázat sorai a modell állandóját (μ), az átlagos HÉI hatását (γ) és a HÉI iskolai átlagától való eltérésének a hatását (β) mutatják. Láthatjuk, hogy a HÉI iskolán belüli hatása kisebb, mint az iskola átlagos HÉI-értékén keresztül érvényesülő hatás. Ez a különbség a 6. évfolyamon is szignifikáns, a 10. évfolyam esetében azonban a különbség igen tetemes: az iskola átlagos HÉI-jén keresztül érvényesülő hatás a matematika esetében 6,5-szer, míg a szövegértés esetében 9-szer több az iskolán belüli hatásnál. Ez azt jelenti, hogy ha egy iskolából két olyan 10. évfolyamos diákot választunk, akiknek a hozottérték-indexe közötti különbség 1 (azaz éppen 1 szórásnyi), akkor a HÉI-jük alapján várt teljesítményük közötti különbség 9, illetve 13 pont a két teszt esetében. Ha azonban azonos HÉI-vel rendelkező egy-egy diákot választunk két olyan iskolából, amelyek átlagos hozottérték-indexe közötti különbség 1, akkor a teljesítményük közötti várható különbség 72 pont a matematika- és 79 pont a szövegértésteszt esetén, azaz körülbelül háromnegyed szórásnyi. Ez ismét csak a középiskolák teljesítménymeghatározó jellegét támasztja alá.

Az iskolatípus meghatározó szerepe miatt szükségesnek láttuk a 10. évfolyam esetében a modell kibővítését az iskolatípus beépítésével, mert e nélkül modellünk nem tükrözné az iskola tényleges helyzetét, hozzáadott pedagógiai értékének becslése hamis képet adna, hiszen az iskola típusa nem az iskola belső életétől, döntéseitől függ. A 6. évfolyam esetében a településtípus hasonló alkalmazását nem láttuk indokoltnak, hiszen az eddigi eredmények nem mutattak számottevő hatást. A 10. évfolyamon alkalmazott végső modell tehát a következőképpen alakul:

Y_ijk = μ₁ + μ₂·χ(k=2) + μ₃·χ(k=3)+ (γ₁·χ(k=1) + γ₂·χ(k=2) + γ₃·χ(k=3))·H._j + U_j +

+ (β₁ + β₂·χ(k=2) + β₃·χ(k=3))·(H_ij - H._j) + R_ij, (3)

ahol k a j. iskola típusát jelöli, értéke (1) gimnázium, (2) szakközépiskola és (3) szakiskola esetén. A χ(k=i) indikátorfüggvény értéke 1, ha k=i teljesül, és 0, ha az egyenlőség nem teljesül. Az átlagnak és a HÉI hatásának a becslése tehát más és más az egyes iskolatípusok esetében. A kapott együtthatókat a 8. táblázatban foglaltuk össze.

8. táblázat • A (3) modell paraméterei

A paraméter neve	Becslés	Standard hiba	t-érték	Szig.
10. évfolyam, matematika
μ1	509	2,18	233	0
μ2	–2	2,86	–1	0,492
μ3	–68	5,66	–12	0
γ1	76	3,54	22	0
γ2	66	4,05	16	0
γ3	37	5,21	7	0
β1	17	1,41	12	0
β2	–7	1,82	–4	0
β3	–5	2,06	–3	0,012
10. évfolyam, szövegértés
μ1	524	2,21	237	0
μ2	–19	2,78	–7	0
μ3	–96	6,08	–16	0
γ1	66	3,11	21	0
γ2	62	3,85	16	0
γ3	29	5,64	5	0
β1	13	1,18	11	0
β2	–6	1,62	–4	0,001
β3	–7	1,96	–3	0,001

Az együtthatók közötti különbségek igazolják az iskolatípus figyelembevételének szükségességét: az állandók, a HÉI iskolai átlagának és az iskolán belüli HÉI-nek a hatása is más és más az egyes iskolatípusokon belül. Láthatjuk, hogy a gimnázium esetében a legmagasabb az állandó becslése, a szakközépiskola esetén ez valamivel kisebb (a matematika esetében nem szignifikáns a különbség), a szakiskola esetén pedig jelentősen elmarad a szakközépiskolához képest is. Hasonló mintázatot mutat a HÉI átlagos értékének hatása és a HÉI iskolán belüli hatása is. Szakiskola esetén nemcsak az átlagos teljesítmény, hanem a HÉI hatása is alacsony. Például a HÉI átlagos értékének 1 pontnyi növekedése a várható teljesítményt gimnáziumok esetében 76, szakközépiskolák esetében 66, szakiskolák esetében pedig 37 ponttal növeli. A diák HÉI-jének 1 pontnyi növekedése ugyanebben a sorrendben 17, 10 és 12 pont teljesítménynövekedést jelent. A 6. és 7. ábra a modell iskolai szinten kapott regressziós egyeneseit és az iskolák helyzetének Bayes-becsléseit mutatja a matematikateszt esetében. A pontok egyeneshez való viszonya – akárcsak a lineáris regresszió esetében – itt is az iskolák hozzáadott pedagógiai értékét jelzi. A 10. évfolyamon 3 külön regressziós egyenesünk van az alkalmazott modell eredményeként, minden iskolát az iskola típusához tartozó regressziós egyeneshez mérhetünk. Jól látható az ábrán, hogy a szakiskolához tartozó regressziós egyenes mennyivel laposabb a többi iskolatípushoz tartozó egyeneshez képest a γ₃ paraméter kis értéke miatt.

6. ábra • Az iskolák átlagteljesítménye a HÉI függvényében (6. osztály, matematika)

7. ábra • Az iskolák átlagteljesítménye a HÉI függvényében (10. osztály, matematika)

Összehasonlítva a lineáris regressziónál bemutatott ábrákkal jól látható, hogy itt a pontfelhő jobban simul az egyenesre, ami a Bayes-becslés alkalmazásának a következménye.

Végső modelljeink alkalmazásával az iskolák közötti különbségek jelentős részét megmagyaráztuk, a teljes szórásnégyzet iskolák közötti különbségekből származó arányát a 9. táblázat mutatja.

9. táblázat • A teljes szórásnégyzet iskolák közötti különbségekből származó százalékos aránya

Évfolyam	Matematika	Szövegértés
6.	6,6	5,9
10.	15,8	16,3

Láthatjuk, hogy itt már a 10. évfolyamon is kicsi az iskolák közötti szórásnégyzet aránya. Modelljeink tehát megragadják az iskolák közötti különbségek legfőbb okait, így a belőlük származó reziduálisok az iskola eredményének reálisabb megítéléséhez vezetnek.

Konklúzió

A hozzáadott pedagógiai érték számítására bemutatott módszereinkkel, a diák szociokulturális hátterének figyelembevételével kapott eredmények mind az iskolák, mind az oktatáspolitika számára fontos üzenetet hordoznak, noha a következtetések az egyes szinteken teljesen más természetűek.

Az iskola az Iskolajelentésen keresztül megismerheti az országos eredményekhez való viszonyát, hozzáadott pedagógiai értékének ismerete pedig helyzetének reális megítélését segíti.

Az oktatáspolitika számára a fenti eredmények újra igazolják iskolarendszerünk szegregáló jellegét és azt, hogy az iskola nem képes kompenzálni az otthoni háttérből eredő különbségeket, sőt még fel is erősíti azokat. Pedig a lemaradók, a hátrányos helyzetűek felzárkóztatása oktatási rendszerünk talán legégetőbb kérdése.

Irodalom

Indikátorok az oktatás eredményességének értékeléséhez
Neuwirth Gábor előadása

Ez az előadás egy több évtizedes kutatás legújabb irányának első eredményeiről ad képet. Először röviden bemutatjuk a kutatást, majd az úgynevezett hozzáadott érték vizsgálatainkat és annak módszertani hátterét.

Hazánkban 1967 és 1994 között évenként megjelentek a Középiskolák felvételi vizsgaeredményei a felsőoktatási intézményekben című kiadvány kötetei, amelyek 1987 óta tartalmazták a középiskolák sorrendjét is a felsőoktatási felvételek több mutatója szerint. E mutatók 1992 óta kibővültek a felvételi írásbelik pontátlagaival. Az 1980-as évek közepétől elkezdődött az Országos Középiskolai Tanulmányi Versenyek (OKTV), az Országos Szakmai Tanulmányi Versenyek (OSZTV) és az egyéb középiskolai versenyek adatainak gyűjtése, és sikerült – több hiányossággal – létrehozni egy 1986-tól idősorosan csoportosított adatbázist.

Ez az adatbázis megteremtette az alapját annak, hogy valamennyi magyar középiskolára vonatkozóan számos eredményességi mutatót képezzünk. Az adatbázis létrejötte 1994 után lehetővé tette egy új kutatási feladat kitűzését: a magyar középiskolák fejlődési irányzatainak vizsgálatát objektív ismérvek alapján. Az adatbázis folyamatos fejlesztése az OM megbízásával 1999 óta az OKI szervezeti keretei között zajlik. Az erre az adatbázisra épülő elemzéseket és iskolasorrendeket tartalmazó kiadvány³ évenként eljut minden magyar középiskolába és a közoktatással foglalkozó szervezetekhez, intézményekhez.

1996-ban felmerült az igény, hogy ezeket az eredményességi mutatókat mint kimeneti adatokat vessük össze azokkal a bemeneti adatokkal, amelyeket a középiskolát kezdő 9. osztályos tanulók kérdőívvel fölvett szociális és tanulmányi mutatóiból nyertünk. Először 2000-ben volt módunk egy ilyen adatokat szolgáltató felmérés lefolytatására, s ez egyben lehetőséget biztosított újabb összefüggések feltárására is, nevezetesen a középiskolák összehasonlítására a tanulmányaikat kezdő tanulók összetétele és az azt befejező diákok elért eredményei mentén. A 2001 és 2004 közötti időszakban végzett négy további felmérés után már meg lehetett kísérelni olyan sorrendek összeállítását, amelyek a tanulmányaikat kezdők szociokulturális hátterét és induláskori tanulmányi eredményeit ugyanezen, középiskolát végző tanulók eredményességi adataival vetik össze. Ez a középiskola által az induló szinthez hozzáadott érték egyik lehetséges megközelítésének tekinthető.

A rendelkezésre álló nagy mennyiségű adat lehetővé teszi az intézmények mutatóinak összehasonlítását, időbeli alakulásuk egyenkénti vagy akár területi, megyei, település- és iskolatípus alapján, valamint iskolafenntartó szerinti bontásban történő, akár több szempontú elemzését is. Ezáltal lehetőség nyílik a középiskolai oktatás egészének fejlődésére vonatkozó következtetések levonására is. Az is látható, hogy a különböző versenyek eredményei alapján 197-féle, a felsőoktatási felvételek adatai szerint további 66-féle, összesen 263-féle iskolasorrend állítható össze. Ilyen nagyszámú sorrend természetesen nem publikálható egy nyomtatott kiadványban sem, így az érdeklődők az OKI internetes honlapján⁴ érhetik el e számítógépes adatállományokat.

1. táblázat • A kutatás során eddig kiépített adatbázis teljességének mértéke, 2004 közepén

Adatcsoport	Versenyek (sorrendek) száma	Időszak	Összes lehetséges adat	Eddig megszerzett adat	Az adatállomány teljességének mértéke (%)
OKTV	23	1986–2003	12 802	12 802	100,0
OSZTV	102	1986–2003	10 500	9 920	94,5
Egyéb versenyek	72	1986–2003	20 000	19 082	95,4
Összesen	197	1986–2003	43 302	41 804	96,5
Felvételi vizsga	4×13	1991–2003	428 167	428 167	100,0
– általános
– tantárgyi	14	1992–2003	213 323	213 323	100,0
Eredményességi mutatók összesen	263		684 792	683 294	99,8
Kilencedik osztályosok adatai	15	1999/2000		950 820
Kilencedik osztályosok adatai	15	2000/2001		1 040 805
Kilencedik osztályosok adatai	15	2001/2002		1 067 760
Kilencedik osztályosok adatai	15	2002/2003		1 147 740
Kilencedik osztályosok adatai	15	2003/2004		1 150 020

A vizsgálatból kiderült, hogy a középiskolai tanulmányaikat elkezdő tanulók több szociális és tanulmányi mutatója (mint bemeneti adatok) és több eredményességi mutatója (mint kimeneti adatok) között szoros az összefüggés. Ez valószínűsíti, hogy a középiskolák oktató-nevelő munkájának eredményességét általában nagymértékben befolyásolja, hogy milyen családi hátterű és milyen felkészültségű tanulókat vett fel. Vannak azonban kisebb számban olyan iskolák, amelyeknek diákjai jobb vagy rosszabb eredményeket érnek el, mint azt a beiratkozott tanulóik családi háttere és felkészültsége indokolná. Ennek minden bizonnyal megvannak a mélyebb okai, amelyek összefüggnek azokkal a hatásokkal, melyek ezekben az oktatási intézményekben érik a tanulókat. Ezek azok a hatások, amelyeket a „hozzáadott érték” kifejez.

Egyelőre óvatosan kell kezelni a hozzáadott érték számításának eredményeit. A bemeneti adatokat 2004 közepéig ugyanis még csak négy felmérés alapján számítottuk (az ötödik, 2003/ 2004-es tanév adatainak értékelése a konferencia idején van folyamatban), szemben az eredményességi mutatókkal, amelyeket 12-13 évre visszamenően tartalmazza az adatbázis. Egy-négy év adatai egyes középiskolák esetében tartalmazhatnak véletlenszerű elemeket is, ezért csak azoknak az intézményeknek az adatait publikáljuk, amelyek legalább három alkalommal beküldték a tanulók kérdőíveit, és minden ilyen esetben a diákok több mint fele kitöltötte azokat. Úgy gondoljuk, hogy iskolacsoportok esetében viszont már minden korlátozás nélkül közölhetőek a hozzáadott érték számításának eredményei.

Óvatosságra int bennünket az is, hogy az oktató-nevelő munka eredményességi mutatói közül csak néhány áll a rendelkezésünkre, ezek is többségükben a továbbtanulásra felkészítés eredményességét mutatják. Azt is nagyon fontos figyelembe venni, hogy az egyes iskolák oktatási célkitűzései különbözőek, így az általunk alkalmazott eredményességi mutatók alapján készült rangsorokban középen vagy nem kedvező helyen szereplő iskolák oktató-nevelő munkája más dimenziók mentén kiváló lehet.

A hozzáadott érték számításakor azokat a szociokulturális, illetőleg eredményességi mutatókat helyes figyelembe venni, amelyek a legszorosabban függenek össze egymással. Ezek (az összefüggés erősségének sorrendjében) a következők:

• a családi és felkészültségi mutatók közül (bemeneti adatok) az általános iskolai osztályzatok átlaga, a szülők iskolázottsága, a szülők munkanélküliségi aránya;
• az eredményességi mutatók közül (kimeneti adatok) a felvételi arány (F/L), a nyelvvizsgaarány (Ny/J) és az írásbeli felvételi dolgozatok átlaga⁵.

A hozzáadott érték vizsgálatának jelenlegi szakaszában az a célunk, hogy leírjuk a jelenséget, s emellett megkezdtük azoknak a lehetséges okoknak a keresését is, amelyek az iskolák egy kisebb részénél az eredményességi mutatók (kimeneti adatok) jelentős eltérését mutatják a szociokulturális mutatókhoz (bemeneti adatokhoz) képest. Az a feltételezésünk, hogy ezek között jelentős mértékben vannak olyanok is, amelyek az iskolában folyó oktató-nevelő munka egyes elemeitől, körülményeitől függnek. Ha ezt sikerül bizonyítani, lehetőség nyílik arra, hogy az iskolák és az irányító szervek átgondolt és következetes fejlesztő tevékenységet folytassanak a hátráltató körülmények visszaszorítására, illetőleg a kedvező hatások érvényesítésére.

Az elmúlt évtizedben az eredményességi mutatók figyelembevétele általánossá vált mind az iskolák, mind az iskolát választó szülők és tanulók körében. Ennek előnyei mellett veszélyei is vannak, hisz igen sokan egyoldalúan ítélik meg az iskolákat, nem ismerik, és így nem veszik tekintetbe azokat a hatásokat, amelyek az eredményességet befolyásolják. Általános hiba az is, hogy egy-két eredményességi mutató ismeretében egyoldalú módon (ezért tévesen) ítélik meg az egyes iskolákat. Ez a szemlélet arra is vezethet, hogy a jobb eredményességi mutatójú iskolák tanulói választéka növekszik a gyengébb mutatójúak rovására, ami tovább növelheti a különbségeket.

A hozzáadott érték vizsgálata segíthet abban, hogy ráirányítsa a figyelmet azokra az iskolákra, ahol jó oktató-nevelő munka folyik, még akkor is, ha az eredményességi mutatók középszerűek.

Az iskolánkénti hozzáadott érték számításának módszerei

A hozzáadott érték számításának többféle módszerét is kipróbáltuk, a továbbiakban ezeket ismertetjük. Minden, a következőkben ismertetett módszer esetében külön vizsgáljuk a gimnáziumokat, a szakközépiskolákat és a vegyes programú középiskolákat. A kimeneti adatok mint eredményességi mutatók tekintetében igen jelentős különbség mutatkozik a különböző képzési programokat kínáló intézmények között.⁶ Éppen ezért nem lenne helyes a hozzáadott érték szerinti sorrendeket az iskolatípusok szerinti differenciálás nélkül összeállítani.

Az említett négy évben lefolytatott felmérés során 785 iskola (210 gimnázium, 340 szakközépiskola és 235 vegyes középiskola) küldte be legalább három alkalommal a kérdőíveket. Közülük azonban 213 esetében nem képeztünk eredményességi mutatókat, mert vagy nem állt rendelkezésre öt év adata, vagy írásbeli felvételi dolgozatot nem írt évenként legalább három tanuló. Ezért a három bemeneti és a három kimeneti adat ez év közepéig még csak 172 gimnázium, 225 szakközépiskola és 175 vegyes programú iskola esetében áll rendelkezésünkre a kérdőívet legalább háromszor beküldő iskolák közül. Az alábbi módszereket ezek esetében alkalmaztuk.

Eddig hét számítási módszert alkalmaztunk⁷, mindegyik esetében a bemeneti és a kimeneti adatok különbségét képeztük valamilyen módon. Az első három számítási módszer esetében nagyság szerinti sorrendbe állítottuk a hat vizsgált mutatót, ily módon minden iskola mutatói kaptak egy helyezési számot.

1. módszer: a bemeneti adatok szerinti helyezési számokat és a kimeneti adatok szerinti helyezési számokat iskolánként összeadjuk, s a bemeneti adatok szerinti helyezési számok összegéből kivonjuk a kimeneti adatok szerinti helyezési számok összegét.

2. módszer: a középiskolákat a bemeneti, illetőleg a kimeneti adatok helyezési számainak összege szerint külön-külön sorba rendezzük (ily módon minden iskola kap két helyezési számot). E két helyezési szám különbségét képezzük.

3. módszer: a középiskolákat a bemeneti, illetőleg a kimeneti adatok helyezési számainak összege szerint külön-külön sorba rendezzük (ily módon minden iskola kap két helyezési számot). E két helyezési szám arányát százalékos formában képezzük.

4. módszer: mind a hat mutató esetében az iskolákat hét csoportba rendezzük, és minden iskola minden mutatóra nézve kap egy 1–7-ig terjedő számot, (mely a legjobb bemeneti illetve kimeneti mutatócsoportba tartozó iskolák esetében egyes, a leggyengébbek esetében a hetes lesz). A bemeneti, illetőleg a kimeneti adatokra jellemző (1–7-ig terjedő) számokat összeadjuk. Ezek az összegek három és huszonegy közötti számok lehetnek. Ezeknek az összegeknek a különbségét képezzük.

5. módszer: az iskolák mind a hat mutatóját átszámítjuk száz pontra. Az így átszámított bemeneti és kimeneti adatok iskolánkénti pontátlagainak különbségét képezzük.

6. módszer: az iskolák három kimeneti mutatójából faktoranalízissel egy kimeneti változót (faktort) készítünk, amely minden iskolára egyedi lesz. A bemeneti adatok és a kapott kimeneti faktor segítségével megbecsüljük az intézmények várható kimeneti értékeit, és becsült értékek illetve a valós kimeneti értékeket mutató kimeneti faktor különbségeit képezzük.

7. módszer: minden iskolatípusnak megállapítjuk a 2×3 mutató szerinti átlagát. Minden iskolára a bemeneti adatok alapján képezzük a kimeneti adatok elvárható értékét⁸. Megállapítjuk az egyes iskolák valós kimeneti adatainak és a becsült elvárható értékeinek a különbségeit. Az így nyert 3 kimeneti adat különbségeit összegezzük.

Megvizsgáltuk a hétféle módon számított hozzáadott érték összefüggéseit. Az egyes módszerek közötti korreláció a következőképpen alakult (a cellákban a korrelációs együtthatók láthatók).

A 2. táblázatból látható, hogy az 1–5. hozzáadott érték számítási módszer között az összefüggés minden iskolatípus esetében erős, a hatodik számítási módszer is meglehetősen szoros összefüggésben van ezzel a néggyel, különösen a gimnáziumok és a vegyes középiskolák esetében. A hetedik számítási módszer azonban minden iskolatípus esetében eltérést mutat a többitől, ezért eredményeit a továbbiakban nem vesszük figyelembe.

2. táblázat • Korrelációs együtthatók a hozzáadott érték különböző számítási módszerei között

	Iskolatípus	1. módszer	2. módszer	3. módszer	4. módszer	5. módszer	6. módszer
Ngimnázium = 172, Nszakközépiskola = 225, Nvegyes középiskola = 175
2. módszer	Gimnázium	0,98
2. módszer	Vegyes középiskola	0,99
2. módszer	Szakközépiskola	0,99
3. módszer	Gimnázium	0,63	0,58
3. módszer	Vegyes középiskola	0,69	0,66
3. módszer	Szakközépiskola	0,77	0,74
4. módszer	Gimnázium	0,98	0,96	0,62
4. módszer	Vegyes középiskola	0,76	0,77	0,51
4. módszer	Szakközépiskola	0,98	0,98	0,76
5. módszer	Gimnázium	0,93	0,87	0,63	0,90
5. módszer	Vegyes középiskola	0,95	0,93	0,72	0,71
5. módszer	Szakközépiskola	0,92	0,91	0,76	0,90
6. módszer	Gimnázium	0,78	0,71	0,63	0,76	0,85
6. módszer	Vegyes középiskola	0,80	0,78	0,66	0,83	0,86
6. módszer	Szakközépiskola	0,69	0,67	0,66	0,68	0,77
7. módszer	Gimnázium	0,45	0,33	0,53	0,44	0,53	0,67
7. módszer	Vegyes középiskola	0,41	0,36	0,47	0,41	0,57	0,71
7. módszer	Szakközépiskola	0,29	0,26	0,42	0,29	0,34	0,66

Az alkalmazott hat módszert tekintetbe véve kigyűjtöttük azokat az iskolákat, amelyekben kiemelkedően nagy az eltérés a bemeneti és a kimeneti adatok között, ezek száma a 3. táblázatban látható. Az iskolák 66-68%-a esetében a vizsgált bemeneti és kimeneti adatok között nem jelentős az eltérés, egy kisebb hányadukban viszont az.

3. táblázat • A kiemelkedően nagy eltéréseket mutató iskolák száma és aránya

Iskolatípus	A kimeneti adatok lényegesen nagyobbak a bemeneti adatoknál		A kimeneti adatok lényegesen kisebbek a bemeneti adatoknál
	Iskolák száma	Iskolák aránya (%)	Iskolák száma	Iskolák aránya (%)
Gimnázium	30	17,4	24	14,0
Szakközépiskola	38	16,9	39	17,3
Vegyes középiskola	27	15,4	31	17,7
Összesen	95	16,6	94	16,4

A továbbiakban azoknak az iskoláknak az összetételét vizsgáljuk településtípusok, iskolafenntartók és megyék szerint, amelyek jelentős eltérést mutatnak az átlagtól (4–6. táblázatok).

A jelentős hozzáadott értéket produkáló iskolák aránya az 5 000–10 000 lakosú kisvárosokban a legmagasabb. Ennek elsősorban az az oka, hogy ebbe a településtípusba magas arányban találhatóak vegyes középiskolák. A bemeneti adatok (a szülők munkanélküliségi aránya, iskolázottsága) itt kedvezőtlenebb, mint a nagyobb városokban, ugyanakkor az olyan iskolák, amelyek magasabb eredményességi mutatókat produkálnak, mint ami várható lenne a szociokulturális adatok alapján, nagyobb mértékben találhatóak ezeken a településeken. A magas hozzáadott értéket elérő iskolák aránya a települések nagyságának növekedésével csökken, és a fővárosban a legalacsonyabb (csak egyetlen iskola, a Piarista Gimnázium ért el kiemelkedően magas hozzáadott értéket).

Az alacsony hozzáadott értéket produkáló iskolák aránya Budapesten a legmagasabb (az iskolák több mint fele került ebbe a csoportba). Ennek az az oka, hogy a főváros szintjén átlagosan a legkedvezőbbek a bemeneti adatok (a szülők iskolázottsági mutatói magasabbak az átlagosnál, alacsony a munkanélküliségi arány), így ha egy iskola nem tud jó eredményességi mutatókat elérni, ebbe a csoportba kerül. Ez jellemzi a fővárosi szakközépiskolák egynegyedét. Előfordulásuk arányánál magasabb még az alacsony hozzáadott értékkel jellemezhető vegyes iskolák aránya az 50 000–100 000 lakosú városokban.

Érdekes a legkisebb (5 000 fő alatti) települések iskoláinak helyzete. Mindössze 13 iskola található ebben a kategóriában. Egy közöttük (a gyönki Nagy Lajos Gimnázium) magas hozzáadott értéket produkált, a többi átlagosat, alacsony hozzáadott értékű iskola nincs ebben a csoportban.

Az adatok tanúsága szerint a magas hozzáadott értéket produkáló iskolák aránya Bács-Kiskun (36 iskolából 15; a középiskolák 42%-a), Szabolcs-Szatmár-Bereg (32 iskolából 13; 41%) és Tolna (19 iskolából 7; 37%) megyékben a legnagyobb.

Az alacsony hozzáadott értéket produkáló iskolák aránya a fővároson kívül Nógrád, Pest és Fejér megyékben a legmagasabb.

A magas hozzáadott értéket produkáló iskolák aránya az egyházak, felekezetek iskoláiban, a legnagyobb, a csoport 44 iskolájából 10 ért el ilyen eredményt. Jó még a helyzet a települési önkormányzatok iskoláiban, ahol 364 iskolából 65 (18%) került ebbe a csoportba. Az alapítványok iskoláiból csak hét iskolát vizsgálhattunk, így ezek eredményei nem tekinthetőek csoportjukra statisztikailag jellemzőnek.

Az alacsony hozzáadott értéket produkáló iskolák aránya a megyei önkormányzatok iskoláiban a legmagasabb, a 143 intézményből 42 (29,4%) került ebbe a csoportba, többségük szakközépiskola. Az alapítványi és az egyéb fenntartók által működtetett iskolák esetében azok kis száma miatt nem jellemzőek az adatok.

A kutatás jelenlegi szakaszában elkezdtük annak vizsgálatát is, hogy melyek lehetnek azok a tényezők, amelyek hatására az iskolák egy kisebb része lényegesen jobb, míg egy másik hasonló arányú része lényegesen gyengébb eredményességi mutatókat hoz létre tanulóinak szociokulturális és korábbi tanulmányi mutatóihoz képest, mint az iskolák többsége.

E vizsgálat során az iskolák egyes mutatóit (méret, anyagi ellátottság, felszereltség, a tantestület összetétele, a tantervek és a tanítási módszerek stb.), illetve az iskolák településének különböző jellemzőit (jövedelemtermelő-képesség, méret, földrajzi elhelyezkedés stb.) vettettük össze az eredményességi mutatókkal, hogy feltárhassuk az eltérések okait. Ideális az lenne, ha minél több olyan adat, illetve adatbázis állna rendelkezésre, amely szóba jön a lehetséges tényezők hatásának kimutatására. Nehézséget jelent azonban, hogy igen szűkös ezek köre, különösen az olyanoké, amelyek valamennyi iskoláról rendelkezésre áll. Kutatásunk forrásként az OM évenkénti statisztikai adatbázisát használtuk.

Eddigi ilyen irányú vizsgálataink nem hoztak markáns és megbízható eredményeket. Nem mutatkozott értékelhető összefüggés a kiemelkedően magas, illetőleg alacsony hozzáadott értéket produkáló középiskolák és a tanuló/pedagógus arány, a pedagógusok összetétele, az iskolák teremellátottsága, a pedagógusok vagy a diákok nemenkénti összetétele, a számítástechnikai ellátottság, az iskolai könyvtár felszereltsége és a könyveket kölcsönzők aránya között. Ezt a kérdést a kutatás következő szakaszában fogjuk tovább vizsgálni.

Az OKI Kutatási Központja 2004–2005-ben 1000 iskolában kérdőíves felmérést és interjúkat folytat az eredményes vezetés, az eredményes tanítás, a pozitív iskolai kultúra, a diákok felelősségeinek, jogainak és beiskolázásnak körülményeit illetően. A hozzáadott érték okainak kutatására jó alkalom kínálkozik ezen a vizsgálat a keretében. Lehetőség nyílt arra, hogy valamennyi magas, illetve alacsony hozzáadott értékű iskolát is bevonjuk ebbe a felmérési folyamatba, hogy közelebb kerülhessünk az extrém értékek okainak feltárásához. Így a kiválasztott minta felmérésével párhuzamosan, azzal azonos módon és időben a 189 különleges hozzáadott értékkel rendelkező iskola felmérése – külön szervezési, kérdőívek előállítási költsége nélkül – vihető véghez. Ez alkalmat ad az eltérések okainak közvetlen vizsgálatára, azaz a két kutatás összekapcsolása lehetőséget nyújt a magas, illetve alacsony hozzáadott értéket mutató iskolák különböző szempontok szerinti összehasonlítására a sokasági mintával. Erre törekszünk a következőkben.

A hozzáadott érték az intézményekben

Az előadás következő részében a hozzáadott érték vizsgálatára irányuló kutatás néhány konkrét eredményéről számolunk be.

Az iskolánkénti hozzáadott érték az említett 172 gimnáziumra, 225 szakközépiskolára és 175 vegyes középiskolára az 1999-2003. évi eredményességi adatokra és a 2000-2003. években lefolytatott 9. osztályos felmérésekre az előzőekben említett 6 módszer szerint számítva megtekinthető és letölthető a honlapról⁹ (ennek 7. mellékletét képezi).

Az előadás 1. melléklete ebből az anyagból kivonatolja a legnagyobb hozzáadott értéket mutató 30 gimnázium, 38 szakközépiskola és 27 vegyes középiskola listáját.

Az iskolacsoportok esetében (településtípusok, megyék, nagyvárosok, iskolafenntartók, gimnáziumtípusok) az előzőekben ismertetett ötödik módszer szerint számítottuk a hozzáadott értéket. Minden esetben a csoport egyes elemeinek három bemeneti és három kimeneti mutatóját képeztük, ezeket átszámoltuk 100 pontra, és vizsgáltuk a kimeneti és a bemeneti adatok különbségét.

Területi szintű adatok

A 7. táblázat az iskolák átlagos hozzáadott értékét mutatja a településtípusok szerint. Ebből látható, hogy a hozzáadott érték a százezer lakos feletti városok iskoláiban a legnagyobb, a kistelepülések iskolái esetében pedig a legkisebb. Utóbbiaknál a bemeneti adatok értéke (általános iskolai osztályzatok átlaga, szülők iskolázottsága, munkával való ellátottság) ugyan alacsonyabb, mint a városokban, de a kimeneti adatok (felvételi arány, felvételi írásbelik átlaga és főleg a nyelvvizsgaarány) értéke is lényegesen alacsonyabb.

A táblázat arról ad képet, hogy az általunk figyelembe vett eredményességi mutatókkal számolva az átlagos hozzáadott érték Győr-Moson-Sopron, Vas, Zala és Tolna megye iskoláiban a legmagasabb, viszont Nógrád, Somogy, Fejér és Borsod-Abaúj-Zemplén megyék iskoláiban a legalacsonyabb, itt az átlagos hozzáadott érték negatív.

Ebben a vizsgálati dimenzióban, szintén az általunk figyelembe vett eredményességi mutatókkal számolva Érd, Győr, Zalaegerszeg, Kecskemét és Nyíregyháza iskoláiban a legnagyobb az átlagos hozzáadott érték, viszont Salgótarján, Kaposvár, Dunaújváros, Szolnok, Tatabánya és Miskolc iskoláiban az átlagos hozzáadott érték negatív.

Hozzáadott érték az iskolafenntartók szerint és a gimnázium egyes típusaiban

Tekintettel az előadás terjedelmi korlátaira, a kutatásnak e két elemzési szempont szerinti eredményeit csak a táblázatok közlésével és egy-egy mondat erejéig van mód bemutatni.

A központi költségvetési szervek, az egyházak, felekezetek és az alapítványok iskoláiban nagy a hozzáadott érték, viszont a megyei önkormányzatok és az egyéb fenntartók (magánszemélyek) iskoláiban az átlagos hozzáadott érték negatív.

A hozzáadott érték mértéke a gimnázium-típusok szerint rámutat ennek az iskolatípusnak a heterogenitására.

A nyolc évfolyamos, a hat évfolyamos, a négy és hat évfolyamos, illetve a négy és nyolc évfolyamos tantervű gimnáziumok esetében magas a hozzáadott érték, viszont a hat évfolyamos és a négy évfolyamos tantervű vegyes középiskolákban a hozzáadott érték negatív.

 

1. melléklet • A legnagyobb hozzáadott értéket eltérő középiskolák

E táblázatban csak azok az iskolák szerepelnek, amelyek legalább 3 évben részt vettek a 9. osztályosok felmérésében, és amelyeknek három eredményességi mutatója számítható.

Az iskolák a hatféle sorrendszámítási módszer helyezései összegének megfelelően következnek egymás után.

Horn Dániel raportőri jelentése

A műhely különlegessége, hogy három, a gyakorlatban is alkalmazott módszert mutatott be, amely eltérő utakon haladt, de tulajdonképpen azonos konklúziókra jutott.

Imre Anna az OECD indikátorait, pontosabban a számos OECD-indikátor egymáshoz való kapcsolatát, felépítésük struktúráját, illetve felhasználásuk módjait ismertette. Az előadás egy olyan mátrixot mutatott be, amely az egyes oktatási szintek mellé az elszámoltathatóság, a fejlesztés és az akkreditáció címszavak alá sorolta be a kifejlesztett mutatókat, amelyeket használatuk szerint bemeneti, folyamat vagy kimeneti kategóriákba sorolt. Négy, a gyakorlatban is alkalmazott példával illusztrálta az előadás végén az elmondottakat. Az a téma, amivel a következő két előadás foglalkozott – az iskolai hozzáadott érték mérése – az OECD mátrixában az intézményi szintű, elszámoltathatóságot elősegítő kimeneti mutatónak felelne meg.

Neuwirth Gábor és Balázsi Ildikó előadása a magyarországi országos intézményi eredményességmérés két új módszerrét mutatta be. Fontos – és későbbiekben a hozzászólások között is kiemelt – jellemzője volt az előadásoknak, hogy mindkettő az eredményesség méltányos – azaz az iskolák külső tényezőit is figyelembe vevő – értelmezésén alapult. Mindkét előadás a korrigálatlan kimeneti mutatók (mint amilyenek a teljesítménymérések vagy a felvételi eredmények) helyett, ezek családi, szociális háttérváltozóktól megtisztított változatát taglalta.

Neuwirth Gábor az OKI gondozásában évek óta megjelentetett középiskolai eredményességi mutatók kutatásának egy újabb állomásáról szólt. Így a családi, szociokulturális adatokat is figyelembe vevő hozzáadott érték mutató számításának módszerét és e vizsgálatok eddigi eredményeit mutatta be. Az OKI Kutatási Központja az eddig felhasznált eredményességi (felvételi, írásbeli és nyelvvizsga) adatok mellett immár negyedik éve gyűjti a középiskolába lépő 9. évfolyamos tanulók szociokulturális és korábbi tanulmányaikról szóló adatait is. Ezek az adatok a diákok szüleinek iskolázottsága, munkanélküliségi helyzetük, illetve a tanulók 8. osztályban szerzett osztályzatainak átlaga. A hozzáadott érték ennek alapján – Neuwirth értelmezése szerint – az intézményi (kimeneti) eredményességi mutatók és a (bemeneti) szociokulturális háttérmutatók különbsége. Neuwirth az iskolák eredményességének mérésekor a felvételi és írásbeli eredmények mellett a tanulók családi háttérváltozóit is figyelembe veszi – ezeket hét különböző módon hasonlítja össze –, amely mindenképpen méltányosabb, mint
az eddigi csupán kimeneti adatokat felhasználó eredményességi mutatók. Előadása végén Neuwirth Gábor bemutatott néhány – megyei és fenntartói szintű – konkrét eredményt, majd kiemelte, hogy a kutatás talán legérdekesebb része, amely az egyes iskolák közötti eltérések okaira keresi a választ, nagyobbrészt még ezután következik.

A Sulinova Kht. Értékelési Központjának (ÉK) képviseletében Balázsi Ildikó az országos kompetenciatesztek felhasználásával készült hozott érték index (HÉI) és hozzáadott pedagógiai érték számításának (HPÉ) egy kifinomult módszerét mutatta be. Eszerint az iskola teljesítményén a kompetenciateszteken – olvasási kézség, illetve matematika területén – elért tanulói teljesítményeket értik, és ezt vetik össze a hozott érték indexszel. A hozott érték index – azaz a szociokulturális, családi hátteret tükröző index – számításához négy mutatót vesznek figyelembe: a szülők iskolai végzettségét, a gyerekek otthonában található könyvek számát, az otthonukban megtalálható, tanulást elősegítő eszközök számát és anyagi javak mértékét (például számítógép, autó), illetve az Internet-hozzáférést. Ezek az adatok a központ által lekérdezett egyéni szintű kérdőíveken szerepelnek. A HÉI-t többváltozós lineáris regresszióval és faktorelemzéssel képezik, majd ezek után a könnyebb értelmezhetőség kedvéért 0 átlagúra és 1 szórásúra normálják. Hozzáadott pedagógiai értéknek az iskola hozott érték indexe átlaga alapján várt és becsült teljesítménye közötti különbséget tekintik – a becsléshez egyszerű lineáris és hierarchikus lineáris regressziót használnak – és minden iskolára külön-külön HPÉ-t számolnak, amelyet a mérések végeztével minden iskola meg is kap.

E kutatás alapján országos átlagban elmondható, hogy az iskolai átlagos hozott érték indexek jobban befolyásolják az iskolák eredményességét, mint az egyéni indexek. Azaz – hasonlóan az OECD PISA-vizsgálat eredményeihez – az iskolák közötti szelekció nagyobb, mint az iskolán belüli.

Az előadások után kialakult beszélgetésben a résztvevők közül többen az eredmények hasznosságát hangsúlyozták. A hozzászólások nagyobb része – az előadások stílusából fakadóan – tisztázó jellegű volt, néhányan pedig az eredmények értelmezéséhez kértek több segítséget. Ez különösen fontosnak tűnhet annak tükrében, hogy a jelenlévők nagy része feltehetőleg már előzetes tudással rendelkezett a kompetenciamérésekkel kapcsolatban. Számos hozzászóló megköszönte a kutatók eddigi munkáját, és hangsúlyozta, nagyon örül annak, hogy az eddig csak kérdőívek és lekérdezések formájában látott erőfeszítéseknek már az eredményeiről is értesül. A résztvevők azt is megkérdezték, van-e garancia arra, hogy ezek a felmérések rendszeresek lesznek. Az OM vitában jelenlevő képviselője hangsúlyozta, hogy ez számukra is fontos, s bár a mostani gazdasági körülmények között garanciát az éves felmérésekre nem adhat, jövőre várható újabb kompetenciamérés a Nemzeti Fejlesztési Terv keretein belül.

A kutatók számára legérdekesebb hozzászólások – természetesen – azok voltak, amelyek az eddigi eredmények felhasználásairól szóltak. Egy iskola képviselője elmesélte, hogy kifejezetten azért jött erre a vitafórumra, hogy a jövőben felhasználja a kompetenciamérések tapasztalatait, egy másik ezzel szemben már saját hozzáadott érték mérésről beszélt. A hozzászólók szerint valójában arra lenne igény, hogy egy olyan központi szolgáltató központot alakítsanak ki, amely az adatok elemzésével segítheti az iskolák fejlesztését. Szükség lenne országos elemzésekre is, amelyek nem az egyes iskolák, hanem az oktatás egészének eredményességét vizsgálnák. Az Értékelési Központ talán már az idén megjelentet egy ilyen jellegű tanulmányt.

A további kérdések és hozzászólások között felmerült bizonyos háttértényezők, úgymint a tanulásra fordított idő vagy a fizetett különórák figyelembevételének hiánya is. A kutatók kiemelték, hogy a kérdőívek a nemzetközi – PISA, PIRLS, TIMMS – tapasztalatok figyelembevételével készültek, de megfontolják a kérdéseket, hiszen az a közös cél, hogy a lehető legjobban sikerüljön megragadni az összes, az iskola által nem befolyásolható, ám a gyermekek tudását befolyásoló hatást.

Összességében elmondható, hogy az előadások és a vita hozzásegítették a hallgatóságot, hogy az eddig esetleg feleslegesnek tűnő, vagy érthetetlen iskolai mérések mögött meglássák az oktatáspolitika vagy akár az egyes iskolák fejlődése szempontjából fontos célokat.

Az előadások tartalmához – közvetlenül a Balázsi Ildikó által bemutatott kompetenciamérésekhez – szorosan kapcsolódott a másnapi műhely témája: a kompetenciamérések felhasználása intézményi, tanulói fejlesztésre. Három teljesen különböző iskola mutatta be az érdeklődőknek, hogyan lehet feldolgozni, és milyen következtetéseket lehet levonni az Értékelési Központ iskoláknak kiküldött anyagából, illetve milyen további hasznos tapasztalatokat lehet nyerni a kompetenciamérések helyi elemzéséből.

A három iskola – a polgári Vásárhelyi Pál Általános Iskola, Szakiskola és Gimnázium, a nyíregyházi Apáczai Csere János Gyakorlóiskola és a győrsövényházi Általános Iskola – a magyar oktatási rendszer három különböző szegletének képviseletében érkezett. A polgári iskola egy óriás méretű (1465 tanulószámú), 12 évfolyamos, többfunkciós és meglehetősen heterogén családi hátterű gyermekeket oktató intézmény. A nyíregyházi iskola – szemben a másik kettővel – nem önkormányzati fenntartású, hanem egy felsőoktatási intézmény, a nyíregyházi főiskola alá tartozik, méretét tekintve feleakkora, mint a polgári (itt 794 tanuló tanul), de a diákok szociális háttere kevésbé heterogén, a szülők többsége érettségizett, illetve diplomás. A harmadik általános iskola kifejezetten kicsi, évfolyamonként 9-10 tanulót oktat, a tanári gárda is csupán 10 fős, és évek óta, csakúgy, mint a hasonló kisiskolák legtöbbjét, a bezárás veszélye fenyegeti.

A három iskola az országos kompetenciamérésen elért eredményei tekintetében sem hasonlít egymásra. A polgári intézmény jelentősen az átlag alatt, a nyíregyházi valamivel az elvárható eredmény felett, míg a győrsövényházi iskola jelentősen az elvárható eredmény felett teljesített. A számos eltérés ellenére van néhány, semmiképpen sem elhanyagolandó közös jellemzője a szakmai műhelyen szereplő iskoláknak. Legfőképpen az, hogy mindhárom intézmény különös hangsúlyt fektet az objektív, az iskolán kívülről jövő mérésekre; hogy van a mérésekkel foglalkozó kijelölt munkatárs vagy csoport, amely minden, a felmérést megíró diák esetében elemzi az adatokat, és nem csupán az Értékelési Központ által visszaküldött eredményekre támaszkodik. Az iskolák közül kettő már az országos kompetenciamérések előtt is használt hasonló teszteket a tanulók értékelésére, és mindhárom kiemelt figyelmet fordít ezen tesztek, illetve a kompetenciateszt eredményeinek felhasználására, továbbá ezek kommunikálására a tantestület, a diákok, illetve a szülők felé.

A műhelybeli bemutatkozások a kompetenciamérések intézményi alkalmazásának számos hasznosítható példájával szolgáltak. A polgári Vásárhelyi iskola a 2002/2003-as országos kompetenciaméréseken nem teljesített nagyon jól. Tanulói átlagosan jóval az országos átlag alatt maradtak mind matematikából, mind olvasásból. Ahhoz, hogy ne csupán az Értékelési Központ által visszaküldött, intézményi átlagra vonatkozó megállapításokat ismerjék meg, az iskola külön-külön, osztályokra lebontva dolgozza fel az egyes feladatokon, feladatcsoportokon elért teljesítményt. Összehasonlítva saját eredményeiket az országos átlaggal már meg tudják állapítani, hogy az adott osztály az adott feladatcsoportban jól vagy rosszul teljesített. Ahol a lemaradásuk több mint 10%, az adott szaktárgy érintett tanárai – illetve a szakmai munkaközösség – összeül és kidolgozzák, hogyan is lehetne javulást elérni. Fontos értéknek tartják, hogy a tesztekből eredő következtetéseket, illetve magukat a teszteket ne csak a matematika vagy a magyar szaktanárok, hanem az egész tantestület megismerje, hiszen – mint vallják – a tanulók jó vagy rossz teljesítménye a méréseken az egész tantestület eredményét, illetve eredménytelenségét tükrözi.

Ettől az évtől már szervezetfejlesztési következményei is lettek a kompetenciamérés elemzésének. Az eddigi kiscsoportos és külön órarenddel működő fejlesztő osztályokat 5. évfolyamon összevonták más osztályokkal, így alakítván ki a társadalmi és családi hátterüket tekintve sokkal heterogénebb csoportokat. Az indok: a kompetenciatesztek osztályszintű bontásánál jól látható, hogy a legnagyobb a különbség a fejlesztő és a többi osztály között érzékelhető, és ez a különbség nagyobb, mint az első évfolyamon volt.¹⁰ Hasonló logika alapján nagyobb átjárhatóságot biztosítanak a szakiskola 9. évfolyamán az osztályok között; ezentúl, ha egy tanulóról idejekorán kiderül, hogy nem megfelelő osztályba jelentkezett, nem feltétlenül azon a szakon kell végeznie, amelyen indult, könnyen átmehet egy másik csoportba, hiszen a kerettantervek alapján az iskola harmonizálta az osztályok tanrendjét. Az iskola a kompetenciatesztek eredményeire támaszkodva alakította át tanrendjét és az iskola belső struktúráját is. A külső, objektívnek mondható mutatók hatására – elmondásuk szerint – rádöbbentek, hogy a különböző szociális hátterű csoportok elkülönítő oktatása nem eredményes, így immár egy másik, integrációra épülő stratégiát folytatnak.

Ahhoz, hogy mindezen változtatások ne pusztán a levegőben lógjanak, a kompetenciaméréseknek nem csupán tanrendi és szervezetfejlesztési, hanem humánerőforrás-fejlesztési következményei is lettek. A tantestület célul tűzte ki, hogy megismeri a jelenleg elérhető integrációs és képességfejlesztő programokat, illetve kidolgoz egy részletes integrációs stratégiát a hátrányos helyzetű gyerekek részére. Még az idén tervbe vettek egy toleranciatréninget a tantestület részére, illetve hosszabb távon más hasonló (pl. szocioemocionális) tréningeken is szeretnének részt venni.

A polgári, nagymértékben hátrányos helyzetű gyerekeket oktató iskolával szemben gyökeresen más típusú célokra használta fel a kompetenciamérések eredményeit a nyíregyházi Apáczai iskola. Fontos hangsúlyozni, hogy itt sem az anyagiak, sem pedig a gyermekek szociális háttere nem jelentett akkora gondot, mint ott. Az iskola – bár a szociális háttérváltozókat tekintve igen kedvező helyzetű – pozitív hozzáadott értéket tudott elérni, azaz jobban teljesített, mint ahogyan a hasonlóan jó szociális hátterű iskolák átlagosan teljesítenek Magyarországon. Az intézmény jól ismeri az országos kompetenciaméréshez hasonló objektív teszteket. Évek óta rendszeresen felkérnek külső szakértőket, hogy különböző méréseket végezzenek az iskolában; a szövegértés és matematika tesztek mellett használnak logikai és neveltségi eredményvizsgálatokat is. Mindezek mellett van az iskolának külön erre a célra alkalmazott mérési munkatársa is, aki a tanári gárdával együttműködve alakította ki az iskola belső mérési-értékelési rendszerét. A hagyományos, rendszeres tanári értékelés (osztályozás) mellett néha különböző, a tantárgyakhoz közvetlenül nem kapcsolódó teszteket is írnak a tanulók. Ahhoz, hogy a tanárok minél inkább a gyermekek igényeihez igazodjanak, megpróbálták meghatározni a tanulók tanulási képességeit, orientációját és stílusát.

A nyíregyházi intézmény számára az országos kompetenciamérés – bátran kijelenthetjük – nem jelentett akkora segítséget, mint a polgári iskola számára, de itt is fontos viszonyítási pontként szolgált. Mindaddig, amíg egy intézmény csupán saját magát – akár külső, akár belső szakértők segítségével – tudja értékelni, nem képes felmérni, hogy valójában mit is ért el a többi iskolához viszonyítva. Az Apáczainak tehát nem a belső tanterv és a szervezetfejlesztés miatt volt szüksége a kompetenciamérésekre, hanem azért, hogy igazolhassák maguknak, mennyire jó (avagy rossz) az, amit az elmúlt években csináltak. Természetesen itt is kitértek a kompetenciamérések bővebb elemzésére. Minden tanuló adatát feldolgozták, így vették észre, hogy volt olyan feladat vagy feladatcsoport, amelyben jóval az elvárható alatt teljesített egy-egy osztály vagy akár mindegyik. Ám ilyen szempontból ez a teszt nem volt használhatóbb, mint a számukra már megszokott, külső mérések.

A harmadik bemutatót a győrújsövényházi általános iskola igazgatója tartotta. Az intézmény történetéhez hozzátartozik, hogy az ott tanító tanárok igen szigorúan osztályoznak; így a község lakói előszeretettel vitték át gyermekeiket a szomszédos települések általános iskoláiba, főleg a felsőbb évfolyamokon, hiszen – érthető indokokból, a magyar középfokú felvételi rendszer tökéletlensége miatt – jobb jegyekkel könnyebben bekerülhettek egyik vagy másik győri középiskolába. Az országos kompetenciamérések eredményeinek megjelenése után – amikor kiderült, hogy az iskola tanulói jóval az elvárható teljesítmény felett teljesítettek, és ez elterjedt a faluban – néhány szülő mégis meggondolta magát, és visszahozta gyermekét Győrújsövényházára, az általános iskolába.

Az iskola, bár nagyon kicsiny, évek óta minden tanévben felkér egy külső értékelési szakértőt, hogy végezzen teljesítményméréseket az iskolában. Az igazgató véleménye szerint a belső és a külső értékelésnek nagyjából meg kell egyeznie; csak így biztosítható, hogy az iskola ne süllyedjen bele a saját kis világába, hanem megfeleljen a környezete elvárásainak. Éppen ezért az igazgató rendszeresen összeveti a külső mérések eredményeit a tanárok értékelésével, és ha ezek nagymértékben eltérnek, leülnek megbeszélni a tantestülettel, mi lehet ennek az oka. Mindezek mellett 1998 óta 4., 6. és 8. évfolyamon kialakítottak egy belső vizsgát is, amelynek célja a tanulók felkészítése a hasonló szituációkra (elég, ha csak a középiskolás felvételire gondolunk).

Az igazgató szerint a kompetenciateszteken elért jó eredményeiknek két fő oka van. A legfontosabb a külső mérőeszközök rendszeres használata, azaz hogy a tanárok nem csupán egymáshoz, hanem más, külső viszonyítási ponthoz is hasonlítani tudják a tanulókat, és hogy e szerint tudják megtanítani az anyagot. A másik lényeges tényező, hogy a tanulók rendszeresen vizsgáznak, így nem szokatlan számukra a szituáció, képesek elvonatkoztatni a környezettől (idegen ember vizsgáztat) és csak a feladatra koncentrálni.

Természetesen mindhárom példát lehetne kritikai attitűddel is értékelni. Könnyen lehetne mondani, hogy a polgári iskola nem a tesztek hatására, hanem az integrációs fejkvóta bevezetésére hozott olyan döntést, hogy vegyíti az eddig homogén osztályokat; hogy a nyíregyházi iskola számára tulajdonképpen nem is volt szükség kompetenciamérésre, vagy hogy a győrújsövényházi kisiskola csupán a tesztre tanít, és nem tudjuk, más fontos értékekben (gyermekközpontúság, jó légkör… stb.) milyen is valójában, ráadásul feltehetőleg a rosszabb tanulókat vitték át más iskolákba, így az eredmények a jobb tanulókat dicsérik. Ezek a kritikák akár igazak is lehetnek, de tulajdonképpen nem is ez a lényeg. Hiszen adott egy iskola, amely mindegy, hogy milyen okból, de felülbírálta eddigi gyakorlatát, és integrált oktatásba kezdett, sőt átképzéssel, szervezeti fejlesztésekkel ezt a gyakorlatot jól szeretné végrehajtani. Adott egy másik „elit” iskola, amelyik nem a babérjain ül, hanem szeretné önmagát mások szemszögéből látni, és ahol lehet, még jobbnak lenni. Végül adott egy kisiskola, amely mindent megtesz azért, hogy az elvárható minimális tudást (szövegértés, matematika) a lehető legjobban átadja diákjainak, és ezt ne csupán a saját mércéi szerint, hanem országos léptékben mérve is jól tegye. Az ilyen iskolákat pedig csak dicsérni lehet.