Kris Verbeeck (KPC Groep) en Liesbeth Baartman (TU Eindhoven) Waarom samenhangend toetsbeleid?

Transcriptie

1 Opbrengstgericht werken: samenhangend beleid bij toetsen en volgen van de ontwikkeling van leerlingen in het basisonderwijs en het voortgezet onderwijs Kris Verbeeck (KPC Groep) en Liesbeth Baartman (TU Eindhoven) Waarom samenhangend toetsbeleid? Vanuit het overheidproject leeropbrengsten van innovatieve scholen in het po en het vo werd de vraag gesteld hoe innovatieve scholen hun leeropbrengsten in kaart brengen. Onderzoek bij de scholen wees uit dat de meeste scholen de bekende toetsen afnamen vooral omdat de inspectie daar naar vroeg. De scholen vinden echter dat deze toetsen onvoldoende aansluiten bij de aard van hun onderwijs en bij het tijdstip waarop de leerlingen de getoetste onderdelen leren. Innovatieve scholen sluiten immers meer aan bij de eigen ontwikkeling van kinderen en geven kinderen meer tijd om iets te leren als ze daar behoefte aan hebben. Bovendien geven de scholen aan dat de kinderen veel meer leren dan alleen de getoetste items van bijvoorbeeld cito-lovs. Zo staat bij innovatieve scholen het ontwikkelen van een positief zelfbeeld, zelfstandigheid, zelfregulering hoog in het vaandel. Ook het op zoek gaan naar antwoorden op eigen vragen, leren door te doen, leren door op uitstap te gaan, samenwerken zien deze scholen als echte opbrengsten van hun ander onderwijs. Maar deze opbrengsten brengen ze te weinig in beeld of als ze die opbrengsten in beeld brengen, voldoen ze niet aan de criteria als valide en betrouwbaar. Scholen hebben immers hun eigen invulling vorm gegeven bijvoorbeeld voor de inhoud van een portfolio, de vragen tijdens een ontwikkelgesprek etc. De scholen geven aan geen behoefte te hebben aan vaste afspraken voor hoe een portfolio in alle scholen er dan moet uitzien aangezien ze willen inzoomen op de behoeften van hun leerlingen. Om de kwaliteit van de gehanteerde instrumenten in beeld te brengen is het PTO (programma van toetsing en ontwikkeling) ontwikkeld door KPC Groep in nauwe samenwerking met dr. Liesbeth Baartman (TU Eindhoven). Een instrument voor po en vo: PTO We wilden het toetsbeleid via een valide en betrouwbaar instrument in beeld brengen. Onder toetsbeleid verstaan we het geheel aan instrumenten zoals toetsen, portfolio s, spiegelbladen en anderen waarmee scholen de ontwikkeling van de leerlingen in beeld brengen. Dr. Liesbeth Baartman had eerder een dergelijk instrument ontwikkeld voor het mbo om dit in kaart te brengen. Dat valide en betrouwbaar instrument leek ons te vertalen naar het primair en het voortgezet onderwijs. We hebben de betreffende vragen van het instrument aangepast naar de onderwijssectoren (po en vo) steeds in nauw overleg met de maker van het mbo-instrument zodat we er zeker van zijn dat de aard van de vraagstelling vergelijkbaar bleef. Dat instrument is gebaseerd op 12 kwaliteitscriteria die wetenschappelijk onderzocht zijn. Deze criteria zorgen voor een onderbouwd toetsbeleid.

2 Onderwijsgevolgen Eerlijkheid Authen ticiteit Verge lijkba arhei d Herha albaar heid Zelfstu ring Doel Acceptatie Transparantie Cognitieve complexiteit Betekenis Tijd & Kosten Ter illustratie lichten we enkele criteria toe: geschiktheid voor onderwijsdoelen, vergelijkbaarheid, herhaalbaarheid, acceptatie. Geschiktheid voor onderwijsdoelen heeft te maken met de afstemming tussen doelen van het PTO en de doelen van het onderwijs. Het PTO moet gebaseerd zijn op datgene dat de leerlingen zich in het onderwijs eigen moeten maken. Ook moeten de gebruikte assessmentmethoden qua vorm passen bij de doelen van het onderwijs. Er zal dus niet alleen kennis worden getoetst als persoonlijke ontwikkeling ook een doel is. Vergelijkbaarheid houdt in, dat het toetsen en het volgen van de ontwikkeling op een consistente wijze moet worden uitgevoerd. De opdrachten die leerlingen uitvoeren, de beoordelingsprocedure en de beoordelingscriteria moeten voldoende vergelijkbaar zijn voor alle leerlingen. De taken moeten dan minimaal bepaalde kenmerken bevatten en van een vooraf bepaald niveau zijn. Herhaalbaarheid van beslissingen houdt in dat voor de eindbeoordeling verschillende bronnen worden gecombineerd om zo tot een betrouwbare beslissing te komen. Zo kunnen meerdere beoordelaars worden ingezet die allemaal hun visie geven op wat een leerling kan. Deze beoordelaars kunnen een verschillende achtergrond hebben. Denk aan het inzetten van medeleerlingen als beoordelaars. Deze beoordelaars kijken vanuit een ander perspectief naar de leerling, waarna ze in onderling overleg tot een beslissing komen over de ontwikkelde competenties. Door meerdere keren te beoordelen, bij voorkeur in verschillende situaties, en meerdere beoordelaars in te zetten, kan een beslissing worden genomen zonder dat complete vergelijkbaarheid of standaardisatie nodig is. Acceptatie betekent dat alle betrokkenen bij een PTO zich kunnen vinden in de taken of opdrachten, de criteria en de uitvoering ervan. In de bijlage vindt u een overzicht van alle twaalf kwaliteitscriteria. Gebruik van het instrument

3 Voor het invullen van het instrument vindt er eerst een presentatie plaats over het waarom en het hoe van het invullen van het instrument. Het is belangrijk dat er eerst in gesprek wordt gegaan over hoe de school de leeropbrengsten momenteel in kaart brengt. Dat doen we onder andere aan de hand van het leeropbrengstenmodel (zie bijlage 2). Zo wordt bepaald welke toetsen en manieren van ontwikkeling volgen de school meeneemt bij het invullen van het instrument. Het instrument wordt vervolgens ingevuld door de directie, intern begeleider, een aantal leerkrachten, een aantal leerlingen en een aantal ouders. Elk criterium kent een aantal vragen. Hier ziet u een schermafdruk uit het instrument voor het criterium onderwijsdoelen. De invullers van het instrument krijgen uitspraken als: alle kerndoelen / eindtermen worden beoordeel of er vindt monitoring van de persoonlijke ontwikkeling plaats. Met een schuifje van kunnen ze aangeven in welke mate dit bij hen van toepassing is. Verder vullen ze in of dat volgens hen voldoende is of niet. Daarnaast geven ze met voorbeelden bewijs aan voor deze uitspraak zodat duidelijk wordt dat het geen mening is, maar dat het ook ergens te zien of terug te vinden is op school. Na het invullen van het instrument worden de gegevens verwerkt en krijgt de school een uitdraai van alle ingevulde gegevens. Opvallende gegevens worden samen besproken en samen geduid. Scholen maken mee de betekenis van de ingevulde gegevens, lichten eventuele verschillen toe, geven aan of ze herkenbaar zijn en denken na over wat dit betekent voor hun toetsbeleid. Bovendien krijgen scholen een lijst met aanbevelingen voor het verbeteren van hun toetsbeleid. Zo kan duidelijk worden dat er instrumenten worden gebruikt die niet aan de gestelde criteria voldoen. Voor veel scholen is de relatie tussen het doel, de gehanteerde toets, de mensen die van dit doel op de hoogte moeten zijn, niet altijd even duidelijk. Willen scholen opbrengstgericht werken zullen de doelen voor alle leerkrachten helder moeten zijn alsook de manier waarop de doelen worden gevolgd, maar ook voor de leerlingen en ouders dienen de doelen helder te zijn. De manier waarop de doelen getoetst worden dient ook conform te zijn met de manier waarop de doelen aangeboden worden.

4 Wat kunnen scholen ermee? Innovatieve scholen die de kwaliteit van hun manier van toetsen en het volgen van ontwikkeling in beeld willen brengen, kunnen dat aan de hand van dit instrument. Door de uitkomsten samen te bespreken krijgen ze meer zicht op de sterktes en zwaktes in hun toetsbeleid. Zo kunnen scholen tot de conclusie komen dat ze een aantal instrumenten gebruiken waar de criteria onvoldoende worden gehanteerd. Het is dan aan de school om hiermee aan de slag te gaan. Als leerkrachten nu gesprekken voeren met kinderen, kunnen ze de vragen die ze in die gesprekken stellen samen afstemmen zodat het op een gemeenschappelijke manier plaats vindt. Bovendien kunnen ze afspraken maken hoe ze die gesprekken voeren en wat ze met de gegevens uit die gesprekken doen. Kortom: duidelijker onderbouwd werken helpt om de kwaliteit te verbeteren. Meer informatie? Verder lezen? Verbeeck, K., Timmermans, R. & van der Hoeven, J. (2010): Passen en meten: over het zichtbaar maken van leeropbrengsten in innovatieve scholen. Bijlage 1: Twaalf kwaliteitscriteria Naar: dr. L. Baartman 1 Geschiktheid voor onderwijsdoelen heeft te maken met de afstemming tussen doelen van het PTO en de doelen van het onderwijs. Het PTO moet gebaseerd zijn op datgene dat de leerlingen zich in het onderwijs eigen moeten maken. Ook moeten de gebruikte assessmentmethoden qua vorm passen bij de doelen van het onderwijs. Er zal dus niet alleen kennis worden getoetst als persoonlijke ontwikkeling ook een doel is. 2 Vergelijkbaarheid houdt in, dat het toetsen en het volgen van de ontwikkeling op een consistente wijze moet worden uitgevoerd. De opdrachten die leerlingen uitvoeren, de beoordelingsprocedure en de beoordelingscriteria moeten voldoende vergelijkbaar zijn voor alle leerlingen. De taken moeten dan minimaal bepaalde kenmerken bevatten en van een vooraf bepaald niveau zijn. 3 Herhaalbaarheid van beslissingen houdt in dat voor de eindbeoordeling verschillende bronnen worden gecombineerd om zo tot een betrouwbare beslissing te komen. Zo kunnen meerdere beoordelaars worden ingezet die allemaal hun visie geven op wat een leerling kan. Deze beoordelaars kunnen een verschillende achtergrond hebben. Denk aan het inzetten van medeleerlingen als beoordelaars. Deze beoordelaars kijken vanuit een ander perspectief naar de leerling, waarna ze in onderling overleg tot een beslissing komen over de ontwikkelde competenties. Door meerdere keren te beoordelen, bij voorkeur in verschillende situaties, en meerdere beoordelaars in te zetten, kan een beslissing worden genomen zonder dat complete vergelijkbaarheid of standaardisatie nodig is. 4 Acceptatie betekent dat alle betrokkenen bij een PTO zich kunnen vinden in de taken of opdrachten, de criteria en de uitvoering ervan.

5 5 Transparantie houdt in dat het PTO voor alle betrokkenen doorzichtig en begrijpelijk moet zijn. Leerlingen moeten weten wat er wordt beoordeeld, wat de criteria zijn, en of de beoordeling meetelt voor hun diploma. Ook voor de andere betrokkenen, zoals de docenten en de praktijkbegeleiders, moet de beoordeling helder zijn. 6 Eerlijkheid betekent dat alle leerlingen een eerlijke kans krijgen te demonstreren wat ze kunnen. Om dit te garanderen mag het niet zo zijn dat belangrijke competenties niet terugkomen in een assessment, of juist dat leerlingen worden beoordeeld op irrelevante zaken. Belangrijke (deel)competenties moeten zwaarder meetellen dan minder belangrijke, dit alles in relatie tot de doelen die behaald moeten worden. Ook mogen bepaalde groepen leerlingen niet worden bevoordeeld of benadeeld. Door bijvoorbeeld veel verschillende soorten opdrachten te gebruiken, zoals schriftelijke opdrachten, presentaties etc. kan elke leerling zijn of haar competenties laten zien. 7 Ontwikkeling van zelfsturend leren heeft te maken met het idee dat leerlingen zelf hun leren vormgeven en sturen. Een assessment kan hieraan bijdragen doordat er aandacht wordt besteed aan zelfassessment en peerassessment. Zo leren leerlingen inschatten waar ze staan in hun ontwikkeling en kunnen ze zelf (in samenwerking met hun leraar) leerdoelen ontwikkelen. Een PTO kan reflectie op de ontwikkeling van de eigen competenties stimuleren en leerlingen hun eigen leerdoelen laten formuleren op basis van de uitkomsten van een beoordeling. 8 Betekenisvolheid heeft betrekking op hoe zinvol en nuttig de betrokkenen het assessment vinden. Een goed assessment is zinvol voor leerlingen omdat ze er wat van leren, of omdat ze inzicht krijgen in hun sterke en zwakke kanten. Leraren willen inzicht krijgen in de ontwikkeling van hun leerlingen en willen weten waar de leerpunten van de leerlingen liggen. 9 Authenticiteit is de mate van overeenkomst met wat de leerlingen in de realiteit moeten kunnen. 10 Cognitieve complexiteit is meer gericht op de denkprocessen. Een beoordelaar moet kunnen vaststellen of iemand bepaalde cognitieve vaardigheden bezit. De beoordeling moet passen bij de complexiteit van de verworven kennis en vaardigheden. Bij toetsen en beoordelingen moet de leerling kunnen uitleggen waarom hij bepaalde keuzes heeft gemaakt. 11 Onderwijsgevolgen heeft te maken met de effecten van een PTO op het leren van leerlingen, en de instructie door leraren. Er kan worden nagegaan hoe het PTO de leerlingen beïnvloedt en of het verwerven van belangrijke competenties wordt gestimuleerd door de gebruikte beoordelingsmethoden. 12 Tijd en kosten bepalen mede de haalbaarheid van de uitvoering van het PTO. Is er genoeg tijd en geld beschikbaar om het uit te voeren?