Toetsingskader observatie-instrumenten primair onderwijs voor ontwikkelaars

Toetsingskader observatie-instrumenten primair onderwijs voor ontwikkelaars

Inhoud Voorwoord 4 Handleiding 5 Aanleiding 5 Doel van het toetsingskader 6 Inhoud van het toetsingskader 7 Het gebruiken van het toetsingskader door schoolbesturen en scholen 8 Toetsingskader 9 1. Afbakening en inhoudelijke onderbouwing 10 2. Toetstechnische criteria 11 3. Afnamecondities 12 4. Inbedding in het HR-beleid 13 5. Algemene randvoorwaarden 14 2 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Voorwoord Veel schoolbesturen hebben de ervaring dat het systematisch inzetten van een lesobservatie-instrument leidt tot verbetering van het didactisch handelen van leraren. Dat geldt niet alleen bij beginnende leraren, maar ook bij meer ervaren leerkrachten. Lesobservaties en het bespreken ervan werken als een zinvolle spiegel. Met het Toetsingskader lesobservatieinstrumenten primair onderwijs stimuleert de PO-Raad de kwaliteit van de lesobservatieinstrumenten en het gebruik ervan. Wanneer een leraar van de pabo afkomt, is hij startbekwaam, vervolgens ontwikkelt hij zich tot een basisbekwame en vakbekwame leraar. Die ontwikkeling is bij uitstek het onderwerp in de gesprekscyclus. Schoolbesturen kunnen gebruik maken van een lesobservatie-instrument om gerichte feedback te geven. Leraren kunnen er onmiddellijk hun lessen mee verbeteren. De opeenvolgende feedback naar aanleiding van systematische lesobservaties is dé manier om zicht te krijgen op de eigen professionele ontwikkeling en draagt bij aan de ontwikkeling van het team. Om het aanbod van instrumenten voor schoolbesturen inzichtelijk te maken heeft de PO-Raad heeft een inventarisatie gemaakt van observatie-instrumenten in Nederland. Deze wordt periodiek bijgewerkt, maar het is onvermijdelijk dat enkele instrumenten (nog) niet op de lijst staan. Om de kwaliteit van de instrumenten en het gebruik ervan te stimuleren, heeft het Kohnstamm Instituut op verzoek van de PO-Raad een toetsingskader ontwikkeld. Schoolbesturen en scholen moeten een beproefd instrument kunnen inzetten bij de professionalisering van leraren. In dit toetsingskader heeft het Kohnstamm Instituut uitgewerkt wat onder beproefd wordt verstaan. 3 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Het Toetsingskader lesobservatie-instrumenten primair onderwijs is zowel beschikbaar voor ontwikkelaars van instrumenten als voor de gebruikers van de instrumenten, de scholen en schoolbesturen. De ontwikkelaars kunnen het toetsingskader gebruiken om hun eigen product te ijken aan de criteria uit het toetsingskader. Scholen en schoolbesturen kunnen het kader gebruiken bij het maken van hun keuze voor een lesobservatie-instrument en een zorgvuldige implementatie ervan in de organisatie. De PO-Raad heeft verschillende projecten op het gebied van professionalisering. De vereniging ondersteunt daarmee scholen en schoolbesturen bij hun inzet voor de professionele ontwikkeling van leraren en schoolleiders. Het uiteindelijke doel is om scholen beter in staat te stellen om hun werk uit te voeren en het onderwijs aan de leerlingen te verbeteren. Simone Walvisch vicevoorzitter PO-Raad 4 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Handleiding Voor u ligt de handleiding bij het Toetsingskader observatie-instrumenten primair onderwijs. De PO-Raad wil ontwikkelaars van observatie-instrumenten met deze handleiding ondersteunen bij hun werk in het kader van de professionalisering van leraren. Het uiteindelijke doel is om de teams van leraren beter in staat te stellen om hun werk uit te voeren en het onderwijs aan de leerlingen te verbeteren. De handleiding gaat eerst kort in op de aanleiding om het toetsingskader te ontwikkelen. Vervolgens leest u voor wie dit kader is bedoeld, doel, inhoud ervan, en hoe u het kader kunt gebruiken. Aanleiding Professionalisering en een betere begeleiding van (startende) leraren staan centraal in zowel het bestuursakkoord dat de sector primair onderwijs in 2014 sloot met de overheid, als de CAO PO 2014-2015.Om tot een goede uitwerking van de cao op dit terrein te komen heeft de PO-Raad zichzelf de volgende doelen gesteld: De PO-Raad biedt inzicht in de verschillende observatie-instrumenten en in het scholingsaanbod voor coaches en schoolleiders in het observeren en geven van feedback. De schoolbesturen maken in hun personeelsbeleid allemaal gebruik van een gevalideerd instrument waarmee de didactische vaardigheden van de leraar in beeld gebracht worden. De PO-Raad heeft een inventarisatie van observatie-instrumenten laten opstellen ( Wijzer over Zien en Kijken ) die periodiek wordt geactualiseerd. Deze faciliteert schoolbesturen om te kiezen voor een passend observatie-instrument. Zoals in de cao is afgesproken, gaat dit in overleg met de medezeggenschap en in samenspraak met medewerkers van kwaliteitszorg, HR-verantwoordelijken en schoolleiders. 5 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Uit de inventarisatie kwam naar voren dat veel instrumenten weliswaar zijn gebaseerd op in meer of mindere mate gevalideerde bronnen (zoals het bekwaamheidsdossier, het waarderingskader van de Inspectie van het Onderwijs, de principes van Handelingsgericht werken en modellen van directe instructie). De instrumenten zelf zijn echter lang niet altijd gevalideerd. De PO-Raad heeft daarom door het Kohnstamm Instituut een toetsingskader laten ontwikkelen dat is gericht op kwaliteitsverbetering van de instrumenten en van het gebruik ervan. Dit kader geeft de term beproefd observatie-instrument, zoals geformuleerd in de cao, handen en voeten. Doel van het toetsingskader Het toetsingskader kent twee doelen: 1. Allereerst moet het kader schoolbesturen en scholen ondersteuning bieden bij de keuze van een observatie-instrument dat kwaliteit heeft (een zogenoemd beproefd observatie-instrument ) en dat past bij de manier waarop zij het willen gebruiken. 2. Ten tweede moet het kader ontwikkelaars ondersteuning bieden bij kritische reflectie op hun eigen instrument; dergelijke beschouwingen kunnen leiden tot doorontwikkeling van dat instrument. In het verlengde daarvan zijn twee handleidingen bij het toetsingskader ontwikkeld die op enkele punten verschillen: voor de ontwikkelaars die observatie-instrumenten ontwikkelen om de pedagogische-didactische vaardigheden van leraren in het primair onderwijs in kaart te kunnen brengen. voor de gebruikers van die instrumenten zoals schoolbesturen en scholen. De voorliggende handleiding is bedoeld voor ontwikkelaars. 6 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Inhoud van het toetsingskader Begrippen In het toetsingskader spreken we over het instrument of instrumentarium ; daarmee wordt het observatie-instrument bedoeld, gericht op observatie van de pedagogisch-didactische vaardigheden van de leraar in de klas (waarneembaar gedrag). Soms worden er voor het in kaart brengen van lerarengedrag meer instrumenten ingezet; het observatie-instrument is er daar dan één van. Het toetsingskader is gericht op beoordeling van alleen het observatie-instrument. Soms maakt een training deel uit van het aanbod. In dat geval spreken we van een observatie-systeem. Onderdelen van het toetsingskader Om de kwaliteit en de toepasbaarheid van een instrument te beoordelen, moeten ontwikkelaars en gebruikers zich een oordeel kunnen vormen over de volgende onderdelen: 1. Afbakening en inhoudelijke onderbouwing 2. Toetstechnische criteria 3. Afnamecondities 4. Inbedding in de organisatie 5. Algemene randvoorwaarden. Het toetsingskader is opgebouwd uit deze onderdelen die zowel de wetenschappelijke als meer praktische kwaliteitscriteria omvatten. Scoringsmogelijkheden In het toetsingskader kunnen de kwaliteitscriteria worden gescoord. Meestal is dit met een ja of nee, soms is een derde antwoordcategorie toegevoegd. Zo kan in het toetsingskader worden aangeven in hoeverre het instrument voldoet aan elk van de onderscheiden criteria. Minimumkwaliteitseisen met * De kwaliteitscriteria in het toetsingskader variëren in zwaarte. Voor de kwaliteitscriteria die we met een * hebben gemarkeerd, geldt dat besturen daar in elk geval op zullen letten. Aan ontwikkelaars daarom het verzoek om aan deze aspecten in ieder geval aandacht te besteden bij hun instrumentontwikkeling. 7 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Het gebruik van het toetsingskader door ontwikkelaars van instrumenten Schoolbesturen kunnen bij de keuze van een instrument aan de ontwikkelaar vragen om een onderbouwing van de kwaliteit van dat instrument op basis van voorliggend toetsingskader. Ontwikkelaars kunnen zelf een vorm kiezen om de kwaliteit van hun instrument te onderbouwen. Het toetsingskader kan stap voor stap ingevuld worden met bij elk punt een onderbouwing. Er kan ook gekozen worden voor een verantwoording waarin verschillende criteria worden besproken. 8 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Toetsingskader Startvraag bij het bepalen van de geschiktheid van een instrument is die naar doel en doelgroep: Is helder omschreven waarvoor het instrumentarium ingezet kan worden? Is helder omschreven wie de doelgroep is? En past dat bij het gebruik dat wordt beoogd? Als deze vragen bevestigend worden beantwoord, komt de kwaliteit van het instrument in beeld. Dit toetsingskader kan helpen om die kwaliteit systematisch te beoordelen en desgewenst instrumenten onderling te vergelijken. We hebben vijf clusters van kwaliteitscriteria onderscheiden: 1. Afbakening en inhoudelijke onderbouwing; 2. Toetstechnische criteria; 3. Afnamecondities; 4. Inbedding in HRM-beleid; 5. Algemene randvoorwaarden. Centrale vraag is steeds of en hoe er bij de constructie en/of in handleiding of in het bijbehorende trainingsaanbod als onderdeel van het aangeboden instrument aandacht is voor die criteria. De minimale criteria zijn met een * gemarkeerd. 9 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

1. Afbakening en inhoudelijke onderbouwing Bij dit eerste cluster van kwaliteitscriteria uit het toetsingskader wordt ingezoomd op wat er qua inhoud in het instrument aan de orde komt, hoe dat is afgebakend en of dat is onderbouwd. Sluit het aan bij regelgeving, is het afgestemd op onderwijskundig beleid dan wel de onderwijsvisie van de school, biedt het ruimte voor maatwerk? Inhoudsvaliditeit, is geëxpliciteerd * ja nee wat onder lerarenkwaliteit wordt verstaan? welke elementen van lerarenkwaliteit in het instrument worden onderscheiden? Is empirisch gecheckt (bijvoorbeeld met een factoranalyse) of de elementen van (pedagogisch-didactische) leraarkwaliteit die het instrument meet, te onderscheiden zijn? Beleidskader, is geëxpliciteerd of en hoe het instrument is afgestemd op het toezichtkader van de inspectie? Wet op de beroepen in het onderwijs (Wet BIO)? de cao voor primair onderwijs? ja nee Onderwijsvisie ja nee nvt Is geëxpliciteerd of er een onderwijsvisie aan het instrument ten grondslag ligt? Zo ja welke? Is geëxpliciteerd hoe het instrument daarop is afgestemd? Flexibel gebruik ja nee nvt Biedt het instrument ruimte voor maatwerk, voor de eigen keuzes van de school? Is helder omschreven hoe de school die ruimte kan invullen? Onderbouwing vanuit theorie en onderzoek * ja nee Zijn de theoretische achtergrond en hoe die is uitgewerkt in het instrument verantwoord? Wordt daarbij verwezen naar bronnen en kunnen die worden nageslagen? 10 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

2. Toetstechnische criteria Bij dit tweede cluster van kwaliteitscriteria uit het toetsingskader staan de toetstechnische criteria centraal; het gaat dan om de wetenschappelijke opvattingen die gelden bij meetinstrumenten en de verwerking van de verkregen (observatie)gegevens. Differentieert het instrument tussen verschillende niveaus van beheersing? Wordt dichotoom of ordinaal gescoord? Wordt gewerkt met losse items of schalen? Is het instrument uitgetest op bruikbaarheid, hebben betrouwbaarheidsanalyses plaatsgevonden en zo ja welke? Differentiatie: niveaus van beheersing ja nee Kan het instrument differentiëren tussen de in de cao onderscheiden stadia van bekwaamheid van leraren: startbekwaam, basisbekwaam en vakbekwaam? Normering: normgerichte interpretatie ja nee nvt Zijn normgegevens voor de scores beschikbaar en zijn de groepen waarop deze gebaseerd zijn representatief en groot genoeg? Normering: criteriumgerichte interpretatie ja nee nvt Zijn grensscores (de grens tussen voldoende en onvoldoende scores op items en schalen) vastgesteld en zijn die voldoende onderbouwd? Scoring op ordinaal niveau ja nee Wordt bij het scoren van leraargedrag niet alleen gekeken of het gedrag voorkomt (nominale scoring), maar ook naar de mate van beheersing (ordinale scoring)? Schaalconstructie * ja deels nee Worden items geclusterd tot schalen voor het meten van de onderscheiden aspecten van lerarengedrag? Proefafnames* ja nee Is het instrument in een authentieke context uitgetest op bruikbaarheid? Betrouwbaarheid: interne consistentie (alfa s bepaald) * Is onderzocht of de itemclusters of schalen intern voldoende samenhangen? Betrouwbaarheid: interbeoordelaarsovereenkomst * ja nee Is het instrument uitgetest op de mate waarin verschillende beoordelaars tot hetzelfde oordeel komen? Betrouwbaarheid: test-hertest-betrouwbaarheid * Is het instrument getest op de mate waarin observaties op verschillende tijdstippen tot vergelijkbare scores leiden? 11 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

3. Afnamecondities Het derde cluster van kwaliteitscriteria uit het toetsingskader betreft de afnamecondities. Daarbij gaat het om de voorwaarden waaronder een instrument wordt afgenomen. Hier kan gedacht worden aan vraagstukken als: Waar vinden observaties plaats? Hoe lang, hoe vaak? Door wie? Aan welke eisen moeten observatoren voldoen? Moeten de observatoren worden geschoold? En hoe worden de scores verwerkt? Afnamecondities ja nee Wordt beschreven en onderbouwd wat je moet observeren, waar, hoelang en hoe vaak? * Wordt beschreven en onderbouwd wie observeert of observeren (bijvoorbeeld externe expert, directeur, IB-er, collega s, zelf)? Is er aandacht voor de condities voor goede uitvoering van de observaties? Is voorzien in training van de observatoren? * Worden aanwijzingen gegeven hoe de leraar en leerlingen zich kunnen voorbereiden op de observatie? Denk aan hoe eventuele opname apparatuur wordt opgesteld, wat de beste positie is voor de observator en hoe de observatieformulieren ter beschikking worden gesteld. Werkwijzen die de betrouwbaarheid vergroten * ja nee Worden aanwijzingen gegeven hoe de betrouwbaarheid van de observaties kan worden vergroot bijv. door scoring door meerdere observatoren, door interbeoordelaarsovereenstemming te verkrijgen, door gezamenlijk te scoren en scores te bespreken en af te stemmen? Van scoring naar resultaten ja nee Is het scoringssysteem volledig en duidelijk; worden eenduidige richtlijnen voor scoring gegeven? Wordt instructie gegeven voor het verwerken van de scores (of worden scores door de aanbieder/ontwikkelaar van het instrument verwerkt)? Wordt instructie gegeven voor de interpretatie van de individuele scores? Wordt aangegeven hoe op basis van individuele scores conclusies kunnen worden getrokken op teamniveau? Wordt aandacht besteed aan de wijze waarop de resultaten kunnen worden teruggekoppeld naar de geobserveerde leraar? 12 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

4. Inbedding in het HR-beleid Bij dit vierde cluster van kwaliteitscriteria uit het toetsingskader gaat het om hoe het instrument ingebed kan worden in het HR-beleid. Met andere woorden bevat de documentatie / het instrument aanwijzingen die ondersteuning kunnen bieden bij het gebruik van het instrument ten behoeve van het HRM-beleid, bijvoorbeeld hoe de resultaten kunnen worden gekoppeld aan verdere ontwikkeling van leraren en professionalisering en hoe het instrument kan worden ingezet in de kwaliteitscyclus? Beheersingsniveaus ja nee Wordt aangegeven hoe de resultaten gekoppeld kunnen worden aan beheersingsniveaus (startbekwaam, basisbekwaam en vakbekwaam)? Professionalisering ja nee Worden er aanwijzingen gegeven hoe de resultaten kunnen worden vertaald naar verdere ontwikkeling van een leraar en professionalisering? Schoolbeleid ja nee Worden er aanwijzingen gegeven hoe de resultaten van het lerarenteam kunnen worden vertaald in schoolbeleid? Cyclische toepassing ja nee Worden er aanwijzingen gegeven hoe het instrument kan worden ingezet in de kwaliteits-/plan-do-check-act cyclus? Brede benuttingsmogelijkheid van hetzelfde instrument ja nee Kan het instrument op meer manieren worden ingezet? Bijvoorbeeld voor... observaties door anderen observatie van collega s onderling (t.b.v. leren van elkaar, coaching?) zelfobservatie/kritische reflectie op eigen lessen? Samenhang met andere instrumenten ja nee Maakt het observatie-instrument deel uit van een breder instrumentarium? 13 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

5. Algemene randvoorwaarden Ten slotte is een aantal criteria uitgewerkt die te maken hebben met benodigde investeringen, eventuele koppeling aan digitale systemen en het waarborgen van privacy. Waarborgen van privacy ja nee Wordt beschreven hoe de privacy van de onderzochte leraar wordt gewaarborgd, met andere woorden: wordt beschreven wie de resultaten kan inzien? Benodigde investeringen in tijd ja nee Wordt de benodigde investering in tijd vermeld en wordt daarbij gedifferentieerd naar incidenteel (tijd voor training van observatoren), en structureel (afname, verwerking en terugkoppeling van de observaties)? Benodigde kosteninvesteringen ja nee Worden de kosten vermeld en wordt gedifferentieerd naar eenmalige/ incidentele en structurele investeringen? Koppeling aan digitale systemen ja nee nvt Is bij web-based applicatie aangegeven hoe koppeling aan reeds op de school gehanteerde digitale systemen mogelijk is? 14 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Colofon Tekst Drs. Edith van Eck, Senior onderzoeker Kohnstamm instituut Dr. Marjan Glaudé, Senior onderzoeker Kohnstamm instituut Drs. Ike Overdiep, Opus8 Redactie Drs. Pien Verwilligen, PO-Raad Dian van Erp MSc., PO-Raad Fotografie Foto pagina 3, Katja Mali Grafische verzorging Coers & Roest ontwerpers bno drukkers oktober 2016 Het Toetsingskader is ontwikkeld in samenwerking met Kohnstamm Instituut. Niets uit de uitgave mag worden verveelvoudigd, overgenomen of openbaar gemaakt, zonder voorafgaande toestemming van de uitgever. 15 TOETSINGSKADER OBSERVATIE-INSTRUMENTEN PRIMAIR ONDERWIJS

Aidadreef 4, 3561 GE Utrecht Postbus 85246, 3508 AE Utrecht info@poraad.nl @PO_Raad www.poraad.nl Het Toetsingskader is ontwikkeld in samenwerking met