VHM PO Instructiegedrag

Transcriptie

1 VHM PO Instructiegedrag IJking aan het toetsingskader voor observatie-instrumenten van de PO-Raad Drs. E.E.M. ter Schure PhD Maart 2017

2 COLOFON Datum: 9 maart 2017 Auteur: Drs. E.E. M. ter Schure PhD In opdracht van: Cadenza Onderwijsconsult Versie : 1.1 IJking VHM PO aan toetsingskader PO-Raad 2

3 Inhoudsopgave Woord vooraf... 4 Managementsamenvatting Afbakening en inhoudelijke onderbouwing De Vaardigheidsmeters Inhoudsvaliditeit Afstemming op beleidskaders CAO PO Onderwijsvisie Toetstechnische criteria Start-, basis- en vakbekwaam Normscores en normering Schaalconstructie Bruikbaarheid Betrouwbaarheid: interbeoordelaarsovereenkomst Betrouwbaarheid: test-hertestbetrouwbaarheid Afnamecondities Observaties Verwerken van resultaten Scoren Verwerking van de scores Interpretatie van de scores Resultaten op teamniveau Het nagesprek Het HR-beleid Professionalisering Schoolbeleid Bredere benuttingsmogelijkheid Samenhang met andere instrumenten Randvoorwaarden Privacy Tijd Kosten Koppeling aan digitale systemen Conclusies Literatuur Bijlage: Bekwaamheidsprofiel IJking VHM PO aan toetsingskader PO-Raad 3

4 Woord vooraf Naar aanleiding van het doel van de PO-raad om het aanbod van observatie-instrumenten te evalueren om zo te komen tot een overzicht van beproefde observatie-instrumenten, heeft Cadenza Onderwijsconsult de opdracht gegeven om haar Vaardigheidsmeter Instructiegedrag voor het Primair Onderwijs (hierna VHM PO ) te ijken aan de criteria zoals opgesteld door het Kohnstamm Instituut. In dit rapport wordt de VHM PO onderzocht volgens de richtlijnen zoals vastgelegd in het document Toetsingskader observatie-instrumenten primair onderwijs (versie voor ontwikkelaars) van de PO-Raad. Drs. E.E.M. (Liesbeth) ter Schure 1 PhD Pensare Software Maart Liesbeth ter Schure is gespecialiseerd in de ontwikkeling van software voor het (primair) onderwijs en één van de programmeurs van de VHM. Daardoor kent zij het instrument én het onderwijs zeer goed. Vanuit deze expertise en aan de hand van aanvullend onderzoek heeft zij dit rapport opgesteld. IJking VHM PO aan toetsingskader PO-Raad 4

5 Managementsamenvatting In dit rapport wordt de VHM PO als observatie-instrument voor het instructiegedrag van leerkrachten in het primair onderwijs geëvalueerd. De VHM PO bevat observatielijsten gericht op pedagogische en didactische vaardigheden. Daarnaast biedt het instrument de mogelijkheid om in een aanvullende observatielijst andere aspecten van professioneel handelen op te nemen. Actualiteit De observatielijst wordt regelmatig geactualiseerd. Zo zijn bijvoorbeeld in 2016 de bekwaamheidseisen voor leerkrachten (basisbekwaam en vakbekwaam) aan de observatiepunten toegevoegd. Schoolleiders kunnen nu het bekwaamheidsprofiel van een geobserveerde les inzichtelijk maken. Ontwikkelinstrument De VHM PO is opgezet als een ontwikkelinstrument : een observatiemethode om de leerkracht feedback te geven op zijn/haar handelen en suggesties te doen voor verdere ontwikkeling. De VHM PO maakt inzichtelijk wat de sterke punten van de leerkracht zijn, maar ook waar de ontwikkelpunten liggen. Afspraken over die ontwikkeling kunnen in het instrument worden vastgelegd in het observatieverslag. In het dashboard kan de schooldirecteur een teamoverzicht bekijken om daarmee richting te geven aan de teamscholing (dit kan ook op bovenschools niveau). Inhoudelijk is de VHM PO gekoppeld aan een e-learningacademie (Cadenza Highschool) om desgewenst direct opvolging te kunnen geven aan ontwikkelafspraken. Desgewenst kunnen er ook koppelingen gemaakt worden met andere instrumenten, zoals Cadenza HRM (bekwaamheidsdossier) of Cadenza Digit (dashboard). Interbeoordelaarsovereenkomst De VHM PO kan alleen ingezet worden na een intensieve training. Het trainingstraject bestaat uit de volgende onderdelen: Studiebijeenkomst van drie dagdelen met theorie en praktijktraining, waarbij het instrument wordt verkend, geoefend wordt met scoren a.d.h.v. filmbeelden en feedbackgesprekken worden geoefend met een trainingsacteur; Teamtraining van één dagdeel waarin de opleider in het bijzijn van de cursist(en) doel en werkwijze omtrent de VHM toelicht aan het team; Praktische training van zeven dagdelen in het observeren, scoren en nabespreken van de observaties onder begeleiding van een ervaren opleider. Deze intensieve training draagt bij aan een goede implementatie van het instrument en aan de intereoordelaarsovereenkomst. Die wordt verder versterkt door de actuele goodpractice -lijsten, een lijst van scoringscriteria in het instrument en de tweejaarlijkse nascholing. IJking VHM PO aan toetsingskader PO-Raad 5

6 Conclusie De Cadenza VHM PO voldoet aan bijna alle eisen die in het toetsingskader worden gesteld. Sommige vragen zijn echter niet met een categorisch ja of nee te beantwoorden. Zie hoofdstuk 6 voor het overzicht van de conclusies. IJking VHM PO aan toetsingskader PO-Raad 6

7 1 Afbakening en inhoudelijke onderbouwing 1.1 De Vaardigheidsmeters De Cadenza VHM (Vaardigheidsmeter) is een observatie-instrumentarium dat is opgezet voor het in kaart brengen van de vaardigheden van verschillende doelgroepen: VHM Instructiegedrag PO: leerkrachten in het PO VHM Instructiegedrag VO: leraren in het VO VHM Instructiegedrag (V)SO: leerkrachten in het (V)SO VHM IB: intern begeleiders VHM SL: schoolleiders VHM Instructiegedrag LKO/OA: leerkrachtondersteuners en onderwijsassistenten in het PO VHM Instructiegedrag LKO/OA: leerkrachtondersteuners en onderwijsassistenten in het (V)SO VHM VVE: leidsters in de voorschoolse opvang Voor de verschillende doelgroepen is een eigen observatielijst opgenomen in het instrument. Iedere observatielijst is opgebouwd uit indicatoren waarop de geobserveerde persoon een oordeel krijgt. Het oordeel is een gemiddelde score over de geobserveerde vaardigheden die horen bij de betreffende indicator (zie ook paragraaf 3.2). Voor leerkrachten en leraren zijn de observatielijsten gericht op pedagogische en didactische vaardigheden. Daarnaast biedt het instrument de mogelijkheid om, met een aanvullende observatielijst, andere aspecten van professioneel handelen te observeren (bijvoorbeeld de gedragsindicatoren van de Bekwaamheidseisen (voorheen SBL) voor leerkrachten). De VHM voor leerkrachten bestaat uit de observatielijst die gebaseerd is op de observatielijst van de inspectie voor het onderwijs binnen de inspectiekaders van 2008 en De observatielijsten voor intern begeleiders zijn gebaseerd op de zeven taken die de LBiB onderscheidt voor de professionele intern begeleider. De observatielijst voor schoolleiders is mede gebaseerd op de NSA-competenties. In dit rapport wordt de VHM PO als observatie-instrument voor het instructiegedrag van leerkrachten in het primair onderwijs geëvalueerd. Dit instrument wordt verder aangeduid als VHM PO. 1.2 Inhoudsvaliditeit De VHM PO richt zich op het observeren van pedagogische en didactische vaardigheden. De observatielijst die gebruikt wordt is afgeleid van de observatielijst van de inspectie van het onderwijs (2005) en sluit aan bij de meest recente versie van toezichtkader van de Inspectie van het Onderwijs (2012). In dit kader onderscheidt de inspectie verschillende domeinen: opbrengsten, onderwijsleerproces, leerlingenzorg, kwaliteitszorg en wet- en regelgeving. De VHM PO richt zich op pedagogisch-didactische vaardigheden en niet direct op opbrengsten of kwaliteitszorg. IJking VHM PO aan toetsingskader PO-Raad 7

8 Actualiteit De observatielijst wordt regelmatig geactualiseerd. Zo zijn in 2016 de bekwaamheidseisen zoals die in de CAO PO (2016) zijn geformuleerd voor het vaststellen van de bekwaamheid van leraren (basisbekwaam en vakbekwaam) aan de observatiepunten toegevoegd. Schoolleiders kunnen ervoor kiezen om met de bekwaamheidsprofielen te werken, mits hun bestuur hiervoor gericht beleid heeft geformuleerd. Nieuw Waarderingskader Inspectie van het Onderwijs Vanaf augustus 2017 is het nieuwe Waardering- en Toetsingskader van kracht. Cadenza Onderwijsconsult onderzoekt of dit consequenties heeft voor de kijkwijzer uit de VHM en past deze waar nodig in juli aan. Vergelijking VHM PO en Toezichtkader In het volgende kader is een vergelijking gemaakt van de kwaliteitsaspecten voor scholen in het PO zoals die staan beschreven in het Toezichtkader (2012) en hoe deze zijn uitgewerkt in de VHM PO. Toezichtkader Kwaliteitsaspect 1: De opbrengsten liggen op het niveau dat op grond van de kenmerken van de leerling populatie verwacht mag worden. Kwaliteitsaspect 2: De aangeboden leerstofinhouden bereiden de leerlingen voor op vervolgonderwijs en samenleving. Kwaliteitsaspect 3: De leraren geven de leerlingen voldoende tijd om zich het leerstofaanbod eigen te maken. VHM PO Opbrengsten zijn een resultaat van (onder andere) de pedagogische en didactisch vaardigheden van de leerkrachten en worden niet gemeten in de VHM. Leerstofinhoud is geen onderdeel van de VHM. VHM-indicator 1: Efficiënt gebruik geplande onderwijstijd. De leerkracht ziet toe op naleving van de schoolregels over op tijd beginnen. De leerkracht besteedt de geplande lestijd daadwerkelijk aan het lesdoel. De leerkracht voorkomt tijdverlies (door goed klassenmanagement). IJking VHM PO aan toetsingskader PO-Raad 8

9 Toezichtkader Kwaliteitsaspect 4: Het schoolklimaat wordt gekenmerkt door veiligheid en respectvolle omgangsvormen. 4.2 De leerlingen voelen zich aantoonbaar veilig op school. 4.7 Het personeel van de school zorgt ervoor dat de leerlingen op een respectvolle manier met elkaar en anderen omgaan. VHM PO VHM-indicator 2: Respectvolle omgang van leerlingen met elkaar De leerkracht houdt rekening met (culturele) verschillen. De leerkracht tolereert uitlachen/discrimineren niet. De leerkracht stimuleert waar van toepassing dat leerlingen samenwerken. De leerkracht stimuleert aandacht voor elkaar en anderen. De leerkracht begeleidt leerlingen bij zelf oplossen van ruzies. De leerkracht voorkomt en/of treedt op bij pestgedrag en/of geweld. De leerkracht zorgt voor een ontspannen sfeer. De leerkracht stimuleert het zelfvertrouwen van leerlingen. De leerkracht toont zelf respect voor leerlingen in taalgebruik en gedrag. VHM-indicator 3: Positieve persoonlijke aandacht De leerkracht heeft belangstelling voor wat leerlingen zeggen. De leerkracht laat leerlingen uitspreken. De leerkracht honoreert de inbreng van leerlingen in de les, ook wanneer zij niet het verwachte antwoord geven. De leerkracht is toegankelijk voor de leerlingen. De leerkracht ondersteunt leerlingen in moeilijke situaties. VHM-indicator 4: Gedrag en taalgebruik respectvol naar alle leerlingen De leerkracht negeert leerlingen niet. De leerkracht bejegent leerlingen zonder cynisme of sarcasme. De leerkracht geeft geen blijk van antipathie voor leerlingen. De leerkracht maakt geen onderscheid naar sekse, milieu, cultuur of uiterlijk. VHM-indicator 5: Bevordering zelfvertrouwen De leerkracht geeft blijk van positieve verwachtingen van leerlingen. De leerkracht betrekt ook de stille leerlingen bij de activiteit. De leerkracht geeft positieve feedback. De leerkracht markeert succeservaringen. De leerkracht keurt foute antwoorden niet direct af. VHM-indicator 6: Complimenten en corrigeren De leerkracht gaat zorgvuldig om met beloning en straf. De leerkracht geeft op het juiste moment een complimentje. De leerkracht corrigeert leerlingen op het juiste moment. De leerkracht heeft overwicht zonder autoritair te zijn. De leerkracht legt uit waarom hij/zij zo handelt. De leerkracht is een goed voorbeeld voor leerlingen voor de omgangsregels (teach as you preach). IJking VHM PO aan toetsingskader PO-Raad 9

10 Toezichtkader Kwaliteitsaspect 5: De leraren leggen duidelijk uit, organiseren de onderwijsactiviteiten efficiënt en houden de leerlingen taakbetrokken. 5.1 De leraren geven duidelijke uitleg van de leerstof VHM PO VHM-indicator 7: Duidelijke uitleg De leerkracht hanteert in de uitleg een herkenbare structuur. De leerkracht blikt terug op eerdere activiteiten en activeert op deze wijze de voorkennis van de leerlingen. De leerkracht verduidelijkt bij de aanvang van de activiteit het doel (of: de doelen) en plaatst de leerstof daarmee in een betekenisvolle context. De leerkracht legt de leerstof beknopt, interactief en gericht op het lesdoel uit. De leerkracht gaat na of het lesdoel is bereikt. De leerkracht licht de opdrachten en de werkvormen duidelijk toe. De leerkracht betrekt alle leerlingen bij de activiteit. VHM-indicator 10: Structuur De leerkracht brengt een duidelijke opbouw aan in de activiteit (oriëntatie, instructie, uitvoering en bewaking, terugkijken en afsluiting). De leerkracht markeert de componenten expliciet. De leerkracht maakt de leerlingen duidelijk wat zij zullen leren. VHM-indicator 11: Controle uitleg en/of opdrachten De leerkracht stelt controlevragen na de uitleg. De leerkracht laat leerlingen de uitleg/opdracht samenvatten na afloop van de uitleg. De leerkracht stelt controlevragen tijdens de verwerking. De leerkracht laat leerlingen de uitleg/opdracht samenvatten tijdens de verwerking. 5.2 De leraren realiseren een taakgerichte werksfeer 5.3 De leerlingen zijn actief betrokken bij de onderwijsactiviteiten VHM-indicator 8: Taakgerichte werksfeer De leerkracht geeft goed gestructureerd les. De leerkracht zorgt voor een ordelijk verloop van de activiteit. De leerkracht gebruikt de leertijd efficiënt. De leerkracht zorgt voor een doelmatig klassenmanagement. De leerkracht maakt de gewenste leerhouding duidelijk. VHM-indicator 9: Leerlingen zijn actief betrokken Alle leerlingen zijn individueel actief betrokken. Alle leerlingen tonen zich geïnteresseerd. Alle leerlingen werken geconcentreerd en taakgericht. Alle leerlingen zijn actief gericht op leren. IJking VHM PO aan toetsingskader PO-Raad 10

11 Toezichtkader Kwaliteitsaspect 6: De leraren stemmen aanbod, instructie, verwerking en onderwijstijd af op verschillen in ontwikkeling tussen de leerlingen, 6.1 De leraren stemmen de aangeboden leerinhouden af op verschillen in ontwikkeling tussen de leerlingen. 6.2 De leraren stemmen de instructie af op verschillen in ontwikkeling tussen de leerlingen. 6.3 De leraren stemmen de verwerkingsopdrachten af op verschillen in ontwikkeling tussen de leerlingen. 6.4 De leraren stemmen de onderwijstijd af op verschillen in ontwikkeling tussen de leerlingen. Kwaliteitsaspect 7a: De leraren volgen systematisch de vorderingen van de leerlingen. 7.1 De school gebruikt een samenhangend systeem van genormeerde instrumenten en procedures voor het volgen van de prestaties en de ontwikkeling van de leerlingen. 7.2 De leraren volgen en analyseren systematisch de voortgang in de ontwikkeling van de leerlingen. VHM PO VHM-indicator 20: Afstemming leerinhouden De leerkracht maakt gebruik van de mogelijkheden die leermiddelen bieden om te differentiëren in aanbod (bijvoorbeeld herhalingsstof, verrijkingsstof, voorschotbenadering, fundamentele doelen en streefdoelen, compacting). De leerkracht richt zich zowel op zwakkere als meer begaafde leerlingen. De leerkracht organiseert de afstemming aan de hand van vastgelegde criteria en conform de schoolafspraken. VHM-indicator 21: Afstemming instructie De leerkracht richt zich expliciet tot zwakkere leerlingen, geeft hun vaker beurten en extra voorbeelden, biedt aparte voor-, verlengde of neveninstructie aan. De leerkracht spreekt goede leerlingen aan tijdens de instructie, bijvoorbeeld door het stellen van moeilijker vragen. De leerkracht zet leerlingen voor wie de instructie niet is bedoeld, eerder aan het werk. VHM-indicator 22: Afstemming verwerking De leerkracht geeft de leerlingen aan hun niveau en tempo aangepaste verwerkingsopdrachten (bijvoorbeeld uitloopopdrachten, verdiepingsopdrachten). De leerkracht differentieert naar belangstelling door middel van keuzeopdrachten. VHM-indicator 23: Afstemming onderwijstijd De leerkracht breidt de onderwijstijd uit, indien de toetsresultaten daartoe aanleiding geven, zowel op groepsals op individueel niveau. De leerkracht geeft bepaalde leerlingen huiswerk. De leerkracht laat leerlingen minder tijd besteden aan een bepaald leergebied ten gunste van een ander leergebied. VHM-indicator 25: Systematisch volgen en analyseren van vorderingen De leerkracht observeert regelmatig en neemt regelmatig toetsen af. De leerkracht volgt de sociaal-emotionele ontwikkeling. De leerkracht administreert de vorderingen overzichtelijk in groepsmappen en/of digitale systemen. De leerkracht maakt foutenanalyses. De leerkracht trekt conclusies uit deze analyses door de leerinhoud en/of de aanpak van volgende onderwijsactiviteiten aan te passen. IJking VHM PO aan toetsingskader PO-Raad 11

12 Toezichtkader Kwaliteitsaspect 8: De leerlingen die dat nodig blijken te hebben, krijgen extra zorg. Kwaliteitsaspect 9: De school heeft een system voor kwaliteitszorg VHM PO Verantwoordelijkheden op schoolniveau worden niet (rechtstreeks) gemeten in de VHM PO Kwaliteitszorg op schoolniveau is geen onderdeel van de VHM PO De VHM PO claimt de pedagogische en didactische vaardigheden van leerkrachten te meten. Wat betreft deze vaardigheden is sprake van een face validity 2. Rond 2003 heeft de inspectie haar waarderingskader wetenschappelijk laten onderzoeken op interne consistentie en samenhang. In 2005 heeft de inspectie een opdracht gegeven aan dr. Scheerens (Universiteit Twente) om de indicatoren van het waarderingskader 2005 op hun wetenschappelijke merites te onderzoeken. Dit onderzoek heeft zich vooral gericht op de voorspellende waarde van de kwaliteitsaspecten en indicatoren uit het waarderingskader voor de leerresultaten. Er is sprake van een duidelijke koppeling tussen het toezichtkader van de inspectie en de indicatoren van de VHM. Hierbij moet worden aangetekend dat de VHM zich richt op die aspecten die direct van toepassing zijn op de leerkracht en een (bewezen) effect hebben op de resultaten van de leerlingen (Hattie, Leren zichtbaar maken, 2014). Daarnaast legt Cadenza Onderwijsconsult als ontwikkelaar van het observatieinstrumentarium nadruk op de onderzoeken van Marzano (2009) ten aanzien van de rol van de leerkracht bij de ontwikkeling van de leerlingen. Dit laat zich bijvoorbeeld zien in de uitwerking van de indicatoren 7 (duidelijke uitleg) en 10 (structuur). Gecombineerd beschrijven deze indicatoren en vaardigheden een uitwerking van het directe instructiemodel (ADIM). Hoewel hiervoor exclusief wordt verwezen naar het toezichtkader PO, zijn de andere observatie-lijsten van de VHM (SO, SBO, VO, VSO) op een vergelijkbare manier een direct afgeleide van het toezichtkader van de inspectie voor de specifieke doelgroep. 1.3 Afstemming op beleidskaders Zoals in paragraaf 1.2 is aangegeven, is de VHM PO expliciet gericht op het toezichtkader van de inspectie, met een keuze voor de vaardigheden die gekoppeld zijn aan de leerkracht (en niet bijvoorbeeld aan de school als instituut). De VHM PO onderkent in haar hoofdstructuur de criteria van de inspectie: normindicatoren, kernindicatoren en basisindicatoren 3. Vanuit een opvatting dat alle criteria aan de orde dienen te komen wil er 2 Face validity (ook wel validiteit op zicht) betekent dat de onderzoeker de indruk heeft dat een meting valide is. Deze validiteit vertrouwt op het vermogen van mensen om intuïtief aan te voelen of een test wel of niet meet wat hij moet meten. Op het eerste gezicht lijken de testresultaten dan valide te zijn. Door middel van wetenschappelijke controle zouden de resultaten echter ontkracht kunnen worden. 3 Het onderscheid in basis, kern- en normindicatoren verdwijnt in het nieuwe waarderingskader van de Inspectie van het Onderwijs. Cadenza Onderwijsconsult onderzoekt hoe en of de VHM hierop aangepast dient te worden. Indien nodig wordt de VHM in juli 2017 hierop aangepast. IJking VHM PO aan toetsingskader PO-Raad 12

13 sprake zijn van goed onderwijs, wordt in het eindoordeel/eindadvies echter geen weging gegeven aan indicatoren. Competenties van de leerkracht Naast pedagogische en didactische vaardigheden heeft de professionele leerkracht andere vaardigheden die voor een goede uitoefening van het beroep noodzakelijk zijn. De wet op de beroepen in het onderwijs (wet BIO) beschrijft zeven competenties: 1. Interpersoonlijke competentie 2. Pedagogische competentie 3. Vakinhoudelijke en didactische competentie 4. Organisatorische competentie 5. Competent in samenwerking in een team 6. Competent in samenwerken met de omgeving 7. Competent in reflectie en ontwikkeling De VHM PO is gericht op competenties 1, 2, 3 en deels ook op de 4 e competentie. De overige deelcompetenties van competentie 4 en de competenties 5, 6 en 7 worden in het basisinstrument niet onderzocht. Wel bestaat de mogelijkheid om de VHM PO uit te breiden met een vragenlijst gericht op deze overige competenties. Deze lijst is volgens dezelfde structuur uitgewerkt in indicatoren en waarneembare vaardigheden en kan aan ieder VHM PO-account gekoppeld worden. Het instrument zelf is echter gericht op pedagogische en didactische vaardigheden. 1.4 CAO PO De VHM PO is opgezet als een ontwikkelinstrument, een observatiemethode om de leerkracht feedback te geven op zijn/haar handelen en suggesties te kunnen doen voor verdere ontwikkeling. In die zin sluit de VHM PO aan bij de CAOCAO voor het primair onderwijs ( ), waarin gesteld wordt dat iedere leraar streeft naar het behalen van vakbekwaamheid. De VHM PO-observatie geeft aan wat de sterke punten van de leerkracht zijn, maar ook waar ontwikkelpunten liggen, die voor zowel de leerkracht als de leidinggevende aanleiding kunnen zijn voor professionaliseringsactiviteiten. De VHM biedt de mogelijkheid om afspraken omtrent deze ontwikkelpunten vast te leggen in een observatieverslag. IJking VHM PO aan toetsingskader PO-Raad 13

14 Scherm 1 Voorbeeld van een observatieverslag met het overzicht van ontwikkelpunten van de leerkracht. Van groot belang is de relatie tussen de VHM en de CAOCAO PO In deze laatste CAO worden de criteria voor basis- en vakbekwaamheid als volgt nader gespecificeerd. Basisbekwaamheid De leerkracht die in staat is een veilig en stimulerend leerklimaat te verzorgen, structuur, orde en duidelijkheid biedt in de les en de leerlingen actief laat meedoen aan de les, waardoor er sprake is van echte interactie, is basisbekwaam te noemen. In gedragstermen is het volgende waarneembaar: Criteria uit de CAO Vaardigheid De leraar toont in gedrag en taalgebruik respect voor leerlingen 2.9 geeft duidelijke uitleg van de leerstof 7.4 zorgt voor ontspannen sfeer 2.7 ondersteunt het zelfvertrouwen van leerlingen 2.8 geeft feedback aan de leerlingen 13.1 zorgt voor een ordelijk verloop van de les 8.2 zorgt voor wederzijds respect 2.4 zorgt voor doelmatig klassenmanagement 8.4 geeft goed gestructureerd les 8.1 IJking VHM PO aan toetsingskader PO-Raad 14

15 bevordert dat leerlingen hun best doen 8.5 gebruikt leertijd efficiënt 8.3 gaat tijdens verwerking na of leerlingen opdrachten goed uitvoeren 11.3 stelt vragen die leerlingen tot denken aanzetten 12.4 betrekt alle leerlingen bij de les 7.7 verduidelijkt bij de aanvang van de les de lesdoelen 7.3 gaat na of de lesdoelen werden bereikt. 7.5 hanteert werkvormen die leerlingen activeren 15.1 geeft duidelijke uitleg van didactische hulpmiddelen en opdrachten 7.6 stimuleert leerlingen om over oplossingen na te denken 12.7 gaat tijdens instructie na of leerlingen de leerstof hebben begrepen 11.1 stimuleert het zelfvertrouwen van zwakke leerlingen 2.8 zorgt voor interactieve instructie 12.1 moedigt kritisch denken van leerlingen aan bevordert het toepassen van het geleerde 12.6 laat leerlingen hardop denken 12.2 leert leerlingen hoe complexe problemen te vereenvoudigen stimuleert het gebruik van controle-activiteiten 12.5 leert leerlingen oplossingen controleren Vakbekwaamheid De leerkracht die basisbekwaam is en die oog en oor heeft voor de behoeften en mogelijkheden van elke individuele leerling en in staat is om elke leerling die aandacht en begeleiding te geven die past bij die leerling, is vakbekwaam. Deze leraar geeft de groep en de individuele leerling gerichte aandacht en begeleiding. In gedragstermen is naast de gedragstermen genoemd bij basisbekwaam het volgende waarneembaar: Criteria uit de CAO Vaardigheden De leraar stemt de instructie af op relevante verschillen tussen leerlingen 21.2/21.3 vraagt leerlingen na te denken over strategieën bij de aanpak 12.3 biedt zwakke leerlingen extra leer-en instructietijd 21.1 stemt verwerking van leerstof af op verschillen tussen leerlingen 22.1 Binnen de VHM PO is een mogelijkheid opgenomen om de observatieresultaten te vertalen naar bekwaamheidsniveaus. In de kolom Vaardigheden is aangegeven hoe dat per december 2016 is gedefinieerd (zie ook bijlage 1). Op deze vaardigheid dient de geobserveerde op een schaal van 4 ten minste een 3 te scoren (dit gedrag is conform de formulering van de vaardigheid waargenomen) om aan de eisen van het bekwaamheidsniveau te voldoen. Uit de vergelijking is duidelijk dat de bekwaamheidsprofielen uit de VHM PO voor 94% overeenkomen met de gedragscriteria zoals gedefinieerd in de CAOCAO. In juli 2017 wordt de VHM aangepast zodat deze volledig overeenstemt met de gedragscriteria zoals deze vermeld staan in de CAOCAO. IJking VHM PO aan toetsingskader PO-Raad 15

16 1.5 Onderwijsvisie In de Werkwijzer leidinggevenden verwijzen de ontwikkelaars naar verschillende theorieën met betrekking tot observeren, feedback en evalueren (o.a. Maslov (1954), nssens (2001), Wildeboer (2013), Immers (2013), Lang & van der Molen (1998), van de Molen, Kluytmans & Kramer (1995). Wat betreft de inhoud van de observatielijst wordt verwezen naar de onderwijsinspectie, Marzano (2009) en Veenman (1998). IJking VHM PO aan toetsingskader PO-Raad 16

17 2 Toetstechnische criteria 2.1 Start-, basis- en vakbekwaam Het instrument leidt ertoe dat wordt getoetst of gedragingen die behoren bij basis- of vakbekwaam worden geobserveerd en genoteerd. Het instrument gaat uit van het niveau Startbekwaam voor de leerkrachten bij wie de observatie wordt uitgevoerd. De CAO definieert startbekwaam immers niet in observeerbare bekwaamheidseisen. De VHM PO neemt impliciet aan dat een bevoegde leerkracht startbekwaam is, net als dit het geval in de cao. 2.2 Normscores en normering De observatielijst van de VHM PO bestaat uit omschrijvingen die bijna letterlijk overeenkomen met de gedragsomschrijvingen uit de lijst van de inspectie en/of de CAO. De VHM is opgebouwd uit bekwaamheidsindicatoren die gemeten worden in termen van vaardigheden. De vaardigheden worden gescoord op een ordinale schaal: 1. Dit gedrag is niet waargenomen. 2. Dit gedrag is nog niet in voldoende mate waargenomen. 3. Dit gedrag is conform de formulering van de vaardigheid waargenomen. 4. Dit gedrag is op excellent niveau waargenomen. Deze formulering laat veel ruimte voor interpretatie door de observator. De ontwikkelaars van het instrument onderkennen deze potentiele verschillen in interpretatie tussen observatoren en bieden verschillende hulpmiddelen om te komen tot een gestandaardiseerd oordeel. Zo gaat iedere lijst gepaard met: Een good-practicelijst Een criterialijst waaruit blijkt welk gedrag hoort bij welke score. De grensscores zijn relatief eenvoudig vastgesteld: alle gedragingen die behoren bij een bekwaamheidsniveau moeten ten minste op het niveau van conform de formulering (score 3) zijn waargenomen. De VHM PO wordt ook gebruikt om tot een eindoordeel in de vorm van een certificaat te komen. Om voor een certificaat in aanmerking te komen dient de leerkracht op alle indicatoren een voldoende te scoren. Om te komen tot een score per indicator wordt de ordinale schaal omgezet naar een intervalschaal en de scores op de vaardigheden worden gemiddeld. Een leerkracht komt in aanmerking voor een certificaat als de score op alle indicatoren voldoende is, dat wil zeggen 2,4 of hoger. De keuze voor een waarde van 2,4 is gemaakt op grond van een vergelijking met de 10-puntsschaal voor een rapportcijfer. Een 2,4 op een 4- puntsschaal komt overeen met een 6 op een 10-puntsschaal. Er is geen externe validatie van dit criterium. Besturen van scholen kunnen zelf het criterium naar boven aanscherpen. IJking VHM PO aan toetsingskader PO-Raad 17

18 2.3 Schaalconstructie De items van de VHM PO worden niet verder geclusterd dan op het niveau van indicatoren (dus van observeerbare gedragingen gemeten als vaardigheden naar een gemiddelde score op die vaardigheden, zie paragraaf 2.2 hierboven). Vanuit onderwijsfilosofie van de ontwikkelaars wordt gesteld dat alle bekwaamheidsindicatoren vereist zijn om een goede leerkracht te zijn. Een verdere clustering heeft vanuit die filosofie geen zin. Wel is het zo dat er categorieën van bekwaamheidsindicatoren worden aangegeven die overeenkomen met het belang dat de inspectie geeft aan de vaardigheden (norm-, kern- en basisindicatoren). Deze categorieën worden in het instrument gebruikt om prioriteit aan te geven in ontwikkeldoelen en op een hoger aggregatieniveau (school of bestuur) een overzicht te geven van de urgentie van de aanpak van eventuele zwakte punten binnen het team/de teams. Scherm 2 Voorbeeld van een overzicht op school(team)niveau. Daarnaast onderkennen de ontwikkelaars van het instrument de indeling pedagogische en didactische vaardigheden. De indeling wordt in het instrument niet expliciet weergegeven of gebruikt, maar is duidelijk herkenbaar in formuleringen van indicatoren en vaardigheden. Ook wat betreft deze indeling wordt eerder rekening gehouden met een wetenschappelijke onderbouwing van het belang van vaardigheden van leerkrachten voor de ontwikkeling van leerlingen dan met een klassiek onderscheid tussen pedagogische en didactische vaardigheden. IJking VHM PO aan toetsingskader PO-Raad 18

19 2.4 Bruikbaarheid De VHM PO wordt al sinds 2009 toegepast bij lesobservaties met als doel te komen tot ontwikkeladviezen en ontwikkelafspraken. Uit anekdotische uitspraken blijkt dat de leerkrachten, na een eerste aarzeling, vaak enthousiast zijn over de feedback die de gestructureerde observatie oplevert. Schoolleiders (observatoren) worden getraind in observatie en nagesprek voordat zij een licentie ontvangen om de VHM PO te gebruiken. Na afloop van de training wordt een evaluatieformulier uitgedeeld. Onderdeel VHM PO Rapportcijfer Inhoud van de werkwijzer (informatiemap) 8,5 Opbouw en kwaliteit van de theoretische training 8,5 Opbouw en kwaliteit van de praktische training 8,7 Wijze van begeleiding door de adviseur van Cadenza Onderwijsconsult 8,4 Kwaliteit van de hele opleiding 8,5 Het plannen van de afnamen met de adviseur of het secretariaat 8,3 De correctheid in het nakomen van de afspraken door de adviseur 8,4 De bruikbaarheid van het instrument 8,1 Zou u de VHM-training en het instrument aanbevelen aan een collega? 8,3 Tabel 1 Waardering VHM PO Instructiegedrag a.d.h.v. evaluaties van cursisten in 2016 De evaluatie betreft de training van de schoolleider en niet de direct bruikbaarheid van de VHM. Voor de bruikbaarheid van de VHM zijn geen directe metingen beschikbaar. Wel is uit de database af te leiden hoeveel scholen ooit begonnen zijn met de VHM en hoeveel scholen nog steeds gebruik maken van de VHM. Van de 486 scholen die zijn opgenomen in de VHM hebben 87 scholen de status gearchiveerd (18%). Eind december 2016 hebben dus zo n 400 leidinggevenden een licentie voor het gebruiken van de VHM PO. Voor 2016 geldt het volgende: Voor 2288 unieke gebruikers (leerkrachten, IB ers, schoolleiders) is een observatiecyclus gestart binnen ongeveer 280 organisaties (alle VHM s). Meer dan de helft (58%) van de scholen/besturen met een licentie voor de VHM maakte in het afgelopen jaar actief gebruik van een van de Vaardigheidsmeters. De VHM Instructiegedrag is ingezet voor zowel leerkrachten in het PO en het SO als voor leraren in het VO en het VSO.. De VHM PO is i9n 261 unieke organisaties afgenomen. Deze cijfers geven slechts indirect aan wat de bruikbaarheid van de VHM PO is. Lesobservaties kunnen buiten het instrument om worden uitgevoerd, niet-actief gebruik kan andere redenen hebben dan lage bruikbaarheid, en schoolleiders kunnen een frequentie van een maal per jaar te hoog vinden. Het zou interessant zijn om een evaluatieonderzoek onder de scholen die in de database zijn opgenomen uit te voeren. 2.5 Betrouwbaarheid: interbeoordelaarsovereenkomst Het is de bedoeling dat de VHM PO wordt afgenomen door de schoolleiders. Dit impliceert dat er veel beoordelaars zijn en er nieuwe beoordelaars bijkomen. De ontwikkelaars onderkennen het potentiele probleem van te lage interbeoordelaarsovereenkomst en hebben een procedure opgezet om de overeenkomst zo groot mogelijk te maken. IJking VHM PO aan toetsingskader PO-Raad 19

20 De interbeoordelaarsovereenkomst wordt tweejaarlijks informeel getest door diverse onderwijsadviseurs naar een video-opname van een instructieles te laten kijken en de VHM PO te laten invullen. Op grond van die ervaring wordt de beoordelaarstraining en beoordelaarsinformatie verder aangepast. Voordat een schoolleider een licentie verkrijgt om de VHM PO te gebruiken volgt hij/zij een training van drie dagdelen. Daarna wordt zeven maal een lesobservatie uitgevoerd, waarbij de eerste observaties geleid worden door de onderwijsadviseur en de latere observaties door de schoolleider onder supervisie van de onderwijsadviseur. De schoolleider wordt verplicht om na twee jaar een nascholingstraject te volgen, waarin met behulp van video-opnames de beoordelingen van medecursisten en onderwijsadviseurs wordt bediscussieerd. Tijdens de lesobservaties is een actuele good-practicelijst en een lijst van scoringscriteria vanuit het instrument te downloaden. Deze lijsten bevatten voorbeelden van concreet gedrag dat getoond moet worden om een vaardigheid op een bepaald niveau te scoren. 2.6 Betrouwbaarheid: test-hertestbetrouwbaarheid De test-hertestbetrouwbaarheid is niet statistisch onderbouwd. In de instructie voor observatoren wordt echter duidelijk vermeld welk lestype geschikt is voor een observatie (een volledige instructieles in de vakken taal of rekenen, inclusief een leswisseling). Ook de te observeren leerkracht wordt duidelijk geïnstrueerd ten aanzien van de lesvorm en de observatiecriteria. In combinatie met de uitgebreide training voor beoordelaars gaan de ontwikkelaars ervan uit dat ook de intra-beoordelaarbetrouwbaarheid voldoende is. Verder is het instrumentarium opgezet als ontwikkelinstrument. Het is de verwachting dat een hertest leidt tot een ander (beter) observatieresultaat. IJking VHM PO aan toetsingskader PO-Raad 20

21 3 Afnamecondities 3.1 Observaties De VHM kent een uitgebreid trainingstraject van zowel de observator als de geobserveerde leerkracht. De onderwijsfilosofie van de ontwikkelaars stelt dat de VHM een instrument moet zijn in handen van de schoolleiding (directeur, IB er). Er is in de trainingsfase en tijdens de tweejaarlijkse nascholing sprake van een intensieve begeleiding door ervaren onderwijsadviseurs, met de intentie om op schoolniveau betrouwbare observatoren te ontwikkelen en de interbeoordelaarsovereenkomst te optimaliseren. Het trainingstraject bestaat uit de volgende onderdelen: Studiebijeenkomst met theorie en praktijktraining van drie dagdelen, waarbij feedbackgesprekken worden geoefend met een trainingsacteur; Teamtraining van één dagdeel waarin de cursist in het bijzijn van de opleider doel en werkwijze omtrent de VHM toelicht aan zijn/haar team; Praktische training in zevendagdelen in het observeren, scoren en nabespreken van de observaties onder begeleiding van een ervaren opleider. In de Werkwijzer Leidinggevenden, de informatiemap bij de training voor observatoren worden zowel de frequentie als de condities voor een goede lesobservatie genoemd. De tijdsinvestering (een dagdeel per leerkracht) wordt geïndiceerd en er wordt expliciet vermeld welke voorbereiding men op schoolniveau dient te treffen (bijvoorbeeld, zorgen voor vervanging van de leerkracht tijdens het nagesprek). Er wordt in de werkwijzer ook aandacht besteed aan de observatie zelf (bijvoorbeeld, zorg dat je tijdens verlengde instructie in de buurt van de leerkracht bent om te horen op welke manier hij/zij de leerlingen helpt ), en aan de technische aspecten van de afname (bijvoorbeeld, zorg voor een moderne computer met een internetverbinding ). Ook de leerkrachten worden getraind tijdens een groepsbijeenkomst. Er wordt aangegeven wat de eisen zijn ten aanzien van de les, wat de criteria zijn die gebruikt worden en wat de procedure is. IJking VHM PO aan toetsingskader PO-Raad 21

22 Scherm 3 Voorbeeld van een ingevulde observatielijst 3.2 Verwerken van resultaten Scoren Het instrumentarium kent per afnamelijst per vaardigheid een set van criteria die omschrijven wanneer een bepaalde score (1 t/m 4) van toepassing is. Het instrument gaat echter over het observeren en interpreteren van gedrag en in die zin blijft het moeilijk om de criteria eenduidig te omschrijven. In de extremen van de schaal (het gedrag is niet waargenomen resp. het gedrag is op excellent niveau waargenomen) zijn de criteria duidelijk, maar voor de tussenliggende scores (2 en 3) is regelmatig sprake van te veel of te weinig. De normering voor de scores geeft wel duidelijk aan welk gedrag geobserveerd moet worden. IJking VHM PO aan toetsingskader PO-Raad 22

23 Indicator Score Normering voor de scores 7.4. De leerkracht legt de leerstof beknopt, interactief en gericht op het lesdoel uit 1 De leerkracht geeft geen instructie. 2 3 De leerkracht geeft wel instructie, maar de nadruk ligt vooral op begeleide inoefening. Of: De leerkracht geeft wel instructie, maar deze is niet beknopt, interactief en/of expliciet gericht op het lesdoel. De leerkracht geeft instructie die gericht is op het lesdoel, maar de instructie kan beknopter en/of interactiever. 4 De leerkracht geeft een beknopte instructie, bijvoorbeeld door eerst kort te modelen. Daarna worden alle leerlingen er (inter)actief bij betrokken. De instructie is expliciet gericht op het lesdoel. Tabel 2 Voorbeeld van scoringscriteria bij een vaardigheid De uitgebreide observatie-instructies en het bijbehorende leertraject (zie Werkwijzer leidinggevenden) geven vertrouwen dat de beoordeling gestandaardiseerd wordt, maar een expliciet onderzoek naar interbeoordelaarsovereenkomst zou de kracht van het instrumentarium onderbouwen Verwerking van de scores Binnen het instrument worden de scores op de vaardigheden per indicator automatisch gemiddeld. Het middelen van scores op een ordinale schaal bevindt zich in een statistisch grijs gebied. Het gebruik van de gemiddelde score dient dan ook kritisch bekeken te worden. Het middelen zelf wordt geautomatiseerd uitgevoerd. De ontwerpers van het instrument geven een standaard interpretatie van de individuele scores: een score van 2,4 of hoger is voldoende en een score van 3,2 of hoger is goed. Het staat gebruikers (besturen) echter vrij deze normen naar boven toe aan te passen Interpretatie van de scores Het instrument kent twee eindoordelen : de oorspronkelijk interpretatie certificaat-waardig en de meer recente vertaling naar bekwaamheidsniveau. Een leerkracht krijgt een certificaat als de score op alle indicatoren ten minste voldoende is. Een bijzondere aantekening wordt gemaakt als daarbinnen ook de score op alle vaardigheden ten minste een 3 is (het gedrag is conform de formulering van de vaardigheid waargenomen). Daarnaast wordt een deel van het verslag voor het nagesprek gedeeltelijk automatisch gegenereerd. Zowel op indicatorniveau als op vaardigheidniveau wordt aangegeven of de geobserveerde leerkracht ten aanzien van de vaardigheden een ontwikkelpunt heeft. Binnen het instrument kunnen bekwaamheidsprofielen worden opgesteld. Een bekwaamheidsprofiel is een set van vaardigheden (of indicatoren) waarop ten minste een bepaalde score moet worden gehaald om te voldoen aan de bekwaamheidseisen behorende bij een van de niveaus. De ontwikkelaars bieden een standaardprofiel aan dat de eisen reflecteert zoals die binnen de CAO worden omschreven (zie ook paragraaf 1.4), het IJking VHM PO aan toetsingskader PO-Raad 23

24 instrument geeft automatisch een overzicht van de scores van de leerkracht ten aanzien van de vaardigheden binnen de bekwaamheidsniveaus en komt met een eindoordeel voor de betrokken meting: start-, basis- of vakbekwaam (zie bijlage 1) Resultaten op teamniveau De scores worden ingevoerd in een web-based applicatie. Deze applicatie biedt de mogelijkheid de scores binnen een team (en van scholen binnen een bestuur) te evalueren. De resultaten worden gepresenteerd in een matrix, die kleurgecodeerd de resultaten op team- en op individueel niveau weergeeft. Het interpreteren van de matrix is een onderdeel van de training voor observatoren. Binnen het instrument VHM PO worden deze gegevens verder niet gebruikt. Het instrument wordt breed ingezet (ten minste 280 unieke scholen, verspreid over het hele land) waardoor benchmarking een interessante mogelijkheid is. De ontwikkelaars overwegen dit op te nemen in hun instrumentarium. 3.3 Het nagesprek Vanuit de onderwijsfilosofie van de ontwikkelaars is de lesobservaties de eerste stap in het proces. Het vervolg, de nabespreking inclusief ontwikkelafspraken, is gezien het primaire doel van het instrument (ontwikkeling) minstens zo belangrijk. De training voor observatoren besteedt uitgebreid aandacht aan een efficiënte en effectieve manier om over de observaties te communiceren. Er wordt van uitgegaan dat de observatie gedaan wordt door één persoon (de schoolleider). Tijdens het nagesprek is ruimte om scores te bespreken en af te stemmen tussen observator en geobserveerde. De observator neemt echter de uiteindelijke beslissing ten aanzien van het oordeel over de vaardigheid van de geobserveerde, op basis van de geobserveerde les. Het instrumentarium biedt de mogelijkheid tot zelfevaluatie. Het is mogelijk om de leerkracht zelf de observatielijst in te laten vullen en te vergelijken met het oordeel van de schoolleider. Deze optie wordt echter niet als standaard werkwijze verwerkt in de training voor observatoren. Binnen de training voor observatoren wordt ruim aandacht besteed aan de wijze waarop de resultaten kunnen worden teruggekoppeld naar de geobserveerde leerkracht. Dit wordt ook geoefend met een trainingsacteur. IJking VHM PO aan toetsingskader PO-Raad 24

25 4 Het HR-beleid 4.1 Professionalisering De ontwikkelaars van de VHM PO hebben het instrument opgezet als ontwikkelinstrument en streven ernaar dat de informatie die verkregen wordt, wordt ingezet om te komen tot verdere professionalisering van de leerkracht. Er wordt zowel op individueel als op team- en schoolniveau een overzicht gegeven van de sterke en nog te ontwikkelen vaardigheden. Scherm 4 Voorbeeld van een overzicht op bovenschools niveau. De ontwikkelaars besteden in de training aandacht aan de frequentie waarmee de lesobservaties het beste kunnen worden uitgevoerd en de manier waarop geobserveerde en observator samen kunnen komen tot ontwikkelafspraken (plan-do-check-act op individueel niveau). Metingen van een voorgaande observatie kunnen in het instrument vergeleken worden met de meest recente observatieresultaten. Ontwikkelen met e-learning De VHM is inhoudelijk gekoppeld aan een e-learningacademie Cadenza Highschool, ontwikkeld door hetzelfde bedrijf. De e-learningcursussen zijn gebaseerd op dezelfde onderwijskundige theorieën en filosofie en zijn direct gekoppeld aan de indicatoren uit het instrument. 4.2 Schoolbeleid De VHM PO doet geen directe uitspraken over de ontwikkeling van het team als geheel. Zoals in paragraaf is beschreven, zijn de resultaten voor het hele team (en de hele IJking VHM PO aan toetsingskader PO-Raad 25

26 school) direct zichtbaar via een gemiddelden-matrix. De consequenties voor schoolbeleid liggen voor de hand, maar vormen geen onderdeel van het instrumentarium. Voor het ontwikkelen en uitvoeren van schoolbeleid wordt een (onafhankelijk) derde instrument ingezet (Cadenza Schoolplanmanager). 4.3 Bredere benuttingsmogelijkheid Zoals hierboven reeds aangegeven, is het mogelijk de geobserveerde te vragen om de observatielijst zelf in te vullen en deze scores te vergelijken met de scores van een getrainde observator. De observatielijsten, scoringscriteria en good-practiceinformatie zijn vrij downloadbaar vanuit het instrument en kunnen binnen een team (collegiale consultatie, coaching, leren van elkaar) gebruikt worden. Observatie volgens de intentie van het instrument is voorbehouden aan licentiehouders (getrainde observatoren). 4.4 Samenhang met andere instrumenten Cadenza Onderwijsconsult heeft verschillende instrumenten die alle gericht zijn op kwaliteitszorg op scholen en professionalisering van de leerkracht. De meest directe samenhang wat betreft de VHM PO zijn de e-learningcursussen die direct gekoppeld zijn aan de indicatoren van de observatielijst. IJking VHM PO aan toetsingskader PO-Raad 26

27 5 Randvoorwaarden 5.1 Privacy De resultaten van de observaties worden opgeslagen in een database die bereikbaar is via internet. De gegevens zijn op verschillende manier beschermd tegen oneigenlijke toegang: 1. De internetverbinding is een beveiligde (https-)verbinding. 2. Toegang kan alleen worden verkregen met een gebruikersnaam en wachtwoordcombinatie (die versleuteld over het web worden verstuurd). 3. Gebruikers van de applicatie hebben alleen toegang tot hun eigen resultaten (leerkrachten), tot de resultaten van de medewerkers van de school (schoolleiders) of tot de resultaten van medewerkers van het bestuur (bestuurders). 4. Buiten de gebruikers genoemd in punt 3, hebben alleen helpdeskmedewerkers van Cadenza en helpdeskmedewerkers van de softwareleverancier toegang tot de gegevens. Deze medewerkers kennen een geheimhoudingsplicht. 5. De database bevindt zich op een beveiligde server met beperkte toegang, daarnaast is toegang beperkt door middel van een gebruikersnaam-wachtwoordcombinatie. 5.2 Tijd De Werkwijzer voor Leidinggevenden beschrijft expliciet de tijd die nodig is (en zelfs vereist wordt) voor training van observatoren alsmede de tijd die een afname en nabespreking vergt. Voor het laatste wordt een dagdeel per leerkracht aangegeven (anderhalf uur observatie, een half uur motivering en afstemming, anderhalf uur nagesprek en digitale verwerking). 5.3 Kosten In de Werkwijzer voor Leidinggevenden is duidelijk aangegeven wat de kosten zijn voor: De training van de observatoren De tweejaarlijkse hercertificering van observatoren De eenmalige training van de leerkrachten in instructievaardigheden in relatie tot het instrumentarium Het gebruik van het instrument (jaarlijkse bijdrage voor helpdesk en verdere ontwikkeling). 5.4 Koppeling aan digitale systemen Cadenza Onderwijsconsult biedt een ruimer pakket van digitale hulpmiddelen bij kwaliteitszorg en professionalisering van de leerkracht. De VHM PO kan gegevens uitwisselen met deze instrumenten, zoals Cadenza HRM (bekwaamheidsdossier) en het Scholingsplein (van Cadenza). Er is op dit moment geen koppeling met andere systemen. Onder voldoende waarborgen van privacy is dat overigens wel te realiseren. IJking VHM PO aan toetsingskader PO-Raad 27

28 6 Conclusies Het Toetsingskader van de PO-Raad biedt een nuttige leidraad bij de beoordeling van dit toetsingsinstrument. Desondanks is het niet mogelijk de vragen uit het kader altijd met een categorisch ja of nee te beantwoorden. Vragen uit Toetsingskader Afbakening en inhoudelijke onderbouwing Is de inhoudsvaliditeit geëxpliciteerd? Is geëxpliciteerd of en hoe het instrument is afgestemd op een het toezichtkader van de inspectie, de wet Bio, de CAO? Is de onderwijsvisie geëxpliciteerd? Beidt het instrument mogelijkheden voor flexibel gebruik? Onderbouwing vanuit theorie en onderzoek? Toetstechnische criteria Differentiatie naar niveaus van beheersing? Normgegevens? Normering: criteriumgerichte interpretatie? Scoring op ordinaal niveau? Schaalconstructie? Proefafnames? Betrouwbaarheid: interne consistentie? Betrouwbaarheid: Interbeoordelaarsovereenkomst? Betrouwbaarheid: Test-hertestbetrouwbaarheid? Afnamecondities Worden de afnamecondities beschreven en onderbouwd? Is voorzien in training van de observatoren? Wordt gebruik gemaakt van werkwijzen die de betrouwbaarheid vergroten? Is het proces van scoring naar resultaten duidelijk? Inbedding in het HR-beleid Beheersingsniveaus? Professionalisering? Schoolbeleid? Cyclische toepassing? Brede benuttingsmogelijkheid van hetzelfde instrument? Samenhang met andere instrumenten Algemene randvoorwaarden Wordt de privacy gewaarborgd? Wordt de benodigde investering in tijd vermeld? Worden de kosten vermeld en gedifferentieerd? Koppeling aan digitale systemen? Beoordeling, maar niet direct empirisch gecheckt. Wel indirect via onderzoeken in opdracht van de onderwijsinspectie Deels : eigen criteria, eigen observatielijsten Nee: de normen van de inspectie en de CAO worden vastgehouden Nee Deels (deels indirect via onderzoek van de inspectie) Nee (deels indirect via onderzoek van de inspectie) Niet statistisch getest, wel veel aandacht en training Veel aandacht voor training van observatoren en afnamecondities Niet met ja of nee te beantwoorden Deels IJking VHM PO aan toetsingskader PO-Raad 28

29 Literatuur Cadenza Onderwijsconsult (2015). Criteria voor scoren van de VHM PO. Cadenza Onderwijsconsult (2015), Good-Practicelijst voor leerkrachten bij de kijkwijzer Vaardigheidsmeter Instructiegedrag voor het PO. Cadenza Onderwijsconsult (juni 2016). Werkwijzer Leidinggevenden VHM PO. Hattie, John (2013), Leren zichtbaar maken, Bazalt Educatieve Uitgaven. Inspectie van het onderwijs (januari 2007), Wetenschappelijke Onderbouwing van het waarderingskader PO 2005; een evidence-based benadering, Inspectierapport Marzano, Robert J.(2009) Wat werkt in de klas? Bazalt Educatieve Uitgaven. Marzano, Robert J. (2010), Wat werkt: Pedagogisch handelen & klassenmanagement, Bazalt Educatieve Uitgaven. PO-raad (2016). Collectieve Arbeidsovereenkomst voor het Primair Onderwijs. PO-raad (september 2016). Toetsingskader observatie-instrumenten primair onderwijs. Versie voor ontwikkelaars. IJking VHM PO aan toetsingskader PO-Raad 29