Wijs bewijs. Werkcollege Evidence based toezicht. Congres Leren loont, 10 november 2011

Transcriptie

1 Wijs bewijs Werkcollege Evidence based toezicht Congres Leren loont, 10 november 2011 Dr. Marielle Klerks, IvhO en MJP Effecten van toezicht Dr. Marianne van Ooyen, WODC, EUR en Tier Werkcollege 1. Theorie 2. Voorbeeld 3. Opdracht 4. Discussie 2 1

2 Beleidscyclus Ideaaltypisch model (Van Hoessel, Leeuw & Mevissen, 2005) Beëindiging, aanpassing, invoeren Maatschappelijk probleem / doel Beleidsevaluatie Agendavorming Beleidsimplementatie Beleidsvoorbereiding Besluitvorming Toezichtcyclus Beëindiging, aanpassing, invoeren Maatschappelijk probleem / doel Evaluatie van interventies Agendavorming Uitvoeren van interventies Vaststellen inspectiedoelen en mogelijke interventies Plannen van interventies 2

3 Onderzoek in de toezichtcyclus Monitoring Probleemsignalerend onderzoek Beëindiging, aanpassing, invoeren Maatschappelijk probleem / doel Evaluatie van interventies Effectevaluatie Agendavorming Uitvoeren van interventies Procesevaluatie Plannen van interventies Vaststellen inspectiedoelen en mogelijke interventies Verkennend onderz. Planevaluatie Overzichtsstudie Kernvragen: Planevaluatie Is er wetenschappelijke evidence (bewijs) voor de geplande interventie? Is de interventie dus kansrijk? 6 3

4 Planevaluatie is in de interventie duiken 7 CMO-model Hoe moet de interventie volgens de beleidtheorie werken? Veronderstelde context Situatie, doelgroep of probleem Veronderstelde mechanismen Mechanismen die door de interventie in de context in werking moeten treden Veronderstelde outcome Gewenste uitkomst qua (gedrags)- verandering Evt. neveneffecten 8 4

5 Planevaluatie: Toetsing van theorie Kernvragen: Is er bewijs voor deze theorie? Wat zegt de voorhanden wetenschappelijke literatuur over de werking van deze geplande interventie? Overzichtsstudie, systematisch review 9 Voorbeeld overzichtsstudie Zullen informatiecampagnes die gericht zijn op het opwekken van angst bij (toekomstige) bolletjesslikkers de smokkel reduceren? 10 5

6 Veronderstelde context CMO-model Veronderstelde mechanismen Veronderstelde outcome Schiphol (Potentiële) bolletjesslikkers Kennis nodig over gevolgen gedrag Aandrang tot gedragsverandering verhogen Koerier weerstaat aanbiedingen uit drugsmilieu Zoekt andere bron van inkomsten Door angst op te wekken bij koeriers = Gevoel van dreiging oproepen Gevaarcontrole Smokkelt niet (meer) 11 Planevaluatie Leren: Vroegtijdig bijstellen van een interventie mogelijk. Evidence based interventie inzetten. Kostenbesparend. 12 6

7 Onderzoek in de toezichtcyclus Beëindiging, aanpassing, invoeren Maatschappelijk probleem / doel Evaluatie van interventies Agendavorming Uitvoeren van interventies Procesevaluatie Plannen van interventies Vaststellen inspectiedoelen Kernvragen: Procesevaluatie Wordt de interventie uitgevoerd volgens de bedoelingen? 14 7

8 Procesevaluatie Indaling van interventie in werkveld (Bressers & Hoogerwerf, 1997) 15 Onderzoek in de toezichtcyclus Beëindiging, aanpassing, invoeren Maatschappelijk probleem / doel Evaluatie van interventies Effectevaluatie Agendavorming Uitvoeren van interventies Vaststellen inspectiedoelen Plannen van interventies 8

9 Kernvragen: Effectevaluatie Is de interventie effectief? Worden de doelen gerealiseerd? En komt dat door de interventie? 17 De gouden standaard Voormeting Nameting T 0 T 1 Experimentele groep Interventie Experimentele groep Controle groep Controle groep 18 9

10 Netto effect 100% % naleving Experimentele groep Controle groep EFFECT 0% Voormeting Nameting T 0 T 1 19 Werkcollege 1. Theorie 2. Voorbeeld: Overzichtsstudie 3. Opdracht 4. Discussie 20 10

11 Systematisch review Leidt geïntensiveerd toezicht op zwakke basisscholen tot verbetering van de onderwijskwaliteit? Context Zwakke basisscholen Geïntensiveerd toezicht Mechanisme Outcome Onderwijskwaliteit 21 Methode van onderzoek 22 11

12 Methode van onderzoek 1. Zoektermen, in PICO-model Population Intervention Context Outcome Onderwijsinspectie (Geïntensiveerd) toezicht (Zeer zwakke of zwakke basis-) scholen Verbetering onderwijskwaliteit School Inspection Intensified (School) Inspection Special Measure Schools School Improvement Primary Education Monitoring Improvement(s) Schools with poor Performance(s) Education(al) Quality External Control Failing School(s) School Performance Quality Control Student Performance Effect en experiment Compliance Assistance Output Measure(s) Effect(s) or Effective(ness) Poor* Impact of (School) Inspection Experiment(s) * Bijwoord Mechanisme Context Outcome 23 Methode van onderzoek 1. Zoektermen 2. Inclusiecriteria, voorwaarden waaraan artikelen moeten voldoen 24 12

13 Methode van onderzoek 1. Zoektermen 2. Inclusiecriteria 3. Zoekstrategie vanuit verschillende invalshoeken 25 Methode van onderzoek 1. Zoektermen 2. Inclusiecriteria 3. Zoekstrategie 4. Selectie 26 13

14 Systematisch review 27 Systematisch review MSMS-5 Kwantitatief MSMS-4 MSMS-3 MSMS-2 Combi MSMS-1 Kwalitatief Schoolverbetering Gedragsverandering Resultaat leerlingen 28 14

15 Conclusie Leidt geïntensiveerd toezicht op zwakke basisscholen tot verbetering van de onderwijskwaliteit? Zwakke basisscholen Geïntensiveerd toezicht Onderwijskwaliteit 29 Conclusie Leidt toezicht op scholen tot verbetering van de onderwijskwaliteit? Scholen Onderwijskwaliteit Schoolverbetering Toezicht Gedragsverandering leerkrachten Resultaat leerlingen 30 15

16 Conclusie Welke kenmerken van toezicht leiden tot verbetering van de onderwijskwaliteit? Scholen Onderwijskwaliteit Schoolverbetering Toezicht Feedback Gedragsverandering leerkrachten Resultaat leerlingen 31 Werkcollege 1. Theorie 2. Voorbeeld 3. Opdracht: CMO-denken in de praktijk 4. Discussie 32 16

17 Opdracht 1. Met welk probleem in je eigen werksituatie- zou je evidence based aan de slag willen? 33 Opdracht 2. Hoe ziet dat probleem eruit als je het CMO-model erop toepast? Veronderstelde context Situatie, doelgroep of probleem Veronderstelde mechanismen Mechanismen die door de interventie in de context in werking moeten treden Veronderstelde outcome Gewenste uitkomst qua (gedrags)- verandering 34 17

18 Opdracht 3. Met wat voor soort onderzoek zou je het probleem het beste kunnen onderzoeken? 35 Werkcollege 1. Theorie 2. Voorbeeld 3. Opdracht 4. Discussie: En dan de praktijk? 36 18

19 Voor meer informatie: