De Evidence Based Beleidsmaker en Toezichthouder Een master voor professionals in Evidence Based Policy and Evaluation Module A: Werken met evidence Introductie Module B: De eigen praktijk door een evidence based bril (Deel 1) Module C: De eigen praktijk door een evidence based bril (Deel 2) Module D: Thesis rond evidence based werken Top Institute for Evidence Based Education Research 2011
Dutch Teachers and Policymakers Academy (DTPA) De Dutch Teachers and Policymakers Academy verzorgt opleidingen en cursussen voor beleidsmedewerkers en toezichthouders vanuit de gedachte dat problemen in het onderwijs alleen opgelost kunnen worden door een creatieve en slimme aanpak. Een belangrijk aspect daarbij is de evidence based-benadering: veranderingen in het onderwijs worden pas doorgevoerd als bewezen is dat ze effectief zijn. En als dat bewijs er nog niet is, moeten veranderingen worden gekoppeld aan onderzoek. Dat vraagt van beleidsmedewerkers en toezichthouders niet alleen een specifieke aanpak, kennis en vaardigheden, maar ook een passende houding. De Dutch Teachers and Policymakers Academy is nauw verbonden met TIER, het Top Institute for Evidence Based Education Research. De drie partners binnen TIER de Universiteit Maastricht, de Universiteit van Amsterdam en de Rijksuniversiteit Groningen streven naar kwaliteitsverbetering van het Nederlandse onderwijs door te bevorderen dat evidence based werken de leidraad wordt in onderwijsbeleid en -praktijk. TIER Het Top Institute for Evidence Based Education Research (TIER) is een interuniversitair onderzoeks instituut dat onderzoek verricht op het gebied van evidence based onderwijs. TIER kent drie partners: de Universiteit Maastricht, de Universiteit van Amsterdam en de Rijksuniversiteit Groningen. 1
Modules voor professionals in Evidence Based Policy and Evaluation Beleidsinnovatie Evidence based policy wetenschappelijk onderbouwd beleid houdt in dat beleidsmakers, toezichthouders en andere medewerkers binnen de publieke sector zich niet laten leiden door veronderstellingen of vooroordelen maar door feiten. Ondanks de vele ideeën voor beleidsvernieuwing is er immers steeds de vraag: wat werkt en wat werkt niet? Hoe komt u daar achter? Welke vernieuwingen zijn echt effectief en leiden tot meer kwaliteit en beter beleid? Die vragen vormen het uitgangspunt van deze modules en de bijhorende master. Wat is evidence based beleid? Evidence based beleid houdt in dat een beleidsmaker of andere medewerker binnen de publieke sector zich steeds laat inspireren door de best mogelijke evidence die aanwezig is. De deelnemers leren verschillende soorten van evidence onderscheiden, beoordelen en interpreteren. Door kritisch het werk van onderzoekers te bespreken en de achterliggende theorie te verkennen, worden een specifieke aanpak en attitude eigen gemaakt. Aanpak Stel, u vraagt zich af: kan Nederland beter presteren op de PISA-indicatoren dankzij de invoering van teambeloning voor leraren? Of: kan de onderwijskwaliteit verbeteren als gevolg van geïntensiveerd inspectietoezicht? In de modules Evidence Based Policy and Evaluation kunnen we de beantwoording van dergelijke vragen op twee manieren aanpakken. Eén manier is: een systematische analyse maken van de beschikbare publicaties over het onderwerp. Daarbij komen vaardigheden kijken als: hoe selecteer ik bruikbare onderzoeksresultaten uit het grote aanbod? Hoe beoordeel ik de methodologische kwaliteit van de gevonden publicaties? Welke zijn geschikt voor mijn eigen (beleids)praktijk? Deze wijze komt in module A (Werken met evidence Introductie) aan bod. Een tweede manier om de gestelde vraag te beantwoorden bestaat uit zelf onderzoek doen en gegevens analyseren. U kunt bijvoorbeeld een onderzoek doen waarin geëxperimenteerd wordt met teambeloning; u analyseert in de PISA-data de prestaties van leerlingen in scholen met een dergelijke beloningsstructuur; of u bestudeert de onderwijskwaliteit van scholen die onder geïntensiveerd toezicht vallen. In module B en C (De eigen praktijk door een evidence based bril) bestaat hiervoor de mogelijkheid. Opbouw modules en master De modules A en B kunnen afzonderlijk en onafhankelijk van elkaar gevolgd worden. Module A geeft een introductie op verkennend en intuïtief niveau. Deze module is geschikt voor beleidsmakers, toezichthouders en andere medewerkers binnen de publieke sector die zich het begrippenkader van evidence based werken willen eigen maken, zelfstandig evidence willen distilleren uit wetenschappelijke literatuur en de resultaten op een systematische manier willen overbrengen naar collega s. Module A beslaat 6 maanden van 2 contactdagen per maand. Aan het eind van de module heeft u, onder begeleiding van een ervaren onderzoeker, een systematisch literatuuronderzoek geschreven over uw specifieke vraag. Modules B en C gaan meer de diepte in. Module C kan slechts worden aangevat na succesvolle afronding van module B. In modules B en C leert de deelnemer zelf gegevens verwerken en interpreteren. Deze modules zijn geschikt voor beleidsmakers, toezichthouders en andere medewerkers binnen de publieke sector die zelf graag onderzoek willen initiëren, onderzoek nauwgezet willen opvolgen, statistische modellen willen interpreteren en/of zelf een verkennende analyse willen maken. U leert er een brede waaier van onderzoeksmethodes kennen en gebruiken. Denk aan effectstudies, procesevaluaties en natuurlijke experimenten. Ook relevante beleidskaders zoals organisatietheorieën, theorieën over overheidsbeleid en ambtelijk gedragsmanagement (waaronder human resources management), kostenbatenanalyse en welvaartsfuncties komen er aan bod. Module B en C beslaan 6 maanden van 2 contactdagen per maand. Aan het eind van de modules hebt u een artikel geschreven dat zowel inzicht brengt in de 2
wetenschappelijke literatuur als analyses beschrijft over een beleidsonderwerp naar keuze. aangevangen indien de deelnemer succesvol modules A, B en C heeft afgerond. Beleidsmakers en toezichthouders die zich volledig willen onderscheiden kunnen na afloop van module A, B en C, en onder begeleiding van een ervaren onderzoeker, een thesis rond evidence based werken schrijven. Na een succesvolle afronding van de thesis ontvangt de beleids maker/toezichthouder de mastergraad in Evidence Based Policy and Evaluation. Systematische voorstelling Semester 1 Module A - Werken met evidence Introductie Semester 2 Module B - De eigen praktijk door een evidence based bril (deel 1) Semester 3 Module C - De eigen praktijk door een evidence based bril (deel 2) Semester 4 Module D - Thesis rond evidence based werken Master in Evidence Based Policy and Evaluation Voor wie zijn deze modules bedoeld? De modules Evidence Based Policy and Evaluation maken deel uit van een academisch programma, bedoeld voor beleidsmakers, mensen die werkzaam zijn op het terrein van toezicht, naleving en inspecties en andere medewerkers binnen de publieke sector en met relevante werk ervaring. Daarnaast zijn de modules bedoeld voor hen die aan kennis en strategie doen in de publieke sector. Met de modules willen we mensen en organisaties bereiken die de wisselwerking tussen wetenschappelijke kennis en de beleidspraktijk willen verbeteren door evidence based te werken. De modules richten zich op professionals die willen investeren in hun loopbaan en graag een bijdrage leveren aan de ontwikkeling van hun vakgebied. Module A kan aangevangen worden door deelnemers met een beperkte achtergrond (maar wel interesse) in statistiek. Voor module B is er enige voorkennis van beschrijvende statistiek nodig. Module C kan slechts worden aangevangen indien de deelnemer succesvol module B heeft afgerond. Module D kan worden Doelstellingen module A Werken met evidence Introductie: De deelnemers kunnen: Op een systematische manier zelfstandig de beschikbare wetenschappelijke informatie verzamelen die aansluit op praktische vraagstukken ( wat werkt? ). Deze informatie beoordelen op de kwaliteit en de toepasbaarheid in hun eigen werksituatie. De beleidstheorie of interventietheorie formuleren en als kader voor een wetenschappelijke evaluatie gebruiken. Een bijdrage leveren aan wetenschappelijk onderzoek, gericht op de ontwikkeling van nieuwe praktijkrelevante kennis. Collega s informeren over nieuwe en bruikbare wetenschappelijke kennis en ontwikkelingen die nuttig zijn voor de innovatie van beleid. De verschillende elementen in de kennispiramide (zoals kwalitatief onderzoek, natuurlijke experiment en en gerandomiseerde experimenten) kritisch bespreken. Doelstellingen modules B en C De eigen praktijk door een evidence based bril (deel 1 en 2): De deelnemers kunnen: Een probleem of vraag uit de werksituatie vertalen in een onderzoekbare vraag. Beoordelen of de onderzoeksvraag met de beschikbare data beantwoord kan worden. Een korte onderzoeksopzet schrijven waarin de onderzoeksvraag wordt geïntroduceerd en de aanpak van het onderzoek wordt omschreven. Met hulp van een begeleider data analyseren en interpreteren (via beschrijvende statistieken en via multivariate regressies). De voor data-analyse gebruikelijke commando s in statistische software (Stata) hanteren, en zelfstandig nieuwe functies opzoeken en gebruiken. De kwaliteit van de gevonden resultaten beoordelen. De kwaliteit van kwalitatief en kwantitatief onderzoek beoordelen. De kenmerken en theorie van de methodologische grondslagen van evidence based theorie onderscheiden. De belangrijkste theoretische modellen in verband met Human Resource Management duiden. 3
De politieke cultuur onderzoeken via haar vormcomponenten: de informatie, de publieke opinie, het strijdpunt en de strijdpuntbesluitvorming, de ideologie. Verschillende theorieën m.b.t. het overheidsmanagement weergeven. Doelstellingen module D Thesis rond evidence based werken De deelnemers kunnen: Onder begeleiding en op wetenschappelijke manier een literatuuroverzicht schrijven. Empirisch onderzoek uitvoeren en rapporteren. Beleidsconclusies maken op basis van een wetenschappelijk onderzoek. Resultaten uit evaluatieonderzoek benutten voor de eigen praktijk. 4
Structuur van het programma Collegedagen Maandelijks komen alle deelnemers twee aaneengesloten contactdagen bijeen. Op deze dagen zijn onder andere de volgende activiteiten gepland: Methodologie en Statistiek Theoretisch en praktisch wordt in het Methodologieen Statistiekprogramma de basis gelegd voor het kunnen interpreteren en op waarde schatten van eerder gepubliceerd onderzoek of eerder gedane evaluaties. In de tweede module wordt dit uitgebreid naar het uitvoeren van onderzoek en evaluaties. In deze module wordt het M&S-onderwijs ook individueel afgestemd op specifieke technieken die aansluiten op individuele onderzoeks vragen. Capita selecta Beleidsmakers en toezichthouders zijn in wisselwerking met de bredere samenleving. De capita selecta bieden een theoretische achtergrond bij evoluties binnen de samenleving. Via verschillende onderwerpen (van human resources management, via de sociologie van de politieke cultuur tot aan kosten-baten analyse) maken de deelnemers kennis met een breed palet aan maatschappelijk relevante theorieën. Actualiteitencolleges Beleidsinnovatie en Evaluatie In actualiteitencolleges en workshops wordt de stand van zaken op het gebied van onderwijs- en inspectiebeleid en beleidsinnovatie toegelicht. Experts uit verschillende wetenschapsgebieden zullen ingaan op beleidskundige, maatschappelijke en politieke ontwikkelingen op relevante terreinen en speciaal aandacht besteden aan de rol van de wetenschap hierin. 5
Vaardigheidstrainingen: Organisatie van innovatie Deelnemers aan de modules worden getraind in het toepassen van evidence based principes bij beleidsinnovaties en -evaluaties. Maar van hen wordt ook verwacht dat zij bij dit onderwerp een voortrekkersrol gaan spelen binnen de eigen organisatie waarin zij werkzaam zijn. Daartoe worden ze getraind in vaardigheden die deze rol ondersteunen, zoals leiderschapskwaliteiten en sociale vaardigheden. Workshops: Onderzoek in en voor de praktijk Ervaren onderzoekers binnen het Top Institute for Evidence Based Education Research (TIER) geven workshops over het opzetten en uitvoeren van projecten die zijn gericht op innovaties en ondersteuning van beleid. 6
Inhoud Module A Deze module is bedoeld voor professionals die op zoek zijn naar een algemene inleiding op het gebied van empirisch onderzoek en de toepassing daarvan binnen beleid en evaluatie gebaseerd op evidence. Onderstaande geeft een kernachtige beschrijving van de leerinhouden per blok. het derde blok. We gaan dieper in op het detecteren van good practices and benchmarks en geven voorbeelden van wetenschappelijk geanalyseerde beleidsinterventies. Tot slot staan we stil bij het belang van procesevaluatie: wat maakt dat overheidsinterventies niet altijd werken zoals beoogd? Blok 1: Evidence based beleid en evaluatie In dit blok gaan we in op de kern van Evidence Based beleid: wat is dit nu? Verder bekijken we de maatschappelijke effecten en vormen van toezicht en hoe we effectief beleidsimplementaties kunnen monitoren. Blok 4: Kosten-baten analyse Dit blok gaat in op sociale welvaartsfuncties, het maken van een kosten-batenanalyse, alsook op de vraag rond de mogelijkheden van beleidsevaluatie indien strikte effectstudies niet mogelijk zijn. Blok 2: Beleidstheorieën In dit tweede blok bespreken we diverse beleidstheorieën als basis voor leren rond effecten van beleid. Hierbij wordt stilgestaan bij de manieren waarop de beleids theorie ge(re)construeerd kan worden, inclusief de mechanismen die met beleid of beleidsinterventies in gang gezet zouden moeten worden. Ook behandelen we de wijze waarop een beleidstheorie als kader kan dienen voor plan-, proces- en effectevaluaties. Blok 3: Internationale vergelijkingen Internationale samenwerkingsverbanden en het nut van internationale vergelijkingen komen aan bod in Blok 5: Voorbeelden van vertalingen van kennis naar beleid Wat is de invloed van management en managementinstrumenten op effectiviteit en doelmatigheid van overheidsbeleid? We bespreken verder de consequenties van onderzoeksdesigns voor beleidsontwerpen. Met andere woorden: hoe moet u beleid ontwerpen zodat het nadien goed geëvalueerd kan worden. Blok 6: Presentatie van reviewstudies Elke deelnemer van de module stelt kort zijn eigen onderzoek voor. Inhoud Module B Deze module is bedoeld voor professionals die de vaardigheden uit module A al beheersen en op zoek zijn naar een verdieping van hun begrip en vaardigheden op het gebied van empirisch onderzoek en de toepassing daarvan binnen evidence based beleid en evaluatie. Let wel: mits er voldoende voorkennis aanwezig is, kan een deelnemer module B ook starten zonder aan module A te hebben deelgenomen. Onderstaande geeft een kernachtige beschrijving van de methodologie en de bredere vorming in elk blok. Blok 1: Het CMO model & Formuleren van onderzoeksvraag Wat kunnen we wel en niet leren uit beschrijvende statistiek? Het reconstrueren, testen en verfijnen van beleidstheorieën: hoe werkt een interventie (M), onder welke omstandigheden (C), en met welke resultaten (O)? Blok 2: Multivariate regressie & Economische theorie van politiek Hoe kunnen verbanden tussen gegevens geanalyseerd en geïnterpreteerd worden? Wat kunnen we leren uit correlaties? Hoe kunnen indicatoren (vb. uit de Europe 2020 Agenda) geaggregeerd worden? Hoe kunnen ex ante evaluaties vormgegeven worden en wat zijn mechanism experiments? 7
Blok 3: Gerandomiseerde experimenten & Kostenbaten analyse De causale relatie tussen een interventie en de uitkomstvariabele kan het duidelijkst geanalyseerd worden via een experiment. Waar moet op gelet worden bij het opzetten van een experiment, en hoe kunnen de gegevens geanalyseerd worden? Wegen de kosten van een interventie op tegen de opbrengsten? Blok 4: Kwalitatief onderzoek & Politieke economie van conflicten Wat is het belang en de complementariteit van kwalitatief onderzoek? Hoe kan een kwalitatief onderzoek het best opgezet worden? Hoe past effectonderzoek binnen de beleidscyclus? Blok 5: Difference-in-Differences & Contextanalyse in de beleidsketen Als een groep van observaties een interventie krijgt en een andere groep niet, kan, mits aan enkele voorwaarden is voldaan, het beleid geëvalueerd worden. Bijvoorbeeld evaluatie via verschillen tussen regio s. Welke digitale methoden bestaan er om de assumpties over mechanismen en contexten die aan beleid ten grondslag liggen op te sporen? Blok 6: Presentatie van eigen onderzoek Inhoud Module C Deze module is bedoeld voor professionals die de vaardigheden uit module A en B beheersen en op zoek zijn naar een verdieping van hun begrip en vaardigheden op het gebied van empirisch onderzoek en de toepassing daarvan binnen evidence based beleid en evaluatie. Blok 3: Panel-data modellen & Politieke cultuur via haar vormcomponenten Observaties die door de tijd heen gevolgd kunnen worden. Wat kunnen we daaruit leren en hoe moeten deze geanalyseerd worden? Blok 1: Natuurlijke experimenten & Organisatiepsychologie Soms creëert een beleidsmaker/toezichthouder (ongewild) exogene variatie die nodig is om causale interpretaties te kunnen maken. Dit blok geeft aan hoe dit kan en welke gevolgen dit heeft voor de evaluatie. Blok 2: Matching analyses & Human resources management Hoe kunnen vergelijkbare observaties gezocht en geanalyseerd worden? Kritische bespreking van voorgaande literatuur. Blok 4: Regressie-discontinuïteit & Overheidsmanagement Een interventie die op basis van strikte criteria voor een groep wordt aangeboden. Evaluatie vindt bijvoorbeeld plaats via overinschrijving. Blok 5: Instrumentele variabelen & Ketenmanagement binnen de overheid Hoe kunnen de diverse schakels in de publieke managementketen geoptimaliseerd worden? Blok 6: Presentatie van eigen onderzoek 8
Waarom kiezen voor evidence based policy and evaluation? Door de modules verwerft u een bredere kijk op de beleidspraktijk. Bovendien kunt u efficiënter en effectiever onderzoek aansturen, controleren, opvolgen en begrijpen. De inhoudelijke en organisatorische band met TIER, het Top Institute for Evidence Based Education Research, zorgt voor een directe link met wetenschappelijk toponderzoek. De modules verscherpen uw inzicht in (wetenschappelijke) evidentie. U verwerft een attitude voor het zoeken naar en beoordelen van de best mogelijke evidence. Daardoor onderscheidt u zich als beleidsmedewerker of toezichthouder. De modules Evidence Based Policy and Evaluation nemen de praktijk als uitgangspunt: het programma wordt gestuurd door de leervragen van de deelnemers. De modules besteden ook expliciet aandacht aan de verspreiding van de verworven kennis binnen de eigen organisatie. De modules worden gegeven in een flexibele leeromgeving. Door een efficiënte inzet van e-learning kan de opleiding eenvoudiger ingepast worden in een drukke agenda. U kunt uw studietempo in overleg versnellen of vertragen. De flexibele opzet maakt het bovendien gemakkelijk om vanuit elke locatie in Nederland deel te nemen aan de opleiding. Omvang en studiebelasting De vier modules omvatten elk een periode van zes maanden. In de modules wordt elke maand aandacht geschonken aan een afzonderlijk thema tijdens twee aaneengesloten contactdagen. Naast de contactdagen is zelfstudie gepland waarin gebruik kan worden gemaakt van een elektronische leeromgeving. De studiebelasting bedraagt 15 ECTS per module, ofwel 420 studie-uren. De studieleiding adviseert deelnemers rekening te houden met circa 8-10 uur zelfstudie per week. Certificaat en masterdiploma Bij succesvolle afronding van een module ontvangen de deelnemers een certificaat. Dit certificaat levert studiepunten op die eventueel later kunnen worden ingezet als de deelnemer de Mastergraad Evidence- Based Policy and Evaluation wenst te behalen. De gehele master, waarvoor een NVAO accreditatie in voorbereiding is, omvat 60 ECTS. De modules worden gegeven in een learning community. Individuele begeleiding wordt gecombineerd met intensieve samenwerking in kleine groepen, en al het materiaal dat gemaakt wordt, is na toetsing vrij beschikbaar voor iedereen. Door maandelijkse contactdagen neemt u deel aan de academische cultuur. In actualiteitscolleges en workshops zullen hoogleraren en (top)praktijkdocenten uit de wereld van beleid, toezicht en inspectie participeren. 9
Dutch Teachers and Policymakers Academy De modules Evidence Based Policy and Evaluation zijn een programma van de Dutch Teachers and Policy makers Academy. De Dutch Teachers and Policymakers Academy verzorgt opleidingen en cursussen vanuit de gedachte dat problemen in wetenschap, onderwijs, gezondheid, veiligheid, ontwikkelingssamenwerking en andere velden alleen door een creatieve en slimme wetenschappelijke aanpak opgelost kunnen worden. Evidence based werken is daarbij het uitgangspunt. Daarmee wordt bedoeld dat het vaststellen van de effecten van de interventies plaatsvindt via evaluatie. De Dutch Teachers and Policymakers Academy is nauw verbonden met TIER, het Top Institute for Evidence Based Education Research van de universiteiten van Maastricht, Amsterdam en Groningen. www.dtpa.nl www.tierweb.nl Aanmelding Toelatingseisen Toelaatbaar tot de opleiding is iedereen die een diploma bezit van een erkende universiteit, en/of werkzaam is in een beleidsfunctie en over relevante werkervaring beschikt. Kosten Kosten voor elke module bedragen e 3750,- euro p.p. Meer informatie? Voor meer informatie en aanmelding voor de modules Evidence Based Policy and Evaluation kunt u zich wenden tot: Top Institute for Evidence Based Education Research / Dutch Teachers and Policymakers Academy Telefoon: (020) 525 44 32 Email: info@dtpa.nl www.dtpa.nl www.tierweb.nl 10
Contactinformatie Top Institute for Evidence Based Education Research / Dutch Teachers and Policymakers Academy p/a Universiteit van Amsterdam/Faculteit Economie en Bedrijfskunde Roetersstraat 11, 1018 WB Amsterdam Telefoon: (020) 525 44 32 Email: info@dtpa.nl www.dtpa.nl www.tierweb.nl