Zoeken naar het beste bewijs met het goed genoeg onderzoek

Transcriptie

1 Zoeken naar het beste bewijs met het goed genoeg onderzoek Bas Bijl Jan Willem Veerman Tom van Yperen Jeugd in Onderzoek, 13 maart 2017

2 Achtergrond Steeds meer druk om te werken met interventies van bewezen effectiviteit, evidence-based Veel discussie: is (quasi-)experimenteel onderzoek het ideale effect-onderzoek? Hoe dan ook: meeste interventies zijn nog niet zo ver (in de databank 28 van de 223: 12,5%) Wat is het beste bewijs?

3 De nieuwe Zicht op Effectiviteit ResultaatGerichte Ontwikkeling van interventies (RGOi) Meer actoren aan tafel (nu ook burger/cliënt en gemeente) De effectladder is vernieuwd

4 Uitgangspunt Het beste bewijs wordt niet geleverd door het ideale onderzoek, maar door onderzoek dat goed genoeg is. Dit is onderzoek dat Aansluit bij het ontwikkelingsniveau van de interventie Aansluit op onderzoeksrijpheid van de context Goed genoeg onderzoek is term ontleend aan Jacobs, F.H. (2003). Child and family program evaluation. Learning to enjoy complexity. Applied Developmental Science, 7,

5 Vijf ontwikkelingsniveaus 5. Werkzaam 4. Plausibel Practice-based Evidence 3. Doeltreffend 2. Veelbelovend Evidence- Based Practice 1.Voorwaardelijk

6 Bewijskracht effectiviteit 5. Sterke empirische aanwijzingen 4. Goede empirische aanwijzingen Omschrijving Als 1 tot en met 4, maar nu is het zeer aannemelijk dat de uitkomsten door de interventie zijn veroorzaakt. Als 1 tot en met 3, maar nu is het enigszins aannemelijk dat de uitkomsten veroorzaakt zijn door de interventie en is er zicht op de werkzame elementen. Soorten onderzoek ter ondersteuning RGO Quasi-)experimenteel onderzoek en herhaalde casestudy s (N=1) met follow-up Quasi-)experimenteel en herhaald N=1 onderzoek zonder follow-up Veranderingstheoretisch onderzoek Dose-response onderzoek Normgerelateerd onderzoek, kwaliteitstoetsend onderzoek en benchmark-studies Ontwikkelingsniveau interventie 5. Werkzaam 4. Plausibel 3. Eerste empirische aanwijzingen 2. Theoretische aanwijzingen 1. Descriptieve aanwijzingen, nog geen bewijskracht Als 1 en 2, maar nu toont onderzoek aan dat de doelen zijn bereikt, cliënten tevreden zijn, problemen zijn afgenomen, vaardigheden versterkt, participatie verbeterd. Als 1, maar nu is er ook een geloofwaardige interventietheorie over hoe en waarom de interventie de beoogde uitkomsten bereikt. De kernelementen van een interventie (doelgroep, aanpak, uitkomsten) en de personele, organisatori-sche en materiële context en randvoorwaarden zijn duidelijk en begrijpelijk omschreven. Uitkomstenmonitoring: Veranderingsonderzoek Doelrealisatieonderzoek Cliënttevredenheidsonderzoek Onderzoek naar uitval Meta-analyse Literatuurstudie Focusgroepen Grounded theory / Intervention Mapping Beschrijvend onderzoek Documentanalyse Interviews Delphi panels 3. Doeltreffend 2. Veelbelovend 1. Voorwaardelijk

7 Samenwerking tussen actoren is de basis voor goed genoeg onderzoek dat leidt naar resultaatgerichte ontwikkeling (RGO) van interventies Cliënt Onder zoeker De RGO-tafel Bestuurder Praktijkwerker Beleid

8 Tijd voor discussie Vier groepen van 6-7 personen In elke groep iemand die de rol speelt van Cliënt Praktijkwerker Bestuurder Beleidsfunctionaris gemeente Onderzoeker Discussie in twee ronden, zie handout Daarna plenair