Criteria voor Goed onderbouwd en effectief:

Transcriptie

1 Criteria vr Ged nderbuwd en effectief: berdeling dr de Erkenningscmmissie Interventies juli 2013, versie Gede Onderbuwing Criteria vr de beschrijving (deze gelden grtendeels k vr Ged Beschreven) De delgrep van de interventie is helder beschreven aan de hand van relevante kenmerken; eventuele exclusiecriteria f cntra-indicaties zijn gegeven. Indien de delgrep betrkken is bij de ntwikkeling van de interventie, is beschreven p welke manier dit gebeurd is. De delen zijn SMART (indien relevant per subdelgrep) en indien relevant nderscheiden in hfddel(en) en subdelen. De pzet is beschreven, dat wil zeggen vlgrde, frequentie, intensiteit, duur, timing van activiteiten, wervingsmethde en lcatie van uitvering. De inhud, dat wil zeggen de werkwijze van de interventie, is z vlledig mgelijk beschreven in cncrete activiteiten. De bendigde materialen en hun verkrijgbaarheid zijn duidelijk beschreven. Criteria vr de (theretische) nderbuwing Het prbleem, risic f thema is vlledig en helder mschreven, met gegevens ver bijv. aard, ernst, mvang, spreiding, perceptie dr betrkkenen, ksten en andere (mgelijke) gevlgen. Er is een analyse van het ntstaan van het prbleem waarin de (eventuele) rzakelijke, risic-, instandhudende -, verzachtende - f prtectieve factren genemd wrden. De factren die met de interventie wrden aangepakt wrden benemd, gekppeld aan de (sub)delen van de interventie (delverantwrding). De werkzame elementen (f technieken f principes) van de aanpak wrden benemd en verantwrd, in het kader van een veranderingsmdel f interventietherie, f gebaseerd p resultaten uit eerder uitgeverd nderzek, Delgrep, delen en werkwijze sluiten nderling aan: verantwrd is he met de gekzen aanpak daadwerkelijk de gestelde delen bij deze delgrep bereikt kunnen wrden. Waar relevant wrden brnvermeldingen gegeven m.b.t de theretische nderbuwing. Effectiviteit Algemene criteria vr effectiviteit Vr alle niveaus van effectiviteit geldt: De gevnden uitkmsten zijn (de meest) relevant(e) gegeven het del en de delgrep van de De veranderingen hebben betrekking p het del en de delgrep van de - De studies laten zien dat de begde delgrep daadwerkelijk is bereikt. 1

2 - De gehanteerde instrumenten bieden een betruwbare en valide peratinalisering m de realisatie van de delen van de interventie te meten. - Er zijn adequate statistische technieken tegepast (indien van tepassing). De grtte van het effect is weergegeven in termen van Chen s D f de gegevens m Chen s D te berekenen f Odds Rati zijn gespecificeerd. De grtte van de effecten is redelijk vertuigend, en passend bij het del en de delgrep van de Eventuele negatieve effecten zijn weergegeven. Het nderzek is zdanig gedcumenteerd, dat replicatie van de studie mgelijk is. De interventie is uitgeverd zals bedeld. Aangetnd is dat de werkzame elementen van de interventie daadwerkelijk zijn tegepast. Er zijn naar het rdeel van de cmmissie vldende studies waaruit is gebleken dat bij de uitvering van de interventie er veranderingen zijn pgetreden cnfrm het del van de Criteria per niveau van effectiviteit Vr het berdelen van de bewijskracht van afznderlijke studies gebruikt de cmmissie een tabel vr causale bewijskracht (zie blz 4). Deze tabel biedt handvatten aan de erkenningscmmissie, maar het rdeel ver de kwaliteit van het nderzek wrdt k bepaald dr de kwaliteit van de uitvering ervan, zals blijkt uit de aangeleverde dcumentatie. Vr het rdeel hierver baseert de cmmissie zich p haar eigen expertise. 1. Eerste aanwijzingen vr effectiviteit Zie de algemene criteria vr effectiviteit. De pzet van het empirisch nderzek vrziet in een minstens zwakke causale bewijskracht. Er is een vrmeting (vrafgaand aan/bij start interventie) en een nameting (bij einde interventie), znder cntrle-cnditie. Vr het aantal studies geldt dat: Er zijn minstens twee Nederlandse studies naar de vrliggende interventie met een zwakke bewijskracht f één Nederlandse studie naar de vrliggende interventie in cmbinatie met minstens één (inter-)natinale studie naar deze f een vergelijkbare interventie met minstens zwakke bewijskracht. In het laatste geval is aannemelijk gemaakt dat het del, de delgrep, de aanpak en het theretisch mdel van de vergelijkbare interventie vldende van tepassing is p de Nederlandse situatie en/f de vrliggende De erkenningscmmissie rdeelt uiteindelijk ver de vergelijkbaarheid. 2. Gede aanwijzingen vr effectiviteit Zie de algemene criteria vr effectiviteit. De pzet van het empirisch nderzek vrziet in een minstens matige causale bewijskracht. Het nderzek heeft een (quasi-)experimentele f een andere pzet (bijvrbeeld herhaalde casestudies, een studie naar de samenhang tussen de mate waarin een interventie is tegepast en de mate waarin bedelde uitkmsten zijn pgetreden. De studies zijn niet ndzakelijk in de praktijk uitgeverd f hebben ng geen fllw-up. 2

3 Het aantal studies kan sterk uiteenlpen, afhankelijk van de kwaliteit en de aard van de studie. Vuistregels vr het minimum zijn: Er zijn minstens twee Nederlandse studies naar de vrliggende interventie met een matige tt vrij sterke bewijskracht f één Nederlandse studie naar de vrliggende interventie in cmbinatie met minstens één (inter-)natinale studie naar deze f een vergelijkbare interventie met minstens matige bewijskracht. In het laatste geval is aannemelijk gemaakt dat het del, de delgrep, de aanpak en het theretisch mdel van de vergelijkbare interventie vldende van tepassing is p de Nederlandse situatie en/f de vrliggende De erkenningscmmissie rdeelt uiteindelijk ver de vergelijkbaarheid. Bij Nederlands nderzek naar de vrliggende interventie met een sterke tt zeer sterke bewijskracht vlstaat één studie vr de erkenning p dit niveau van effectiviteit. Bij herhaalde casestudies zijn er minstens 6 cases uitgeverd dr verschillende behandelaars in verschillende cndities f minstens 10 cases uitgeverd in één setting. 3. Sterke aanwijzingen vr effectiviteit Zie de algemene criteria vr effectiviteit. De pzet van het empirisch nderzek vrziet in een minstens sterke causale bewijskracht. Het nderzek heeft een (quasi-)experimentele pzet f indien dit niet mgelijk is een andere pzet (bijvrbeeld herhaalde casestudies, een studie naar de samenhang tussen de mate waarin een interventie is tegepast en de mate waarin bedelde uitkmsten zijn pgetreden f een chrtstudie) van hge kwaliteit. De studies zijn in de praktijk uitgeverd en hebben een fllw-up van minstens 6 maanden. Het aantal studies kan sterk uiteenlpen, afhankelijk van de kwaliteit en de aard van de studie. Vuistregels vr het minimum zijn: Er zijn minstens twee Nederlandse studies naar de vrliggende interventie met een sterke f zeer sterke bewijskracht f één Nederlandse studie naar de vrliggende interventie in cmbinatie met minstens één (inter-)natinale studie naar deze f een vergelijkbare interventie met sterke f zeer sterke bewijskracht. In het laatste geval is aannemelijk gemaakt dat het del, de delgrep, de aanpak en het theretisch mdel van de vergelijkbare interventie vldende van tepassing is p de Nederlandse situatie en/f de vrliggende De erkenningscmmissie rdeelt uiteindelijk ver de vergelijkbaarheid. Bij herhaalde casestudies zijn er minstens 10 cases, uitgeverd dr verschillende behandelaars in verschillende cndities. 3

4 Criteria vr causale bewijskracht van empirisch nderzek Causale bewijskracht Design Zeer sterk Sterk Vrij sterk Kenmerken studie Hier gelden dezelfde criteria als bij het nderliggende niveau, met als verschil: Er is een experimentele nderzekspzet (d.w.z. er is een aselecte tewijzing van subjecten aan nderzeksgrepen) f er is een andere pzet die de causale relatie tussen interventie en effect vldende vertuigend aantnt. Hier gelden dezelfde criteria als bij het nderliggende niveau, met als teveging: Er is een fllw-up (vuistregel: 6 maanden) f er is een andere pzet die vldende zicht biedt p de stabiliteit van de resultaten. Hier gelden dezelfde criteria als bij het nderliggende niveau, met als verschil: De studie is in de praktijk uitgeverd / is representatief vr de praktijk. Hier gelden dezelfde criteria als bij de nderliggende niveaus, met als verschil: Redelijk Het is een nderzek met een (quasi-) experimentele en een cntrle-grep (care as usual) f een herhaald N=1 nderzek met een baseline f een time series design met een (multiple) baseline f alternating treatments f een studie naar de samenhang tussen de mate waarin een interventie is tegepast en de mate waarin bedelde uitkmsten zijn pgetreden. Het design is van hge kwaliteit. Matig Het nderzek is niet in de praktijk is uitgeverd / is niet representatief vr de praktijk f de representativiteit vr de praktijk is nbekend. Hier gelden dezelfde criteria als bij het nderliggende niveau, met als teveging: De resultaten zijn vergeleken met ander nderzek naar de effecten van de gebruikelijke situatie, handelwijze f zrg (care as usual) f een andere zrgvrm bij een srtgelijke delgrep. De eisen die p dit niveau gelden zijn: Zwak Het nderzek is zdanig gedcumenteerd, dat replicatie van de studie mgelijk is. Het gemeten effect heeft betrekking p het del en de delgrep van de De meting is verricht met betruwbare en valide instrumenten. Er is een vrmeting (vrafgaand aan/bij start interventie) en een nameting (bij einde interventie). De resultaten zijn met een adequate statistische techniek geanalyseerd, p significantie getetst en er is een geaccepteerde uitkmstmaat (zals Chen s d f een Odds Rati) berekend f te berekenen. Zeer zwak De studie vldet niet aan de eisen die minstens aan een empirisch nderzek met causale bewijskracht te stellen zijn. De bewijskracht in deze tabel heeft betrekking p steeds één studie. Vr een nadere telichting: zie het Handbek Zicht p Effectiviteit ( Yperen, T.A. van & Veerman, J.W. (2008). Zicht p Effectiviteit. Handbek vr praktijkgestuurd effectnderzek in de jeugdzrg. Delft: Eburn) 4

5 Vrwaarden vr uitvering: berdeling dr praktijkpanels f erkenningscmmissie Uitwerking van de criteria vr Uitveringsvrwaarden De interventie is verdraagbaar: er is een handleiding f prtcl vr verdracht. De handleiding bevat een beschrijving van delen, delgrep en materialen en de inhud van de activiteiten. er is begeleiding bij invering van de interventie (train de trainer, begeleiding, helpdesk, etc.). er is een systeem vr implementatie f (indien relevant) een implementatieplan vr brede (landelijke) invering van de Gegevens ver nderhud, kwaliteitszrg en brging zijn gespecificeerd. Beschreven is wie verantwrdelijk is, wat wrdt gedaan, terugkerend nderhud en verankering van de interventie (denk aan licenties, mnitrsysteem, registraties, terugkmdagen). De randvrwaarden die essentieel zijn vr de uitvering zijn gespecificeerd. Het gaat dan m randvrwaarden p de het niveau van: - de interventie (persnele inzet, tijdsbesteding, ksten (gespecificeerd)), - de uitverende prfessinals (pleiding, ervaring, cmpetenties), - de rganisatie (draagvlak (in- en extern), mgelijkheden tt interne en externe samenwerking). Aannemelijk is dat de delen haalbaar zijn binnen de genemde randvrwaarden en ksten. Indien de interventie niet in Nederland ntwikkeld is, dan wrdt de rsprnkelijke cntext krt beschreven en wrden de aanpassingen die zijn gemaakt m aan te sluiten bij de Nederlandse situatie tegelicht. Indien relevant vr de prblematiek f het terrein van uitvering biedt de interventie ruimte vr flexibiliteit: in de handleiding staat infrmatie ver werkzame principes f elementen en de samenhang daartussen die gehandhaafd meten wrden Er is een prcesevaluatie uitgeverd 1 en de nderzekspzet is beschreven er zijn gegevens beschikbaar ver bijvrbeeld bereik, succes- en faalfactren en het rdeel van uitverders de resultaten zijn psitief en/f de interventie is aan de hand van deze resultaten (vr zver ndzakelijk) aangepast. Indien van tepassing: nderzek laat zien wat relevante cntextfactren zijn die van invled zijn p het effect en uitvering van de De pzet van het kwalitatieve nderzek naar uitveringsvrwaarden is transparant en vldet aan de criteria vr kwalitatief nderzek (exact criterium uit te werken in 2013). 1 In 2013 is deze eis ng niet verplicht vr het brede jeugdveld; in de lp van het jaar wrdt nader bekeken per wanneer het realistisch is m dit te gaan eisen vr interventies in de jeugdzrg. 5