Erkenningscommissie Interventies Beoordelingsformulier. Eindoordeel van de erkenningscommissie over de interventie

Transcriptie

1 Interventie: Families First Deelcommissie: 1 Erkenningscommissie Interventies Beoordelingsformulier Datum vergadering: 11 april 2014 Eindoordeel van de erkenningscommissie over de interventie De commissie beoordeelt de interventie als: Niet erkend De interventie voldoet (nog) niet aan de gestelde criteria. Dit is het geval als minstens één van de onderdelen 1 t/m 5 in de beschrijving van de interventie als onvoldoende wordt beoordeeld, en dit volgens inschatting van de commissie niet op eenvoudige wijze en op korte termijn opgelost kan worden. Onder voorbehoud Goed onderbouwd De interventie voldoet aan de gestelde criteria, indien de vragen of opmerkingen van de commissie die in de toelichting hieronder staan door de indiener worden beantwoord of opgelost. Dit is het geval als minstens één van de onderdelen 1 t/m 5 in de beschrijving van de interventie als onvoldoende wordt beoordeeld, maar dit volgens inschatting van de commissie op eenvoudige wijze en op korte termijn opgelost kan worden. Goed onderbouwd: het werkt in theorie De interventie voldoet aan de gestelde criteria voor goed onderbouwd. Dit is het geval als alle onderdelen 1 t/m 5 als voldoende worden beoordeeld. Onder voorbehoud Effectief De interventie voldoet aan de gestelde criteria, indien de vragen of opmerkingen van de commissie die in de toelichting hieronder staan door de indiener worden beantwoord of opgelost. Dit is het geval als minstens één van de onderdelen 1 t/m 6 in de beschrijving van de interventie als onvoldoende wordt beoordeeld, maar dit volgens inschatting van de commissie op eenvoudige wijze en op korte termijn opgelost kan worden. Effectief: eerste aanwijzingen voor effectiviteit De interventie voldoet aan de gestelde criteria voor effectiviteit. Er zijn voldoende studies, conform de criteria, die eerste aanwijzingen geven voor de effectiviteit van de interventie. Volgens onderzoeksliteratuur samengevat in deel 6 van de beschrijving van de interventie. Effectief: Goede aanwijzingen voor effectiviteit De interventie voldoet aan de gestelde criteria voor effectiviteit. Er zijn voldoende studies, conform de criteria, die een goede aanwijzingen geven voor de effectiviteit van de interventie. Volgens onderzoeksliteratuur samengevat in deel 6 van de beschrijving van de interventie. Effectief: Sterke aanwijzingen voor effectiviteit De interventie voldoet aan de gestelde criteria voor effectiviteit. Er zijn voldoende studies, conform de criteria, die een sterke aanwijzingen geven voor de effectiviteit van de interventie. Volgens onderzoeksliteratuur samengevat in deel 6 van de beschrijving van de interventie. Toelichting op het oordeel Sterke punten en aandachtspunten van de interventie Sterke punten Onderbouwing De commissie geeft complimenten over de theoretische onderbouwing van de interventie, deze is erg fraai. Uitvoerbaarheid Effectiviteit Er is een uitgebreide handleiding en trainingen zijn verplicht. Resultaten laten positieve effecten zien. Aandachtspunten Onderbouwing De commissie heeft geen aandachtspunten met betrekking tot de beschrijving en onderbouwing van de interventie. Uitvoerbaarheid De handleiding komt uit 2005 en is verouderd. Waardering van de uitvoerbaarheid (goed, voldoende of onvoldoende) Goed Er wordt uitstekend aan alle criteria onder 4 en 5 voldaan 1

2 Algemene indruk en suggesties voor verbetering en doorontwikkeling De commissie vindt Families First een waardevolle interventie. Het is een relevante en krachtige interventie voor een ingewikkelde doelgroep. De commissie ziet graag dat de handleiding uit 2005 wordt aangepast. Oordeel per criterium 1. Omschrijving van het probleem, risico of thema Ja Nee Het probleem, risico of thema is voldoende omschreven, met gegevens over aard, ernst, omvang, spreiding en (materiële en andere) gevolgen Opmerkingen bij 1. Het probleem is duidelijk omschreven. 2.1 Doelgroep Ja Nee A. De doelgroep is helder beschreven aan de hand van relevante kenmerken B. Aangegeven is hoe de doelgroep geselecteerd wordt voor de interventie C. Indien van toepassing zijn duidelijke contra-indicaties of exclusiecriteria genoemd Opmerkingen bij 2.1 De doelgroep en de wijze waarop deze geselecteerd wordt, is helder beschreven. 2.2 Doel Ja Nee A. Hoofddoel(en) en (eventuele) subdoelen zijn zo SMART mogelijk geformuleerd B. Indien van toepassing zijn de subdoelen helder gekoppeld aan subdoelgroepen (bijvoorbeeld in een schema) Opmerkingen bij 2.2 Het hoofddoel en subdoelen zijn SMART geformuleerd. Het is duidelijk hoe de subdoelen bijdragen aan het hoofddoel. 2.3 Aanpak Ja Nee A. De opzet is voldoende uitgewerkt (bijv. volgorde, frequentie, intensiteit, duur, timing) (eventueel in een schema) B. De locatie(s) van uitvoering is/zijn benoemd (indien relevant per onderdeel) C. De uitvoerders zijn benoemd (indien relevant per onderdeel) D. De inhoud is beschreven in concrete activiteiten (inclusief de wervingsmethode) Opmerkingen bij 2.3 De aanpak is helder. 2.4 Ontwikkelgeschiedenis Ja Nee A. Indien de doelgroep betrokken is bij de ontwikkeling van de interventie, is beschreven op welke manier dit is gebeurd B. Indien de interventie buiten Nederland ontwikkeld is, is de oorspronkelijke context kort beschreven en toegelicht wat is aangepast met het oog op de uitvoering in Nederland Opmerkingen bij 2.4 Helder. 2.5 Vergelijkbare interventies (geen beoordelingscriterium) Er worden veel vergelijkbare interventies genoemd waarbij grote overlap in de doelgroep en in de aanpak is. Enige verschil lijkt te zijn dat Families First zich richt op gezinnen in een acute crisissituatie, terwijl dit bij andere interventies dit niet zo expliciet wordt genoemd. 3. Onderbouwing Ja Nee A. Er is beschreven welke factoren van invloed zijn op het probleem of thema. B. De factoren die met de interventie worden aangepakt worden benoemd, gekoppeld aan de (sub)doelen van de interventie (doelverantwoording) C. Er is verantwoord hoe met de gekozen aanpak daadwerkelijk de gestelde (sub)doelen bij de beschreven 2

3 doelgroep(en) bereikt kunnen worden D. De werkzame elementen (of technieken of principes) van de aanpak zijn benoemd, in het kader van een model of theorie, of gebaseerd op onderzoek E. Waar relevant worden bronvermeldingen gegeven m.b.t. de onderbouwing Opmerkingen bij 3. De commissie geeft complimenten voor de onderbouwing: het is een zeer fraaie theoretische onderbouwing van een belangrijke interventie. 4. Uitvoeringsvoorwaarden Ja Nee A. Er is een handleiding of protocol; deze bevat een beschrijving van doelen, doelgroep, materialen en inhoud van de activiteiten B. Alle materialen voor werving, uitvoering en evaluatie worden vermeld C. Indien relevant is er informatie beschikbaar over werkzame elementen of principes die gehandhaafd moeten worden bij een aangepaste (flexibele) uitvoering D. Gegevens over kwaliteitsbewaking zijn gespecificeerd (bijvoorbeeld registratie en evaluatie, onderhoud, borging) E. De essentiële randvoorwaarden voor uitvoering zijn gespecificeerd op het niveau van: a) de professionals: opleiding, ervaring en/of competenties b) de organisatie: draagvlak en interne/externe samenwerking F. Er is een systeem voor overdraagbaarheid van de interventie; dit blijkt bijvoorbeeld uit een implementatieplan of -protocol of er is begeleiding bij invoering van de interventie beschikbaar. G. De kosten (inclusief uren personele inzet en tijdsbesteding) zijn helder en voldoende gespecificeerd H. Aannemelijk is dat de doelen haalbaar zijn binnen de genoemde randvoorwaarden en kosten Opmerkingen bij 4. Helder. De handleiding komt uit 2005 en is verouderd. De commissie ziet graag dat deze wordt aangepast. 5. Onderzoek naar praktijkervaringen Ja Nee A. Er is een pre-test of procesevaluatie uitgevoerd en - de onderzoeksopzet is beschreven én - er zijn gegevens beschikbaar over bijv. bereik, succes- en faalfactoren en/of de mening van uitvoerders én - de resultaten zijn positief of de interventie is zo nodig aan de hand van de resultaten aangepast B. Indien van toepassing: onderzoek laat zien wat relevante contextfactoren zijn die van invloed zijn op uitvoering en (eventueel) effect van de interventie Opmerkingen bij Onderzoek naar de effectiviteit - Algemene criteria voor effectiviteit Ja Nee De gevonden uitkomsten zijn (de meest) relevant(e) gegeven het doel en de doelgroep van de interventie. De veranderingen hebben betrekking op het doel en de doelgroep van de interventie. - De studies laten zien dat de beoogde doelgroep daadwerkelijk is bereikt. - De gehanteerde instrumenten bieden een betrouwbare en valide operationalisering om de realisatie van de doelen van de interventie te meten. - Er zijn adequate statische technieken toegepast (indien van toepassing). De grootte van het effecten (in termen van Cohen s D of de Odds Ratio of de gegevens om één van deze maten te berekenen) is redelijk overtuigend, en passend bij het doel en de doelgroep van de interventie. Eventuele negatieve effecten zijn weergegeven. Het onderzoek is zodanig gedocumenteerd, dat replicatie van de studie mogelijk is. De interventie is uitgevoerd zoals bedoeld. Aangetoond is dat de werkzame elementen van de interventie daadwerkelijk zijn toegepast. Opmerkingen De commissie prijst het aantal onderzoeken dat naar de interventie is gedaan. Families First is een mooi voorbeeld van een interventie die ontwikkeling en tussentijds meten hand in hand laat gaan. De resultaten laten positieve, maar bescheiden, effecten zien. 3

4 6. Onderzoek naar de effectiviteit - Oordeel over de effectiviteit Aantal Ja Nee Er zijn voldoende studies die voorlopige aanwijzingen geven voor de effectiviteit (zie criteria eerste aanwijzingen in bijlage 1) Er zijn voldoende studies die overtuigende aanwijzingen geven voor de effectiviteit (zie criteria goede aanwijzingen in bijlage 1) Er zijn voldoende studies die voorlopige aanwijzingen geven voor de effectiviteit (zie criteria sterke aanwijzingen in bijlage 1) Opmerkingen over aantal en/of aard van de studies Een aantal van de aangehaalde onderzoeken zijn overlappend. Het betreft veranderingsonderzoek (zonder controlegroepen). 6 Opmerkingen over het onderzoek naar effectiviteit Opmerkingen over de vergelijkbaarheid van de interventie(s) zoals onderzocht Er zijn vooralsnog geen aanwijzingen dat Families First het beter doet dan gebruikelijke interventies. Datum: 24 april 2014 Handtekening vervangend voorzitter: N. Draaisma 4

5 Bijlage 1 Criteria per niveau van effectiviteit Voor het beoordelen van de bewijskracht van afzonderlijke studies is als bijlage 2 een tabel opgenomen. Deze tabel biedt handvatten aan de erkenningscommissie, maar het oordeel over de kwaliteit van het onderzoek wordt ook bepaald door de kwaliteit van de uitvoering ervan, zoals blijkt uit de aangeleverde documentatie. Voor het oordeel hierover baseert de commissie zich op haar eigen expertise. 1. Eerste aanwijzingen voor effectiviteit Zie de algemene criteria voor effectiviteit. De opzet van het empirisch onderzoek voorziet in een minstens zwakke causale bewijskracht. Er is een voormeting (voorafgaand aan/bij start interventie) en een nameting (bij einde interventie), zonder controle-conditie. Voor het aantal studies geldt dat twee Nederlandse studies naar de voorliggende interventie voldoende is. 2. Goede aanwijzingen voor effectiviteit Zie de algemene criteria voor effectiviteit. De opzet van het empirisch onderzoek voorziet in een minstens matige causale bewijskracht. Het onderzoek heeft een (quasi-)experimentele of een andere opzet (bijvoorbeeld herhaalde casestudies, een studie naar de samenhang tussen de mate waarin een interventie is toegepast en de mate waarin bedoelde uitkomsten zijn opgetreden of een cohortstudie). De studies zijn niet noodzakelijk in de praktijk uitgevoerd of hebben nog geen follow-up. Het aantal studies kan sterk uiteenlopen, afhankelijk van de kwaliteit en de aard van de studie. Vuistregels voor het minimum zijn: o Er zijn minstens twee Nederlandse studies naar de voorliggende interventie met een matige tot vrij sterke bewijskracht of één Nederlandse studie naar de voorliggende interventie in combinatie met minstens één (inter-)nationale studie naar deze of een vergelijkbare interventie met minstens matige bewijskracht. In het laatste geval is aannemelijk gemaakt dat het doel, de doelgroep, de aanpak en het theoretisch model van de vergelijkbare interventie voldoende van toepassing is op de Nederlandse situatie en/of de voorliggende interventie. De erkenningscommissie oordeelt uiteindelijk over de vergelijkbaarheid. o Bij Nederlands onderzoek naar de voorliggende interventie met een sterke tot zeer sterke bewijskracht volstaat één studie voor de erkenning op dit niveau van effectiviteit. o Bij herhaalde casestudies zijn er minstens 6 cases uitgevoerd door verschillende behandelaars in verschillende condities of minstens 10 cases uitgevoerd in één setting. 3.Sterke aanwijzingen voor effectiviteit Zie de algemene criteria voor effectiviteit. De opzet van het empirisch onderzoek voorziet in een minstens sterke causale bewijskracht. Het onderzoek heeft een (quasi-)experimentele opzet of indien dit niet mogelijk is een andere opzet (bijvoorbeeld herhaalde casestudies, een studie naar de samenhang tussen de mate waarin een interventie is toegepast en de mate waarin bedoelde uitkomsten zijn opgetreden of een cohortstudie) van hoge kwaliteit. De studies zijn in de praktijk uitgevoerd en hebben een follow-up van minstens 6 maanden. Het aantal studies kan sterk uiteenlopen, afhankelijk van de kwaliteit en de aard van de studie. Vuistregels voor het minimum zijn: o Er zijn minstens twee Nederlandse studies naar de voorliggende interventie met een sterke of zeer sterke bewijskracht of één Nederlandse studie naar de voorliggende interventie in combinatie met minstens één (inter-)nationale studie naar deze of een vergelijkbare interventie met sterke of zeer sterke bewijskracht. In het laatste geval is aannemelijk gemaakt dat het doel, de doelgroep, de aanpak en het theoretisch model van de vergelijkbare interventie voldoende van toepassing is op de Nederlandse situatie en/of de voorliggende interventie. De erkenningscommissie oordeelt uiteindelijk over de vergelijkbaarheid. o Bij herhaalde casestudies zijn er minstens 10 cases, uitgevoerd door verschillende behandelaars in verschillende condities. 5

6 Causale bewijskracht design Zeer sterk Sterk Vrij sterk Redelijk Matig Zwak Kenmerken studie Hier gelden dezelfde criteria als bij het onderliggende niveau, met als verschil: Er is een experimentele onderzoeksopzet (d.w.z. er is een aselecte toewijzing van subjecten aan onderzoeksgroepen) of er is een andere opzet die de causale relatie tussen interventie en effect voldoende overtuigend aantoont. Hier gelden dezelfde criteria als bij het onderliggende niveau, met als toevoeging: Er is een follow-up (vuistregel: 6 maanden) of er is een andere opzet die voldoende zicht biedt op de stabiliteit van de resultaten. Hier gelden dezelfde criteria als bij het onderliggende niveau, met als verschil: De studie is in de praktijk uitgevoerd / is representatief voor de praktijk. Hier gelden dezelfde criteria als bij de onderliggende niveaus, met als verschil: Het is een onderzoek met een (quasi-) experimentele en een controle-groep (care as usual) of een herhaald N=1 onderzoek met een baseline of een time series design met een (multiple) baseline of alternating treatments of een studie naar de samenhang tussen de mate waarin een interventie is toegepast en de mate waarin bedoelde uitkomsten zijn opgetreden. Het design is van hoge kwaliteit. Het onderzoek is niet in de praktijk is uitgevoerd / is niet representatief voor de praktijk of de representativiteit voor de praktijk is onbekend. Hier gelden dezelfde criteria als bij het onderliggende niveau, met als toevoeging: De resultaten zijn vergeleken met ander onderzoek naar de effecten van de gebruikelijke situatie, handelwijze of zorg (care as usual) of een andere zorgvorm bij een soortgelijke doelgroep. De eisen die op dit niveau gelden zijn: Het onderzoek is zodanig gedocumenteerd, dat replicatie van de studie mogelijk is. Het gemeten effect heeft betrekking op het doel en de doelgroep van de interventie. De meting is verricht met betrouwbare en valide instrumenten. Er is een voormeting (voorafgaand aan/bij start interventie) en een nameting (bij einde interventie). De resultaten zijn met een adequate statistische techniek geanalyseerd, op significantie getoetst en er is een geaccepteerde uitkomstmaat (zoals Cohen s d of een Odds Ratio) berekend of te berekenen. Zeer zwak De studie voldoet niet aan de eisen die minstens aan een empirisch onderzoek met causale bewijskracht te stellen zijn. 6