Formulier voor het beoordelen van de kwaliteit van een artikel over een interventieonderzoek (bij voorkeur een RCT) Behorend bij: Evidence-based logopedie, hoofdstuk 4 1
Toelichting bij de criteria voor het beoordelen van de kwaliteit van een artikel over een interventieonderzoek Dit beoordelingsformulier is geschikt voor het kritisch beoordelen van een interventieonderzoek, bij voorkeur een Randomized Clinical/Controlled Trial (RCT). Vooraf Omdat dit beoordelingsformulier uitsluitend geschikt is voor de beoordeling van de kwaliteit van een RCT, is het van belang bij aanvang van de beoordeling vast te stellen dát men met een RCT van doen heeft. Dat moet in de tekst van het artikel worden aangegeven. Als dat niet is gebeurd, moet worden nagegaan of er dan in het onderzoek wel sprake is van een tweegroependesign met ten minste een voor- en een nameting. Als ook dat niet het geval is, heeft het weinig zin om de beoordeling met behulp van dit formulier voort te zetten. Overigens dient hier te worden opgemerkt, dat de twee groepen uit het design fysiek gesproken dezelfde personen kunnen zijn: er zijn typen designs waarin één groep patiënten afwisselend een periode wel en niet wordt behandeld en waarin na iedere periode een meting wordt verricht. Dergelijke onderzoeken vallen onder onze omschrijving van een tweegroependesign. De PICO-elementen P: Om te bepalen welke patiëntencategorie is onderzocht en om te bepalen of die patiënten overeenkomen met de eigen patiënt(en), kan gekeken worden naar de inen exclusiecriteria en/of naar de voormeting van de effectvariabelen en belangrijkste achtergrondvariabelen. Wanneer die verschillen tussen de eigen patiënt en de patiënten die in het onderzoek zijn geïncludeerd, groot zijn, kan de publicatie wel degelijk evidentie bevatten, maar niet voor de klinische vraag waarmee de beoordelaar is gestart. I: De interventie of indexbehandeling wordt gegeven aan de indexgroep (experimentele groep). Voorafgaand aan de eigenlijke beoordeling van het artikel moet worden nagegaan waaruit die interventie bestaat. Dat kan alleen op basis van een eenduidige beschrijving van die interventie in de tekst, zodat de overeenkomst met de eigen voorgenomen interventie kan worden bepaald. C: De controle- of referentiebehandeling wordt gegeven aan de referentiegroep (controlegroep). Ook van de referentiebehandeling moet op basis van een concrete beschrijving ervan in de tekst worden nagegaan waaruit die precies bestaat. O: De uitkomsten worden in een interventiestudie vaak gemeten aan de hand van een of hooguit enkele variabelen waaraan eventuele effecten zijn af te lezen: de hierboven genoemde effectvariabelen. Voorafgaand aan de eigenlijke beoordeling dient vastgesteld te worden om welke effectvariabelen het in de onderhavige studie gaat. Daarna kan worden vastgesteld of die overeenkomen met de behandeldoelen voor de eigen patiënt. Vraag 1: Randomisatie Randomisatie is een techniek om op basis van toeval de patiënten in te delen in de index- ( = experimentele) en referentiegroep ( = controlegroep). In de publicatie moet expliciet worden vermeld dat er gerandomiseerd is en in het meest ideale geval op welke wijze dat gebeurd is. Vraag 2: Geblindeerde toewijzing van de behandelingen? Worden de te onderzoeken interventie ( = indexbehandeling) en de controlebehandeling ( = referentiebehandeling) at random toegewezen aan de patiënt? Iedere geïncludeerde patiënt heeft evenveel kans om één van beide interventies te krijgen en degene die randomiseert, mag absoluut niet op de hoogte zijn van de volgorde van toewijzing van de behandelingen. 2
Het beoordelen van de kwaliteit van een artikel over een interventieonderzoek (bij voorkeur een RCT) Titel van het artikel:...... Auteurs:... Tijdschrift:... Naam beoordelaar: Datum:.. Vooraf Is er sprake van een RCT? 0 Ja 0 Nee Zo nee, is er dan sprake van een tweegroependesign met ten minste een voor- en een nameting? 0 Ja 0 Nee Patiëntencategorie:. Interventie (indexbehandeling):. Comparison (referentiebehandeling):. Outcome (uitkomsten):... Validiteit van het onderzoek 1. Heeft randomisatie plaatsgevonden? 2. Is sprake van een geblindeerde toewijzing van de behandelingen? 3
Vraag 3: Zijn de groepen aan het begin van het onderzoek vergelijkbaar? De groepen moeten aan het begin van het onderzoek op belangrijke prognostische kenmerken voldoende gelijk zijn. Theoretisch zou alleen de te onderzoeken interventie het verschil tussen de groepen mogen bepalen. Bij beoordeling kan gelet worden op: belangrijke prognostische variabelen, waaronder bijvoorbeeld ziekteduur, ernst, comedicatie, co-morbiditeit; uitgangswaarden van de belangrijkste uitkomsten; demografische gegevens, zoals geslacht, leeftijd enzovoort. Kleine verschillen kunnen op basis van toeval optreden. Bij grote verschillen dient beredeneerd te worden in welke mate en in welke richting de onderzoeksresultaten beïnvloed kunnen worden. Vraag 4: Het intention-to-treat-principe Dit principe betekent dat toewijzing van de index- respectievelijk referentiebehandeling door randomisatie gerespecteerd wordt. De patiënt hoort bij de oorspronkelijk door randomisatie gevormde groep te blijven, ongeacht eventuele co-interventies, weinig therapietrouw enzovoort. Naast het intention-to-treat-principe komt ook het per-protocol-principe voor. Hierbij worden alleen gegevens van patiënten gebruikt die volgens het onderzoeksprotocol zijn behandeld. Vraag 5: Zijn de uitkomsten expliciet beschreven? Bij de beoordeling van de uitkomsten is het belangrijk om op de volgende punten te letten: Zijn de uitkomsten van de gemeten kenmerken teruggebracht tot twee mogelijkheden (= gedichotomiseerd)? Zijn de oorspronkelijke gegevens van alle geïncludeerde patiënten terug te vinden in de tabellen? Deze twee punten zijn van wezenlijk belang voor de evidence-based handelende logopedist: want alleen dan kan hij de grootte van het waargenomen effect berekenen. En om de grootte van het effect draait het: niet om de vraag óf er verschil is tussen beide groepen. Vraag 6: Kwaliteit van de meetinstrumenten In de publicatie moet, minstens in de vorm van een literatuurreferentie, worden stilgestaan bij de kwaliteit van de meetinstrumenten: met name de validiteit en de betrouwbaarheid. Er moet dus met andere woorden gerefereerd worden aan onderzoek waarin die kenmerken van het meetinstrument zijn onderzocht. Het is niet de bedoeling dat de onderzoeker vertrouwt op de voorkennis van de lezer, door in de tekst niet stil te staan bij de methodologische kwaliteit van de gebruikte meetinstrumenten. Vraag 7: Follow-up Op de eerste plaats dient de duur van de follow-up te worden gerapporteerd en dient de beoordelaar te bepalen of die duur voldoende is in verhouding tot het gemeten effect. Het is belangrijk om per groep de aantallen patiënten bij randomisatie en bij follow-up te vergelijken. Relatief grote uitval (loss-to-follow-up) maakt een onderzoek gevoelig voor selectieve loss-to-follow-up. Aantallen en redenen voor uitval dienen gerapporteerd te zijn. Ook als er geen uitvallers zijn, dient dit te worden vermeld. Indien de redenen van uitval uit het onderzoek of de absolute aantallen uitvallers tussen de groepen verschillend zijn en tot een vertekening van de uitkomsten kunnen leiden, heet dit selectieve loss-to-follow-up. Het is echter niet mogelijk om op voorhand aan te geven welk percentage loss-to-follow-up nog acceptabel is. 4
3. Zijn de groepen aan het begin van het onderzoek vergelijkbaar? 4. Wordt het intention-to-treat-principe gevolgd? 5. Zijn de uitkomsten expliciet beschreven? 6. Wordt de kwaliteit van de meetinstrumenten beschreven? 7. Is er sprake van een follow-up? 5
Vraag 8a: Patiënten geblindeerd? Door blindering van de patiënt wordt voorkomen, ten eerste dat deze bewust of onbewust een grotere therapietrouw zal hebben en ten tweede dat de uitkomstmeting door voorkeuren voor behandeling wordt beïnvloed. Blindering van de patiënt wordt bereikt door de index- en referentiebehandeling voldoende identiek te maken om geloofwaardig over te komen. Evaluatie van het succes van de blindering is gewenst, maar voor dit item niet noodzakelijk. Indien een onderzoek als dubbelblind wordt beschreven, betreft dit meestal blindering van de patiënt en de effectbeoordelaar. Vraag 8b: Blindering therapeut? Door blindering van de therapeut wordt voorkomen dat deze, omdat hij op de hoogte is van de aard van de toegewezen behandeling, op de eerste plaats een bepaald enthousiasme zal uitstralen en op de tweede plaats een verschillende mate van trouw aan het onderzoeksprotocol zal hebben. Evaluatie van het succes van de blindering is gewenst, maar voor dit item niet noodzakelijk. Vraag 8c: Blindering effectbeoordelaar? Door blindering van de effectbeoordelaar wordt voorkomen dat deze de effecten van interventie en referentiebehandeling verschillend gaat beoordelen. Evaluatie van het succes van blindering is gewenst, maar voor dit itemniet noodzakelijk. Vraag 9: Vergelijkbaarheid van de behandeling De behandeling van de patiënten in de verschillende groepen dient behalve het door randomisatie beoogde contrast geen verschillen te vertonen. Bij goed geblindeerde behandelingen is de vergelijkbaarheid van de behandelingen in de regel geen probleem. Bij de beoordeling kan worden gelet op: Co-interventies. Soms worden deze door de onderzoekers onder controle en dus gelijk gehouden. In andere gevallen worden de co-interventies per groep gerapporteerd. Indien er geen melding van co-interventies wordt gemaakt, dient men op zijn hoede te zijn. Therapietrouw. Indien de therapietrouw met de toegewezen behandeling in de ene groep veel groter is dan in de andere, kan dit de interpretatie van de gegevens verstoren. Vraag 10: Is de behandelsituatie uitvoerbaar in de eigen praktijk? In het onderzoek wordt de interventie vaak onder ideale omstandigheden gegeven: iedere dag drie kwartier therapie, gebruik van apparatuur die normaal gesproken in een praktijk niet beschikbaar is enzovoort. Wat hier dus beoordeeld moet worden, is of de therapie zoals die beschreven is (en zoals die vooraf al beoordeeld is), ook toepasbaar en uitvoerbaar is in de eigen praktijksituatie. Vraag 11: Dezelfde behandelresultaten bij de eigen patiënt. Aan het eind van de beoordeling heeft het zin om (opnieuw) stil te staan bij de vergelijking tussen de patiënten uit de onderzoekspopulatie en de eigen patiënt: die vergelijking zou ertoe kunnen leiden dat de beoordelaar toch nog verschillen ziet tussen de eigen en de onderzoekspatiënten die ertoe zouden kunnen leiden dat het verwachte effect bij de eigen patiënt niet optreedt. In zo n geval is het voorstelbaar dat de beoordelaar, ondanks de geleverde evidentie, toch besluit om de interventie niet toe te passen. Vraag 12: Tussenoordeel Hier wordt een inschatting van de validiteit en de toepasbaarheid gevraagd. Er zijn geen regels te geven welke items positief gescoord moeten worden of welk aantal items tenminste positief gescoord moeten worden. Het gaat hier om een samenvattend oordeel over de bruikbaarheid van het artikel voor de besluitvorming. 6
8a. Zijn de proefpersonen geblindeerd? 8b. Is de therapeut geblindeerd? 8c. Is de effectbeoordelaar geblindeerd? 9. Zijn de beide groepen verder gelijk behandeld? Toepasbaarheid van de resultaten 10. Is de in het onderzoek beschreven behandelsituatie uitvoerbaar in de eigen praktijk? 11. Zijn dezelfde resultaten bij de eigen patiënt te verwachten? Tussenoordeel 12. Zijn de resultaten van het onderzoek valide en toepasbaar? [ ] Voldoende valide en toepasbaar ga verder bij 11 [ ] Twijfelachtig ga verder bij 11 [ ] Onvoldoende valide en toepasbaar U kunt stoppen met het invullen van deze lijst. 7
Vraag 13: Grootte van het effect In de tabellen bij deze vraag zijn de meest relevante resultaten weer te geven. Het is mogelijk dat niet alle parameters in het artikel vermeld staan. Deze zijn echter vaak zelf uit te rekenen met de gegevens uit het artikel. Uitkomst + Uitkomst - Totaal Indexgroep a b a + b Referentiegroepgroep c d c + d De verschillende parameters van het interventieonderzoek worden als volgt berekend. Parameter Berekening Kans op uitkomst in de indexgroep = K i a / a + b Kans op uitkomst in de referentiegroep = K r c / c + d Absolute kansvergroting = AKV K i - K r = (a / a + b) (c / c + d) Number needed to treat = NNT 1 / AKV Relatieve kans = RK K i / K r of [a / (a + b)] / [c / c + d] Relatieve kansvergroting = RKV AKV / K r of RK - 1 De kans op de uitkomst in de indexgroep (K i ) is het aantal patiënten in de indexgroep dat onder invloed van de interventie de gewenste uitkomst laat zien, afgezet tegen het totaal aantal patiënten in de indexgroep. De kans op de uitkomst in de referentiegroep (K r ) is het aantal patiënten in de referentiegroep dat onder invloed van de controlebehandeling de gewenste uitkomst laat zien, afgezet tegen het totaal aantal patiënten uit de referentiegroep. De absolute kansvergroting (AKV) is het verschil tussen de kans op de uitkomst in de indexgroep en de kans op de uitkomst in de referentiegroep. Het number needed to treat is de aanduiding van het aantal patiënten dat de indexbehandeling moet krijgen, om bij één patiënt de gewenste uitkomst te krijgen. De relatieve kans is de kans op verbetering door de indexbehandeling, gedeeld door de kans op verbetering door de controlebehandeling. De relatieve kansvergroting laat zien hoe groot de toename van de kans op verbetering is. Vraag 14: Eindoordeel Het is de bedoeling dat de beoordelaar hier een eindoordeel formuleert over de waarde van de interventie, met medeneming van de informatie uit alle voorgaande vragen. 8
Belang van de resultaten 13. De grootte van het effect De 2 x 2 tabel Indexgroep Referentiegroepgroep Uitkomst + Uitkomst - Totaal De waarde van de verschillende parameters in het interventieonderzoek Parameter Kans op uitkomst in de indexgroep = K i Kans op uitkomst in de referentiegroep = K r Absolute kansvergroting = AKV Number needed to treat = NNT Relatieve kans = RK Relatieve kansvergroting = RKV Waarde Eindoordeel 14. Wat is het eindoordeel over de waarde van de interventie? 9