Richtlijnen worden transparanter met de GRADEmethode

Transcriptie

1 Zorg Richtlijnen worden transparanter met de GRADEmethode Nieuwe methode maakt overwegingen bij aanbevelingen expliciet Nicole Boluyt, Bart L. Rottier en Miranda W. Langendam Gerelateerde artikelen: Ned Tijdschr Geneeskd. 2012;156:A4389 en A4595 GRADE ( Grading of Recommendations Assessment, Development and Evaluation ) is een nieuwe methode om de kwaliteit van het bewijs en de sterkte van de aanbevelingen in richtlijnen transparanter weer te geven. In dit artikel beschrijven we de voordelen van de GRADE-methode aan de hand van een aanbeveling uit de richtlijn Behandeling van astma bij kinderen. Nieuw bij GRADE is dat relevante uitkomstmaten vooraf worden vastgesteld en de kwaliteit van bewijs per uitkomstmaat wordt beoordeeld. Die kwaliteit wordt naar beneden bijgesteld bij beperkingen in de onderzoeksopzet en bij 4 aanvullende factoren: inconsistentie, indirectheid van bewijs, imprecisie en publicatiebias. De sterkte van de aanbeveling hangt niet alleen af van de kwaliteit van bewijs, maar ook van overwegingen als de balans tussen gunstige en nadelige effecten, voorkeuren van patiënten en kosten. Bij het formuleren van de aanbevelingen volgens GRADE worden deze overwegingen expliciet gemaakt. Het toepassen van GRADE kan tot andere aanbevelingen leiden dan oudere methoden en tot betere acceptatie en implementatie in de klinische praktijk. Academisch Medisch Centrum, Amsterdam. Emma Kinderziekenhuis: dr. N. Boluyt, kinderarts. Dutch Cochrane Centre: dr. M.W. Langendam, epidemioloog. Universitair Medisch Centrum Groningen, Beatrix Kinderziekenhuis, Groningen. Drs. B.L. Rottier, kinderarts-pulmonoloog. Contactpersoon: dr. N. Boluyt (n.boluyt@amc.uva.nl). Aanbevelingen in richtlijnen dienen ter ondersteuning van de besluitvorming door professionals in de zorg en door patiënten. De aanbevelingen zijn evidencebased: er is op een systematische manier gezocht naar bewijs uit de literatuur en er heeft een methodologische beoordeling van de literatuur plaatsgevonden. Bij elke aanbeveling moet de hardheid en de kracht van het wetenschappelijk bewijs zichtbaar worden gemaakt. Hiervoor zijn verschillende graderingsystemen beschikbaar, echter alle met hun tekortkomingen. 1,2 Zo wordt in geen van de tot voor kort gebruikte systemen expliciet omschreven welke overwegingen, anders dan de kwaliteit van het bewijs, de basis vormen voor de aanbevelingen. In 2000 is de GRADE Working Group, een internatio na le groep experts, gestart met het ontwikkelen van een transparanter systeem om de kwaliteit van bewijs en de sterkte van de aanbevelingen weer te geven: de GRADE( Grading of Recommendations Assess ment, Development and Evaluation )-methode (www. gradeworkinggroup.org). 3-7 Inmiddels hebben meer dan 50 nationale en internationale organisaties, waaronder de kwaliteitsafdeling van de Orde van Medisch Specialisten, het Nederlands Huisartsen Genootschap en het CBO, deze methode geaccepteerd. Omdat professionals in de gezondheidszorg deze methode steeds vaker in de literatuur zullen tegenkomen, bespreken we in dit artikel de meerwaarde van de GRADE-methode aan de hand van een voorbeeld uit de richtlijn Behandeling van astma bij kinderen, 8 waarbij we kort ingaan op de verschillen NED TIJDSCHR GENEESKD. 2012;156:A4379 1

2 TABEL 1 De verschillende onderdelen in het beoordelen van de sterkte van aanbevelingen in richtlijnen volgens het oude graderingssysteem en volgens de GRADE-methode. Als voorbeeld is hier een vraag uitgewerkt uit de richtlijn Behandeling van astma bij kinderen : wat is bij kinderen met astma die ondanks het gebruik van inhalatiecorticosteroïden (ICS) nog klachten hebben de meest effectieve en veilige behandeling: ICS ophogen of een langwerkende luchtwegverwijder (LABA) toevoegen? De beoordelingen leiden ieder tot een andere uitkomst (de blauwe rij van de tabel). oude graderingsysteem GRADE-methode vooraf gedefinieerde uitkomstmaten in afnemende mate van belangrijkheid Niet benoemd. 1. percentage symptoomvrije dagen 2. (ernstige) astma exacerbaties (ziekenhuisopnames, bezoek aan de Eerste Hulp en/of prednisonkuren) 3. kwaliteit van leven 4. bijwerkingen 5. longfunctie (geforceerd expiratoir volume in 1 s (FEV1) en maximale expiratoire flow op 75-25% van de vitale capaciteit (MEF 75-25) 6. luchtwegontsteking (fractie stikstofmonoxide in de uitademinglucht, (FeNO)) 7. kosten samenvatting van de literatuur/ (gepoold) geschat effect per uitkomstmaat Er werd 1 systematische review (van 5 RCT s) gevonden en 2 aanvullende RCT s In de Richtlijn is de review als uitgangspunt genomen. 13 Van de 5 studies in de review includeerden 3 studies kinderen met astma op ICS zonder klachten. Omdat dit niet de kinderen zijn die voor stap 3 in aanmerking komen, bespreken we in dit voorbeeld alleen de 4 RCT s (2 uit de review en de 2 recente trials) waarbij astmaklachten onder gebruik van ICS een inclusiecriterium waren. 12, Poolen was niet mogelijk in verband met heterogeniteit. 2 studies waren opgezet als non-inferiority -studies met als uitkomst de peakflow. 15,16 Het doel van een non-inferiority studie is om aan te tonen dat het nieuwe medicament niet minder werkzaam is dan het oude. Non-inferiority van ICS/LABA versus ICS ophogen kon in beide studies worden aangetoond. onderscheid in uitkomsten. Toename in PEF significant beter in de LABA/ ICS groep versus de ICS ophogen groep. Een recente studie gebruikte een samengestelde uitkomstmaat (met een surrogaat uitkomst), waarbij de proportie patiënten met een beste respons op LABA het hoogste was van de 4 studies rapporteren de meest relevante uitkomstmaten: symptoomvrije dagen en exacerbaties en laten geen significante verschillen zien tussen de 2 groepen (tabel 2). Subgroepanalyse op basis van FEV1 en FeNO lieten geen verschil in behandeleffect zien. kwaliteit van bewijs/ level of evidence Per studie Twee studies rapporteerden geen details over de methode van blindering van de toewijzing, blindering van effectbeoordelaars en volledigheid van follow-up. De methodologische kwaliteit kon hierdoor moeilijk beoordeeld worden. 15,16 De andere twee studies waren methodologisch valide. 12,14 De 4 RCT s kunnen ieder afzonderlijk niveau A2 of B krijgen, afhankelijk van hoe streng de beoordelaar is. Aangezien er een systematische review is, kan het niveau op A1 (hoogste niveau) terecht komen. Per uitkomstmaat De uitkomsten percentage symptoomvrije dagen en exacerbaties starten met de kwalificatie hoog vanwege het studiedesign (RCT) (Tabel 2). De kwaliteit van bewijs wordt naar beneden bijgesteld tot zeer laag door beperkingen in onderzoekopzet, indirectheid, inconsistentie en mogelijk publicatie bias. (Tabel 2) overige overwegingen Niet specifiek benoemd Balans tussen gunstige en nadelige effecten Gezien de onzekerheid over (ernstige) astma exacerbaties bij LABA/ ICS gebruik, is het onduidelijk of de gewenste effecten groter zijn dan de ongewenste effecten. Bovendien wordt op relevante uitkomstmaten geen overtuigend verschil gevonden tussen LABA/ ICS vergeleken met ICS ophogen. Naar de veiligheid van LABA s wordt momenteel een multinationale studie opgezet. 17 Waarden en voorkeuren van de patiënt Voor deze richtlijn niet geïnventariseerd. Veiligheid zal voor patiënten ook een belangrijke rol spelen. Kosten Het is eenvoudiger en goedkoper om de dosis ICS te verdubbelen dan om een nieuw middel (ICS / LABA) voor te schrijven. niveau/ sterkte van de aanbeveling Voeg LABA toe indien er sprake is van reversibiliteit en verdubbel ICS bij tekenen van luchtwegontsteking (verhoogd FeNO indien gemeten) Er wordt geadviseerd om bij kinderen met astma en klachten ondanks ICS in eerste instantie de dosis ICS te verdubbelen. (sterkte van aanbeveling zwak ) 2 NED TIJDSCHR GENEESKD. 2012;156:A4379

3 met het eerder gebruikte graderingsysteem van het CBO. Dit voorbeeld staat uitgewerkt in tabel 1, waarnaar in de loop van dit artikel regelmatig wordt verwezen. Hieruit blijkt dat het gebruik van verschillende graderingsystemen kan leiden tot verschillende aanbevelingen. Gradering volgens oude methode In het voorheen gebruikelijke graderingsysteem worden vragen die in een richtlijn beantwoord moeten worden geformuleerd volgens het Patient, intervention, comparison, outcome (PICO)-model. 9 Per vraag wordt vervolgens op systematische wijze naar literatuur gezocht. Voor therapeutische vragen is het gerandomiseerde, gecontroleerde onderzoek (RCT) het optimale onderzoeksdesign. Elke trial wordt met standaardbeoordelingslijsten beoordeeld op methodologische kwaliteit. De lijsten zijn te vinden op de website van het Dutch Cochrane Center ( cochrane.org; klikken op downloads ). Relevante kwaliteitscriteria voor RCT s zijn blindering van de toewijzing ( concealment of allocation ), blindering van diegenen die de uitkomstmetingen verrichtten (voor subjectieve uitkomstmaten) en volledige follow-up. Aan de hand van de resultaten wordt een niveau van bewijs aangegeven en daaruit volgend het niveau van de aanbeveling (tabel 2). Er zijn geen vastomlijnde criteria wanneer gesproken wordt van een studie van goede kwaliteit. De kwaliteit van de studies in ons voorbeeld is als voldoende beoordeeld (zie tabel 1). Naast de kwaliteit is de omvang van de studies ook van belang om het niveau van bewijs te bepalen. Er wordt in het oude graderingsysteem niet omschreven wanneer een studie van voldoende omvang is. Voor zogenoemde surrogaatuitkomsten, zoals longfunctie, zijn kleinere patiëntenaantallen nodig dan voor klinisch relevante uitkomsten, zoals astma-exacerbaties. Per studie wordt vaak naar een combinatie van surrogaatuitkomsten en klinisch relevante uitkomsten gekeken zonder dat van tevoren een uitspraak is gedaan over een rangorde van belangrijkheid van deze uitkomstmaten. De praktijk en het voorbeeld in tabel 1 laten zien dat de kwaliteit van bewijs moeilijk te categoriseren is, maar dat er veel meer sprake van een continuüm is. De aanduiding goede kwaliteit is subjectief en bovendien spelen een aantal andere relevante factoren een rol die in het oude graderingsysteem niet expliciet meegewogen worden. Hoewel naast bewijs ook andere overwegingen in de oude methode worden meegenomen, worden ze minder expliciet beschreven en spelen ze geen rol in de kracht van de aanbeveling. De GRADE-methode In de figuur staat schematisch weergegeven welke stappen er worden doorlopen in de GRADE-methode. Hieronder worden ze nader toegelicht. Uitkomstmaten Het voorbeeld laat zien dat de kwaliteit van het bewijs, maar ook de vraag of de studie groot genoeg was, afhangt van de gebruikte uitkomsten. Bij de GRADE-methode worden daarom eerst de meest relevante uitkomstmaten (maximaal 9) in afnemende mate van belangrijkheid geformuleerd. Uitkomstmaten 1-3 zijn essentieel voor het nemen van een beslissing; 4-6 zijn belangrijk maar niet essentieel, en 7-9 zijn niet belangrijk voor het nemen van een beslissing en minder relevant voor patiënten. Kwaliteit van bewijs De kwaliteit van bewijs wordt per uitkomst beoordeeld en krijgt een niveau toegekend: hoog, matig, laag of zeer laag. Hoge kwaliteit wil zeggen dat het geschatte effect (waarbij het gemeten effect uit de verschillende studies wordt gepoold) zeer waarschijnlijk dicht bij het werkelijke effect ligt. Naarmate de kwaliteit van bewijs lager is, is daar toenemende onzekerheid over. Alle uitkomsten samen worden ook op kwaliteit beoordeeld: als eindoordeel geldt dan het laagste niveau van de belangrijkste uitkomstmaat. Net als met de oude niveaus van bewijsvoering, is bij GRADE de RCT het meest valide onderzoeksdesign voor therapievragen en krijgt bewijs uit een RCT dus het TABEL 2 Niveaus van bewijs en niveaus van aanbeveling volgens oude graderingsmethode niveau van bewijs A1 A2 B C D niveau van aanbeveling interventie systematische review van tenminste twee onafhankelijk van elkaar uitgevoerde onderzoeken van A2-niveau gerandomiseerd dubbelblind ver gelijkend klinisch onderzoek van goede kwaliteit van voldoende omvang vergelijkend onderzoek, maar niet met alle kenmerken als genoemd onder A2 (hieronder valt ook patiënt-controle onderzoek, cohortonderzoek) niet-vergelijkend onderzoek mening van deskundigen conclusie gebaseerd op* 1 onderzoek van niveau A1 of tenminste 2 onafhankelijk van elkaar uitgevoerde onderzoeken van niveau A2 2 1 onderzoek van niveau A2 of tenminste 2 onafhankelijk van elkaar uitgevoerde onderzoeken van niveau B 3 1 onderzoek van niveau B of C 4 mening van deskundigen * Aanbevelingen worden niet gegradeerd, maar de formulering bepaalt de kracht van de aanbeveling (bijv moeten, zou moeten, kunnen) NED TIJDSCHR GENEESKD. 2012;156:A4379 3

4 stempel hoge kwaliteit. Hierna volgen de observationele studie (lage kwaliteit) en andere onderzoeksdesigns (zeer lage kwaliteit). Er zijn 5 factoren die de kwaliteit van het bewijs kunnen verlagen: Beperkingen in onderzoeksopzet ( risk of bias ) Hierbij wordt de methodologische kwaliteit van de individuele studies beoordeeld net als voor de niveaus van bewijs uit de oude graderingmethode. Naast de 3 eerder genoemde kwaliteitsitems (blindering van de toewijzing, blindering van degene die de uitkomst meet en volledigheid van de follow-up) kunnen het ontbreken van een intention-to-treat -analyse, selectieve rapportage van uitkomsten ( reporting bias ), sponsoring door een belanghebbende partij en belangenverstrengeling van onderzoekers in de beoordeling meegenomen worden. Inconsistentie Er is sprake van inconsistentie wanneer er tussen de verschillende studies grote verschillen zijn in behandeleffecten, die niet verklaard kunnen worden door bijvoorbeeld verschillen in populatie, interventies, uitkomstmaten en studiekwaliteit. Indirectheid van bewijs Als de PICO-vraag waarop het bewijs gebaseerd is op een of meer punten afwijkt van de PICO-vraag die men vraagstelling (PICO) systematisch literatuuroverzicht studies S1 S2 S3 S4 S5 uitkomsten U1 U2 U3 U4 essentiële uitkomsten belangrijke uitkomsten genereer een geschat (gepoold) effect voor elke uitkomstmaat beoordeel de kwaliteit van bewijs voor elke uitkomstmaat RCTs beginnen met hoge kwaliteit, observationeel onderzoek met lage kwalitei verlaag de kwaliteit (met 1 of 2 niveau s) verhoog de kwaliteit bij: wanneer er sprake is van: - beperkingen in studieopzet - groot effect - imprecisie - aanwezigheid van dosisresponsrelatie - inconsistentie van resultaten - vermindering van het effect door plausibele - publicatiebias indirectheid van bewijs confounders beoordeling van de kwaliteit per uitkomst: hoog, matig, laag, zeer laag beoordeel de totale kwaliteit van bewijs (laagste kwaliteit van essentiële uitkomsten) bepaal het niveau (voor/tegen) en de sterkte van de aanbeveling (sterk/zwak) aan de hand van: kwaliteit van bewijs balans tussen gewenste en ongewenste uitkomsten waarden en voorkeuren kosten FIGUUR Een schematische weergave van de stappen die doorlopen worden in de GRADE-methode 3 4 NED TIJDSCHR GENEESKD. 2012;156:A4379

5 wil onderzoeken, is het bewijs indirect. Ook het gebruik van surrogaatmarkers valt onder indirectheid. Imprecisie Brede betrouwbaarheidsintervallen rond een geschat effect duiden op onzekerheid in de grootte van het effect. Er is sprake van imprecisie bij een te kleine steekproef (lage statistische power), weinig events en een betrouwbaarheidsinterval dat wel statistisch significant is, maar zowel in het gebied van klinische relevantie als van een verwaarloosbaar effect ligt. Een precies gemeten effect kan dus zowel geen effect zijn (smal betrouwbaarheidsinterval rond de neutrale waarde van de effectmaat), als een significant verwaarloosbaar klein effect of een significant klinisch relevant effect zijn. Publicatiebias Het is een bekend fenomeen dat studies met negatieve resultaten vaak niet gepubliceerd worden; dit heet publicatiebias. 10 Men moet bijvoorbeeld bedacht zijn op publicatiebias wanneer er slechts enkele kleine trials met positieve resultaten gepubliceerd zijn die alle door de industrie gesponsord zijn. In tabel 3 staat een voorbeeld uit de richtlijn Behandeling van astma bij kinderen waarbij deze wijze van het beoordelen van de kwaliteit is uitgewerkt voor het percentage symptoomvrije dagen (uitkomstmaat 1). Wanneer 1 of meer van deze 5 factoren aanwezig zijn, kan de kwaliteit van het bewijs met 1 of 2 niveaus per factor worden verlaagd. Wanneer het bewijs uit observationeel onderzoek bestaat (lage kwaliteit), is er een aantal factoren die de kwaliteit van bewijs juist kunnen verhogen (zie figuur). De laagste kwaliteit van het bewijs van de klinisch meest relevante uitkomstmaten bepaalt het niveau van de totale kwaliteit van het bewijs. Overige overwegingen Om te komen van bewijs naar aanbevelingen spelen ook andere overwegingen een rol. Binnen GRADE zijn dit de balans tussen gunstige en TABEL 3 GRADE-formulier voor het bepalen van de kwaliteit van het bewijs over de vraag wat de beste behandeling is voor kinderen met astma die ondanks het gebruik van inhalatiecorticosteroïden nog klachten hebben, ingevuld voor de uitkomstmaat percentage symptoomvrije dagen. Uitkomst 1: percentage symptoomvrije dagen RCTs met deze uitkomst: De Blic (2009) n = 231; 19% vs 15% p = 0,389 (% weken met totale astma controle) Gappa (2009) n = 283; 41,5 ± 345 vs 33,3 ± 31,4 verschil 8,7 (95%-BI: 1,2-16,3) Vaessen (2010) n = 257; Verschil 0,4% (95%-BI: -9,1-9,9; p = 0,93) criterium beoordeling* voetnoot kwaliteit van het bewijs* (beschrijf redenen voor verlaging kwaliteit) Beperkingen in de onderzoeksopzet Inconsistentie Indirectheid Imprecisie Publicatie bias -1 Farmaceutische industrie was sponsor in alle studies (en soms co-auteur) Mogelijk belangenverstrengeling van onderzoekers De follow-up duur was (te) kort (8-12 weken in 2 studies) Onduidelijkheid over volledigheid van follow-up (2 RCTs) -1 In 1 studie (Gappa 2009) waren er significant meer symptomenvrije dagen in de LABA/ ICS groep versus de ICS ophogen groep. In de andere 2 studies was er geen significant verschil. -1 Alleen tijdens run-in klachten en in 2 van de 3 studies was reversibiliteit een inclusiecriterium. In de praktijk zijn de meeste kinderen nietreversibel. gepoold resultaat. HOOG MATIG LAAG ZEER LAAG * Het uiteindelijke oordeel staat vetgedrukt ICS = inhalatiecorticosteroïd; LABA = langwerkende luchtwegverwijder. NED TIJDSCHR GENEESKD. 2012;156:A4379 5

6 nadelige effecten, de waarden en voorkeuren van de patiënt en de kosten. Deze worden expliciet weergegeven en zijn van invloed op de sterkte van de aanbeveling. Daarom kan het zijn dat een bewijs van lage kwaliteit, toch kan leiden tot een sterke aanbeveling en andersom. Niveau of sterkte van de aanbeveling Dit geeft aan hoe zeker we kunnen zijn dat de gewenste effecten groter zijn dan eventuele ongewenste effecten (bijwerkingen). GRADE kent slechts 2 niveaus: sterk en zwak. Beschouwing De GRADE-methode is vollediger, transparanter en strenger in het beoordelen van de kwaliteit van studies dan oude graderingmethoden. In ons voorbeeld waarbij we de GRADE- en voormalige CBO-methode hebben toegepast op de vraag wat is bij kinderen met astma die ondanks het gebruik van inhalatiecorticosteroïden nog klachten hebben de meest effectieve en veilige behandeling komen we door het toepassen van de GRADEmethode tot andere aanbevelingen dan vermeld in internationale richtlijnen, waar het eerste keus is om een langwerkende luchtwegverwijder toe te voegen (zie tabel 1). Een van de doelen van GRADE is om de implementatie van richtlijnen te vergroten. Een recente gerandomiseerde studie waarbij 4 verschillende graderingsystemen werden toegepast om tot aanbevelingen te komen, laat zien dat wanneer de GRADE-methode wordt gebruikt dokters eerder geneigd zijn hun handelen in de praktijk te veranderen. 11 Het toepassen van de GRADE-methode is arbeidsintensief en vereist methodologische expertise. De meeste winst is waarschijnlijk te behalen voor vragen waar controverse over is en waarbij dus praktijkvariatie bestaat. Transparantie in het tot stand komen van de aanbevelingen en met name de overige overwegingen die meespelen zijn dan van cruciaal belang. Als basis voor richtlijnontwikkeling zou meer gebruik gemaakt moeten worden van bestaande internationale evidencebased richtlijnen. Vaak blijven er dan nog maar een beperkt aantal vragen over waarvoor bewijs gezocht moet worden. Op dit moment is de GRADE-methode goed ontwikkeld voor toepassing op interventievragen. Het gebruik van GRADE voor de evaluatie van diagnostische tests is nog volop in ontwikkeling, maar hiervoor zal dit jaar een nieuwe leidraad worden gepubliceerd door de GRADE Working Group. De ontwikkeling en toepassing van GRADE wordt in Nederland gevolgd en uitgedragen door GRADE NL, een werkgroep van nationale richtlijnontwikkelaars onder voorzitterschap van het CBO. Toonaangevende internationale organisaties, zoals het National Institute for Health and Clinical Excellence (NICE), WHO en de Cochrane Collaboration, hebben de afgelopen jaren de overstap gemaakt naar het beoordelen van bewijs met GRADE. Om in Nederland niet achterop te raken bij deze ontwikkeling zou het in oprichting zijnde kwaliteitsinstituut voor de zorg, het Nederlands Instituut voor de Zorg, een centrale rol kunnen spelen in het verzorgen van scholing en het bundelen van expertise met de GRADE-methode. Tot slot geeft het toepassen van GRADE uitstekend inzicht in de kennislacunes die weer de basis voor nieuw onderzoek kunnen vormen. Conclusie GRADE is een evidencebased graderingsysteem waarbij de sterkte van het bewijs voor vooraf gekozen, relevante uitkomstmaten wordt weergegeven. Naast kwaliteit van bewijs spelen de balans tussen gewenste en ongewenste uitkomsten, voorkeuren van de patiënt en de kosten een belangrijke rol bij het tot stand komen van de aanbevelingen. Belangenconflict: drs. B.L. Rottier ontving vergoeding van Glaxo Smith Kline voor het geven van lezingen en van de European Respiratory Society voor het maken van een cursus over astmabehandeling. Financiële ondersteuning: geen gemeld. Aanvaard op 8 februari 2012 Citeer als: Ned Tijdschr Geneeskd. 2012;156:A4379 > Meer op Literatuur 1 Atkins D, et al. Grading quality of evidence and strength of recommendations. BMJ. 2004;328: Atkins D, Eccles M, Flottorp S, et al. Systems for grading the quality of evidence and the strength of recommendations I: critical appraisal of existing approaches The GRADE Working Group. BMC Health Serv Res. 2004;4:38. 6 NED TIJDSCHR GENEESKD. 2012;156:A4379

7 3 Guyatt G, Oxman AD, Akl EA, et al. GRADE guidelines: 1. Introduction- GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011;64: Guyatt GH, Oxman AD, Vist GE, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ. 2008;336: Guyatt GH, Oxman AD, Vist G, et al. GRADE guidelines: 4. Rating the quality of evidence--study limitations (risk of bias). J Clin Epidemiol. 2011;64: Guyatt GH, Oxman AD, Kunz R, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. J Clin Epidemiol. 2011;64: Guyatt GH, Oxman AD, Schunemann HJ, Tugwell P, Knottnerus A. GRADE guidelines: a new series of articles in the Journal of Clinical Epidemiology. J Clin Epidemiol. 2011;64: Richtlijn behandeling van astma bij kinderen. Vier controversiële vragen. Utrecht: Nederlandse Vereniging voor Kindergeneeskunde. Sectie kinderlongziekten; Evidence-based Richtlijnontwikkeling. Handleiding voor werkgroepleden. Utrecht: Kwaliteitsinstituut voor de Gezondheidszorg CBO; Hopewell S, Loudon K, Clarke MJ, Oxman AD, Dickersin K. Publication bias in clinical trials due to statistical significance or direction of trial results. Cochrane Database Syst Rev. 2009;(1):MR Cuello Garcia CA, Alvarado KP, Gaxiola GP. Grading recommendations in clinical practice guidelines: randomised experimental evaluation of four different systems. Arch Dis Child. 2011;96: Lemanske RF Jr, Mauger DT, Sorkness CA, et al. Step-up therapy for children with uncontrolled asthma receiving inhaled corticosteroids. N Engl J Med. 2010;362: Ni Chroinin M, Lasserson TJ, Greenstone I, Ducharme FM. Addition of long-acting beta-agonists to inhaled corticosteroids for chronic asthma in children. Cochrane Database Syst Rev. 2009;(3):CD Vaessen-Verberne AA, van den Berg NJ, van Nierop JC, et al. Combination therapy salmeterol/fluticasone versus doubling dose of fluticasone in children with asthma. Am J Respir Crit Care Med. 2010;182: De Blic J, Ogorodova L, Klink R, Sidorenko I, Valiulis A, Hofman J, et al. Salmeterol/fluticasone propionate vs. double dose fluticasone propionate on lung function and asthma control in children. Pediatr Allergy Immunol. 2009;20: Gappa M, Zachgo W, von Berg A, Kamin W, Stern-Sträter C, Steinkamp G. Add-on salmeterol compared to double dose fluticasone in pediatric asthma: a double-blind, randomized trial (VIAPAED). Pediatr Pulmonol. 2009;44: Chowdhury BA, Seymour SM, Levenson MS. Assessing the safety of adding LABAs to inhaled corticosteroids for treating asthma. N Engl J Med. 2011;364: NED TIJDSCHR GENEESKD. 2012;156:A4379 7