Overzicht. Help! Statistiek! Probioticum. Bronnen. Probioticastudie (1) Probioticastudie (2)

Transcriptie

1 Help! Statistiek! Overzicht Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Derde woensdag in de maand, uur 18 juni: Statistische aspecten van de probioticastudie 17 sept.: Bayesianse statistiek 15 oktober: Robuuste statistiek - vraagstelling, conclusie, kritiek in de media - proefopzet en tussentijdse analyse: planning - proefopzet: uitvoering - wat hebben we geleerd Sprekers: Václav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie 2 Bronnen Probioticum Besselink MG et al: - Probiotic prophylaxis in predicted severe acute pancreatitis: a randomised, double-blind, placebo-controlled trial. Lancet 2008 Feb 23;371(9613): (Ned Tijdschr Geneeskd Mar 22;152(12):685-96) - Probiotic prophylaxis in patients with predicted severe acute pancreatitis (PROPATRIA): design and rationale of a doubleblind, placebo-controlled randomised multicenter trial. BMC Surg Sep 29;4:12. Gill RD ( ) - Statistics, ethics, and probiotica. ( ) - Careless Statistics Costs Lives ( ) "Een probioticum is een preparaat of een product met levende, wel gedefinieerde micro-organismen in voldoende aantallen, dat de microflora in een bepaald orgaan van de gastheer verandert en daarmee een gezondheidsbevorderend effect heeft op de gastheer'." levende micro-organismen (meestal bacteriën) duidelijk gedocumenteerd gezondheidseffect hoeft niet per se in de darm te werken (andere voorbeelden: de mond of de vagina) 3 4 Probioticastudie (1) Doel: Onderzoeken of een enterale profylaxe met probiotica bij patiënten met een voorspeld ernstige acute pancreatitis in staat is infectieuze complicaties te voorkomen. Opzet: Multicentrische, gerandomiseerde, dubbelblinde, placebo-gecontroleerde trial. Probioticastudie (2) Methode: 296 patiënten (15 centra) werden geïncludeerd en gerandomiseerd in 2 groepen (stratificatie; blokken van 4). Binnen 72 uur na aanvang van de symptomen kregen zij tweemaal per dag óf een preparaat met meerdere soorten probiotica óf een placebo toegediend, gedurende 28 dagen. primaire uitkomstmaat: het optreden van een infectie tijdens ziekenhuisopname of tijdens 90 dagen follow-up secundaire uitkomstmaat: sterfte en bijwerkingen

2 Probioticastudie (3) Resultaten Infecties: 30% in de probiotica-groep (46 van 152 ) 28% in de placebogroep (41 van 144 ) RR = 1,1; 95%-BI: 0,8-1,5. Sterfte: 16% in de probioticagroep (24 van 152) 6% in de placebogroep (9 van 144 patiënten) RR = 2,5; 95%-BI: 1,2-5,3. Probioticastudie (4) Conclusie: Het gebruik van probiotische stammen leidde niet tot minder infecties. Het ging wel samen met een meer dan tweevoudige toename van sterfte en moet daarom worden afgeraden. Kritiek van diverse k(r)anten: o.a. op het te lang laten doorlopen van de studie, waardoor onnodig veel patiënten de probiotica behandeling kregen - en mogelijk ten gevolge daarvan stierven. De Inspectie voor de Gezondheidszorg (IGZ) heeft een onderzoek naar de sterfgevallen ingesteld. 7 8 Statistische aspecten: power analyse Design modificatie H 0 : p=0,5 versus H 1 : p=0,3 (of 0,7) tweezijdig, alfa=5%, power=80% Berekende n (met programma PASS): - Fisher s exact test: 2 x 102 = Chi-square: 2 x 94 = Welke prevalentie van infecties - onder H0 en H1 - werd bij de herberekening gebruikt? NB. - 28% was men wat men hoopte te bereiken - de totale sterfte - 10% - was wel conform de verwachting 10 Design modificatie (2) Interim analyse - algemeen Prevalenties van infectie - onder H1 en H0 - bij herberekening: a) 35% versus 21% : (35%+21%)/2 = 28% dezelfde verhouding als 50% versus 30% n uit PASS: 2 x 174 b) 50% versus 6%: (50%+6%)/2 = 28% n uit PASS: 2 x 18 - direct stoppen dus?! c) 38% versus 18% : (38%+18%)/2 = 28% hetzelfde verschil 50% minus 30% n uit PASS: 2 x 77 Een dergelijke studie duurt een paar jaar. Het is wenselijk om tussentijds na te gaan of de resultaten al duidelijk genoeg zijn om te kunnen stoppen. Tussentijds kijken of de resultaten al dan niet significant zijn verandert wel de alfa en beta van de toets. Dit moet dus verrekend worden. Hiervoor zijn diverse methoden beschikbaar. Twee van meer bekende zijn repeated significance tests van Pocock en procedures van O Brien en Fleming. PROPATRIA gebruikte een procedure van Snapinn. PROPATRIA: 296 = 2 x

3 Vergelijking van A met B Tussentijdse analyse / stoppen Y = aantal infecties onder A - aantal inf. onder B verwerp H0 A is slechter Y = aantal infecties onder A - aantal inf. onder B verwerp H0: A is slechter ga door 0 0 het aantal patienten N geen verschil 0 0 het aantal patienten N geen verschil ga door mogelijke verloop van de trial verwerp H0 B is slechter mogelijke verloop van de trial verwerp H0: B is slechter Éénzijdige procedure van Snapinn Éénzijdige procedure van Snapinn (2) Analyse na n uit N patienten (dus fractie f=n/n) Y = het waargenomen verschil tussen A en B na n δ = het hypothetische verschil tussen A en B onder H 1 Bereken de kans op het vinden van een significant resultaat na N en wel onder de volgende twee aannamen: a) dat het werkelijke verschil f x Y bedraagt; stop en verwerp de H0 als deze kans groot genoeg is, b.v. groter dan p rej = 0,90 b) dat het werkelijke verschil f x Y + (1-f) x δ bedraagt; stop en accepteer de H0 als deze deze kans laag Snapinn stelde voor om p rej en p acc zodanig te kiezen dat onder de H 0 de volgende twee fouten even vaak optreden: - boven de p rej uitkomen maar na N niet verwerpen - onder p acc uitkomen maar na N wel verwerpen Voor een bepaalde keuze van p rej, p acc, alfa, beta en f=n/n kan dit omgerekend worden in grenzen (a, b) voor P-waarden: - P a : stop de trial en verwerp H0 - P b : stop de trial en accepteer H0 - a < P < b : ga door met de trial genoeg is, b.v. lager dan p acc =0, Éénzijdige procedure van Snapinn (3) design Voorbeeld: Voor p rej =0,9, p acc, =0,2, alfa=0,05, beta=0,1 en f=n/n=0,5 vinden we a = 0,0081 en b = 0,382 Dit zijn toevallig (?) - de getallen die PROPATRIA zou gaan gebruiken (zie verder). Meer voor de hand liggende keuze is alfa=0,025 (in verband met tweezijdig toetsen) en beta=0,2. Dit leidt tot a = 0,0034 en b = 0,266 als de grenzen voor eenzijdige P-waarden

4 De geplande specificatie van PROPATRIA interim analyse snappen we niet. Is niet zo erg: deze analyse heeft toch niet plaatsgevonden, want na n=100 werd de design gewijzigd Er was wel interim geanalyseeerd na n=184. De specificaties van deze analyse kennen we helaas niet, alleen de samenvatting van de resultaten: One-sided Snapinn boundaries (alfa=0.025, beta=0.20) Richard Gill reconstrueerde de resultaten na n=184: infectie groep A 29 uit 94 (31%) groep B 22 uit 90 (24%) P 2-zijdig =0.332 P-waarde = de kans op het vinden van een even extreme of extremer resultaat in de richting van de alternatieve hypothesis H1. H1: A meer infectie dan B: P 1-zijdig = 0.17 H1: A minder infectie dan B: P 1-zijdig = 0.83 one-sided P-value continuation region accept H0 reject H sample proportion at interim analysis 22 Onduidelijkheden / discussie-punten H1: A minder infectie dan B : P=0,83, dus stoppen en accepteer de H0. Er is te kleine kans om alsnog aan te tonen dat A tot minder infectie leidt dan B. H1: A meer infectie dan B : P=0,17, dus doorgaan. Er is een grote kans om aan te tonen dat A tot meer infecties leidt dan B. Als A=probiotica en B=placebo dan is dit laatste niet zo zinvol. Nog meer patienten aan de probiotica omdat er een grote kans is om aan te tonen dat die behandeling echt slechter is? Volgens Gill is dit echter wat wel gebeurd is applicatie Snapinn / studiemodificatie / nieuwe stopregel analyses ten tijde van de interim-analyse omgaan met adverse events (doden werden niet als zodanig meegeteld) nut van blindering; 1- of 2-zijdige toetsing rol van de data-monitoring committee rol van de 15 METc s in de goedkeuring (wie snapte Snapinn?) 24 4

5 Conclusies Volgende Help! Statistiek! lezing: Er is kritiek maar toch is dit in veel opzichten een goed opgezette en uitgevoerde studie! Interim-analyse kan heel waardevol zijn. Er is op dit gebied meer mogelijk; er zijn nieuwe ontwikkelingen ( adaptive designs ). Het kan nuttig zijn om bij het opzetten en uitvoeren van de trial een (echte) (bio-)statisticus te betrekken. NB. De Biometrische Sectie van de Vereniging voor Statistiek voert een register van erkende biostatistici. 25 woensdag 17 september 2008, uur zaal 16, UMCG Onderwijs Centrum Bayesiaanse statistiek Handouts van deze presentatie komen te staan onder Courses op