Adviseren over onderzoeksmethoden: Data analyse

Transcriptie

1 Adviseren over onderzoeksmethoden: 19 november 2004 Exploratief versus confirmatief Initial Data Analysis Working data set Main analyses Intermediate results Establishing structure (modelling) Results Write draft report Draft Main analyses: Do pilot analyses Refine Confounders Primary outcomes Secondary outcomes Other Confounding factors Subgroups

2 Oefening: Cluster randomisatie Uw client heeft een gerandomiseerde studie gedaan naar het effect van extra psychologische ondersteuning van de huisarts door middel van gespreksterapie, bij de signalering van depressie en angststoornissen. In 24 praktijken werd ondersteuning gegeven, in 18 praktijken niet. Als uitkomstmaat werd een depressielijst gebruikt. De cliënt vraagt welke analyse methode in dit geval het geschiktste is: hij denkt zelf aan simpele t-toetsen tussen de behandelingsgroepen. Waarop zou u de nadruk leggen in dit consultatie-gesprek? Eerste Opvatting Uw client mist de benodigde statistische kennis, daarom is het verspilde moeite om te trachten hem overtuigen dat hij een ingewikkelde analyse methode moet gebruiken Een onderzoeker dient alleen methoden te gebruiken, die hij volledig begrijpt en waarvan hij het gebruik kan onderbouwen. Tweede Opvatting Er zijn analyse methoden die apert incorrect zijn omdat ze niet corresponderen met de onderzoeksvraagstelling Je moet altijd de beste analyse methode gebruiken Zelfs van de meest gecompliceerde analyse methode zijn de basisprincipes heel goed uit te leggen De adviseur kan aanbieden om zelf de data analyse en de interpretatie te doen (of ermee te helpen). Hij of zij kan ook helpen met het schrijven van het overeenkomstige deel van de publicatie. Suggestie voor een synthetische aanpak Indien uw cliënt heilloze plannen heeft: leg uit waarom dat niet zal werken Stel uw cliënt voor, om zowel de gecompliceerde als de eenvoudige analyses te doen. Houd hem of haar de volgende overwegingen voor: Mocht het weinig uitmaken, dan worden de resultaten van de eenvoudige methode gerapporteerd. Mocht het wel veel uitmaken (in termen van de te trekken conclusies), dan is nader overleg vereist.

3 Measurement instrument One dimension Consistency check (RELIABILITY) De volgende vragen staan centraal bij onderzoek naar de validiteit van een instrument: 1 Meet het instrument inderdaad dat waarvoor het bedoeld is? 2 Hoe betrouwbaar zijn de metingen? Validate Two and more dimensions Structure known? No Principal component analysis Yes Confirmatory factor analysis Exercise 14.5: Validation and effect estimation on the same data. What can go wrong when the same sample is both used for validation and effect estimation? Answer to exercise 14.5 Vragen aan de cliënt over de stabiliteit van de resultaten Is het nodig om de stabiliteit van de resultaten na te gaan? Denk aan de volgende punten: 1 Je hebt in de analyses gecorrigeerd voor covariaten 2 Er zijn ontbrekende waarnemingen 3 Er zijn uitbijters 4 Er wordt ook een per-protocol analyse gedaan 5 De studie bevat zowel validatie als effect meting 6 Er wordt factor analyse gebruikt 7 Er worden modellen gebouwd en getest

4 Ê Ö ÝÔÓØ ÙÒ ÒÓÛÒ Ö Ê Ö ÝÔÓØ À¼À ÔØ Ð ¹ ÕÙ Ø ÓÒ Ð Ê Ö ÝÔÓØ Ù Exploratief versus confirmatief Exploratie Context of Discovery Confirmatie Context of Justification De begrippen komen uit de wetenschapsfilosofie (Zie: Losee, 1993) Karakterisering van Tukey (1977) Exploratory data analysis is detective in character. Confirmatory data analysis is judicial or quasi-judicial in character...unless the detective finds the clues, judge or jury has nothing to consider. Unless exploratory data analysis uncovers indications, usually quantitative ones, there is likely to be nothing for confirmatory data analysis to consider. On the other hand: Exploratory data analysis can never be the whole story, but nothing else can serve as the foundation stone the first step. Data-driven theorie-vorming Natuurlijk mag je wel op grond van de data theorieën vormen. Als je ze maar niet op dezelfde data test! Ù Ø Ø À¼À Ö Ù À¼À

5 Meer dan een uitkomstmaat Een logboek van de data analyses Het is een goed idee om een logboek bij te houden van de opvolgende analyse stappen die tijdens de data analyse worden genomen. Na iedere stap in het data analyse proces, wordt de output geannoteerd 2...worden de conclusies die uit de output getrokken zijn, geformuleerd en samengevat 3...wordt genoteerd welke stappen er vervolgens zullen worden genomen Exercise 14.13: Alternatieven voor repeated measurement analyse Zijn die er? Zo ja, geef een voorbeeld. Answer to exercise Meer dan een uitkomstmaat Exercise 14.15: More than one outcome Give an example of a situation where the analysis of a set of outcome variables should be done in conjunction. Give a suggestion about the analysis technique that should be applied. Answer to exercise is een strategisch proces, waarin vaste fasen zijn te onderkennen Eenvoudige tegenover ingewikkelde analyse methoden bij validiteitsstudies verschilt van die bij effect studies. Bij combinaties is het oppassen geblazen Er zijn allerlei situaties, waarin het nodig is om de stabiliteit van de resultaten te checken. Kruisvalidatie kan hierbij nodig zijn. Bij combinaties is het belangrijk een logboek bij te houden : alternatieven eisen eigenlijk altijd non-parametrische technieken

6 Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. New York London: Chapman & Hall. Losee, J. (1993). A historical introduction to the philosophy of science (third ed.). Oxford: Oxford univerisity Press. Tukey, J. W. (1977). Exploratory data analysis. Reading, MA: Addison Wesley.