1 Inleiding Opbouw Bronnen en verantwoording Doelgroep Effectonderzoek in de toegepaste gedragswetenschappen 16

Transcriptie

1 Inhoud 1 Inleiding Opbouw Bronnen en verantwoording Doelgroep Effectonderzoek in de toegepaste gedragswetenschappen 16 2 Empirische methodologie Schets van de historie van de methodologie Wat is methodologie? Verklaren en begrijpen Hermeneutiek en fenomenologie De empirische methodologie volgens A.D. de Groot De empirische cyclus van het verwerven van (wetenschappelijke) kennis De regulatieve cyclus De karakteristieke bijdrage van De Groot aan de wetenschapsontwikkeling Typen van onderzoek Objectiviteit en intersubjectiviteit Objectiviteit Intersubjectiviteit Samenvatting van hoofdstuk Definities van relevante begrippen Inleiding Gedragswetenschappen Interventie(programma) Effectiviteit van interventies Effectonderzoek Effect size Samenvatting van hoofdstuk Ideaalmodel voor effectonderzoek Inleiding 67

2 8 Effectonderzoek in de gedragswetenschappen 4.2 Algemene richtlijnen bij het inventariseren van begrippen en doelen op basis van het theoretisch raam Theoretische onderbouwing Beschrijven van (het doel van) de interventie Algemene richtlijnen bij het operationaliseren van variabelen in criteria Algemene richtlijnen bij het opstellen van meetinstrumenten Betrouwbaarheid en validiteit Meetmethoden Algemene richtlijnen bij het kiezen van het onderzoeksdesign Voor- en nametingen Experimentele groep en controlegroep Voorbeeld van een zuiver experimenteel design: Solomon Four- Group Design Algemene richtlijnen bij het verzamelen, analyseren en interpreteren van data Dataverzameling Data-analyse Interpretatie van de data Algemene richtlijnen bij het rapporteren van het effectonderzoek Samenvatting van hoofdstuk Methodologische problemen Inleiding Problemen bij het inventariseren van variabelen en doelen Problemen bij de theoretische onderbouwing Problemen bij het beschrijven van (het doel van) de interventie Problemen bij het operationaliseren van variabelen in criteria Complexiteit van de criteriummaten Objectiviteit versus subjectiviteit Instrumentatieproblemen Beschikbaarheid van meetinstrumenten Meetmethoden afwegen Problemen bij het kiezen van het onderzoeksdesign Methodologisch-praktisch probleem: bedreigingen van de validiteit Ethische problemen bij een experimenteel onderzoek Problemen met een longitudinaal design Problemen bij het verzamelen, analyseren en interpreteren van de data Problemen bij de dataverzameling Problemen bij de data-analyse Problemen bij de interpretatie van de data Problemen bij het rapporteren van het effectonderzoek Samenvatting van hoofdstuk 5 158

3 Inhoud 9 6 Methodologische mogelijkheden Inleiding Hulpmiddelen bij het inventariseren van variabelen en doelen Logic model DoelenhieÈrarchie Paradigma voor het onderscheiden van effecten Programma-template Mogelijkheden bij het operationaliseren van doelen: het meten van verandering Indices of Change in relatie tot ontwikkeling van kinderen Indices of Change toepasbaar bij volwassenen Andere mogelijkheden voor het vaststellen van verandering Mogelijkheden bij het opstellen van meetinstrumenten Interpretatie van gestandaardiseerde meetinstrumenten Testconstructie ad hoc Alternatieve paradigma's Multipele maten en informanten Mogelijkheden bij het kiezen van het onderzoeksdesign Omgaan met ethische problematiek Quasi-experimentele designs Pre-experimentele designs Suggesties bij een longitudinaal design Oplossingen bij de verzameling, analyse en interpretatie van de data Omgaan met de kwetsbaarheid van de doelgroep Combinatie van kwantitatieve en kwalitatieve methoden Mogelijkheden bij de data-analyse Suggesties bij de interpretatie van de data Mogelijkheden bij het rapporteren van het effectonderzoek Checklists voor de opzet van een methodologisch robuuste effectstudie Checklist voor effectonderzoek met groepen Checklist voor N=1-studies Samenvatting van hoofdstuk Capita selecta Poweranalyse De a priori-poweranalyse (voorafgaande aan het onderzoek) De post hoc-poweranalyse (na afloop van het onderzoek) De compromis-poweranalyse De sensitiviteitsanalyse De criteriumanalyse Effect sizes (ES) Effect size voor twee onafhankelijke groepen 229

4 10 Effectonderzoek in de gedragswetenschappen Effect size voor twee afhankelijke groepen Enkele voorbeelden van eenvoudige data-analyse in effectonderzoek Static Group Design One-Group Pretest-Posttest Design Non-Equivalent Control Group Design Discussie 247 Bijlage A: Stellingen De Groot `Er is maar eâeân methodologie' 255 Literatuur 259 Trefwoordenregister 279 Over de auteurs 285

5 2 Empirische methodologie Dit hoofdstuk geeft achtergrondkennis waar het gaat om methodologie en effectonderzoek in de gedragswetenschappen. Het is grotendeels gebaseerd op het standaardwerk van de Nederlandse psycholoog en methodoloog Adriaan Dingeman de Groot (1961): Methodologie: grondslagen van onderzoek en denken in de gedragswetenschappen. Dit unieke boek is in de vorige eeuw bijna veertig jaren lang de leidraad geweest voor Nederlandse onderzoekers in opleiding. Het boek heeft ook een internationale editie gekend (De Groot, 1969b: Methodology. Foundations of inference and research in the behavioral sciences), met name bestemd voor de Amerikaanse wetenschappelijke markt. Deze editie is minder succesvol geweest dan de oorspronkelijk Nederlandse. Het Nederlandstalige boek verscheen in 1961 en riep destijds discussie op in met name het Nederlands Tijdschrift voor de Psychologie en haar grensgebieden. De geõènteresseerde lezer wordt verwezen naar een bewonderaar in de vorm van Snijders (1963) die een zeer lezenswaardige recensie schrijft en tot een voor ons toch wel bijzondere conclusie komt. In de wetenschapsfilosofie en de methodologie is er altijd strijd geweest omtrent de eenheid der wetenschappen en omtrent de verschillende soorten van onderzoek en denken. Uiteraard een fundamentele discussie, die door De Groot beslecht wordt in de uitspraak dat die eenheid gevormd wordt door de methode, gebaseerd op de empirische cyclus van kennisverwerving. Snijders komt in zijn recensie over de bijdrage van De Groot tot een ander object dat de eenheid der wetenschappen zou symboliseren, namelijk het streven naar objectiviteit. In dit hoofdstuk besteden wij dan ook aandacht aan: de historie van de methodologie (paragraaf 2.1); wat methodologie precies is (paragraaf 2.2); het stramien van wetenschappelijk denken en handelen in het licht van De Groots methodologie (paragraaf 2.3); verschillende soorten onderzoek (paragraaf 2.4); objectiviteit en intersubjectiviteit in het kader van grondslagen van onderzoek en denken in de gedragswetenschappen (paragraaf 2.5). Het hoofdstuk sluit af met een bondige samenvatting (paragraaf 2.6).

6 22 Effectonderzoek in de gedragswetenschappen 2.1 Schets van de historie van de methodologie Als inleiding op de (empirische) methodologie is het wijsheid om op beknopte wijze de historie van de methodologie als context voor de bijdrage van De Groot te beschrijven. De basis voor de methodologie ± omschreven als de leer van de kennisontwikkeling ± is gelegd door Aristoteles. GeõÈnspireerd door de dialectiek van Plato en de retoriek der sofisten legt Aristoteles de basis in de formele logica. Kernpunt in Aristoteles' logica is de leer van de redenering en het bewijs (Delfgaauw, 1965). Later werkt Aristoteles ook de leer van de kennisontwikkeling uit (namelijk in de Analytica posteriora). De term methodologie is voor het eerst prominent aanwezig in de 17de eeuw, met name in de Discours de la meâthode van Descartes. De centrale vraag die Descartes zich stelt (en die vandaag nog steeds actueel is) luidt: `Hoe kan een mens uit een veelheid van (wetenschappelijke) opvattingen en theorieeèn de juiste kiezen?' In de 18de eeuw is methodologie synoniem met logica en dialectiek in de betekenis van discipline van de methodenreflectie. In deze discipline worden de regels voor het uitvinden van de waarheid en van haar bewijsvoering nagegaan. Eind 18de eeuw werkt Kant (1781) in zijn boek Kritik der reinen Vernunft een transcendentale methodenleer uit. Hieronder verstaat Kant een geheel van bepalingen van de formele voorwaarden voor een systeem van de zuivere rede. In de 19de eeuw wordt de methodenleer weer opgevat in de traditionele 18de eeuwse betekenis van logica. Filosofen zoals Stuart Mill en Wundt verwijzen met methodologie naar het gebruik van de logica in onderzoek en in kennisontwikkeling.inde19deeeuwverschijntdebijdrage van Hagenbach (de eerste versie in 1833, de twaalfde in 1889) EnzyklopaÈdie und Methodologie der theologischen Wissenschaften en van Stoy (in 1878) EnzyklopaÈdie, Methodologie und Literatur der PaÈdagogik. In hun terugblik op de historische bijdrage van Hagenbach en Stoy stellen Oelkers, Osterwalder en Tenorth (2003) terecht de vraag waarom Hagenbach en Stoy voor de vorm van een encyclopedie eân methodologieendusvooreenbepaalde systematisering van (pedagogische) kennis kiezen. Zij concluderen dat de methodologie van Hagenbach en Stoy niet is bedoeld als een receptenboek, maar wel als een topografische kaart die de (pedagogische) praktijk op systematische wijze wil ondersteunen. De schakel tussen methodologie en de (evidentie voor de) praktijk wordt hiermee uitdrukkelijk gelegd. Pas halverwege de 20ste eeuw ontwikkelt de methodologie zich tot een zelfstandig specialisme. Het is de belangrijkste filosoof en grondlegger van de experimentele psychologie in Nederland, namelijk Heymans (1941), die het eerste boek schrijft dat expliciet over methodologie handelt: Inleiding tot de logica en methodologie. Bochenski (1954, 1962) beschrijft de methodologie vanuit een wetenschapstheoretisch perspectief en sluit daarbij ook aan bij de logica. Om een oordeel te kunnen vormen over de wetenschappelijkheid van methoden die in wetenschappen gebruikt worden om tot kennisverwerving te kunnen komen, doet Bochenski beroep op de kennisleer en op historisch onderzoek naar eerder behaalde successen en naar

7 2 Empirische methodologie 23 dwaalwegen in de wetenschap. Ook de wetenschapsfilosoof Lakatos (1970) beklemtoont het historische perspectief in de methodologie, of met andere woorden in de pogingen tot het verwerven van wetenschappelijke kennis, temeer omdat een theorie beoordeeld moet worden op lange termijn. Lakatos stelt dan ook dat een theorie een structuur (a scientific research programme) moetzijndierichting geeft aan het onderzoek. Voor een omvattend overzicht van de methodologie als wetenschapshistorische benadering verwijzen we naar Menne (1980). In 1961 brengt De Groot zijn magnum opus uit. Hij stelt vast dat er geen scherpe grens te trekken is tussen wetenschappelijk en onwetenschappelijk denken, maar dat er wel regels bestaan die onderzoekers in acht dienen te nemen ± de do's and don'ts ± om adequater te redeneren. De Groot is een gedreven pleitbezorger voor onderzoek, gebaseerd op het kwantificeren van kwalitatieve gegevens en op het vormen en toetsen van theorieeèn en hypothesen. Met deze stellingname komt hij regelrecht in conflict met de Utrechtse hoogleraar Langeveld, die in de pedagogiek bekend is als een der oprichters van de beroepsvereniging NVO (Nederlandse Vereniging van Pedagogen en Onderwijskundigen). Langeveld is een pleidooibezorger van een meer fenomenologische benadering, een benadering die de waargenomen verschijnselen zo nauwkeurig en grondig mogelijk wil beschrijven, waarbij bewust geen theorie of hypothese over de oorzaken van die verschijnselen wordt geformuleerd. In die tijd ontwikkelt de controverse tussen de pedagogiek en de psychologie zich steeds meer in de richting van de bekende karikatuur van de psycholoog als onmenselijke meetfanaat en van de pedagoog als onwetenschappelijk idealist (Van Hilvoorde, 2002). Deze controverse beleeft in Nederland haar hoogtepunt in de confrontatie tussen Langeveld en De Groot. Langeveld (1970) is het absoluut niet eens met De Groot. De repliek van De Groot (1970) op Langeveld laat niet lang op zich wachten. In twaalf stellingen wordt de kritiek weerlegd. Deze stellingen (zie Bijlage A) worden verder in dit hoofdstuk besproken. Het boek van De Groot en daarmee ook de empirische methodologie wordt niet alleen bekritiseerd door de meer normatief georieènteerde pedagogen, maar ook door de empirisch georieènteerde psychologen (De Wit, 1970) om reden dat de epistemologie (namelijk de kennisleer) gemist wordt. Een methodologie opbouwen zonder kennistheoretische vooronderstellingen kan echt niet, volgens Langeveld (1970). Hij sluit daarmee aan bij de kennistheoretische benadering van Bochenski (1954, 1962). De epistemologie terzijde schuiven als irrelevant, zou volgens De Wit (1970) het expliciteringsproces (namelijk de criteria voor de geldigheid van empirische kennis expliciet maken) in de methodologie afremmen en dit is des te meer van toepassing wanneer de ter zake geeèngageerde deskundigen (bij De Groot omschreven als het Forum of ook wel de geleerden) het onderling niet eens zijn. Het antwoord van De Groot (1970, 1971) is vrij simpel: kennisleer is buitengewoon belangrijk, maar kan worden gemist als fundament van de methodologie, want het

8 24 Effectonderzoek in de gedragswetenschappen Forum ± in haar streven naar de wetenschappelijke houding ± neemt in het praktische geval de positie in van de abstracte kennisleer. De (ingetogen) felheid waarmee de discussie in die jaren werd gevoerd in het Nederlands Tijdschrift voor de Psychologie en haar grensgebieden, doet vermoeden dat evidence-based onderzoek vanaf het midden van de 20 ste eeuw nog een lange weg te gaan had. Om die reden is het dan ook onontbeerlijk om stil te staan bij wat methodologie nu precies is. 2.2 Wat is methodologie? Methodologie wordt ook wel methodenleer of methodiek genoemd. Het woord methodologie is afgeleid van het Griekse meta (na, verder, over), hodos (de weg) en logos (het woord, het geheel van woorden of de leer), en betekent dan ook de leer van de weg waarlangs men tot kennis komt, of met andere woorden de studie van de af te leggen weg. Het gaat immers om de theorie van de methoden om kennis te verwerven, om het doel van de wetenschapsbeoefening te kunnen bereiken. Methodologie is de studie van de wetenschappelijke methoden en technieken, die in de wetenschap worden voorgeschreven en die moeten worden gebruikt om kennis te verwerven en om de wetenschap vooruit te helpen. Elke discipline heeft zo haar eigen methoden en technieken en heeft daarenboven vaak een specifieke organisatie met onderzoeksgroepen en vakliteratuur, waar deze specifieke methodologie wordt bestudeerd. Er zijn ook algemene methoden, technieken en principes die voor alle wetenschappen gelden, en deze beginselen worden bestudeerd in de wetenschapsfilosofie (Kroes, 1996). De ondertitel van ons boek luidt: Methodologische moeilijkheden en mogelijkheden. In essentie gaat het in dit boek dus om methodologie. De Groot (1994) zegt het volgende over methodologie: `De methodenleer van de empirische wetenschappen is een product van een lange ontwikkeling. Door een voortdurend, zich over eeuwen uitstrekkend proces van onderlinge uitwisseling ± waarin de onderlinge kritiek een belangrijke, productieve rol heeft gespeeld en nog speelt ± is het mogelijk geweest normen op te stellen en daarop aansluitende methoden en technieken te ontwikkelen voor het wetenschappelijke onderzoeken en denken¼ De methodologie omvat niet alleen do's and don'ts, zij is niet alleen normatief, maar ook descriptief en vergelijkend: bepaalde technieken worden beschreven, met andere vergeleken, in een groter verband gebracht, geeèvalueerd, met zekere restricties aanbevolen of afgeraden, enzovoort. Ditzelfde geldt tot op zekere hoogte voor de logica.' (pp ). Samenvattend kunnen we stellen dat methodologie volgens De Groot gaat over de normen, die betrekking hebben op de methoden en technieken van onderzoek, en de daaruit voortvloeiende richtlijnen voor het wetenschappelijk denken en handelen. De Groot (1994, p. 25) omschrijft deze normen en richtlijnen als de normatieve methodologie.

9 2 Empirische methodologie 25 Ter verduidelijking vergelijkt De Groot (1994) het wetenschappelijk bedrijf met een (schaak)spel. De normen van logica en methodologie zijn dan de vastgelegde spelregels, die aangeven wat mag en wat niet mag. De daarop aansluitende methoden en technieken vormen tezamen de aanbevolen speelmethoden. Hierin kan men bijvoorbeeldvindenopwelkemanierenmenhet(schaak)spelkanbeginnenenhoe men in bepaalde typen situaties het beste te werk kan gaan. Bij dit geheel spelen ten slotte impliciete normen en gewoonten een rol, die men met de ongeschreven, impliciete spelregels en speelmethoden kan vergelijken (men mag bijvoorbeeld niet vals spelen, geen uitkomsten vervalsen, geen omstandigheden verzwijgen). Impliciete normen in de wetenschap zijn normen en bijbehorende methoden, die binnen de groep van serieuze wetenschapsbeoefenaars als min of meer vanzelfsprekend worden aanvaard. Het gaat hierbij om een wetenschappelijke houding en bekwaamheid, een besef van het belang van objectiviteit en van open spel, en een vaardigheid in het onderzoeken en redeneren. Ons boek begeeft zich niet alleen op het gebied van de aanbevolen speelmethoden (zie de ideaaltypische onderzoekssituatie in hoofdstuk 4), maar ook op het gebied van de vastgelegde spelregels en de impliciete normen, wanneer de methodologische moeilijkheden en mogelijkheden in respectievelijk hoofdstuk 5 en 6 worden besproken. Kenmerkend voor de wetenschapsbeoefening is het systematisch streven naar waarheid en zekerheid. De empirische wetenschapsbeoefenaar tracht de verschijnselen in zijn vakgebied systematisch te beschrijven, te registreren, te ordenen, te begrijpen, te verklaren, en is erop gericht nieuwe verschijnselen (of varianten van reeds bekende verschijnselen) te kunnen voorspellen om via die voorspellingen grip te krijgen op de verschijnselen en deze (beheersmatig, doelgericht) te kunnen beõènvloeden. Doel van de wetenschap is het verwerven van kennis, maar in dat streven wordt niet naar persoonlijke kennis, maar wel naar openbare, expliciete en overdraagbare kennis van de werkelijkheid gestreefd. Deze geeèxpliciteerde kennis wordt neergelegd in de vorm van beweringen, waaraan verschillende eisen worden gesteld (zie paragraaf 2.3). Wetenschappelijke beweringen over de werkelijkheid moeten waar zijn; met andere woorden wetenschappelijke kennis moet ware kennis zijn (zie De Groot, 1994). Om reden dat het begrip waarheid geenszins vrij is van interpretatieproblemen en dat de wetenschapper niet snel tevreden is met het gevonden resultaat eân met de formulering ervan, streeft de wetenschapper naar grotere zekerheden dan in het dagelijkse leven gebruikelijk is. De wetenschapper neemt minder snel aan daât iets waar is. Bij voorkeur stopt de empirische wetenschapper niet bij het feitelijke beschrijven, en bij voorkeur ook niet bij het ordenen en registreren (of met andere woorden bij het meten) van verschijnselen. Wetenschappers hebben een uitgesproken gerichtheid op begrijpen en verklaren, op het verkrijgen van diepere en/of verder strekkende inzichten, op het vinden van algemene samenhangen. Op die wijze pogen

10 26 Effectonderzoek in de gedragswetenschappen wetenschappers dan voor grotere gebieden van verschijnselen voorspellingen te maken en pogen ze die verschijnselen te beheersen. Het uiteindelijke doel is om algemene samenhangen in omvattende, inzichtelijke en logisch samenhangende systemen onder te brengen en te ordenen. Deze systemen ± die hele gebieden van verschijnselen bestrijken ± worden theorieeèn genoemd (De Groot, 1994). Alvorens de empirische methodologie van De Groot te belichten is het essentieel stil te staan bij de verschillende methoden om kennis te verwerven. Deze methoden vormen reeds lange tijd de basis voor de indeling der wetenschappen. Een belangrijke indeling die al in de 19de eeuw door Droysen aangedragen wordt, is de terminologie van het ErklaÈren en het Verstehen. In deze indeling is niet alleen aandacht voor het verklaren en het begrijpen (paragraaf 2.2.1), maar ook voor de hermeneutiek en de fenomenologie (paragraaf 2.2.2). We gaan dieper in op deze indeling omdat ze essentieèle bouwstenen vormt voor de empirische methodologie van De Groot Verklaren en begrijpen Het onderscheid tussen ErklaÈren en Verstehen is voor het eerst geõèntroduceerd door Droysen (1868), om de methodologische en filosofische eigenheid van de gedragswetenschappen en de geschiedenis te onderscheiden van die van de natuurwetenschappen (zie ook Burger, 1978). Verklaren is in het algemeen het opstellen van wettelijkheden c.q. correlaties (uitdrukking van een samenhang), namelijk de verschijnselen worden toegeschreven aan de werking van een regelmaat, van een (min of meer algemene) wettelijkheid. De stimulus-respons schema's van Skinner (1953) zijn voorbeelden van een verklaring. Deze schema's geven de voorwaarden aan waaronder welbepaald gedrag al dan niet optreedt, maar ze gaan voorbij aan het hoe en waarom van de wettelijkheden. Begrijpen is het duiden van de verschijnselen, het interpreteren van het unieke in context. Verklaren en begrijpen zijn contextuele benaderingen van de werkelijkheid: de eerste is erop gericht om wetten op te stellen die de algemene en noodzakelijke relaties tussen de vele verschijnselen formuleren (nomothetische methode); de tweede is vooral geõènteresseerd in het bijzondere, in het beschrijven van het individuele (idiografische methode). Hoewel het contrast tussen de op verklaring gerichte natuurwetenschappen en de op begrijpen gerichte gedrags- en maatschappijwetenschappen duidelijk moge zijn, is dit onderscheid geenszins absoluut. Zo is de evolutietheorie van Darwin een voorbeeldvanverstehenindenatuurwetenschappen. In de empirische wetenschappen komen beide methoden samen voor (bijvoorbeeld bij een remedieèring voor begrijpend lezen zoeken naar wetmatigheden die opgaan voor alle kinderen in groep 5, en tegelijkertijd het unieke interesseprofiel van het kind betrekken in

11 2 Empirische methodologie 27 de remedieèring). Het gaat om wat overheerst: in de natuurwetenschappen is dat het verklaren en in de geesteswetenschappen het begrijpen Hermeneutiek en fenomenologie Een van de meest voorkomende algemene methoden binnen het Verstehen is de hermeneutiek. Dit is de leer van de interpretatie. Hoewel de hermeneutiek haar oorspong vindt in het vertalen (begrijpen) van de berichten die de Goden der Griekse mythologie aan de mensen gaven en later ook in de leer der tekstinterpretatie (met name om historische en/of theologische teksten te begrijpen), heeft deze vandaag de dag betrekking op de door de mens beleefde werkelijkheid. Hermeneutiek is typisch verstehend en wordt dan ook bedreigd door het gevaar dat aan elk begrijpen kleeft, namelijk de invloed van het subjectieve in het interpretatieproces. Professionele hulpverleners zoals psychologen, pedagogen, artsen, maar ook rechters, advocaten en politieagenten hebben hier dagelijks mee te maken. Om die reden dient een interpretatie door middel van (valide) criteria te worden getoetst, onderbouwd en vergeleken met andere interpretaties (zie Howitt & Cramer, 2010). De analyse van het proces van het (leren) begrijpen van complexe verschijnselen staat centraal in de bijdrage van Jaspers (1959). Jaspers' analyse is niet gebaseerd op experimenteel onderzoek, maar wel op persoonlijke ervaringen en op grondig doordenken. Hij beschrijft hoe de professionele hulpverlener langzamerhand begrijpend (verstehend) doordringt in de leefwereld van zijn/haar clieènt. De hulpverlener probeert stap voor stap de patronen in de verschijnselen (betreffende de ziekte, het karakter, of de manier van denken en handelen) van de clieènt te doorzien. Hij focust expliciet op interpretatieve stappen in het empirische proces van het Verstehen waarin waarnemingen leiden tot vermoedens (tentatieve interpretaties) en daarop gebaseerde verwachtingen, deze verwachtingen leiden tot toetsingen en evaluaties, die dan weer leiden tot nieuwe, meer omvattende interpretaties, enzovoort. Jaspers omschrijft dit weerkerende fenomeen als de hermeneutische cirkel van het Verstehen. Belangrijk is Jaspers' idee van een cyclus in het proces van begrijpen. Een andere frequent voorkomende algemene methode binnen het Verstehen is de fenomenologie. Deze methode gaat uit van de directe ervaring van de verschijnselen zelf; we dienen de verschijnselen zelf te laten spreken. Zoals in paragraaf 2.1 aangegeven, wil deze benadering de verschijnselen zo grondig en nauwkeurig mogelijk beschrijven, waarbij weloverwogen geen theorie of hypothese over de oorzaken van die verschijnselen wordt geformuleerd. De fenomenologie komt als methode zowel in de gedrags-, maatschappij- en taalwetenschappen voor, als in de natuurwetenschappen. De geõènteresseerde lezer verwijzen we naar de Nieuwe inleiding tot de existentieèle fenomenologie van Luijpen (2008).

12 28 Effectonderzoek in de gedragswetenschappen 2.3 De empirische methodologie volgens A.D. de Groot Het boek Methodologie: grondslagen van onderzoek en denken in de gedragswetenschappen van De Groot (1961) is maatgevend geweest voor de wetenschapsbeoefening. De crux van het boek is dat de groei van wetenschappelijke kennis plaatsvindt via een kritisch rationeel proces van theorievorming en hypothesetoetsing, aan de hand van empirische gegevens. De Groot gaat uit van een doordachte opvatting van wetenschap. Hij onderscheidt zich hiermee van andere opvattingen. Ten eerste, empirische wetenschap ± zo stelt De Groot (1994) in het voorwoord van zijn boek ± wordt gezien 'als een proces, dat voortschrijdt en waarin zelden onaanvechtbaar definitieve resultaten worden bereikt. Natuurlijk neemt onze kennis ± en de graad van zekerheid daarvan ± steeds toe, maar de ontwikkeling kenmerkt zich toch ook doordat telkens weer gedeeltelijk wordt verworpen wat zeker scheen te zijn'. (p. X). Een tweede opmerkelijk onderscheid is dat 'Het proces wordt in gang gehouden door de activiteit van de onderzoeker. Wetenschap wordt dus niet zozeer, of althans niet alleen gezien als een systeem van begrippen en/of uitspraken, maar vooral als een systeem van activiteiten'. (p. X). De Groot beschrijft wat de onderzoeker doet en schrijft voor wat hij moet doen, uiteraard voor zover dit mogelijk is. De Groot beklemtoont dat de onderzoeker een nogal grote vrijheid heeft in het stellen van zijn doelen en het kiezen van zijn methoden. Dit alles mondt uit in een pleidooi voor de generieke (algemene) toepasbaarheid en noodzakelijkheid van een empirische cyclus en van een cyclische, spiraalsgewijze voortgang bij het verwerven van kennis. De Groots opvatting van wetenschap is in lijn met de eerder besproken kennistheoretische bijdrage van Bochenski, de wetenschapsfilosofische bijdrage van Lakatos en met de cyclische ideeeèn van Jaspers. De empirische cyclus is vooral gericht op theoriegericht onderzoek. Voor meer praktijkgericht onderzoek zijn gelijksoortige cycli ontwikkeld. De bekendste daarvan is de regulatieve cyclus, ontwikkeld door Van Strien (1986). In lijn met de (methodologische) doelstellingen van ons boek zullen we de empirische (paragraaf 2.3.1) en de regulatieve (paragraaf 2.3.2) cyclus belichten, maar relatief meer aandacht besteden aan de wetenschappelijke bijdrage van De Groot. Daarom gaan we ook in op de belangrijke ontwikkelingen in de wetenschap die centraal staan in de empirische methodologie van De Groot: falsificatie als basis van wetenschappelijkheid en de functie van het forum in (de ontwikkeling van) de wetenschap (paragraaf 2.3.3) De empirische cyclus van het verwerven van (wetenschappelijke) kennis De empirische cyclus, zoals geformuleerd door De Groot (1961), is als grondschema voor een logisch-methodologisch stramien van wetenschappelijk denken en handelen een veelgebruikte fasering van onderzoek in de empirische wetenschap (Korzilius, 2000). Deze cyclus is kenmerkend voor de stappen van theoriegericht onderzoek. In groep 4 van het basisonderwijs wordt bijvoorbeeld vastgesteld dat Roland

13 2 Empirische methodologie 29 en Anne een tekort hebben aan rekenkennis (met name inzake de overschrijding van het tiental) waardoor het rekenen nietwilvlottenenautomatiseringniettot stand komt. Het kennisprobleem ± zoals onderkend bij Roland en Anne ± vormt de start van het onderzoeksproces naar de rol van rekenkennis in het automatiseren van sommen. Bij de bespreking van de empirische cyclus zullen we vaak teruggrijpen naar dit gefingeerde onderzoek om de verschillende begrippen te verduidelijken. In de empirische cyclus van De Groot worden de stappen weergegeven die binnen een empirisch-wetenschappelijke opvatting genomen worden om kennis over de verschijnselen c.q. de werkelijkheid te verwerven. De stappen in de empirische cyclus zijn: observatie, inductie, deductie, toetsing en evaluatie (cf. De Groot, 1994): Fase 1: Observatie: Verzamelen en groeperen van empirisch feitenmateriaal; vorming van hypothese(n); Fase 2: Inductie: Formulering van hypothese(n); Fase 3: Deductie: Afleiding van speciale consequenties uit de hypothese(n) in de vorm van toetsbare voorspellingen; Fase 4: Toetsing: Toetsing van de hypothese(n) aan het al dan niet uitkomen van de voorspellingen in nieuw empirisch materiaal; Fase 5: Evaluatie: Evaluatie van de uitkomsten van de toetsing als feedback (terugkoppeling) naar de gestelde hypothese(n), theorie(eèn), en als feedforward (voorwaartskoppeling) naar potentieel nieuwe, aansluitende onderzoekingen. Observatie Hoe probleemstellingen, hypothesen en theorieeèn precies tot stand komen is moeilijk in algemene termen te beschrijven. In het kader van de empirische methodologie is het van belang (a) op zoek te gaan naar logische regels en methodologische voorschriften (normatief doel), en (b) een beschrijving te geven van de processen in iedere fase van de empirische cyclus met het oog op methoden en technieken die aanknopingspunten bieden voor methodologische beschouwingen (descriptief doel). Aan de hand van observaties of waarnemingen in de empirie worden ideeeèn en vermoedens ontwikkeld over een bepaald probleem. Bij Roland en Anne werd onderkend dat ze problemen hadden met het vlot automatiseren van sommen. Het gaat hier om een systematische, doelgerichte houding die verder gaat dan gewoon waarnemen (De Groot, 1994, p. 29). Normatief gezien zijn er in deze fase geen dwingende logische of methodologische eisen met betrekking tot de keuze van het onderwerp. Er mogen dan wel verschillende onderzoekstradities zijn: de ene onderzoeksgroep heeft meer aandacht voor taal en rekenen, een andere meer voor autisme, en nog een andere meer voor motorische en visuele beperkingen, toch geldt in deze fase de vrijheid van ontwerp. Dit geeft dan ook ruimte voor het ontstaan van nieuwe onderzoeksdomeinen (bijvoorbeeld: de neurologische basis die verantwoordelijk is voor de automatisering van rekensommen). Consequentie van de vrijheid van ontwerp is de vrijheid die de onderzoeker heeft inzake de formulering van

14 30 Effectonderzoek in de gedragswetenschappen theoretische begrippen, of met andere woorden de vrijheid van begripsvorming. Zijn er dan geen dwingende logische of methodologische eisen aan de invoering en het gebruik van theoretische begrippen 1? Indien iedere onderzoeker op eigen houtje nieuwe begrippen gaat invoeren of indien bepaalde begrippen een echte hype worden, dan ontstaat er snel een Babylonische spraakverwarring en kunnen we de implementaties en de resultaten van verschillende (effect)onderzoeken niet meer met elkaar vergelijken (zie Minnaert & Vermunt, 2006). Ons standpunt is dan ook dat er sprake is van een vrijheid van begripsvorming, maar wel een vrijheid in gebondenheid: aan de formulering van de begrippen worden wel eisen gesteld (zie volgende fasen in de empirische cyclus). In de eerste fase van de empirische cyclus spreekt De Groot ook over de vorming van hypothesen, of met andere woorden de (psychologische) start van het inductieproces wordt ook bij de eerste fase ondergebracht. Een onderzoeker start immers zelden of nooit met het verzamelen van materiaal zonder enig gezichtspunt. Meestal vloeien hypothesen voort uit een theorie of uit een raamwerk van theorieeèn over welbepaalde verschijnselen. Onder een theorie verstaat De Groot (1994): `een systeem van logisch, samenhangende, met name niet strijdige, beweringen, opvattingen en begrippen betreffende een werkelijkheidsgebied, die zo zijn geformuleerd, dat het mogelijk is er toetsbare hypothesen uit af te leiden' (p. 42). Dit systeem fungeert in de empirische wetenschappen als een model, als een benadering van de werkelijkheid en kan niet de volledige werkelijkheid reflecteren (Burnham & Anderson, 2002). De verbinding met de empirie wordt tot stand gebracht via de hypothesen. Indien er ± om welke reden dan ook ± geen afleidingen uit de theorie mogelijk zijn, dan is het volgens De Groot geen theorie (p. 42). Belangrijk in dit perspectief is het uitgangspunt van De Groot dat er bij empirisch-wetenschappelijke hypothesevorming niet altijd sprake is van een theorie, maar wel een theoretisch raam, met andere woorden er is altijd een algemener leidende gedachte en een streven naar uitwerking daarvan tot een theorie (zie ook paragraaf 2.3.3). In de fase van hypothesevorming is er altijd ervaringsmateriaal waarover de onderzoeker beschikt (bijvoorbeeld de observatie dat de sommen met overschrijding van het tiental veel tijd en energie vragen van Roland en Anne). Vaak is er een interpretatie van het materiaal aanwezig die aanleiding kan geven tot het formuleren van een hypothese. Afgrenzing van wat bedoeld wordt met hypothese en interpretatie, maar ook met verklaring is hier onafwendbaar. Verklaren en interpreteren heeft altijd betrekking 1. De Groot (1994) maakt een onderscheid tussen empirische begrippen en hypothetische begrippen. Empirische begrippen zijn onmiddellijk waarneembaar en meetbaar (bijvoorbeeld de snelheid waarmee een rekensom wordt opgelost). Bij hypothetische begrippen wordt het bestaan van het begrip verondersteld, maar is zelf niet waarneembaar en ook niet direct uit waarnemingsfeiten af te leiden (bijvoorbeeld een minderwaardigheidscomplex voor rekenen).

15 2 Empirische methodologie 31 op een welomschreven, gesloten verzameling van verschijnselen (alle allochtone kinderen in groep 4 te Groningen; alle leerlingen met reken- en aandachtsproblemen van deze school). De verklaring of interpretatie heeft betrekking op de gesloten verzameling, dat wil zeggen ze streeft geen nieuwe data na of verwijzingen buiten de verzameling. Beide willen de verschijnselen kunnen toeschrijven aan een meer algemene wettelijkheid (een uitdrukking van samenhang) die zich ook buiten de welomschreven, gesloten verzameling uitstrekt. Hierin onderscheidt de hypothese zich van verklaring c.q. interpretatie: de hypothese is een open, veronderstelde, meer algemene wettelijkheid (betrekking hebbend op een welomschreven universum, dus verder gaand dan de gesloten verzameling). Het verschil tussen verklaring en interpretatie is gelegen in de acceptatie van de wettelijkheid in algemene zin en in de toepasselijkheid ervan op de gesloten verzameling. De eis die gesteld wordt aan een empirisch vruchtbare interpretatie is dat ze zich moet lenen tot omvorming in toetsbare hypothese(n). Indien een interpretatie ± om welke reden dan ook ± zich niet leent tot een omvorming tot hypothesen, dan is het volgens De Groot (1994, p. 47) geen interpretatie. In het proces van hypothesevorming zijn eigen intuõètie van de onderzoeker van belang, maar er is ook behoefte aan systematische procedures. Goede ideeeèn, maar ook relevante feiten zijn onontbeerlijk om goede hypothesen en theorieeèn teconstrueren. Onder de systematische methoden voor hypothesevorming rekenen we (De Groot, 1994): De systematiek van deze procedures kan varieèren van de systematiek van descriptie, dit zijn systematische descriptieve activiteiten zoals registreren, ordenen, groeperen, classificeren, tot de systematiek van bezinning in lijn met de fenomenologische benadering (zie paragraaf 2.2.2); literatuurstudie: een systematische bestudering van de vakliteratuur is een belangrijk en onmisbaar hulpmiddel voor de hypothesevorming. Nagaan wat de uitkomsten zijn van reeds eerder verricht onderzoek, maar ook kennis nemen van de relevante begrippen, theorieeèn, hypothesen en opvattingen zijn van grote betekenis in het proces van hypothesevorming; empirische exploratie: dit is een orieènterend of exploratief onderzoek met het doel samenhangen te zoeken c.q. te exploreren. Het oogmerk is het verzamelen van empirisch materiaal om op ideeeèn te komen of om bepaalde ideeeèn te genereren; materiaalexploratie: het materiaal op verschillende manieren, vanuit verschillende gezichtspunten en met verschillende methoden doorploegen met als doel samenhangen c.q. inzichten (zie Verstehen in paragraaf 2.2.2) te vinden die als uitgangspunt kunnen dienen voor hypothesevorming. Zoals eerder besproken worden er aan het ontwerp van de hypothese of theorie geen dwingende logische of methodologische eisen gesteld. Wel zijn er methodologische eisen te stellen met betrekking tot de formulering van de hypothesen en theorieeèn. In de volgende fasen van de empirische cyclus bij de formulering, deduc-

16 32 Effectonderzoek in de gedragswetenschappen tieve uitwerking en toetsing van theorieeèn en hypothesen kunnen die eisen wel gesteld worden. Inductie In deze fase worden feiten en ideeeèn via het proces van inductie vervat in een theorie (eventueel in een theoretisch raam) of in een hypothese. Inductie wil zeggen dat vanuit het bijzondere naar het algemene wordt geredeneerd. In de theorie en in de hypothesen worden de veronderstellingen over de werkelijkheid zo precies mogelijk weergegeven c.q. worden de veronderstelde verbanden tussen de waargenomen verschijnselen weergegeven. Op basis van het inductieproces moet duidelijk worden waar het onderzoek zich op richt (de onderzoekselementen), welke eigenschappen (kenmerken, variabelen) van belang zijn en welke relaties of hypothesen tussen eigenschappen worden verondersteld. De vraag is nu welke logische en methodologische eisen gesteld moeten worden aan de formulering van het resultaat van het inductieproces. Deze eisen staan in direct verband met de processen van deductie, toetsing en evaluatie die op de fase van inductie (of hypotheseformulering) moeten kunnen volgen. Een scherpe formulering vooraf dient ter beschikking te staan om afleiding van toetsbare consequenties uit die hypothesen mogelijk te maken. De volgende vier principes hebben betrekking op de scherpe formulering vooraf (De Groot, 1961, 1994). Inzake theorieeèn en hypothesen gelden volgende eisen: logische consistentie: een theorie (ook hypothese) moet als (benaderend) model van de werkelijkheid vrij zijn van contradicties. Het mag niet voorkomen dat verschillende consequenties, die uit eenzelfde theoretisch raam zijn afgeleid, met elkaar in strijd zijn. Deze eis is in principe evident, maar is uitermate van belang bij minder mathematische en meer verbale theorieeèn waarin veel hypothetische begrippen gehanteerd worden (zoals in de gedragswetenschappen); economisch principe: een theorie (of hypothese) moet zo eenvoudig mogelijk zijn qua vormgeving. Onderzoekers moeten spaarzaam zijn met het invoeren van (met name hypothetische) begrippen en van aannamen; toetsbaarheid: een theorie moet tenminste op een aantal punten getoetst kunnen worden. Dit betekent dat het mogelijk moet zijn om hypothesen af te leiden uit de verbanden in het model en dat er uit die hypothesen verifieerbare voorspellingen kunnen worden afgeleid. Alleen op basis hiervan kan bij empirisch onderzoek nagegaan worden of de voorspelling al dan niet is uitgekomen en welke de beoordeling is inzake acceptatie van de hypothese; omlijnde empirische referenties: bij de formulering van een theorie of hypothese moet nauwkeurig worden omlijnd, op welk gebied (welk universum) de theorie of hypothese betrekking heeft. Met het oog op de eisen die gesteld worden aan het wetenschappelijk publiceren van theorieeèn en hypothesen reduceert De Groot (1994, p. 125) de vier formuleringseisen tot eâeân, namelijk tot de eis der toetsbaarheid. In haar brede betekenis

17 2 Empirische methodologie 33 omvat de eis van de toetsbaarheid ook de eis van logische consistentie, economische eis en de eis van de omlijnde empirische referenties. De eis der toetsbaarheid is een minimumeis: er moeten duidelijke relaties zijn tussen theorie en empirie en er mogen geen belemmeringen zijn van een zo ruim mogelijke toetsing. Wil een onderzoeker een theorie of hypothese publiceren, dan moet hij ± tenminste op een aantal punten ± aangeven op welke wijze de theorie of hypothese kan worden geexpliciteerd en kan worden getoetst aan verifieerbare voorspellingen. Deze eis noemen we de expliciteringsplicht. De theorie of hypothese wordt in deze fase nog op een vrij abstract niveau geformuleerd en is derhalve nog niet volledig bruikbaar om te worden getoetst aan de empirie. Dat gebeurt in de fase van deductie. Deductie Om toetsing van de hypothese te realiseren worden via het proces van deductie toetsbare voorspellingen uit de hypothese afgeleid. Met deductie gaan we van het algemene naar het bijzondere: een vertaling van de theorie (of theoretisch raam) naar concrete onderzoekselementen (cf. kinderen met automatiseringsproblemen bij rekenen), eigenschappen worden vertaald in meetbare variabelen (symboolkennis, minsommen tot 10, plus- en minsommen tot 20) en in concrete verbanden of relaties (rekenkennis bevordert het automatiseren van sommen tot 20; rekenprestaties zijn minder bij sommen tot 20 in geval van geringe rekenkennis dan in geval van goede rekenkennis). Deductie betekent niet alleen concrete, verifieerbare voorspellingen afleiden uit hypothesen, maar ook het meetbaar maken en operationeel definieèren van begrippen (vastleggen hoe een begrip bij de toetsing empirisch zal worden bepaald: bijvoorbeeld intelligentie zoals gemeten door de Nederlandstalige versie van de Wechsler Intelligence Scale for Children, WISC-III-NL) en het toetsbaarmakenvanalgemeneuitsprakendoorverbijzonderingeninteroepen(alle leerlingen in groep 4, of alleen autochtone leerlingen in groep 4, of alle leerlingen in groep 4 zonder taalachterstand). De empirische toetsing van een theorie of hypothese moet geschieden door toetsing van voorspellingen die via deductieve stappen worden verkregen. Dit vraagt om explicitering van die theorie of hypothese: hieronder verstaan we de uitwerking van een algemene theorie of hypothese tot een vertakt systeem van bij elkaar aansluitende, specifieke hypothesen en voorspellingen. Een theorie met al haar expliciteringen (vertakkingen) noemt De Groot (1994) een nomologisch netwerk van die theorie. In een nomologisch netwerk worden drie typen uitdrukkingen onderscheiden. Het gaat hier om beweringen over relaties tussen: a. theoretische begrippen onderling: uitspraken over de relaties tussen de kernbegrippen, dit zijn definities, postulaten, via deductie afgeleide theoretische uitspraken; b. waarneembare variabelen onderling: uitspraken over feitelijke bevindingen, resultaten, uitkomsten van onderzoeken;

18 34 Effectonderzoek in de gedragswetenschappen c. theoretische begrippen en waarneembare variabelen: relatie tussen theorie en empirie of met andere woorden, het gaat hier om de empirische specificaties. Deze specificaties worden verder besproken in de fase der toetsing. De voorspelling is de laatste schakel bij het expliciteren van het nomologisch netwerk van een theorie. De voorspelling neemt een sleutelpositie in en wel omdat ze de brug legt tussen hypothese en uitkomst van het onderzoek. Ze verstrekt immers informatie over de geldigheid van een hypothese. De methodologische eis die aan een voorspelling gesteld wordt is dat ze strikt verifieerbaar moet zijn. Met deze eis wordt bedoeld dat het toetsingsonderzoek zo moet worden ontworpen dat van tevoren precieze verificatienormen zijn vastgesteld en dat er verifieerbaarheidscondities worden bepaald. Onder de verifieerbaarheidscondities worden condities verstaan die de verifieerbaarheid mogelijk maken: bijvoorbeeld dat er geen menselijke fouten kunnen optreden, dat er goede meetinstrumenten gekozen worden, dat er geen storende factoren tijdens het onderzoek kunnen optreden. De verificatienormen zijn de normen die aangeven wanneer de voorspelling met zekerheid uitkomt of niet uitkomt; het gaat hier om het voorspellingsgebied waarbinnen de voorspelling uitkomt of het weerleggingsgebied waarbinnen de voorspelling niet uitkomt. Klassiek worden de grenzen van het interval of gebied bepaald door het significantieniveau. In die zin gaat het nooit om een absolute zekerheid, maar om een aan zekerheid grenzende waarschijnlijkheid. Drie situaties kunnen zich voordoen bij strikte verifieerbaarheid van een voorspelling, namelijk de voorspelling (a) is uitgekomen, (b) is niet uitgekomen, of (c) kan niet worden geverifieerd. Situatie (c) treedt op wanneer niet is voldaan aan de verifieerbaarheidscondities of wanneer de voorspelling niet falsifieerbaar is. Een voorspelling als `Op den duur zullen Roland en Anne wel vlot kunnen rekenen' is wel te verifieèren als ze meteen uitkomt, maar niet als ze vele jaren later nog steeds niet uitkomt. Het is geen wetenschappelijke voorspelling omdat de tijdslimiet ontbreekt en daardoor de voorspelling niet falsifieerbaar maakt. Toetsing De Groot (1994) ziet het proces van voorbereiding van een toetsingsonderzoek als een reeks keuzen, als een reeks beslissingen die de onderzoeker moet nemen. Bij elke beslissing heeft de onderzoeker een zekere vrijheid van keuze. De eerste stap kent de meeste vrijheid, namelijk de keuze van het onderwerp van onderzoek. Daarna volgen stappen van vrijheid in relatieve gebondenheid door spelregels en (impliciete) normen. De onderzoeker moet keuzen maken. In de eerste plaats zal de onderzoeker een keuze moeten maken om eâeân ofmeer consequenties (vertakkingen) uit een hypothese te toetsen, omdat het ± in het algemeen ± niet mogelijk zal zijn om een hypothese (en zeker een theorie) in zijn geheel te toetsen. Het is bijvoorbeeld onmogelijk om in eâeân onderzoek alle mogelijke invloeden van rekenkennis op automatisering van sommen te onderzoeken (verschil-

19 2 Empirische methodologie 35 lende types aan rekenkennis, verschillende niveaus aan automatisering van plus-, min- en keersommen). In de tweede plaats komt het dikwijls voor dat de onderzoeker tot deductieve verbijzonderingen dient over te gaan (bij jongens en/of bij meisjes, bij kinderen met of zonder rekenproblemen, bij autochtone of bij allochtone kinderen). Empirische specificaties kunnen niet ontbreken: de keuze van het operationeel definieèren, dit is de omzetting van het begrip zoals bedoeld via instrumentkeuze tot de uiteindelijke empirische variabele (welke rekenkennis, welke rekentoetsen, sommen tot 10 of tot 20 of tot 100, met of zonder tijdsdruk). In de derde plaats moet de onderzoeker keuzen doen met betrekking tot de toetsingsprocedure: populatie afbakenen, steekproef trekken of samenstellen, de gang van zaken vooraf vastleggen, materiaal kiezen (proefleiders, instructies, volgorde instrumenten, controlegroep organiseren). In de vierde plaats moeten beslissingen worden getroffen met betrekking tot de logische confirmatieprocedure, dit betreft de keuze over de wijze waarop de uitkomsten van de toetsing verwerkt zullen worden om na te gaan of (en in hoeverre) de gestelde hypothese geconfirmeerd wordt. De nulhypothese in ons onderzoek kan bijvoorbeeld als volgt omschreven worden: er is geen verband tussen rekenkennis en het automatiseren van sommen tot 20. Daarenboven moeten we ook het significantieniveau bepalen. De methodologische operationalisering van het toetsingsonderzoek wordt vastgelegd in het zogenaamde onderzoeksplan. Een zo volledig mogelijke uitwerking op papier van de onderzoeksopzet vooraf strekt tot aanbeveling om storende factoren van tevoren uit te kunnen schakelen (zie ook paragraaf 2.5). Dit onderzoeksplan moet dan bevatten: Een korte expositie van de theorie (of theoretisch raam) en een formulering van de te toetsen hypothese(n) (of van de meer exploratief geformuleerde onderzoeksvragen); Een precieze weergave van de deducties die tot de voorspellingen leiden; Een beschrijving van de (meet)instrumenten met inbegrip van de operationele definities en met bepaling van de te gebruiken variabelen; Een duidelijke bepaling van de doelgroep waarop de hypothese en de voorspelling betrekking hebben; Een precieze beschrijving van de wijze waarop men steekproeven wil trekken of samenstellen; Een vastlegging van de confirmatiecriteria, inclusief formulering van eventuele nulhypothese (n), keuze voor statistische toetsen, significantieniveau en confirmatie-intervallen. Daarna vindt ± idealiter volgens plan ± de toetsing van de theorie of hypothese plaats op basis van nieuw materiaal. De onderzoeksgegevens (de data) worden verzameld via observaties, interviews, schriftelijke vragenlijsten, toetsen, instrumenten. Met behulp van de onderzoeksgegevens wordt nagegaan hoe en in welke

20 36 Effectonderzoek in de gedragswetenschappen mate de hypothese uit het onderzoeksontwerp wordt ondersteund. Indirect wordt hiermeeookaangegevenhoeeninwelkematedevertalingvandehypothesein een voorspelling (deductie) en de formulering van een hypothese afgeleid uit de theorie (inductie) geldig zijn. Toetsing omvat dus niet alleen het nagaan of de voorspelling uitkomt, maar ook de toetsing van de hypothese, namelijk de schakel tussen de uitkomst en de hypothese waaruit de voorspelling is afgeleid. Daarmee wordt vervolgens een antwoord gegeven op de onderzoeksvragen. Zeker wanneer statistische methoden van hypothesetoetsing worden toegepast, spelen computer en statistiek een centrale rol in deze fase. Een belangrijk vraag in de fase van toetsing en evaluatie is hoe de confirmatie van hypothesen en theorieeèn verloopt (zie De Groot, 1994). Hoe worden uit de resultaten van het onderzoek conclusies getrokken met betrekking tot de geldigheid en/of de waarde van hypothesen en theorieeèn? De beantwoording van deze vraag is afhankelijk van het type hypothese dat gesteld wordt. Bij een enkelvoudige, deterministische hypothese (in de zin van Alle A's zijn B; alle kinderen met ADHD maken rekenfouten) is falsificatie mogelijk, maar is niet positief te verifieèren, te bewijzen. De hypothese is meteen gefalsificeerd indien er eâeân kind met ADHD is dat geen rekenfouten maakt. Maar indien alle ADHD-kinderen in het onderzoek rekenfouten maken, dan is de hypothese nog niet bewezen. Het hele universum zou onderzocht moeten worden om te bewijzen dat alle A's B zijn. Bij een deterministische, existentiehypothese (in de zin van Er is minstens een A die B is; er is minstens een ADHD-kind dat rekenfouten maakt) is dan wel positief te verifieren, maar niet te falsifieèren. EeÂn kind met ADHD dat rekenfouten maakt is voldoende om deze hypothese te bewijzen. Maar de hypothese is niet te weerleggen op basis van de nog zo vele ADHD-kinderen die geen rekenfouten maken. Ook hier geldt dat het hele universum moet worden onderzocht om de hypothese te kunnen falsifieèren. Kenmerkend voor de probabilistische hypothese (in de zin van De meeste A's zijn B of Een A heeft 80% kans B te zijn; de meeste kinderen met ADHD maken rekenfouten of een kind met ADHD heeft 80% kans om rekenfouten te maken) is dat ze noch bewijsbaar, noch weerlegbaar is. Een tegenvoorbeeld is niet voldoende voor de weerlegging van de hypothese en het vinden van een ADHD-kind dat rekenfouten maakt is ook niet voldoende om de waarschijnlijkheidshypothese te bewijzen. Om uè berhaupt iets te kunnen zeggen over de confirmatie van een probabilistische hypothese zijn probabilistische confirmatiecriteria nodig. Deze criteria ± die van tevoren worden vastgelegd ± geven aan wanneer een hypothese (niet) bevestigd wordt. De Groot beroept zich op de wetenschapsfilosoof Popper (1959; zie paragraaf 2.3.3) door te stellen dat wetenschappelijk toetsingsonderzoek niet streeft naar het bewijzen van een hypothese of theorie, maar wel naar weerlegging van de hypothese of theorie. Om reden dat algemeenheden nu eenmaal niet empirisch bewijsbaar zijn, is empirisch-wetenschappelijk onderzoek noodzakelijkerwijze gericht op falsificatie, op weerlegging.