Scenario voor het klassengesprek aan het begin van de eerste les van het leerlingonderzoek in het kader van Begrip van bewijs Hieronder staat een beschrijving van het beoogde (hypothetische) verloop van een klassengesprek waarin verschillende elementen van begrip van bewijs aan de orde worden gesteld. Bij het afnemen van de diagnostische toets is al verteld dat de leerlingen een onderzoek gaan doen. D: Vandaag gaan we beginnen met de praktische opdracht onderzoek doen. Zoals ik al heb verteld, gaat het er niet alleen om een leuk en goed onderzoek te doen, maar ook, vooral, om te leren en te laten zien dat je het geleerd hebt wat goed onderzoek doen is. Voordat jullie de boekjes die ik uitgedeeld heb gaan doorlezen, wil ik met jullie van gedachten wisselen over wat dat is: goed onderzoek. Jullie hebben al een beetje ervaring met het doen van onderzoek, bij biologie en bij andere vakken, bijvoorbeeld het onderzoek dat jullie voor de kerst hebben gedaan met catalase. Jullie weten er dus al het een en ander van. Ik doe een voorzet, dat staat ook al op de kaft van het boekje: onderzoek doe je als je iets wilt weten, goed onderzoek is nodig als je iets ZEKER wilt weten. Als ik een vraag heb, bijvoorbeeld (schrijft op bord): zijn blonde meisjes dommer dan andere meisjes? hoe moet ik het dan aanpakken om er zeker van te zijn dat ik een goed antwoord krijg? LL1: Nou, alle meisjes een IQ-test laten maken en dan kijken of de blonde meisjes lager scoren. D: Oké, dank je wel voor deze suggestie, laten we hem eens bekijken. Je zegt (schrijft op bord): - alle meisjes - een IQ-test - verschil in score Laten we eens bij het eind beginnen: hoe groot moet het verschil zijn om te kunnen zeggen dat blonde meisjes dommer zijn? Bij een IQ-test is het gemiddelde altijd 100, onder de 80 is zwakbegaafd en boven de 140 is briljant. Dus Hoeveel verschil? LL1: 10 of zo? D: Waar hangt het van af of je 10 een groot genoeg verschil vindt? LL2: Van wat je dom vindt. D: Precies, het gaat erom dat je van te voren goed omschrijft wat je dom vindt. Kijk nog eens naar de vraagstelling: zijn blonde meisjes echt dommer dan andere meisjes? Zijn er nog meer begrippen die je eerst moet omschrijven? LL3: blond D: Inderdaad. Want ik noem mezelf wel blond, maar noemen jullie bijvoorbeeld hem (wijst een jongen aan met donkerblond/licht bruin haar) blond? LLN Ja/nee D: Ik wil die discussie hier nu niet beslechten, maar het eerste criterium voor goed onderzoek is nu wel duidelijk: de vraag bevat eenduidige begrippen, of je moet goed
omschrijven wat je ermee bedoelt. Dat geldt dus ook voor dom en de vraag of je dat met een IQ-test kunt meten. Dan naar een ander aspect van de suggestie: alle meisjes. Is het nodig alle meisjes te testen? LL4: Nee, dat lukt nooit. D: Wie dan wel en hoe zoek je die uit? LL4: Bijvoorbeeld alle meisjes hier op school of in deze klas. D: Dat zijn twee suggesties; deze klas, zou dat genoeg zijn om het zeker te weten? LL4: Nee,want dat zijn er maar acht. D: En acht is te weinig? LL4: Ja, want dan kan het toeval een te grote rol spelen. D: Oké: voldoende grote aantallen. Dan maar de hele school, weet je het dan zeker? LL5: Wel zekerder. D: Oké, maar zou het een eerlijke steekproef zijn van alle blonde meisjes? LL5: Nee, want dit is een havo/vwo-school, dat is geen afspiegeling van alle meisjes in Nederland. D: Dus? LL5: Die zijn sowieso slimmer dan bijvoorbeeld meisjes op het vmbo. D: Dus waar moet je op letten bij het kiezen van meisjes die je test? LL5: Dat eh, dat het een afspiegeling is. D: Oké, welk criterium kunnen we daar uit halen voor goed onderzoek? LL6: Dat je een steekproef eerlijk moet trekken. D: Oké, mee eens, je moet een steekproef eerlijk trekken Maar wat is eerlijk? LL7: Dat het een afspiegeling is D: Een afspiegeling waarvan? LL7: van de meisjes die je wilt onderzoeken. D: En waar moet je dan op letten om het een eerlijke afspiegeling te laten zijn? LL6: Dat kenmerken net zo verdeeld zijn als in de hele groep die je wilt onderzoeken. D: Juist. Zijn jullie het ermee eens als ik het een beetje anders formuleer: je moet de invloed van andere factoren dan de onderzochte constant houden of evenwichtig spreiden? LL8: Maar de factor schoolsoort was toch juist niet constant? D: Dat klopt en daarom moet je die factor evenwichtig spreiden óf een afperking in je onderzoeksvraag aanbrengen. Maar ik formuleer het zo om dit criterium ook voor andere factoren te laten gelden, bijvoorbeeld de factor geslacht of leeftijd. Of ook voor andere onderzoeken waarbij bepaalde factoren de uitslag kunnen beïnvloeden. Want we kijken naar de factor, de variabele haarkleur en of de variabele domheid
ervan afhankelijk is. En verder mogen andere variabelen de uitkomst niet beïnvloeden. Het is belangrijk die variabelen duidelijk te benoemen, zoals de onafhankelijke, de afhankelijke en de overige. Goed, we kiezen dus een heleboel meisjes uit, blond en niet blond, evenwichtig gespreid over schooltype en wat nog meer? LL7: etniciteit D: Ja, dan sta je voor een keuze. Als je ook Surinaamse meisjes meeneemt, komen die alleen in de niet-blonde groep. Je kan ook je vraagstelling beperken tot blanke meisjes, hoewel je dan wel weer met een definitiekwestie zit. Daar hebben we dus weer een criterium te pakken: de vraagstelling is afgeperkt, bijvoorbeeld wat betreft doelgroep, tijd en ruimte. Je moet dus duidelijk zijn in je begrippen, afgrenzen wat je wel en niet onderzoekt en andere factoren constant houden en een eerlijke steekproef trekken. Stel nu dat je het onderzoek uitgevoerd hebt en je vindt een gemiddeld verschil van drie punten met een spreiding van tien, hoe zeker ben je dan van je zaak? Schetst op bord: LL8: Het is wel een verschil. D: Maar is het een betekenisvol verschil, er is heel veel overlap? LL9: Het moet statistisch significant zijn. D: Juist! Want deze verdelingen kunnen heel goed op toeval berusten. Het gemiddelde van de ene verdeling ligt binnen één standaarddeviatie van het gemiddelde van de andere verdeling. Dat noem je geen statistisch significant verschil. Dus: een verschil is alleen een verschil als het een significant verschil is. Laten we eens aannemen dat we kunnen aantonen dat het verschil niet significant is. Hebben we dan een antwoord op onze onderzoeksvraag? LL1: Ja, ze zijn niet dommer, maar waar komt het idee dan vandaan? D: Juist, de vraag is beantwoord, maar het roept meteen een vervolgvraag op: als blondines niet dommer zijn, hoe komt het dan dat veel mensen toch die indruk hebben? Voor we met die vraag verder gaan, even resumeren (legt sheet 1 op de OHP): Dit zijn de criteria die we tot nu toe gevonden hebben (loopt ze even kort langs). Dus nu de volgende vraag: als blondines niet dommer zijn, hoe komt het dan dat veel mensen toch die indruk hebben? Wie heeft een suggestie? LL2: Misschien omdat soap-sterren vaak dom en blond zijn! D: Dat is één hypothese, wie weet er nog een andere? LL3: Misschien omdat blond het schoonheidsideaal is en dat mannen behalve dat ze liever een blonde vrouw hebben, ook het liefst een vrouw hebben die dommer is dan zijzelf. Die factoren worden dan automatisch gekoppeld. D: Dat is al een tweede hypothese.wie nog meer?
(geen reactie) D: Twee is al genoeg om mijn volgende criterium op te noemen, namelijk dat er vaak verschillende hypotheses mogelijk zijn. Dat lijkt vanzelfsprekend, maar dat is het niet. Let op dat de hypothese niet alleen maar de bevestiging van je onderzoeksvraag is, zo van onderzoeksvraag is zijn blonde meisjes dommer, hypothese: blonde meisjes zijn dommer ; nee, de hypothese geeft een mogelijke VERKLARING van het te onderzoeken vraagstuk. Hoe zouden we kunnen uitzoeken of zo n hypothese klopt, bijvoorbeeld soap-sterren zijn vaak dom en blond? LL4: Dat is een kwestie van kijken en tellen. D: Behalve dat je dan weer met je omschrijving van dom en blond zit. Prima. Ik wil deze hypotheses nu niet verder uitspitten, het gaat om het principe van het toetsen van een hypothese. Oké, stel we hebben het onderzoek afgerond. We hebben geen significant verschil gevonden tussen blonde meisjes en niet-blonde meisjes en we hebben aanwijzingen dat mannen blonde en domme meisjes het aantrekkelijkst vinden. Hoe kunnen we nu een antwoord geven op de vraag hoe zeker we ervan zijn dat onze bevindingen ook kloppen? LL5: Dan moet je kijken of het onderzoek goed is uitgevoerd. D: Ja, en hoe doe je dat; waar kijk je dan naar? LL5: Nou, naar die dingen die u heeft genoemd. D: Dat kan; je kijkt goed naar de vraagstelling en uitvoering en of de gegevens goed zijn geïnterpreteerd. Je kunt dat samenvatten in twee woorden: een goed onderzoek is - valide: er is onderzocht wat er onderzocht moest worden Het is bijvoorbeeld niet valide als je domheid wilde onderzoeken met een slechte IQtest die alleen maar algemene Nederlandse ontwikkeling test of je onderzoekt welke diersoorten er in een bos voorkomen door s middags tussen 2 en 4 in een schuilhut te gaan zitten en te tellen wat er langskomt. Dat is niet valide, want zo mis je de nachtdieren. - betrouwbaar: nauwkeurig en herhaalbaar. Als een onderzoek NIET valide en betrouwbaar is uitgevoerd, is het eigenlijk waardeloos! Hoe beter je onderzoek aan de criteria voldoet, hoe zekerder je kunt zijn van de uitkomsten. Probeer dus, door zoveel mogelijk deze criteria in de gaten te houden, een zo valide en betrouwbaar mogelijk onderzoek te gaan doen. Hier zijn de criteria die we ook nog genoemd hebben (legt sheet 2 op OHP). Vragen? Geeft verder nog praktische informatie en stimuleert duo-vorming
Sheets: Criteria goed onderzoek (1) vraag bevat eenduidige of goed omschreven begrippen vraag is afgeperkt (bv. doelgroep, tijd en ruimte) variabelen benoemen (onafhankelijke, afhankelijke, overige) steekproef eerlijk trekken invloed andere variabelen constant houden of evenwichtig spreiden een verschil is alleen een verschil als het een significant verschil is de conclusie is een antwoord op de onderzoeksvraag Criteria goed onderzoek (2) hypothese geeft mogelijke verklaring / antwoord op onderzoeksvraag er zijn vaak verschillende hypotheses mogelijk een hypothese is toetsbaar goed onderzoek is valide en betrouwbaar: - valide: er is onderzocht wat er onderzocht moest worden - betrouwbaar: nauwkeurig en herhaalbaar Hoe beter je onderzoek aan de criteria voldoet, hoe zekerder je kunt zijn van de uitkomsten