Betrouwbaarheid van een steekproefresultaat m.b.t. de hele populatie Verschillende steekproeven uit eenzelfde populatie leveren verschillende (steekproef) resultaten op. Dit onvermijdelijke verschijnsel noemen we steekproefvariabiliteit. Je kan je dan de vraag stellen wat de bruikbaarheid is van een steekproefresultaat, als dit blijkbaar onderhevig is aan de grillen van het toeval Het feit dat uit één steekproef blijkt dat 70% van de leerlingen opnieuw voor JVR zouden kiezen indien ze in het 6 de leerjaar zouden zitten, belet immers niet dat een andere steekproef slechts 9% leerlingen aantreft die opnieuw voor JVR zouden kiezen als hun middelbare school. Volgend gedachteexperiment laat ons toe na te gaan wat de gevolgen van de steekproefvariabiliteit zijn. Voorbeeld: Om de bruikbaarheid van een EAS (enkelvoudig aselecte steekproef) te achterhalen, beschouwen we even een fictieve situatie waarbij we het kenmerk van de hele populatie eigenlijk al kennen: zo kunnen we meteen steekproefresultaten vergelijken met de gekende waarde van de populatie. Stel even dat de werkelijke proportie Vlaamse jongeren van de derde graad die minstens 1 sigaret per dag rookt precies 30% is. We noemen deze populatieproportie p. We onderzoeken welke steekproefproporties p (lees: p-dakje ) zoal kunnen optreden bij een enkelvoudig aselecte steekproef van 1200 leerlingen. De variabiliteit van de steekproefproportie kunnen we onderzoeken door ons de vraag te stellen: Wat zou er gebeuren mochten er heel veel EAS van 1200 eenheden genomen worden? Er worden daartoe 1000 interviewers ingehuurd, die op pad gaan in heel Vlaanderen en daar elk hun EAS van 1200 leerlingen samenstellen. Hieronder zie je het resultaat van de eerste 4 van die 1000 fictieve interviewers: EAS 1 EAS 2 EAS 3 EAS 4 n = 1200 n = 1200 n = 1200 n = 1200 ja: 342 ja: 355 ja: 394 ja: 371 342 p1 0,285 1200 355 p2 0,296 1200 394 p3 0,328 1200 371 p4 0,309 1200
Elke interviewer berekent zijn steekproefproportie p i aantal dagelijkse roker s in de steekproef aantal successen 1200 steekproefgrootte. i 1,2,3,...,1000 m.b.v. de formule Onderstaande resultaten zijn ontstaan door simulatie met een computer: deze heeft 1000 keer een EAS van 1200 eenheden perfect nagebootst, waarbij de kans op een dagelijkse roker telkens 30% was. Onderstaande grafiek geeft de steekproefproporties van de 200 eerste interviewers weer, afgerond tot op een duizendste: elk bolletje stemt overeen met 1 resultaat, gelijke resultaten worden op elkaar gestapeld. We stellen vast dat de steekproefproporties tussen 0,28 en 0,32 vaker voorkomen dan de andere. Het feit dat de waarde 0,298 zich 12 keer heeft voorgedaan, wat opvallend meer is dan de andere steekproefproporties, is louter aan het toeval te wijten. Bovenstaande weergave geeft een te grillig patroon voor 1000 interviewers, vandaar dat we de steekproefproporties van alle (1000) interviewers weergeven door een histogram. De breedte van elke balk komt overeen met een interval van mogelijke waarden voor de steekproefproportie p. De hoogte geeft aan hoeveel steekproeven een proportie hadden in dat interval (dit komt dus ook overeen met het aantal bolletjes uit de bovenstaande grafische voorstelling).
Het hele histogram geeft de zogenaamde steekproefverdeling weer van de onderzochte grootheid. Het is de grafische voorstelling van alle individuele steekproefproporties van de 1000 interviewers. Uit de steekproefverdeling leiden we 2 kenmerken af. 1. Afwezigheid van vertekening De gemiddelde waarde van alle steekproefproporties p i is 0,29983 en komt dus zeer goed overeen met de werkelijke populatieproportie, nl. p = 0,30. Dit betekent dat er wel interviewers zijn met een steekproef met een te hoge of een te lage proportie in vergelijking met de populatie, maar de afwijkingen zijn niet systematisch te hoog of te laag. Er zijn er ongeveer evenveel met een iets te hoge als een iets te lage steekproefproportie. De afwijkingen zijn louter door het toeval bepaald en niet het gevolg van een slechte samenstelling van de steekproef. 2. Beperkte variabiliteit Hoewel je in principe proporties tussen 0 en 1 kan vinden, blijken alle opgemeten waarden van 0,257 t.e.m. 0,34 te gaan. Met andere woorden de steekproeven vergissen zich in dit voorbeeld nooit met meer dan 0,05 of 5% ten opzichte van de werkelijkheid. Het merendeel van de steekproefproporties wijkt zelfs met hoogstens 0,025 of 2,5% af.
Het feit dat de steekproefproporties van verschillende steekproeven variabel zijn, betekent dus blijkbaar helemaal niet dat ze lukraak zijn, dat is een groot verschil! Niet alle waarden van p zullen zich zomaar voordoen. Bij een EAS met steekproefgrootte 1200, zoals hierboven, blijken ze alle in de onmiddellijke omgeving van de gezochte populatieproportie te liggen (symmetrisch gegroepeerd rond de gezochte populatieproportie p). Dat is goed nieuws: de onzekerheid, die met elke steekproefneming gepaard gaat, is dus een beperkte onzekerheid. De steekproefverdeling geeft ons een zicht op het toevallige karakter van steekproefresultaten. Ze toont ons de regelmaat die achter de variabiliteit verscholen zit. Zonder het bestaan van dergelijke steekproefverdeling zou de statistiek niet mogelijk zijn: jouw steekproefresultaat zou geen enkel verband tonen met het steekproefresultaat van iemand anders over dezelfde populatie. Probleem is echter dat je als statisticus dergelijke steekproefverdeling nooit te zien krijgt, aangezien je altijd maar één enkele steekproef uit de populatie neemt. De steekproefverdeling is het antwoord op de vraag: Wat zou er gebeuren mochten we deze steekproefneming heel vaak herhalen? Gelukkig stelden we vast dat bij een EAS de meeste steekproefproporties heel dicht bij de populatieproportie liggen. We kunnen er dus vrij zeker van zijn dat één enkel steekproefresultaat, wat je in de praktijk altijd maar hebt, ons een resultaat zal geven dat dicht bij de waarheid ligt. We proberen nu vrij zeker en dicht bij de waarheid wat preciezer te omschrijven.
Wanneer we kijken naar de 1000 interviewers zien we dat 944 een steekproefproportie p vonden tussen 0,275 en 0,325 ( [0,275;0.325] ). Uit deze vaststelling kunnen we in 3 stappen komen tot een statistische uitspraak, die de betrouwbaarheid van een individuele steekproef uitdrukt. STAP 1: een globale uitspraak over alle steekproeven 94,4% van alle steekproeven geven een proportie binnen een afstand van 0,025 (2,5%) t.o.v. de werkelijke populatieproportie. Deze uitspraak zegt al iets over de grootte van de variabiliteit bij het gros van de steekproefresultaten. Door slechts 94,4% van de centrale resultaten te nemen, worden de 5,6% meest extreme waarden buiten beschouwing gelaten. Vrij dicht bij de waarheid betekent dus op een afstand van niet meer dan 0,025 (2,5%). Dat de steekproefproporties symmetrisch rond het gemiddelde liggen, is het gevolg van het gebruik van een EAS.
STAP 2: een uitspraak over een individuele steekproef Voor de statisticus is de uitspraak uit stap 1 echter weinig relevant: in de praktijk neem je immers slechts 1 steekproef. De redenering met 1000 steekproeven is slechts een gedachteexperiment. Elke interviewer kan dankzij de steekproefverdeling echter zeggen: Mijn steekproefproportie heeft een kans van 94,4% om binnen een afstand van 0,025 (2,5%) te liggen t.o.v. de werkelijke populatieproportie. Deze tweede uitspraak maakt duidelijk wat we met vrij zeker (94,4% kans) en dicht bij de waarheid (0,025) bedoelen. Die kans van 94,4% noemt me het betrouwbaarheidsniveau van de uitspraak, die 0,025 de foutenmarge (maximale afwijkingen) bij dat betrouwbaarheidsniveau. Alle 1000 interviewers kunnen die uitspraak doen, 944 onder hen horen ook daadwerkelijk bij die groep die hooguit 0,025 afwijkt t.o.v. de werkelijkheid, al weet niemand of dat voor hem / haar het geval is. STAP 3: een geijkte statistische uitspraak over de populatie Inferentie houdt in dat a.d.h.v. één steekproefresultaat een uitspraak wordt gedaan over de onderzochte populatie, niet over het eigen resultaat. De uitspraak de populatieproportie ligt binnen een afstand van 0,025 van mijn steekproefresultaat is duidelijk niet algemeen geldig. Hoewel 944 van de 1000 interviewers op die manier een correcte uitspraak zouden doen, zullen 56 een verkeerde bewering verspreiden i.v.m. de populatieproportie p. Statistici willen echter betrouwbare uitspraken doen en geven daarom eerlijk aan dat ze slechts een kans van 944 op 1000 (94,4%) hebben om de werkelijke populatieproportie te hebben gevangen in hun interval. Een correcte uitspraak voor alle interviewers is dus: Met een betrouwbaarheid van 94,4% ligt de populatieproportie p op een niet meer dan 0,025 van mijn eigen steekproefresultaat. Daarbij betekent de geijkte uitspraak met betrouwbaarheid van 94,4% : We gebruiken een methode (EAS) die in 94,4% van de gevallen een interval oplevert dat de werkelijke populatiewaarde bevat.
Op die manier is je statistische inferentie altijd correct, aangezien je op voorhand aangeeft wat de betrouwbaarheid van je uitspraak is. Niemand kan je verwijten een interval op te geven dat de werkelijke populatieproportie niet bevat. Dat mag echter niet te vaak gebeuren: werk je met een betrouwbaarheid van 94,4%, dan mag je je niet meer dan 56 keer op 1000 vergissen met je interval. Statistici werken niet met een betrouwbaarheidsniveau van 100%, want indien ze zich in geen enkel geval mogen vergissen, kunnen ze maar één ding zeggen, nl. dat de populatieproportie tussen 0% en 100% ligt. Dergelijke uitspraak heeft uiteraard weinig zin. We kunnen de bovenstaande uitspraken ook grafisch voorstellen. De horizontale streepjes stellen de intervallen van elke interviewer voor, bij een betrouwbaarheid van 94,4%. Deze zijn van de vorm pi0,025, pi0,025. Men noemt ze betrouwbaarheidsintervallen bij de gebruikte betrouwbaarheid. Het bolletje in het midden van elk betrouwbaarheidsinterval is de steekproefproportie p i van de interviewer. Het zijn allen schattingen van de onbekende waarde p.
Algemeen is een betrouwbaarheidsinterval van de vorm: B.I. = steekproefproportie foutenmarge, steekproefproportie foutenmarge = p f, p f In de praktijk wordt heel vaak gewerkt met een betrouwbaarheidsniveau van 95%. Ook 99% wordt geregeld gebruikt. Wanneer bij een opiniepeiling het betrouwbaarheidsniveau niet wordt vermeld, dan is het (meestal) gelijk aan 95%. We spreken af dat wanneer in opgaven van oefeningen het betrouwbaarheidsniveau niet wordt vermeld we een betrouwbaarheidsniveau van 95% nemen. OPDRACHT 1: a. In plaats van een betrouwbaarheidsniveau van 94,4%, wil je meer zekerheid: je wil en uitspraak kunnen doen die meer dan 99% betrouwbaar is. Welke foutenmarge moet je dan gebruiken? b. Wat is het betrouwbaarheidsniveau van het interval [0,28;032[? OPDRACHT 2: In een krant schrijft een journalist: Uit de laatste opiniepeiling blijkt dat 53% van de stemgerechtigden voor kandidaat A zullen stemmen in de volgende presidentsverkiezingen; deze peiling heeft een foutenmarge van 2%. Dus zijn we zeker dat kandidaat A zal winnen. Waar zit de fout in deze klassieke verkeerde interpretatie van foutenmarges? Geef een juiste statistische uitspraak i.v.m. de betrouwbaarheud van dit opinieonderzoek. Opmerking: Men kan theoretisch aantonen dat de betrouwbaarheid van een EAS niet of nauwelijks afhangt van de populatiegrootte, op voorwaarde dat de populatie minstens 10 keer groter is dan de steekproef. Dit is een grote opluchting voor opiniepeilers: het is niet nodig om een bepaald percentage van de populatie te onderzoeken om betrouwbare resultaten te verkrijgen. Zowel in de Verenigde Staten, met zijn meer dan 300 miljoen inwoners als in België met 11 miljoen inwoners, hebben steekproeven van dezelfde grootte eenzelfde variabiliteit en dus dezelfde foutenmarge bij een bepaald betrouwbaarheidsniveau.
Bepalen betrouwbaarheidsintervallen voor de populatieproportie met behulp van grafisch rekentoestel Bij een controle van een steekproef van 400 lampen vond men er 45 slechte. We zoeken op grond hiervan een 95% betrouwbaarheidsinterval voor het percentage (= de proportie) slechte lampen in de hele populatie. Antwoord: [8,2%;14,3%] Oefeningen Oefening 1: In het onderzoek Tienertijd werden 1960 jongeren tussen 10 en 18 jaar gepeild i.v.m. hun leefwereld. Dit onderzoek werd uitgevoerd door het Centrum voor Bevolkings- en Gezinsstudies. Van die steekproef vonden 45% van de kinderen en jongeren dat hun ouders te weinig tijd hebben om te praten. Aangezien het onderzoek werd uitgevoerd door een onderzoekscentrum, is het verantwoord te veronderstellen dat met een betrouwbare steekproef werd gewerkt, een EAS. Geef een betrouwbaarheidsinterval met een betrouwbaarheid van 95% en geef in gewone taal de betekenis hiervan. Oefening 2: In de spaarpot van Kasper zitten enkel Belgische euromunten van 2 euro. Jonas wil nu weten hoeveel geld er in de spaarpot van Kasper zit zonder het geld effectief te tellen. Hij haalt 40 munten uit de spaarpot en vervangt ze door Franse euromunten van 2 euro. Nadien schudt hij de spaarpot zodat de Franse munten voldoende gemengd zijn met de Belgische en haalt hij opnieuw 40 munten uit de spaarpot. Van de 40 munten blijken er 6 Franse bij te zijn. Geef een 90% betrouwbaarheidsinterval voor het bedrag dat in Kasper zijn spaarpot zit.
Oefening 3: In een krantenartikel staat: De anti-laster Liga, één van de belangrijkste Amerikaanse organisaties die zich bezighoudt met de strijd tegen Jodenhaat en racisme, zegt dat 30% van de Europeanen vooroordelen hebben tegenover Joden. Het artikel besloot met: De opiniepeiling, gerealiseerd door het Taylor Nelson Sofres instituut, heeft een foutenmarge van 4,4%. a. Leg aan iemand, die weinig van statistiek afweet, uit wat dergelijke foutenmarge van 4,4% betekent. b. Geef enkele kritische vragen die je bij deze peiling zou kunnen stellen; anders geformuleerd: zou je bijkomende informatie willen vooraleer het cijfer aan te nemen? Oefening 4: Je hebt alle begrippen met betrekking tot betrouwbaarheid van een steekproefresultaat goed verwerkt, indien je de volgende vragen vlot en m.b.v. concrete illustraties kan beantwoorden. a. Wat is het onderscheid tussen steekproefvariabiliteit en steekproefverdeling? b. Wat is het nut van die steekproefverdeling? c. Waarom hadden we die 1000 interviewers nodig, die elk 1200 personen ondervroegen? Hadden we niet beter 1 grote steekproef van 1200000 personen genomen? d. Hoe verandert de foutenmarge wanneer je het betrouwbaarheidsniveau laat afnemen? Leg uit.