Figuur 1: Voorbeelden van 95%-betrouwbaarheidsmarges van gemeten percentages.

Transcriptie

1 MARGES EN SIGNIFICANTIE BIJ STEEKPROEFRESULTATEN. De marges van percentages Metingen via een steekproef leveren een schatting van de werkelijkheid. Het toevalskarakter van de steekproef heeft als consequentie, dat schatting en werkelijke waarde ten gevolge van het toeval kunnen afwijken. (Daarnaast zijn ook afwijkingen mogelijk ten gevolge van andere zaken dan het toeval, zoals onder- en oververtegenwoordigingen van bepaalde categorieën respondenten, bijvoorbeeld door selectieve non-respons.) Deze mogelijke afwijkingen ten gevolge van het toeval kunnen worden uitgedrukt in statistische betrouwbaarheidsmarges. Gangbaar hierbij is een uitdrukking in %-betrouwbaarheidsmarges. De %-betrouwbaarheidsmarge bij een steekproefpercentage en een steekproefgrootte geeft aan, hoe groot de afwijking van de geschatte waarde met de werkelijke waarde zou kunnen zijn ten gevolge van het toeval. De betekenis van zo'n marge is, dat, indien de steekproef en de meting vele malen zouden worden herhaald, en steeds een %-betrouwbaarheidsmarge zou worden bepaald, de werkelijke waarde zich in van de 0 gevallen binnen de betrouwbaarheidsmarge zal bevinden. Bij het berekenen van de betrouwbaarheidsmarge bij percentages kan worden uitgegaan van de volgende benaderende formule: absolute %-betrouwbaarheidsmarge bij p% =, x p(0-p) / (n-), waarbij n de omvang van de (deel-) steekproef is. Een betrouwbaarheidsmarge (dus: de onnauwkeurigheid) is dus kleiner naarmate de steekproef groter is, maar verschilt ook met het gemeten percentage: percentages van rond de 0% hebben de grootste onnauwkeurigheid, en hoe verder het percentage van de 0% af zit, hoe kleiner de onnauwkeurigheid. De volgende tabel geeft voor in steekproeven of delen daarvan gemeten percentages de betrouwbaarheidsmarges voor een meting van 0% (dus voor het ongunstigste geval), en ter illustratie ook voor een meting van - of 0%. Figuur : Voorbeelden van %-betrouwbaarheidsmarges van gemeten percentages. Bij een (deel-)steekproefomvang van: is % eigenlijk: is 0% eigenlijk: is 0% eigenlijk: % ± % % ± % % ± % % ± % % ± % 0% ± % 0% ± % 0% ± % 0% ± % 0% ± % 0% ± % 0% ± % 0% ± % 0% ± % 0% ± % Voorbeeld: als in een steekproef(-deel) van 00 ondervraagden 0% een bepaald antwoord geeft, moet dit gelezen worden als 0% ± %, ofwel - à %. Bij kleinere of grotere gemeten percentages wordt deze marge kleiner.

2 . Vergelijkingen van percentages of verdelingen Ook bij de vergelijking van percentages of verdelingen (bijvoorbeeld: bij mannen en vrouwen, of tussen dit jaar en vorig jaar) is het mogelijk dat een gemeten verschil slechts veroorzaakt is door het toevalskarakter van de steekproef of steekproeven. Het gemeten verschil heet in dat geval niet significant. Voor de bepaling of het verschil tussen twee gemeten percentages groot genoeg is om significant te zijn, bestaat een wiskundige techniek: de zogeheten χ -toets. Van de uitkomsten van zo n toets is geen eenvoudig leesbaar overzicht te geven zoals met betrouwbaarheidsmarges is gedaan in figuur. Wél kan in het algemeen gesteld worden, dat de grens tussen significant en niet-significant wat kleiner is dan het totaal van de beide betrouwbaarheidsmarges. Voor de precieze aanpak met zo n χ -toets moet onderscheid worden gemaakt tussen twee verschillende soorten situaties: de situatie waarin een steekproefresultaat wordt vergeleken met de werkelijkheid, en de situatie waarin een steekproefresultaat wordt vergeleken met een resultaat dat óók uit een steekproef komt. Vergelijkingen tussen steekproefresultaat en de werkelijkheid Als de gemeten aantallen van een verdeling in een steekproef met omvang n worden aangegeven met n,..., n k, en de verhoudingsgetallen in de werkelijke verdeling met p,..., p k, dan is de excentriciteit van ieder gemeten aantal n i gelijk aan u i = {(gemeten aantal - verwachte aantal) / (verwachte aantal)}, Al deze excentriciteiten dienen simultaan te worden getoetst door middel van χ : χ = Σ {(gemeten aantal - verwachte aantal) / (verwachte aantal)}, ofwel χ = Σ {(n i -e i ) / e i }, waarin de verwachte aantallen e,..., e k gelijk zijn aan de genormeerde waarden van p i,..., p k, ofwel: e i = p i x (n/σp i ). Deze χ dient bij (k-) vrijheidsgraden te worden getoetst aan de hand van significantiegrenzen zoals die in figuur zijn opgenomen voor een betrouwbaarheid van %. Is χ groter dan zo n significantiegrens, dan is inderdaad een verschil gemeten. Figuur : Rechter kritieke waarden van de χ -verdeling (% eenzijdig significantiegebied). Vrijheidsgraden,,,,,,,,, Vrijheidsgraden,,,0,,,0,,, 0,

3 Vergelijkingen tussen twee steekproefresultaten Als de gemeten aantallen van een verdeling in een steekproef van omvang n worden aangegeven met n,..., n k, en die in een andere steekproef van omvang n met n,..., n k, dan dienen we de twee steekproeven tezamen te beschouwen, en bedragen de gemiddelde verwachtingen per steekproef e i = p i x n respectievelijk e i = p i x n, waarbij de percentages p i = (n i +n i ) / (n +n ) de procentuele verdeling in de gezamenlijke steekproef weergeven. Analoog aan de vorige situatie kunnen we nu een waarde voor χ bepalen door voor iedere groep de bijdrage {(gemeten aantal - verwacht aantal) / (verwacht aantal)} te berekenen: χ = Σ {(n i -e i ) / e i } + Σ {(n i -e i ) / e i }. Ook nu dient deze χ met (k-) vrijheidsgraden te worden getoetst aan de hand van significantiegrenzen zoals die in figuur zijn opgenomen voor een betrouwbaarheid van %, en is er een significant verschil als χ groter is dan zo n significantiegrens.. Vergelijkingen van gemiddelden Om te bepalen of het verschil tussen twee gemeten gemiddelden (bijvoorbeeld het verschil tussen twee rapportcijfers) significant is of slechts veroorzaakt is door het toevalskarakter van de steekproeven, kan een t-toets worden verricht. Ook hier verschilt het precieze resultaat van geval tot geval: het hangt af van de aantallen, de gemeten gemiddelde waarden en de spreiding rond de gemiddelden. Als de gemeten gemiddelden worden aangegeven met m respectievelijk m, de bijbehorende gemeten standaarddeviaties met s respectievelijk s en de steekproefomvangen met n respectievelijk n, dan is het verschil (m -m ) met % zekerheid significant als t = m -m / (sx (/n +/n )) >, waarbij s = ((n -)xs +(n -)xs ) / (n +n -). Als we eenvoudhalve mogen veronderstellen dat beide steekproefomvangen even groot zijn (zeg: n = n = n), dan is deze toetsingsformule te vereenvoudigen tot t = m -m x n / (s +s ) >,. Voorbeeld: stel dat twee gemiddelde rapportcijfers in twee enquêtes allebei een standaarddeviatie van ongeveer, hebben, en allebei zijn gebaseerd op zo n.0 respondenten. Een verschil van 0, is dan zeker significant: t = 0, x.0 /, =,, en dat is een stuk groter dan,. Omgekeerd: een verschil m -m is significant als m -m >, x (s +s ) / n, dus in dit geval: als m -m >, x (,) /.0 = 0,, ofwel als het verschil groter is dan 0,.

4 . Paarsgewijze uitkomsten Tot slot de situatie waarbij uit één en de zelfde steekproef twee keer een meting wordt verricht, en moet worden nagegaan of het verschil tussen de resultaten uit beide metingen significant is. Van iedereen uit de steekproef hebben we dan paarsgewijze uitkomsten: één uitkomst uit de eerste, en één uit de tweede meting. Paarsgewijze gemiddelden De significantie van het verschil tussen paarsgewijze gemiddelden kan worden getoetst met een t- toets voor paarsgewijze uitkomsten. De te toetsen t-waarde bedraagt daarbij t = m v / (s v / n) waarbij m v het gemiddelde van de verschillen is, s v de standaardafwijking van de verschillen en n het aantal paren. Het aantal vrijheidsgraden bij de toetsing bedraagt (n-). De grenswaarden bij % betrouwbaarheid voor de diverse aantallen vrijheidsgraden zijn af te lezen uit figuur. Figuur : Grenswaarden voor een t-toets: waarden van t bij een eenzijdige van,%. Aantal vrijheidsgraden,,0,,,,,,,,,0,,,,,,,,0 Aantal vrijheidsgraden 0,0,0,0,0,0,0,,,,,, Voorbeeld: Aan een steekproef van honderd mensen is na een jaar wederom een oordeel in de vorm van een rapportcijfer gevraagd. Het gemiddelde rapportcijfer blijkt licht gestegen. Voor ieder van deze honderd mensen dient nu het verschil tussen beide beoordelingen te worden berekend, en daaruit de te toetsen t-waarde. Is deze t-waarde groter dan de grenswaarde van,, dan is de verbetering in de waardering significant, en anders niet. Paarsgewijze verschillen Een eenvoudige (verdelingsvrije) toets bij een parenonderzoek is de zogeheten tekentoets. Voor ieder paar wordt bepaald of het verschil positief dan wel negatief is, en het verschil tussen deze

5 twee aantallen wordt getoetst (tegen de nulhypothese dat dit verschil nihil bedraagt). Als we te maken hebben met de alternatieve hypothese dat de tweede meting betere resultaten zal geven dan de eerste meting, wordt een eenzijdige toets toegepast. Gangbaar is overigens bij dit soort toetsen, om gevallen met gelijke uitkomsten buiten beschouwing te laten. De grenswaarden bij % betrouwbaarheid voor de diverse aantallen verschillen zijn af te lezen uit figuur. Figuur : Grenswaarden voor een tekentoets: waarden van T bij een eenzijdige van %. Aantal verschillen (...) Aantal verschillen 0 0 (...) Voorbeeld: Behandeling met een bepaald medicijn heeft bij 0 van de proefpersonen tot een verbetering geleid, bij personen tot een verslechtering en bij de resterende proefpersonen niet tot een verandering. Het te toetsen verschil bedraagt, hetgeen méér is dan de grenswaarde van die geldt bij verschillen en % betrouwbaarheid: de verbetering is significant op %- betrouwbaarheidsniveau. Noten. Een gemeten percentage van 0% in een enquête onder (netto).00 mensen heeft dus een betrouwbaarheidsmarge van, x (0x0) /. =,%. Evenzo heeft een gemeten percentage van % een betrouwbaarheidsmarge van, x (x) /. = 0,%. Bij alleen de (bijvoorbeeld:) 00 mannen in zo n enquête heeft een gemeten percentage van 0% evenwel een betrouwbaarheidsmarge van, x (0x0) / =,%, en is bij een gemeten percentage van % de betrouwbaarheidsmarge, x (x) / = 0,%.. Voorbeeld (reken maar na!): In de huidige Tweede Kamer bedraagt de procentuele zetelverdeling tussen de zes vertegenwoordigde politieke partijen : : : : :. In een enquête onder een representatieve groep van 00 personen worden 0,,,, respectievelijk stemmen op deze partijen uitgebracht. Voor de eerste partij is het verwachte aantal stemmen op grond van de laatste verkiezingsuitslag % x 00 =, dus u = (0-) / =,, enzovoorts. χ is dus gelijk aan, +, +,0 +,0 +, +, =,. Dit is iets meer dan de significantiegrens bij vrijheidsgraden van,, dus er kan inderdaad van een wijziging in de politieke verhoudingen worden gesproken. Zie: M.L. Wijvekate: Verklarende statistiek. Aula nr. ; Utrecht/Antwerpen (Het Spectrum), 0: blz. -.. Voorbeeld (reken maar na!): Om een nieuw serum te testen, krijgen 00 personen een behandeling met het serum, en niet. Van de eerste groep worden er in de volgende twee jaar personen ziek, en van de tweede. In totaal is dus,% ziek geworden. Volgens die verwachting hadden er uit de eerste groep,% x 00 =

6 , personen ziek moeten zijn geworden en uit de tweede,% x =,. De bijdragen aan χ bedragen nu (-,) /, = 0,, enzovoorts, en χ is gelijk aan 0, + 0, + 0,0 + 0,0 =,. Dit is minder dan de significantiegrens bij vrijheidsgraad van,, dus we mogen op grond van dit experiment nog niet concluderen dat het serum een preventieve werking heeft. Zie: M.L. Wijvekate: Verklarende statistiek. Aula nr. ; Utrecht/Antwerpen (Het Spectrum), 0: blz. -.. Het volgende gaat alleen op als (n +n ) > 0; anders wordt de hier gebezigde factor, wat groter.. Zie ook: M.L. Wijvekate: Verklarende statistiek. Aula nr. ; Utrecht/Antwerpen (Het Spectrum), 0: blz. -.