Statistiek in de Praktijk - samenvatting

Transcriptie

1 Statistiek in de Praktijk - samenvatting Wim Muskee 11 maart 2005 Vrij naar het boek van Moore & McCabe

2 Inhoudsopgave 1 kijken naar gegevens - verdelingen weergeven van verdelingen met grafieken verdeling kwalitatief: verdeling kwantitatief: verdelingen beschrijven normale verdelingen dichtheidskrommen normale verdelingen kijken naar gegevens - relaties spreidingsdiagrammen correlatie kleinste-kwadraten methode gebruik en beperkingen van regressie en correlatie relaties tussen kwalitatieve variabelen oorzaak en gevolg vergaren van gegevens 14 4 kansrekening - de studie van het toeval toeval kansmodellen stochastische variabelen verwachting en variantie van stochastische variabelen de wetten van de kansrekening van kans naar inferentie - aantallen en fracties aantallen en fracties steekproefgemiddelden inleiding tot inferentie schatten met betrouwbaarheid significatietoetsen gebruik en misbruik van toetsen inferentie voor verdelingen inferentie voor de verwachting van een populatie inferentie voor twee verwachtingen inferentie voor populatiespreiding inferentie voor telgegevens inferentie voor een enkele fractie vergelijken van twee fracties inferentie voor kruistabellen kruistabellen formules en modellen inferentie voor regressie enkelvoudige lineaire regressie details één-factor variantie-analyse ANOVA procedure voorbeeld

3 12 sheets div.doc 40 3

4 1 kijken naar gegevens - verdelingen inleiding Individuen zijn objecten die beschreven worden door een gegevensverzameling. Een variabele is een eigenschap van een individu. Een variabele kan verschillende gegevens uitdrukken voor verschillende individuen. Een kwalitatieve variabele plaatst het individu in een of meer categoriën. Een kwantitatieve variabele geeft een bepaalde hoeveelheid aan over een individu. Dit is een numerieke waarde. De verdeling van een variabele geeft aan welke waarde aangenomen wordt en hoe vaak deze waarden aangenomen worden. Een database met studentengegevens. De individuen zijn de studenten. De variabelen zijn bijvoorbeeld geslacht, geboortedatum en woonplaats. Geslacht en woonplaats zijn kwalitatieve variabelen en geboortedatum een kwantitatieve. In een database zijn rijen simpelgezegd de individuen en de kolommen zijn de variabelen. Bij een statistisch onderzoek zijn de volgende belangrijk om te stellen: 1. Waarom? Welk doel dienen de gegevens? Kunnen we de juiste conclusies trekken uit de gegevens die we hebben? 2. Wie? Welke individuen worden door de gegevens beschreven? 3. Wat? Hoeveel variabelen bevatten de gegevens? Wat is de definitie van die variabelen? 1.1 weergeven van verdelingen met grafieken Verkenning van gegevens (de belangrijkste kenmerken vinden) wordt exploratieve data-analyse genoemd. Er zijn twee basisstrategieën: Eerst elke variabele apart, vervolgens de verbanden tussen de variabelen. Eerst diagrammen, vervolgens numerieke aspecten verdeling kwalitatief: De verdeling van een kwalitatieve variabele kan goed met staaf- of taartdiagrammen. Taartdiagrammen laten de relatie tot het geheel goed zien verdeling kwantitatief: Kennis van het meetinstrument is belangrijk om erachter te komen wat de definitie van de gemeten variabele is. Vertellen de gemeten variabelen wat je wil weten? Soms is een relatief aantal gebeurtenissen, in relatie met de context, betekenisvoller dan een optelsom van het aantal gebeurtenissen. Het variatiepatroon van een variabele wordt zijn verdeling genoemd. De verdeling van een kwantitatieve variabele legt de numerieke waarden van de variabelen vast en het aantal keren dat de waarde voorkomt. Verdelingen kunnen naast numeriek ook op een aantal grafische manieren weergegeven worden: 4

5 stamdiagram: Het maken van een stamdiagram is geen doel op zich. Het moet helpen de gegevens beter te begrijpen en het hoeft niet wiskundig correct te zijn. Het moet de vorm van de verdeling weergeven. De stam is het voorste getal en de bladeren het tweede getal in het cijfer. Aan één stam kunnen meerdere bladeren zitten. Ook kunnen stammen verdeeld worden om de bladeren beter te spreiden. Door een rug-aan-rug stamdiagram te maken, kun je twee verdelingen vergelijken. Verdelingsonderzoek gaat als volgt: Kijk in het diagram naar het globale patroon en naar opvallende afwijkingen in het patroon. Je kunt de globale vorm van een verdeling beschrijven door zijn vorm, centrum en spreiding. Een belangrijk type afwijking is een uitschieter, een individuele waarde die buiten het patroon valt. Mediaan is de (centrum)waarde waarbij de helft van de andere waarden hoger is en de andere helft lager. De spreiding is het bereik tussen de hoogste en de laagste waarden. Een verdeling met één top wordt unimodaal genoemd. De vorm kan symmetrisch zijn of symmetrisch scheef. Scheef, als er meer waarden aan één kant van het centrum liggen. histogram: Vele aspecten van een stamdiagram gelden ook voor het histogram. Het verschil is dat waar het stamdiagram bij de indeling afhankelijk is van het getalsysteem, je dit bij een histogram zelf kunt bepalen. Vanwege het feit dat de vorm altijd afhankelijk is van de indeling hoeft deze niet exact symmetrisch te zijn. De indeling moet zo gekozen worden dat de vorm duidelijk wordt. Door relatieve frequenties te nemen in plaats van de frequenties ontstaat dezelfde vorm, echter wel vergelijkbaar met andere gelijksoortige tellingen. Histogrammen worden gebruikt waar er meer gegevens zijn in de verdeling. tijdreeksgrafieken: Deze grafieken laten de metingen zien in relatie tot de tijd. Dit kan de de meetvolgorde zijn of in relatie tot de absolute tijd. Strict genomen zijn tijdreeksen metingen van een variabele in regelmatig, opeenvolgende tijdvakken. Een patroon in een tijdreeks dat zich steeds herhaalt op bekende regelmatige tijdsintervallen wordt een seizoensvariatie genoemd. Hoeft niet over seizoenen te gaan, kan ook dagelijks of maandelijks zijn. Een trend in een tijdreeks is een aanhoudende lange termijn stijging of daling. Een indexcijfer stelt de gemiddelde waarde van een bepaalde periode op 100 procent. De rest van de metingen wordt weergegeven in relatie tot dat cijfer. Een seizoenscorrectie is een bijstelling van de gemeten waarden in relatie tot de seizoensvariatie. 1.2 verdelingen beschrijven Een korte beschrijving van een verdeling moet bestaan uit zijn vorm en cijfers die zijn centrum en spreiding beschrijven. Let wel, de cijfers die we vergaren uit de waarden zijn geen antwoord, louter hulpmiddelen om de situatie beter te beschrijven. 5

6 het gemiddelde: Is een maat voor het centrum. Om het gemiddelde van alle waarnemingen te vinden moeten alle waarnemingen bij elkaar op worden geteld en gedeeld door het aantal waarnemingen. x = x 1 + x x n n x = 1 n xi Aangezien het gemiddelde sterk gevoelig is voor uitschieters in de waarnemingen is het geen resistente maat van het centrum. de mediaan: De volgende formule geeft de positie van de mediaan (M p ) in een geordende lijst. Als het aantal waarnemingen oneven is, is de mediaan een waarneming, als het aantal even is, dan is de mediaan het gemiddelde van de twee getallen direct naast de positie van de mediaan. M p = n meten van de verdeling: de kwartielen: De maat van het centrum geeft niet voldoende informatie over de verdeling, de maat van de spreiding is ook nodig. De eenvoudigste nuttige beschrijving van een verdeling bestaat zowel uit een centrummaat als een spreidingsmaat. De spreiding of variabiliteit van een verdeling kan worden aangeduid door verschillende percentielen te geven. Het p-de percentiel van een verdeling is de waarde, zodaning dat p procenten van de waarneming lager is of eraan gelijk is. De mediaan is de 50 ste percentiel. Gangbare percentielen zijn kwartielen (Q), de eerste als 25 ste percentiel en de derde als 75 ste. Wanneer M bepaald is, is Q 1 de mediaan van alle waarden links van M en Q 3 de mediaan er rechts van. Een eenvoudige maat voor de spreiding is de afstand tussen de kwartielen die het gebied aangeeft waarbinnen zich de helft van de data bevindt. Deze afstand wordt de interkwartielafstand (IKA) genoemd. IKA = Q 3 Q 1 Een waarneming is een verdachte uitschieter als deze tenminste 1.5 x IKA boven Q 3 of onder Q 1 ligt. de vijf-getallen-samenvatting en de boxplots: De vijf-getallen-samenvatting bestaat uit Q 1, Q 2, Q 3 en de grootste en kleinste individuele waarneming. Een boxplot is een grafiek van de vijf-getallen-samenvatting, waarbij verdachte uitschieters individueel worden weergegeven. Q 1 tot en met Q 3 worden weergegeven door een rechthoek, door de lijn van Q 2 gescheiden. Waarnemingen die meer dan 1.5 IKA buiten de centrale rechthoek vallen worden afzonderlijk afgebeeld. Twee buiten de rechthoek lopende lijnen strekken zich uit tot aan de kleinste en grootste waarneming die geen uitschieters zijn. Volgens de whiskers methode gaat dit van 5% tot 95% van alle waarnemingen. verdelingen vergelijken: Boxplots kunnen het beste worden gebruikt om verschillende verdelingen met elkaar te vergelijken terwijl stamdiagrammen en histogrammen beter iets kunnen vertellen over een enkele verdeling, zeker als bijbehorende numerieke gegevens worden verstrekt. 6

7 meten van de spreiding: de standaardafwijking: De standaardafwijking meet de spreiding door te kijken hoe ver de waarnemingen van hun gemiddelde zijn verwijderd. De variantie s 2 is het gemiddelde van het kwadraat van de afwijkingen van de waarnemingen van hun gemiddelde. De standaardafwijking is s. s 2 = (x 1 x) 2 + (x 2 x) (x n x) 2 n 1 s 2 = 1 (xi x) 2 n 1 1 s = (xi x) n 1 2 Aangezien er altijd begonnen wordt met 1 waarneming van de n waarnemingen, kunnen de rest van de waarnemingen, n 1 vrij variëren ten opzichte van de eerste. Het getal n 1 noemt men het aantal vrijheidsgraden van de variantie of van de standaardafwijking. s meet de spreiding rondom het gemiddelde en dient alleen gebruikt te worden wanneer het gemiddelde als centrummaat is gekozen. Alleen als er geen spreiding is, is s = 0. Dit gebeurt als alle waarnemingen dezelfde waarde hebben. Anders is s > 0. Als de waarnemingen meer verspreid zijn rond hun gemiddelde wordt s groter. s is net als x, niet resistent. Enkele uitschieters kunnen s erg groot maken. het kiezen van centrum en spreidingsmaten: De vijf-getallen-samenvatting is over het algemeen geschikter dan het gemiddelde en de standaardafwijking voor het gebruik van een scheve verdeling of een verdeling met sterke uitschieters. Gebruik x en s alleen voor redelijk symmetrische verdelingen zonder uitschieters. Een grafiek is het beste middel om een algemeen beeld te krijgen van een verdeling. Numerieke centrum- en spreidingsmaten geven bepaalde kenmerken weer van een verdeling maar beschrijven niet de hele vorm. de meeteenheid veranderen: De verandering van een meeteenheid is een lineaire transformatie van de metingen. Elke lineaire transformatie verloopt volgens de volgende formule: x new = a + bx Lineaire transformaties hebben geen effect op de vorm van de verdeling. Door met b te vermeningvuldigen worden centrum- en spreidingsmaten met b vermenigvuldigd. Door optellen van a worden de centrummaten veranderd maar de spreidingsmaten niet. Het verschil bijvoorbeeld tussen Q 1 en Q 3 veranderd niet evenals de standaardafwijking. 1.3 normale verdelingen Om te beginnen de basisstappen voor het analyseren van een kwantitatieve variabele met daaraan toegevoegd een nieuwe vierde stap. De kromme is een wiskundig model, een geïdealiseerde beschrijving van de verdeling. 1. Maak een grafische voorstelling van de gegevens. 2. Kijk naar het patroon en naar afwijkingen. 3. Bereken een numerieke samenvatting door spreiding en centrum te berekenen. 4. Is het patroon regelmatig genoeg, dan is deze te beschrijven door een gladde kromme. 7

8 1.3.1 dichtheidskrommen Anders dan een grafische voorstelling van de daadwerkelijke waarnemingen, is een dichtheidskromme een model van de waarnemingen. Het globale patroon van de verdeling wordt beschreven, niet de uitschieters. De oppervlakte onder de kromme en onder een willekeurig interval is de relatieve frequentie van alle waarnemingen die binnen dat interval vallen. Een dichtheidskromme is een kromme... die zich altijd op of boven de horizontale as bevindt, en waarvan de oppervlakte eronder gelijk is aan 1. De mediaan van een dichtheidskromme is het punt dat de oppervlakte onder de kromme in twee gelijke stukken verdeeld. De verwachting van de dichtheidskromme is het gemiddelde normale verdelingen feitelijke waarneming dichtheidskromme x µ s σ Normale verdelingen zijn symmetrische, ééntoppige, klokvormige dichtheidskrommen. De exacte dichtheidskromme voor een specifiek normale verdeling wordt vastgelegd door zijn verwachting µ en zijn standaardafwijking σ. De punten waar de kromme van richting veranderd liggen op afstand σ aan weerszijden van µ. De normale dichtheidskrommen worden door een speciale formule gespecificeerd. 1 σ 1 2π e 2( x µ σ ) 2 Er zijn drie redenen voor het belang van normale verdelingen. 1. Het zijn goede modellen voor sommige verdelingen van werkelijke data, vooral in grote hoeveelheden. 2. Het zijn goede benaderingen van de uitkomsten van vele soorten toevallige uitkomsten. 3. Vele statische inferentie procedures, gebaseerd op normale verdelingen, werken goed voor ruwweg symmetrische verdelingen. De beslissing om een door een normaal model te beschrijven kan bepalend zijn voor de verdere stappen in de analyse van de data. Verschillende berekening berusten op de modelkeuze en zo n keuze moet zorgvuldig gemaakt worden. de regel: geldt dat ongeveer: In de normale verdeling met verwachting µ en standaardafwijking σ 68% van de waarnemingen binnen afstand σ van verwachting µ ligt. 95% van de waarnemingen binnen afstand 2σ van verwachting µ ligt. 99.7% van de waarnemingen binnen afstand 3σ van verwachting µ ligt. standaardisering: In feite zijn alle normale verdelingen identiek als de metingen worden vericht met σ als eenheid van grootte en µ als het centrum. Het omzetten naar deze eenheden wordt standaardisering genoemd en kan met de volgende formule. Als x een waarneming is uit de verdeling, dan zegt z hoeveel standaardafwijkingen x van µ verwijderd is en in welke richting. z = x µ σ Standaardisering is een lineaire transformatie die de gegevens in de standaard schaal van z-scores omzet. 8

9 standaard normale verdeling: Het standaardiseren van een variabele die een willekeurige normale verdeling heeft, geeft een nieuwe variabele die een standaardnormale verdeling heeft. De standaardnormale verdeling is de normale verdeling N(0,1) met verwachting 0 en standaardafwijking 1. Als een variabele X een normale verdeling N(µ,σ) heeft, dan heeft variabele Z de standaardnormale verdeling: Z = Z µ σ Uit een normale verdeling N(166.4, 6.4) voor lengtes van jonge vrouwen komt een vrouw met de lengte 176 cm voor. Haar gestandaardiseerde lengte is: = 1.5. Ze zit 1.5 standaardafwijkingen boven de verwachting. Wanneer we dit gegeven opzoeken in tabel A 1, vinden we Oftewel, ongeveer 93.3% van alle jonge vrouwen is kleiner dan of net zo groot als haar. We kunnen relatieve frequenties voor elke willekeurige normale verdeling bepalen, door standaardisatie toe te passen en tabel A te gebruiken. normaal-kwantiel-diagram: Als een stamdiagram of histogram ruwweg symmetrisch en unimodaal lijkt, passen we het normaal-kwantiel-diagram 2 toe. Hieronder het grondbeginsel van de opzet ervan. 1. Rangschik de waarnemingen van klein naar groot en zet achter elke waarneming de percentiel. 2. Bepaal de z-scores voor elke percentiel. Bijvoorbeeld voor de 5%. 3. Zet elke waarneming x uit tegen z. Als de gegevensverdeling dicht bij de standaardnormale ligt, zullen de getekende punten dicht bij de 45-gradenlijn van x = z liggen. Als de gegevensverdeling dicht bij een willekeurige normale verdeling ligt, zullen de getekende punten dicht bij een rechte lijn liggen. Uitschieters verschijnen als punten die ver verwijderd zijn van het globale patroon van de figuur. 2 normal possible plots op z n Engels 9

10 2 kijken naar gegevens - relaties inleiding samenhang: Twee variabelen gemeten bij dezelfde individuen hangen samen als sommige waarden van één variabele vaker voorkomen bij bepaalde waarden van de tweede variabele dan met andere waarden van de tweede variabele. Wanneer men de relatie tussen twee variabelen onderzoekt zijn de volgende vragen belangrijk: Welke individuen worden door de data beschreven? Welke variabelen zijn er en hoe zijn ze gemeten? Welke variabelen zijn kwantitatief en welke kwalitatief? Is het de bedoeling eenvoudig de aard van het verband te ontdekken of hoopt men te kunnen aantonen dat een van de variabelen de veranderingen in de ander kan verklaren? Een te verklaren variabele meet de uitkomst van een onderzoek. Een verklarende variabele poogt de waargenomen uitkomsten te verklaren. De te verklarende variabele wordt ook wel afhankelijke variabele genoemd omdat deze afhangt van de verklarende variabele. De verklarende wordt vervolgens de onafhankelijke variabele genoemd. De hoeveelheid alcohol heeft invloed op de lichaamstemperatuur. Bij een onderzoek hiernaar wordt de hoeveelheid alcohol verhoogd en de temperatuur gemeten. De temperatuur is de te verklaren variabele en de hoeveelheid alcohol de verklarende variabele. 2.1 spreidingsdiagrammen Een spreidingsdiagram toont het verband aan tussen twee kwantitatieve variabelen gemeten bij dezelfde individuen. De waarden van de ene variabele verschijnen op de horizontale as en de waarden van de andere variabele op de verticale as. Elk individu in de gegevens verschijnt als het punt in de diagram dat is bepaald door de waarden van beide variabelen voor dat individu. Teken de verklarende variabele op de x-as en de te verklarende variabele op de y-as. interpretatie: Kijk in elke grafische voorstelling naar het algemene patroon en naar de afwijkingen in dat patroon. Het globale patroon van een spreidingsdiagram kan beschreven worden door de vorm, richting en sterkte van de relatie. De sterkte van een relatie wordt bepaald door hoe dicht de punten in een spreidingsdiagram bij een simpele vorm als een stijgende of dalende lijn liggen. Een bepaald type vorm is een geclusterde vorm. Bepaalde groepen (clusters) met elk eigen richting en sterkte. Tussen twee variabelen bestaat positieve samenhang als de waarden boven het gemiddelde van de ene variabele de neiging vertonen samen te gaan met de waarden boven het gemiddelde van de andere variabele, terwijl de waarden onder het gemiddelde op soortgelijke wijze de neiging hebben om samen te gaan. In de diagram van is positief dus van linksonder naar rechtsboven. De vorm van de relatie kan lineair zijn. Wanneer er meerdere clusters zijn is het handig ze afzonderlijk te bekijken. Uitschieters zijn univariaat niet te vinden maar bivariaat wel. De uitschieters zijn alleen te vinden wanneer men de individuen voor twee variabelen meet. 10

11 kwalitatief verklarende variabelen: Deze kunnen evengoed in een diagram geplaatst worden voor vergelijking met een kwantitatieve te verklaren variabele. Voor de representatie kan gebruik gemaakt worden van boxplots. 2.2 correlatie De correlatie meet de richting en sterkte van de lineaire relatie tussen twee kwantitatieve variabelen. De twee kwantitatieve variabelen zijn x en y. Correlatie r is het gemiddelde van de gestandaardiseerde producten van de variabelen. r = 1 n 1 ( ) ( ) x x y y s x r = 1 Zx Z y n 1 Geen onderscheid tussen de te verklaren variabele en de verklarende variabele. Variabelen dienen kwantitatief te zijn. Correlatie r heeft geen meeteenheid, het komt voor uit gestandaardiseerde waarden zonder eenheid, wel grootheid. Een positieve r wijst op een positieve samenhang en een negatieve r op een negatieve samenhang. De correlatie ligt tussen -1 en 1. Naarmate r dichter bij -1 of 1 ligt, is de lineariteit van het verband sterker. Correlatie meet slechts de sterkte van een lineaire relatie tussen twee variabelen. Correlatie is niet resistent. Bovendien is het geven van alleen de correlatie niet afdoende voor een volledige beschrijving van de gegevens. 2.3 kleinste-kwadraten methode Net zoals we één variabele numeriek willen samenvatten met bijvoorbeeld een mediaan en een vijf-getal-samenvatting willen we ook een relatie tussen twee variabelen simpel numeriek kunnen samenvatten. Een rechte lijn die de afhankelijkheid van een variabele (y) van een andere (x) beschrijft wordt een regressielijn genoemd. Vaak gebruiken we een regressielijn om de waarde van y voor een waarde x te voorspellen. Regressie vereist, in tegenstelling tot correlatie, een verklarende en een te verklaren variabele. van data naar lijn: Van verschillende waarnemingen kan een grafische voorstelling gemaakt worden waardoor in sommige gevallen een rechte lijn is te trekken. Deze lijn is een model te beschrijven door de volgende formule waarbij x de verklarende variabele is en y de te verklaren variabele. b is de helling en a het startpunt voor x = 0. y = a + bx Er zijn voorspelling te doen op basis van de formule. Echter de waarde die we toekennen aan de voorspelling is afhankelijk van de spreiding van de gegevens ten op zichte van de regressielijn. Is de spreiding groot dan wordt de voorspelling minder betrouwbaar. Voorspellingen doen op basis van de regressielijn wordt extrapolatie genoemd. s y 11

12 de methode: Om de voorspellingen op basis van de regressielijn zo betrouwbaar mogelijk te maken, moet de regressielijn de punten zo dicht mogelijk benaderen. We zoeken de lijn die zo dicht mogelijk langs de punten in verticale richting loopt, immers de fouten die we maken drukken zich uit in y, de te verklaren variabele. Het doel is nu om de afstanden tussen de regressielijn en alle punten zo klein mogelijk te maken. Een methode hiervoor is de kleinste kwadraten methode. De kleinste regressielijn van y over x is de lijn waarvoor de som van de kwadraten van de verticale afstanden van de gegevenspunten tot de lijn, zo klein mogelijk is. Wanneer a + bx de voorspellende waarde voor y aangeeft dan zal die waarde afgetrokken moeten worden van de echt waargenomen y om de fout te vinden. Wanneer we die fouten kwadrateren en optellen vinden we de volgende formule. (yi a bx i ) 2 De volgende formules leiden tot de correcte waarden voor a en b voor de vergelijking van de kleinste kwadratenlijn. De vergelijking voor b zegt dat langs de regressielijn een verandering van één standaardafwijking in x overeenstemt met een verandering van r standaardafwijkingen in y. Denk eraan dat de standaardafwijking iets vertelt over de gemiddelde afwijking van de waarnemingen van het gemiddelde voor één variabele. De te verklaren variabele staat als teller in de breuk en r geeft de sterkte en de richting van de relatie aan. Voorts gaat de kleinste kwadraten regressielijn altijd door het punt (x, y). Als x en y gestandaardiseerde variabelen zijn, loopt de regressielijn door de oorsprong en is helling b gelijk aan r. b = r s y s x a = y bx Het kwadraat van correlatie, r 2, is die fractie van de variatie in de y-waarden die verklaard worden door de kleinste-kwadratenregressie van y op x. Bij een bepaalde x is er een bepaalde spreiding aan y-waarden en een voorspelde y. Over alle waarnemingen is een standaardafwijking berekend en aan de hand daarvan de correlatie r. Stel r = en dus r 2 = 0.849, dan betekent dat 85% van de variatie in de te verklaren variabele verklaard worden door de x- variabele. De voorspellingen die gedaan worden op basis van de regressielijn met een lage r 2 zullen onbetrouwbaarder zijn. r 2 is fractie verklaarde variatie. Een deel van de variatie in y wordt veroorzaakt door x. Twee bronnen van variatie: x en het residu. Spreiding van ŷ is kleiner dan y. r 2 schrijft een percentage van de variatie toe aan x met de formule variantieŷ variantiey. De rest van het percentage wordt verklaard door het residu en is dus het deel onverklaarde variantie. 2.4 gebruik en beperkingen van regressie en correlatie residuen: Nog even voor de duidelijkheid: Een regressielijn is een wiskundig model voor het algemene patroon van een lineaire relatie tussen een verklarende en een te verklaren variabele. De kleinste-kwadraten methode berekent de som van het kwadraat van de afstand tussen de waargenomen waarde en de voorspelde waarde van de te verklaren variabele. Het residu is de afstand voor een meting tussen de de waargenomen waarde en de voorspelde waarde van de te verklaren variabele. residu = y ŷ Voor elk datapunt kan het residu apart beschreven worden, naast de som van het kwadraat van alle residuen. Het gemiddelde van de residuen gebruikt in de kleinste-kwadraten methode is gelijk aan 0. De residuen kunnen vervolgens uitgezet worden in een residuendiagram. Hiermee kunnen we de aanpassingen van een regressielijn beter beoordelen. Als de regressielijn het algemene patroon van de gegevens weergeeft mag in het residudiagram geen patroon zichtbaar zijn. Is er wel een patroon te zien dan is regressielijn minder betrouwbaar om voorspellingen mee te doen. Een gebogen residupatroon duidt op een kromlijnig en niet 12

13 lineair verband, een waaiervormig patroon naar rechts duidt op een dalende betrouwbaarheid naarmate de waarde van de verklarende variabele stijgt. verborgen variabelen: Een verborgen variabele is een variabele die een belangrijke invloed heeft op de relaties tussen variabelen in een onderzoek, maar niet is opgenomen in de verzameling van de bestudeerde variabelen. Een nuttige methode om verborgen variabelen te ontdekken is om zowel de te verklaren variabele alsook de regressieresiduen uit te zetten tegen de tijdsvolgorde van de waarnemingen, als die volgorde beschikbaar is. uitschieters en invloedrijke waarnemingen: Een uitschieter in de context van regressie is een punt dat in vericale richting ver verwijderd ligt van de aangepaste lijn en daarom een groot residu oplevert. Toch heeft een uitschieter in horizontale richting ook veel invloed op de richting van de regressielijn vanwege de niet-resistentie. Zo n uitschieter heet een invloedrijke waarneming. De zekerste manier om te bepalen of een punt invloedrijk is, is om de regressielijn te tekenen met en zonder die waarneming. wees alert: correlatie meet alleen de mate van lineaire associatie. Als het globale patroon van de relatie niet lineair is, heeft het geen zin de relatie lineair te tekenen. extrapolatie kan onbetrouwbaar zijn. Correlaties en kleinste-kwadratenregressies zijn niet resistent. Verborgen variabelen kunnen gegevens van regressie of correlatie misleiden. Zet residuen altijd uit tegen de tijd en tegen andere vaiabelen die de relatie tussen x en y kunnen beïnvloeden. Een samenhang tussen verklarende variabele en een te verklaren variabele betekent nog geen oorzaak-gevolg relatie. Correlaties die gebaseerd zijn op gemiddelden zijn over het algemeen hoger dan correlaties tussen dezelfde variabelen gebaseerd op data van individuen. Voor succesvol voorspellen is een oorzakelijke relatie niet vereist. Als zowel x als y afgeleiden zijn van dezelfde onderliggende niet-gemeten variabelen, is het misschien mogelijk om y uit x te voorspellen, zelfs als x niet een directe invloed heeft op y. Wanneer de gegevens niet de maximale informatie bevattten spreken we van een beperkt bereik. Beperkt bereik zal alleen een probleem vormen wanneer de uitkomsten afwijkingen vertonen ten opzichte van gegevens met een minder beperkt bereik. 2.5 relaties tussen kwalitatieve variabelen Relaties tussen kwalitatieve variabelen worden beschreven door uit de gegeven aantallen de bijbehorende percentages te berekenen. Percentages zijn gemakkelijker te vergelijken dan aantallen. Twee kwalitatieve variabelen worden in een kruistabel genoteerd. Een variabele in de rijen en de andere in de kolommen geordend van laag naar hoog. De verdeling van een variabele alleen, dus niet in relatie tot de andere variabele, heet een marginale verdeling. De verdeling van een categorie van een variabele in relatie tot de andere variabele heet een voorwaardelijke verdeling. 13

14 opleiding leeftijd geen middelbare school middelbare school jr hbo of uni jr hbo of uni totaal In de percentagetabel wordt beschreven wat het opleidingsniveau is van elke leeftijdsgroep, niet hoe elke leeftijdsgroep binnen opleiding is verdeeld. Daarom is de horizontale optelling geen 100%. Om de gegevens te vergelijken voor elke rij, is een staafdiagram vaak afdoende. Voor de absolute waarden boeit het niet. Het verschil tussen horizontaal en verticaal of zelfs diagonaal (totaal). In de tabel hierboven is verticaal gepercenteerd. percenteren. paradox van simpson: De paradox van Simpson betreft de omkering van de richting van een samenhang wanneer data uit verscheidene groepen gecombineerd worden tot een enkele groep. De verborgen variabelen in de paradox van Simpson zijn kwalitatief, ze delen de individuen op in groepen. De paradox van Simpson is een extreme vorm van het feit dat de waargenomen samenhang misleidend kan zijn als er verborgen variabelen zijn. Drie kwalitatieve variabelen worden in een driedimensionale tabel met elkaar vergeleken. Dit is een kruistabel waarbinnen onderscheid wordt gemaakt in nog een variabele. In essentie één tweedimensionale kruistabel voor elke categorie van de derde variabele. 2.6 oorzaak en gevolg Het feit dat twee variabelen samenhangend zijn tot elkaar betekent nog niet automatisch dat de veranderingen bij de ene, veranderingen bij de ander teweegbrengen. Ik vermeld een aantal soorten samenhang: a: Een rechtstreekse oorzaak-gevolg samenhang tussen x en y. b: Er is een gemeenschappelijke afhankelijkheid van x en y door verborgen variabele z. c: Er is een verstrengeling als zowel de verklarende variabele x als de verborgen variabele z invloed hebben op de te verklaren variabele y, echter kunnen we de invloed van x niet onderscheiden van die van z. De beste methode om de exacte relatie tussen variabelen vast te stellen is door middel van een experiment waarin de effecten van alle variabelen gecontroleerd kunnen worden. 3 vergaren van gegevens Een belangrijke methode om informatie te vergaren is de Enkelvoudige Aselecte Steekproef (EAS). steekproef; greep uit een bepaalde populatie 14

15 aselect; elk element van de greep is willekeurig gekozen, het enige verschil mag worden veroorzaakt door toeval enkelvoudig; één tegelijk en geen tweetallen 15

16 4 kansrekening - de studie van het toeval 4.1 toeval Een toevalsverschijnsel is een verschijnsel waarbij individuele uitkomsten onzeker zijn, maar er niettemin bij een groot aantal herhaling een regelmatige verdeling van uitkomsten bestaat. De kans op een willekeurige uitkomst van een toevalsverschijnsel is de fractie keren dat de uitkomst voorkomt in een lange reeks herhalingen. Dat wil zeggen, de fractie is een relatieve frequentie op de lange termijn. 4.2 kansmodellen Kansmodellen worden gedefinieerd aan de hand van twee onderdelen: een lijst van mogelijke uitkomsten een kans voor elke uitkomst definities en regels: De uitkomstenruimte S van een toevalsverschijnsel is de verzameling van alle mogelijke uitkomsten. Een gebeurtenis is een verzameling uitkomsten van een toevalsverschijnsel; ofwel een deelverzameling van een uitkomstenruimte. Een Venn-diagram is een figuur dat de uitkomstenruimte als een rechthoek weergeeft en de gebeurtenissen als oppervlaktes binnen dat diagram. De kans op een gebeurtenis A is: P (A) = aantal uitkomsten in A aantal uitkomsten in S Er zijn 5 regels over een kansberekeningsmodel. De gegevens komen voort uit de gedachte dat kans wordt omschreven als het aantal herhalingen waarbinnen een gebeurtenis plaatsvindt. 1. De kans P (A) op een gebeurtenis a voldoet aan 0 P (A) 1; Elke kans is een getal tussen 0 en Als S de uitkomstenruimte is in een kansmodel dan is P (S) = 1. Alle mogelijke uitkomsten moeten samen een kans van 1 hebben. 3. Als A een gebeurtenis is, dan heet de gebeurtenis dat A niet optreed het complement van A, genoteerd als A c. De complementregel stelt dat P (A c ) = 1 P (A). De kans dat een gebeurtenis niet plaatsvindt is 1 minus de kans dat de gebeurtenis wel voorkomt. 4. Twee gebeurtenissen A en B zijn disjunct als zij geen gezamelijke uitkomsten hebben en daardoor nooit tegelijk kunnen optreden. Wanneer dat zo is dan geldt de optelregel voor disjuncte gebeurtenissen: P (A of B) = P (A) + P (B). Wanneer twee gebeurtenissen geen gelijke uitkomsten hebben, dan is de kans dat het een of het ander voortkomt de som van hun individuele kansen. 5. De gebeurtenissen A en B zijn onafhankelijk als de wetenschap dat A gebeurt niet de kans verandert dat B gebeurt. De productregel voor onafhankelijke gebeurtenissen luidt: P (A en B) = P (A) P (B). 16

17 4.3 stochastische variabelen Een stochastische variabele is een variabele waarvan de waarde een numerieke uitkomst is van een toevalsverschijnsel. Een stochastische variabele heeft een verwachting en een variantie. In deze paragraaf leren we kansen toe te kennen aan gebeurtenissen aan de hand van een stochastische variabele. discrete stochastische variabele: Een discrete stochastische variabele X neemt een eindig aantal waarden aan, noem die x 1, x 2,, x k. Een kansmodel voor X wordt gegeven door aan deze uitkomsten kansen p i toe te kennen. P (X = x i ) = p i Hierbij moeten de kansen p i voldoen aan regels 1 en 2 van het kansberekeningsmodel. De kans P (X in A) op een willekeurige gebeurtenis wordt gevonden door sommatie van de kansen p i van de uitkomsten x i waaruit de gebeurtenis A is samengesteld. Van alle kansen kan een kanshistogram getekend worden. Alle gebeurtenissen komen op de x-as waarna op y-as de kansen uitgezet worden. Een kanshistogram is daarmee een histogram van relatieve frequenties bij een zeer groot aantal pogingen. continue stochastische variabelen: Bij een continue stochastische variabele kan X elke waarde in het interval aannemen en is deze niet beperkt tot een eindig aantal. We gebruiken nu een andere manier om kansen aan gebeurtenissen toe te kennen, niet door het aantal gebeurtenissen met het aantal mogelijke gebeurtenissen te vergelijken maar als oppervlaktes onder de kromme. De totale uitkomstenruimte heeft kans 1 en is de volledige oppervlakte onder de dichtheidskromme. Elke dichtheidskromme beschrijft de kansverdeling van de een of andere continue stochastische variabele. Omdat de oppervlakte boven elke individuele gebeurtenis 0 is, is de kans daarop bij continue kansverdeling ook 0. Normale verdelingen zijn kansverdelingen. Als X de N(µ, σ) verdeling heeft, dan heeft de gestandaardiseerde variabele de standaardnormale verdeling N(0, 1). Z = X µ σ 4.4 verwachting en variantie van stochastische variabelen De kansrekening is de wiskundige taal die het regelmatig gedrag op lange termijn van toevalsverschijnselen beschrijft. De kansverdeling van een stochastische variabele is een geïdealiseerde verdeling van relatieve frequenties. Als X een discrete stochastische variabele is, die de waarden x 1, x 2,, x k aanneemt met de kansen p 1, p 2,, p k dan wordt de verwachting van X gevonden door elke uitkomst te vermenigvuldigen met zijn kans en alle uitkomsten te sommeren: µ X = x 1 p 1 + x 2 p x k p k = x i p i Dit is een soort rekenkundig gemiddelde maar een gewogen gemiddelde van een stochastische variabele, vandaar de µ X. We gooien met de dobbelsteen en bij 6 ontvang je 12 euro en bij niet 6 geef je 3 euro weg. De verwachte winst op de lange termijn bereken je als volgt. uitkomst (x i ) 6 (12) niet 6 (-3) kans (p i ) = = 3 6 = 0, Op lange termijn is de verwachting voor elke worp dat je 0.50 ct verliest. Ga maar na dat je na 6 keer gooien 3 euro verliest. Dat is 0.50 ct per worp. 17

18 grote aantallen: Neem een willekeurig aantal onafhankelijke waarnemingen van een populatie met een eindige verwachting µ. Bepaal hoe nauwkeurig de schatting van µ moet worden. Naarmate het aantal getrokken waarnemingen toeneemt, zal het gemiddelde x van de waargenomen waarden uiteindelijk het gemiddelde µ van de populatie zo dicht naderen als men van tevoren heeft vastgelegd en zo dichtbij blijven. De voorspellingen die je kunt doen is afhankelijk van de variantie van de variabele. hoe meer je meet, des te meer naderen de meetwaarden de rekenkundige verwachting verwachtingsregels: Als X en Y stochastische variabelen zijn en a en b constanten dan geldt: µ a+bx = a + bµ X µ X+Y = µ X + µ Y De eerste regel geeft de mogelijkheid voor een lineaire transformatie voor de verwachting aan. De tweede regel zegt dat als we stochastische variabelen bij elkaar optellen, we dat met de verwachtingen ook mogen doen. Als het ware twee lootjes tegelijk kopen en dan de gezamelijke verwachting te lezen. variantie van een stochastische variabele: Als X een discrete stochastische variabele is, die de waarden x 1, x 2,, x k aanneemt met de kansen p 1, p 2,, p k dan wordt de variantie van X gegeven door: σx 2 = (x 1 µ X ) 2 p 1 + (x 2 µ X ) 2 p (x k µ X ) 2 p k = (x i µ X ) 2 p i De standaardafwijking σ X is vervolgens de wortel uit de variantie. Bij formule van variantie 1 vermenigvuldig je met p, de kans. Normaliter zou je met n 1 vermenigvuldigen maar dit is een gewogen gemiddelde, de kans. variantieregels: dan geldt: Als X en Y onafhankelijke stochastische variabelen zijn en a en b constanten σ 2 a+bx = b 2 σ 2 X σ 2 X+Y = σ 2 X + σ 2 Y σ 2 X Y = σ 2 X + σ 2 Y De eerste regel geeft het effect van de lineaire transformatie weer. Op de variantie heeft a geen invloed. De tweede regels zeggen dat de variantie altijd groter wordt, ook als je ze van elkaar af haalt. In feite is de variantie namelijk een onzekerheid, deze wordt niet kleiner als je twee onzekerheden van elkaar afhaalt. 18

19 Tom en Henk spelen golf. Beide spelers scoren gevarieerd. Tom speelt beter maar minder constant: Tom s score X: µ X = 110 σ X = 10 Henk s score Y : µ Y = 100 σ X = 8 Wanneer ze onafhankelijk van elkaar een ronde spelen kunnen we de regels van verwachtingen en varianties toepassen. Het verschil in scores na de eerste ronde heeft de verwachting: µ X Y = µ X µ Y = = 10 De variantie van het verschil in scores is: σ 2 X Y = σ 2 X + σ 2 Y = = 164 De standaardafwijking volgt uit de variantie: σ X Y = 164 = 12, 8 Dit houdt in dat ook al is de verwachting voor Henk 10 punten lager dan Tom, door de standaardafwijking van 12,8 heeft hij wel kans om te winnen. 4.5 de wetten van de kansrekening 1. 0 P (A) 1 2. P (S) = 1 3. P (A c ) = 1 P (A) 4. P (A of B) = P (A + B) 5. P (A en B) = P (A) P (B) De vereniging van een willekeurige verzameling gebeurtenissen is de gebeurtenis dat er tenminste één uit de verzameling optreed. De algemene optelregel voor een vereniging van twee gebeurtenissen A en B is: P (A of B) = P (A) + P (B) P (A en B) productregel: P (A en B) = P (A) P (B A) P (B A) = P (A en B) P (A) Als twee gebeurtenissen beiden plaatsvinden moet er eerst 1 gebeurtenis plaatsvinden, P (A), en vervolgens, gegeven dat de eerste plaats heeft gehad. de tweede moet plaatshebben, P (B A). 19

20 Karel de pokeraar speelt poker en ziet in een spel 11 kaarten, waaronder de kaarten in zijn hand. Van die 11 zijn er 4 ruiten. Aangezien er 13 ruiten in het spel zijn, zijn er nog 9 in het spel. Er zijn nog = 41 kaarten in het spel. Karel heeft 2 ruiten nodig. P (eerste kaart ruiten) = 9 41 De voorwaardelijke kans op nog een ruiten hangt af van de eerste kaart die getrokken wordt, voor de geldigheid moet die eerste kaart een ruiten zijn. Hieruit volgt: De productregel zegt nu: P (tweede kaart ruiten eerste kaart ruiten) = 8 40 P (beide kaarten ruiten) = = 0, De doorsnede van een willekeurige verzameling gebeurtenissen is de gebeurtenis dat alle gebeurtenissen optreden. boomdiagrammen: Boomdiagrammen zijn nuttig bij het weergeven van berekeningen die uit verscheidene stappen bestaan, de verschillende stappen na de eerste stap zijn dan voorwaardelijke kansen. regel van Bayes: Als A en B willekeurige gebeurtenissen zijn met een kans die noch gelijk is aan 1, noch aan 0 dan geldt: P (A B) = P (B A)P (A) P (B A)P (A) + P (B A c )P (A c ) onafhankelijke gebeurtenissen: hebben, zijn onafhankelijk als: Twee gebeurtenissen A en B die beide een positieve kans P (B A) = P (B) 20