Cursus Inleidende Statistiek

Transcriptie

1 Cursus Inleidende Statistiek Voor het Riza Door Aad Fioole Hetty Klavers Hans van Twuiver Werkdocument: Auteurs: 92011X (herziene versie) Hetty Klavers Hans van Twuiver Datum: augustus 1992

2

3 c t L4 a_61 Inhoudsopgave Inleiding. 1 Variabele: beschrijving frequentieverdeling Inleiding Meetniveau gegevens Grafische presentatie data Stemplot Histogram Beschrijving frequentieverdeling Midden van een verdeling Variantie van een verdeling Frequentieverdelingen Kansdichtheid Normale verdeling Chi-kwadraat(x2)-verdeling Student verdeling (of t-verdeling) F-verdeling Kenmerken van een verdeling...23 Relaties tussen variabelen Veranderingen in de tijd Lineaire groei en kleinste kwadraten methode Lineaire groei Kleinste kwadraten methode Bepaling residuen Exponentiële groei Inleiding De logaritmische transformatie Voorbeeld exponentiële groei: bevolkingsgroei Relaties tussen twee kwantitatieve variabelen Inleiding Grafische weergave: spreidingsdiagram Berekening kleinste kwadraten lijn Correlatie De berekening van de correlatie-coëfficiënt Interpretatie en beperkingen correlatie-coëfficiënt Relaties tussen kwalitatieve variabelen Analyse en beschrijving van twee kwalitatieve variabelen Maat van samenhang voor kwalitatieve variabelen: chi-kwadraat (x2) Het effect van niet gemeten variabelen Causale relaties: een waarschuwing... 53

4 3. Betrouwbaarheidsintervallen en toetsen Inleiding Betrouwbaarheidsintervallen Toetsen aan de hand van betrouwbaarheidsintervallen lnleiding Verschillen in twee gemiddelden (onafhankelijke steekproeven) Toetsen van één enkele hypothese: overschrijdingskansen Test voor populatiegemiddelde met bekende spreiding Test voor populatiegemiddelde met onbekende spreiding a Klassieke testen: van foutenniveau naar kritieke waarde De kritieke waarde en het foutenniveau a Type T en type II fouten Het verminderen van a en Valkuilen bij klassiek testen Het berekenen van Tweezijdig toetsen Eenzijdige testen en betrouwbaarheidsintervallen Niet-parametrische toetsen De sign-test voor de mediaan De Wilcoxon rangorde test Gepaarde waarnemingen lnleiding Verschillen in gemiddelden - gepaarde steekproeven Niet-parametrische toetsen en gepaarde waarnemingen (Wilcoxon) Het onderscheiding sverm ogen van verschillende toetsen Chi-kwadraat (x) testen Regressie Enkelvoudige lineaire regressie lnleiding Statistisch model Schatters voor parameters Betrouwbaarheidsintervallen en toetsen voor de parameters Schatten en voorspellen afhankelijke variabele Variantie-analyse voor regressie Voorbeeld toepassing SPSS-PC Meervoudige lineaire regressie lnleiding Statistisch model Uitwerking statistisch model Uitwerking voorbeeld Niet-lineaire regressie Literatuurlijst Tabellen Symbolen Index...145

5 Inleiding 'Statistics is the science of collecting, organizing, and interpreting numerical facts, which we call data' (Moore en McCabe, 1989). Deze omschrijving van statistiek geeft al aan dat de statistiek een ruim veld van activiteiten beslaat: van het verzamelen (vaak veel werk) tot het interpreteren van de verzamelde data. In deze cursus zal niet zozeer in gegaan worden op het verzamelen van data als wel op 'organizing and interpreting' van data. Vooral de fase van interpreteren dient met overleg te gebeuren. Voordat klakkeloos allerlei min of meer ingewikkelde statistische bewerkingen kunnen worden toegepast op een dataset, moet men eerst naar de data 'kijken'. Bovendien moet duidelijk zijn wat men wil met de data; toetsen gebruiken omdat deze nu eenmaal getallen produceren en als het een beetje meezit ook een significantieniveau, is niet de bedoeling. In deze cursus wordt geprobeerd om statistiek als hulpmiddel bij het analyseren van data te gebruiken. In de eerste twee hoofdstukken zal verder ingegaan worden op het 'kijken naar data'. In de daarop volgende hoofdstukken zullen toetsen en schatten en regressie (enkelvoudige lineaire regressie, meervoudige lineaire regressie en variantie-analyse) aan bod komen. 1

6 1. Variabele: beschrijving frequentieverdeling 1.1 Inleiding Gegevens zijn het resultaat van onderzoek en de basisingrediënten van de statistiek. In het algemeen bestaat een dataset uit eigenschappen of kenmerken van individuen of experimentele eenheden. In dit hoofdstuk worden verschillende (grafische) methoden getoond - en toetsen voorgesteld - die een eerste beeld geven van de gegevens. Want voordat er allerlei statistische toetsen worden gebruikt is het noodzakelijk om inzicht te hebben in de structuur van de data om te zien of aan de vereisten voor toepassing van een statistische toets wordt voldaan. Het is namelijk niet mogelijk om alle toetsen op alle soorten gegevens toe te passen. De toepassing van een bepaalde statistische toets, bijvoorbeeld het bekijken of twee steekproeven dezelfde gemiddelde waarde hebben, is afhankelijk van het doel wat aangetoond moet worden, de aard van de data en de structuur van de data. De onderwerpen die in dit hoofdstuk aan de orde komen zijn: de aard van de data (het meetniveau), het grafisch weergeven van de data, het beschrijven van de verdeling en verschillende typen van verdelingen. De relaties tussen kenmerken van experimentele eenheden worden in hoofdstuk 2 beschreven. 1.2 Meetniveau gegevens Het is belangrijk om eerst te bekijken wat voor soort gegevens er geanalyseerd moet worden. Voorbeeld 1.1 Meetniveau van gegevens Van de medewerkers van het RIZA is gegeven: - het geslacht (man of vrouw) - het ziekteverzuim (zeer weinig, weinig, gemiddeld, veel, zeer veel) - de leeftijd (in jaren) Om deze gegevens te kunnen kwantificeren zou de volgende codering gebruikt kunnen worden: man = 0, vrouw = 1, zeer weinig = 1, weinig = 2, gemiddeld = 3, veel = 4, zeer veel = 5. Dan is (0, 4, 40) een man, werkzaam bij het RIZA, die veel ziek is en 40 jaar oud is. De meetschalen zijn voor alle drie soorten gegevens verschillend. Het geslacht van een medewerker is een voorbeeld van een nominale schaal. Aan elke categorie wordt een getal (of naam) toegekend zodat elke categorie geïdentificeerd kan worden door verschillende getallen (of namen). Het heeft geen zin om rekenkundige bewerkingen toe te passen op dit soort data. Het berekenen van het gemiddelde geslacht van de medewerkers bij het RIZA heeft geen betekenis. We hadden immers net zo goed een andere codering kunnen gebruiken: man = 100 en vrouw = 200. Bij de beschrijving kan het percentage of ratio worden gegeven en ook kan er gekeken worden in welke categorie de meeste waarnemingen voorkomen (de modus). 3

7 Het ziekteverzuim is een voorbeeld van gegevens op ordinale schaal. De categorieën worden niet alleen geïdentificeerd maar ze zijn ook geordend. 'Zeer veel' ziek is meer dan 'veel' ziek, maar hoe vaker iemand dan ziek is kan niet afgeleid worden uit deze schaal. Het gemiddelde heeft voor deze gegevens dan ook geen betekenis. Wel kan bekeken worden in welke categorie de meeste waarnemingen voorkomen (de modus) en wat de middelste waarneming is van de geordende waarnemingen (de mediaan). Deze statistische maten zullen in 1.4 worden uitgewerkt. Als naast de volgorde ook de verschillen tussen waarden betekenis hebben dan is er sprake van een interval-schaal. Op intervalniveau is er sprake van een meeteenheid. Een voorbeeld is het meten van de temperatuur: het verschil tussen 10 en 200 C is even groot als het verschil tussen 20 en 30 C. Maar 20 C is niet twee keer zo warm als 100 C. Dit komt omdat het nulpunt arbitrair gekozen is. Het meetniveau met een absoluut nulpunt heet een ratio-schaal. Het bepalen van de leeftijd van de werknemers is een voorbeeld van gegevens op een ratio-schaal. Het verschil in leeftijd tussen 10 en 20 jaar is hetzelfde als tussen 20 en 30 jaar en een persoon van 20 jaar is twee keer zo oud als iemand van 10 jaar. Op interval-niveau en op ratio-niveau is het mogelijk om het gemiddelde uit te rekenen. Alle statistische maten die op een lager niveau gemeten zijn kunnen op hogere niveaus ook worden gebruikt, dus de mediaan en de modus kunnen ook op interval- en ratio-niveau gebruikt worden. De uitwerking komt later, maar het is belangrijk om te vermelden dat toetsen alleen toegepast kunnen worden als de gegevens van een bepaald meetniveau zijn. Toetsen gebaseerd op het gemiddelde kunnen alleen op interval- en rationiveau worden toegepast. In dit hoofdstuk staat de beschrijving van de dataset met één kenmerk centraal. Dit kenmerk wordt meestal variabele genoemd. Variabele Een variabele is een of ander karakteristiek van een persoon of een ding dat uitgedrukt kan worden in een getal. Leeftijd, lengte en gewicht maar ook geslacht van een zijn voorbeelden van een variabele. De waarde van een variabele is het actuele getal dat de variabele beschrijft. In dit hoofdstuk zal nu verder ingegaan worden op methoden die meer inzicht geven in de structuur van de dataset. 1.3 Grafische presentatie data Stemplot Zoals in de vorige paragraaf al aangegeven is, zal in dit hoofdstuk alleen gekeken worden naar datasets met één variabele. Aan de hand van voorbeelden zullen methodieken om een dataset te 'bekijken' aangereikt worden. EI

8 Voorbeeld 1.2 Stemplot blanco Met de vissen notobranchius worden proeven gedaan om afwijkingen aan het erfelijk materiaal te meten. Chromosomen uit cellen van het kieuwweefsel worden hiervoor gebruikt omdat de chromosomen daar zo mooi zichtbaar zijn. De vissen worden blootgesteld aan een concentratiereeks. Verwacht wordt dat een oplopende concentratie meer effect heeft oftewel dat er meer verkeerde uitwisselingen in de delingsfase van chromosomen optreden. Het aantal verkeerde uitwisselingen wordt geteld. Hieronder volgt een meetreeks voor een blanco, dit is een proef waarbij drie vissen in 'schoon' water gezwommen hebben. Er zijn telkens verkeerde uitwisselingen geteld in 10 cellen per vis Uit het bovenstaande voorbeeld blijkt dat de getallen niet gelijk zijn. Dit lijkt ook niet logisch want de omstandigheden waaronder de metingen verricht worden zijn niet overal gelijk geweest. Als grootste bron van de variatie kunnen de drie vissen die gebruikt zijn in het experiment aangewezen worden; deze vissen zijn wel op dezelfde manier gekweekt maar verschillen zullen er wel geweest zijn. Variatie in de getallen is dus te verwachten. Het patroon van variatie van een variabele wordt frequentieverdeling genoemd. De verdeling geeft aan welke waarden een variabele kan aannemen en hoe vaak dit gebeurt. De verdeling van een variabele wordt vaak grafisch weergegeven in een stemplot (elke regel van een stemplot begint met een label: een deel van het getal; daarna volgen de waarnemingen). Het 'recept' om een stemplot te maken, laat zich in een voorbeeld het makkelijkst uitleggen. Voorbeeld 1.2 (vervolg) Verdeel allereerst de waarde van elke waarneming in een 'stem' en een 'leaf'. In voorbeeld 1.2 is de 'stem' de waarde zelf en de 'leaf' is in dit geval 0. De waarde nul wordt 0,0 en de waarde 4 wordt 4,0. De stemplot komt er dan als volgt uit te zien: De belangrijkste eigenschappen van een stemplot (dus van de verdeling) zijn: Het midden van de verdeling: het middelste getal in de geordende reeks getallen. Deze waarde wordt meestal aangeduid met de term mediaan. In dit geval ligt het midden tussen het 15de en 16de getal: de mediaan is gelijk aan 1.(zie 1.4.1) De vorm van de verdeling: heeft de verdeling één piek of meerdere pieken'?. Is de verdeling (bij benadering) symmetrisch of scheef naar één kant. De verdeling is symmetrisch als de gedeeltes van de stemplot aan beide kanten 5

9 van het midden van elkaars spiegelbeeld zijn. De verdeling is scheef naar rechts als de 'rechterstaart' van de verdeling duidelijk langer is dan de 'linkerstaart'. Bij benadering symmetrisch betekent ongeveer gelijk; de beide staarten hoeven niet exact gelijk te zijn. In het voorbeeld is de verdeling duidelijk scheef naar rechts. Links van het midden zit alleen de waarde 0 en rechts van het midden de waarden 2, 3 en Let tenslotte op 'vreemde' afwijking van de algemene vorm: zijn er gaten in de stemplot of zijn er mogelijk uitschieters? Een uitschieter is een hoge waarde die niet past binnen de verdeling. In 1.4 wordt een methode gegeven om uitschieters te bepalen. Stel dat de waarde 10 gemeten is, dan kan er gezegd worden dat dit een uitschieter is. In het voorbeeld lijken er geen uitschieters te zijn, de waarde 4 lijkt goed te passen in het algehele beeld van de verdeling. Voorbeeld 1.3 Stemplot concentratie Hieronder worden de resultaten gegeven van vissen die in water met een bepaalde concentratie gezwommen hebben De bijbehorende stemplot is als volgt: { Deze verdeling lijkt symmetrisch op de waarde 9 na. De mediaan is gelijk aan 4. Het lijkt erop dat de waarde 9 een uitschieter is. Er zit ook een gat tussen de waarde 0 en 2 maas de waarde nul lijkt geen uitschieter. Om een waarde als uitschieter aan te merken moet er eigenlijk een duidelijke aanleiding toe bestaan. Vooral bij het grote datasets is er sprake van fouten die meestal ontstaan bij het invoeren van de gegevens; deze fouten zijn vaak te achterhalen door naar de originele data te kijken. Wanneer een uitschieter is ontstaan door het falen van apparatuur of abnormale omstandigheden, kan deze zonder pardon uit de dataset verwijderd worden. Wanneer het gemiddelde voor bovenstaand voorbeeld uitgerekend wordt is de waarde 9 van grote invloed. Het gemiddelde berekend met de waarde 9 is gelijk aan 3,67 en het gemiddelde bepaald zonder de waarde 9 is gelijk aan 3,48. Bij het bepalen van het midden van de verdeling, in dit geval het gemiddelde, heeft de waarde 9 een aanzienlijk effect op het gemiddelde, daarom is dit een correcte motivatie om het gemiddelde te berekenen zonder de waarde 9.

10 Wanneer de blancoverdeling met de behandelde vissen vergeleken wordt kan een 'back to back stemplot' gemaakt worden. Deze ziet er als volgt uit ii Er is een duidelijk verschil te zien in de beide verdelingen. Er is een beetje geforceerd gebruik gemaakt van 'stemplots' want de 'leaves' zijn niet echt verschillend. In het navolgende voorbeeld worden de 'leaves' gegeven en ook wordt een voorbeeld gegeven van het computerprogramma 'Statistix'. Voorbeeld 1.4 Stemplot met 'leaves' In Lobith wordt de parameter geleidendheid automatisch gemeten. Hieronder volgen een aantal maandelijkse gemiddelden Kies nu als 'stem' het eerste cijfer en als 'leaf het tweede. De 'stemplot' komt er dan als volgt uit te zien Deze stemplot lijkt symmetrisch, de mediaan ligt tussen het zesde en zevende getal in de geordende reeks en is gelijk aan (55 +56)12 = Er zijn geen uitschieters. In het volgende voorbeeld is gebruik gemaakt van een pakket om een stemplot te maken. Voorbeeld 1.5 Stemplot met Statistix De minimale dagafvoeren in Lobith in de jaren 1961 tot en met 1988 zijn achtereenvolgens:

11 Het pakket 'Statistix' produceert de volgende stemplot: STEM AND LEAF PLOT FOR AFVOER LEAF DIGIT UNIT = REPRESENTS De getallen zijn gedeeld door 10 en afgerond op hele cijfers ('leaf digit unit = 10'). In de eerste kolom staat het aantal waarnemingen dat onder een 'stem' valt. De verdeling heeft niet duidelijk één piek; de verdeling lijkt wel symmetrisch om de mediaan (1000) te zijn. Er zijn geen uitschieters Histogram Een andere, meer klassieke manier van het in beeld brengen van een verdeling is het maken van een histogram. In tegenstelling tot een stemplot brengt een histogram niet alle actuele waarden van de waarneming in beeld. In het geval van grote data-sets is een stemplot niet gemakkelijk te lezen en dan is het gebruik van een histogram aan te bevelen. Een histogram verdeelt het waardebereik van de variabele in klassen met gelijke breedte en toont alleen het aantal (of het percentage) van de waarnemingen dat in elke klasse valt. De stappen om een histogram te maken worden voor voorbeeld 1.4 uitgewerkt. De dataset uit dit voorbeeld is een kleine greep uit een dataset met tweewekelijkse gemiddelden. De oorspronkelijke dataset bestaat uit tweewekelijkse gemiddelden uit 1980 tot en met Voorbeeld 1.6 Histogram Stap 1 Klasse-indeling Verdeel het bereik van de dataset in klassen van gelijke breedte. In dit geval zien de klassen er als volgt uit. 40,0 <=geleidendheid < 50,0 50,0 <= geleidendheid < 60,0 150,0 <= geleidendheid < 160,0

12 Stap 2 Frequentie-tabel Tel het aantal waarnemingen (=frequentie) in elke klasse. Een tabel waarin deze frequenties opgesomd worden, heet een frequentie-tabel. Hieronder staat dit uitgewerkt voor het voorbeeld. Klasse aantal procent 40-49,9 2 1, ,9 5 3, , , , , , , , , ,9 12 7, ,9 3 1, ,9 5 3, ,9 5 3, ,9 2 1, ,9 2 1,2 Totaal ,1 Tabel 1.1 Frequentieverdeling afvoeren Lobith In de derde kolom van tabel 1 staan de relatieve frequenties in procenten uitgedrukt. Dit is het percentage van de waarnemingen die in een bepaalde klasse vallen. Eigenlijk zou de som van alle relatieve frequenties gelijk aan 100% moeten zijn. Het feit dat in de tabel 100,1 % staat, komt door afrondfouten. Elke relatieve frequentie is afgerond op één cijfer achter de komma, dus de som hoeft niet gelijk te zijn aan 100%. Stap 3 Teken het histogram (ook wel staafdiagram) Langs de horizontale as wordt in een histogram de klassen uitgezet en langs de verticale as worden de frequenties uitgezet. Elke staaf representeert een klasse en de hoogte van de staaf is de frequentie. Er wordt geen ruimte tussen de staven getekend. Histogrammen op intervalschaaj worden aan elkaar getekend en histogrammen op nominaal niveau worden gescheiden van elkaar getekend. Eb

13 Figuur 1.1 Histogram van de gegevens uit voorbeeld 1.5 Bij het beoordelen van een histogram moet op dezelfde zaken gelet worden als bij het beoordelen van een 'stemplot'. Waar ligt het midden van de verdeling; is de verdeling ongeveer symmetrisch; heeft de verdeling een dikke staart naar links of rechts; zijn er op het eerste gezicht verdacht hoge of lage waarden. Hoewel de duidelijkheid van een histogram afhangt van de gekozen klasse-indeling zijn deze bijzonderheden vaak goed terug te vinden. In dit voorbeeld is de mediaan gelijk aan 82,7 en lijkt de verdeling ongeveer symmetrisch te zijn, hoewel er aanwijzingen lijken te zijn voor een (kleine) staart naar rechts. Uitschieters zijn er niet. Omdat in histogram niet elke waarneming afzonderlijk, zoals het geval is bij een stemplot, afgebeeld wordt, gaat er informatie verloren maar dit weegt in geval van grote datasets niet op tegen het overzicht dat een histogram verschaft. In voorbeeld 1.6 is de absolute frequentie uitgezet. Het histogram voor de relatieve frequenties ziet er gelijk uit alleen de schaal langs de verticale as is anders. Histogrammen gebaseerd op relatieve frequenties worden gebruikt om de vormen van verdelingen te vergelijken (omdat de verticale schaal dan gelijk is). 1.4 Beschrijving frequentieverdeling Midden van een verdeling Het is belangrijk om bij het analyseren van gegevens enkele stappen door te lopen. Achterhaal eerst wat er precies gemeten is, hoe er gemeten is etc. Bekijk vervolgens de data. Eerst een plaatje maken en dan pas allerlei berekeningen uitvoeren. Zoek in eerste instantie naar de algemene vorm van de verdeling en daarna naar eventuele afwijkingen van deze vorm. 10

14 Uit de vorige paragrafen bleek dat het midden van een verdeling behulpzaam is bij het analyseren van stemplots en histogrammen. Er zijn verschillende statistische maten om het midden te bepalen. De meest gebruikte schatter voor het midden van een verdeling is het gemiddelde. Het gemiddelde kan gebruikt worden als de gegevens op intervalniveau of rationiveau gemeten zijn en als de verdeling niet te scheef is (als de verdeling 'normaal' is). Als de verdeling scheef is hebben de extreme waarden een grote invloed op het gemiddelde en dan is de mediaan beter. In het vervolg van dit hoofdstuk worden methoden aangereikt om te bekijken hoe de verdeling van de gegevens is. Definitie gemiddelde Als n waarnemingen x1,x,,... xgegeven zijn, is hun gemiddelde (s.) ook wel geschreven als: 1 x = -E x. n Voorbeeld 1.7 Gemiddelde bepalen Voor voorbeeld 1.2 is het gemiddelde van de blanco: 30 en voor de behandeling uit voorbeeld 1.3: 30 Zoals al eerder bekeken is de waarde 9 een waarneming waar extra aandacht aan besteed moet worden. Misschien is het een uitschieter en dat is van invloed op het berekende gemiddelde. Dit toont de zwakte van het gemiddelde als maat voor het midden van de verdeling: het gemiddelde is (zeer) gevoelig voor enkele uitschieters. Als een maat gevoelig is voor uitschieters dan wordt die maat een niet robuuste schatter genoemd voor het gemiddelde. Een robuuste schatter wordt niet sterk beïnvloed door enkele uitschieters, hoe groot deze uitbijters ook zijn. Een robuuste schatter voor het midden van de verdeling is al genoemd: de mediaan. De mediaan kan ook gebruikt worden wanneer de gegevens alleen geordend zijn, dus van ordinaal niveau. 11

15 Berekeningswijze mediaan De mediaan wordt als volgt berekend: 1 rangschik alle waarnemingen van klein naar groot. 2 als het aantal waarnemingen oneven is, is de mediaan M de middelste waarneming in de geordende rij. De positie is (n+l)12. 3 als het aantal waarnemingen even is, is de mediaan het gemiddelde van de twee middelste getallen in de geordende rij. De locatie is m=(n+1)/2. Voorbeeld 1.8 Berekening mediaan Om de mediaan te vinden voor de blanco dataset uit voorbeeld 1.2, zetten we eerst de waarnemingen op volgorde: Het aantal waarnemingen is 30, dus de mediaan is het gemiddelde van de middelste twee (vetgedrukte) getallen. De positie van de mediaan (m =(n+ 1)12) is gelijk aan 15,5 en de waarde van de mediaan is dan 1. De mediaan voor de behandelde vissen uit voorbeeld 1.3 waarbij de waarde 9 wordt weglaten ontstaat de volgende geordende dataset De mediaan is 4. De positie (m=(n+1)12) is in dit geval gelijk aan 15. Wanneer de waarde 9 wel wordt meegenomen, blijft de mediaan 4. De mediaan uit voorbeeld 1.6 is gelijk aan 82,7 en het gemiddelde is gelijk aan 86,3. Door de hoge waarden van waarnemingen wordt het gemiddelde verhoogd Variantie van een verdeling Niet alleen het midden maar ook de spreiding van de data rondom het midden is een belangrijke eigenschap van een verdeling. Twee verdelingen met dezelfde mediaan maar waarvan de ene verdeling een kleine spreiding en de andere verdeling een grote spreiding heeft zijn toch heel verschillend. De spreiding van een verdeling kan geschat worden door een aantal percentielpunten te bepalen. Het p-de percentielpunt van een verdeling is die waarde waarvoor geldt dat p procent van de waarnemingen kleiner of gelijk is aan het percentielpunt. Dus 10% van de waarnemingen is kleiner of gelijk aan loste percentielpunt. De mediaan is dus het 50ste percentielpunt. Kwartielen zijn ook veel gebruikte percentielpunten. Het eerste kwartiel is het 25ste percentielpunt en het derde kwartiel is het 75ste percentielpunt. Rangschik om een percentielpunt te bepalen eerst alle waarnemingen van laag naar hoog. Het eerste kwartiel wordt bepaald door de mediaan te nemen van de eerste helft van de waarnemingen en het derde kwartiel wordt bepaald door de mediaan van de tweede helft van de waarnemingen te nemen. 12

16 Voorbeeld 1.9 Bepalen kwartielpunten De waarnemingen uit voorbeeld 1.2 voor de blanco zijn geordend: Er zijn 30 waarnemingen en de positie van de mediaan is dus (30 + 1)/2 = 15,5. Het eerste kwartielpunt ligt op positie (15+1)/2=8 en is gelijk aan nul. Het derde kwartiel punt ligt op positie 15 + (15 + 1)/2 = 23 en is gelijk aan 1. Het eerste en derde kwartiel zijn vetgedrukt evenals de twee getallen waarmee de mediaan is bepaald. Uit de twee kwartielen samen met de mediaan kan afgeleid worden of de verdeling scheef is. Als het eerste kwartiel verder van de mediaan ligt dan het derde kwartiel is de verdeling scheef naar links. Als het derde kwartiel verder van de mediaan ligt dan het eerste kwartiel is de verdeling scheef naar rechts. Kwartielafstand De afstand tussen het eerste en het derde kwartiel is een simpele schatter voor de spreiding van de range waarin de helft van de waarnemingen liggen. Deze afstand wordt de kwartielafstand genoemd. De kwartielen geven geen indicatie waar de staarten eindigen en daarom is het minimum en het maximum van de waarnemingen ook belangrijk. Vaak worden in één adem de mediaan, het eerste en derde kwartiel, het minimum en het maximum genoemd om een eerste beschrijving van een verdeling te geven. 5 getallen samenvatting Een indicatie van de spreiding van de gegevens aan de hand van de volgende statistische maten: minimum, eerste kwartiel, mediaan, derde kwartiel, maximum Voorbeeld getallen samenvatting De waarnemingen uit voorbeeld 1.4 zijn eerst in volgorde gezet: De mediaan ligt op positie (12+1)12=6,5 en is gelijk aan 55,5. Het eerste kwartielpunt ligt op positie (6+1)/2=3,5en is gelijk aan 44,5. Het derde kwartielpunt ligt op positie 6+(6+1)/2=9,5en is gelijk aan 59,5. De 5 getallen samenvatting is dan: 38 44,5 55,5 59,5 75 De verdeling is scheef naar links, want tussen 44,5 en 55,5 zijn er evenveel waarnemingen als tussen 55,5 en 59,5. Het derde kwartiel ligt dichter bij de mediaan. Dit is niet afleidbaar uit de stemplot van voorbeeld

17 Bepalen van uitschieters Alle waarnemingen die kleiner zijn dan het eerste kwartjel verminderd met 1,5*kwartielafstand worden als uitschieter aangemerkt en ook alle waarnemingen die groter zijn dan het derde kwartjel vermeerderd met 1,5*kwartielafstand. In het voorbeeld is de kwartielafstand gelijk aan (59,5-44,5) = 15. De kwartielafstand vermenigvuldigd met 1,5 is gelijk aan 22,5. Alle waarden kleiner dan 44,5-22,5 =22 en groter dan 59,5+22,5=82,0 zijn uitschieters. Er zijn in het voorbeeld geen uitschieters. De gegevens van een 5 getallen samenvatting kunnen ook eenvoudig grafisch worden weergegeven in een z.g. boxplot. Boxplot tekenen Het beginpunt van de box is het eerste kwartielpunt en het eindpunt is het derde kwartielpunt. Zo ontstaat een box waarvan de lengte gelijk aan de kwartielafstand is. De mediaan is de lijn in de box. (In 'Statistix' wordt dit aangegeven met '+'.) Tenslotte worden er twee horizontale lijntjes aan beide zijden van de box getekend. Dit zijn de 'whiskers', met een lengte 1,5 *kwartielafstand. Indien er geen uitschieters zijn, worden de whiskers tot aan het minimum en maximum getekend. Als er wel uitschieters zijn, worden deze met kruisjes of rondjes (in 'Statistix') aangegeven in de boxplot en hebben de whiskers de maximale lengte. Voorbeeld 1.11 Boxplot tekenen In Den Bilt worden neerslaggegevens verzameld. De neerslag in juni wordt gedurende 10 jaar bekeken. De gegevens zijn in volgorde gezet Er zijn 10 waarnemingen; de mediaan is gelijk aan 45. Het eerste kwartiel is gelijk aan 36 en het derde kwartiel is gelijk aan 67. De 5 getallen samenvatting is dus De kwartielafstand is gelijk aan (67-36)=31. De kwartielafstand van 31 vermenigvuldigd met 1,5 is gelijk aan 46,5. De waarnemingen groter dan (67+46,5)=113,5en de waarnemingen kleiner dan (36-46,5)=-10,5zijn uitschieters. De laagste waarde in dit voorbeeld is 31. De waarde 128 is dus een uitschieter naar boven en er zijn geen uitschieters naar beneden. De boxplot ziet er dan als volgt uit: 14

18 I D ,5 128 Figuur 1.2 Boxplot voor de gegevens uit voorbeeld 1.11 De verdeling is niet echt symmetrisch te noemen. De standaardafwijking van het gemiddelde De meest gebruikelijke schatter voor de mate van spreiding is de standaardafwijking. De standaardafwijking is schatter voor de spreiding rondom het gemiddelde en mag alleen gebruikt worden in combinatie met het gemiddelde als schatter voor het midden van de verdeling. Definitie variantie en standaardafwijking De variantie van n waarnemingen x1, x,,... xs s 2 = j_e (x_)2 De standaardafwijking s is de wortel uit de variantie s2. Het idee achter deze formule voor de variantie en de standaardafwijking is als volgt. De verschillen (x-) geven de spreiding aan van de waarnemingen x, rondom het gemiddelde. Als we alle verschillen optellen komen we op nul uit, daarom worden de verschillen eerst gekwadrateerd: dit maakt alle getallen positief en de waarnemingen ver van het gemiddelde hebben een grote invloed. Dus de variantie s2 zal groot zijn wanneer de waarnemingen ver van het gemiddelde liggen en variantie s2 zal klein zijn wanneer de waarnemingen dicht bij het gemiddelde liggen. Omdat de eenheid van de variantie S2 niet gelijk is aan de eenheid van het gemiddelde (door het kwadrateren) wordt de wortel uit de variantie S2 genomen en geeft de standaardafwijking s de mate van spreiding van de waarnemingen rond het gemiddelde weer. De variantie s2 is dus het gemiddelde van de gekwadrateerde verschillen (x-. De variantie s2 wordt echter niet door n maar door n-1 gedeeld. Dit komt doordat de som van (x- gelijk aan nul is. Als de eerste n-1 verschillen (x-) bekend zijn kan de variantie S2 bepaald worden. Als er 10 waarnemingen zijn en 9 zijn er bepaald dan is de laatste ook bekend (de som is immers 0). Er zijn niet n ongerelateerde verschillen. De gemiddelde variantie wordt berekend met n-1 omdat alleen de eerste n-1 verschillen vrij gevarieerd kunnen worden. De waarde van n-1 wordt ook wel het aantal vrijheidsgraden ('degrees of freedom') genoemd. 15

19 Voor de berekening van de variantie moet telkens het verschil tussen de waarneming en het gemiddelde worden bepaald, daarna gekwadrateerd en gesommeerd. Om dit proces te versnellen wordt de volgende berekeningswijze toegepast die uitgaat van de totalen en niet van de individuele verschillen = -[ x n_ie -_(Ex)2] n Voorbeeld 1.12 Snelle berekening van variantie (en standaardafwijking) Voor de gegevens uit voorbeeld 1.3 volgt voor de variantie: ( x. --(t x.)2) n-1 n =5,21 de standaardafwijking is dan: s = = 1,49 Voorbeeld 1.13 Snelle berekening van variantie Voor de neerslaggegevens uit voorbeeld 1.11 volgt voor de variantie: ( x (x,)2) n-1 n = --( ) = 864, de standaardafwijking is dan: s =,f864,9 = 29,41 Tenslotte moet nog opgemerkt worden dat de standaardafwijking s alleen als schatter voor de spreiding gebruikt mag worden wanneer het gemiddelde gebruikt mag worden als maat voor het midden van de verdeling. De standaardafwijking s is alleen gelijk aan nul als alle waarnemingen aan elkaar gelijk zijn. In alle andere gevallen is de standaardafwijking s groter dan 0. 16

20 1.5 Frequentieverdelingen Kansdichtheid Tot nu toe zijn er voornamelijk grafische technieken gebruikt. Er zijn stemplots getekend, die echter als nadeel hebben dat ze onduidelijk worden als er veel gegevens zijn. De vorm van histogrammen is sterk afhankelijk van de keuze van de klassen. De boxplots laten alleen enkele eigenschappen van de verdeling zien. Ook percentielpunten geven slechts een beperkt beeld van een verdeling. Er is een manier om een verdeling te beschrijven in een enkele uitdrukking waarbij alleen gekeken wordt naar het algemene beeld van een verdeling. Uitschieters en andere afwijkingen van de algemene vorm blijven hierbij buiten beschouwing. Er wordt een mathematisch model voor de verdeling gemaakt (functie). Het hoekige histogram, waarbij gebruik gemaakt van relatieve frequenties, wordt benaderd door een gladde lijn. Deze lijn wordt de kansdichtheid genoemd. De eis van de kansdichtheid is dat het oppervlak onder de lijn gelijk is aan 1. Het pde percentielpunt van een kansdichtheid is dat punt waarbij p procent van het oppervlak 'links ligt'. Omdat de dichtheidsfunctie een idealisering van de werkelijkheid is, moet er onderscheid gemaakt worden tussen het gemiddelde en de standaardafwijking van de dichtheidsfunctie en het gemiddelde en standaardafwijking s zoals die berekend zijn uit de waarnemingen. De notatie die algemeen gebruikt wordt voor het gemiddelde van een kansdichtheid is j.t (mu) en voor de standaardafwijking van een kansdichtheid is dit o (sigma) Normale verdeling Er zijn allerlei verdelingen, maar een belangrijke klasse zijn de normale verdelingen. De normale verdelingen zijn symmetrisch, hebben slechts één piek en zijn 'klokvormig'. Alle normale verdelingen hebben dezelfde algemene vorm en ze worden allemaal geheel beschreven door twee parameters, namelijk het gemiddelde j en de standaardafwijking a. Het gemiddelde i is - bij een normale verdeling - gelijk aan de mediaan (symmetrie!). De formule van de dichtheidsfunctie: 1-1( X-P )2 e 2 17

21 Voor de normale verdeling kunnen we de 68% /95 % /99,7% regel afleiden: 68% van de waarnemingen liggen in het interval [-a, /.L + o] 95% van de waarnemingen liggen in het interval [u-2a, j+2a] 99,7% van de waarnemingen liggen in het interval [-3a, ji+3c] ; De notatie om aan te geven dat een variabele X normaal verdeeld is met gemiddelde en de standaardafwijking a is N(/L, a). Omdat een normale verdeling na een lineaire transformatie nog steeds normaal verdeeld is, standaardiseert men vaak een N(j.,cr) verdeling zodanig dat men een N(O, 1) verdeling krijgt. Dit is een standaard-normale verdeling (of z-verdeling) met gemiddelde 0 en standaardafwijking 1. De z-transformatie laat zich als volgt omschrijven: z= XL Kort samengevat wordt het verschil tussen de gemeten waarneming en het gemiddelde gedeeld door de standaardafwijking. De afstand tussen het gemiddelde en de waarneming wordt nu uitgedrukt in de eenheden van de standaardafwijking. Voorbeeld 1.14 Het berekenen van de z-waarde Stel dat de gemiddelde lengte van de Nederlanders normaal verdeeld is met een gemiddelde u =1,75m en een standaardafwijking a =0,20m. Dan is de gestandaardiseerde lengte van iemand van 1. 80m: 1,80-1,75 =0,25 0,20 Dit is dus 0,25*a (= 5 cm) meer dan het gemiddelde. UK

22 Iemand met lengte 1,50m heeft de volgende gestandaardiseerde lengte: = 1,50-1,75 r-1,25 0,20 Dit is dus 1,25*a minder dan het gemiddelde. Met deze methode kunnen velerlei vragen beantwoord worden, zoals welk gedeelte van de mensen in Nederland is kleiner dan 1,90m (ji =1,75m). Omdat de gestandaardiseerde lengte van 1,90m 0,75 is, is dit gedeelte gelijk aan de oppervlakte onder de standaard normale dichtheidsfunctie links van het punt 0,75. Dit kan in de z-tabel voor de N(0, 1) verdeling opgezocht worden: het oppervlak links van 0,75 is gelijk aan 0,7734 (als het gearceerde gedeelte van de tabel zich aan de rechterkant bevindt). Onder aanname van het gemiddelde en de standaardafwijking is ongeveer 77% van de Nederlanders kleiner dan 1,90m. Normaliteit testen Op zich is het veronderstellen van een normale verdeling als onderliggende verdeling voor een experiment een zware eis. Daarom is het goed om hier iets langer bij stil te staan. Een histogram geeft een eerste beeld van de normale verdeling (klokvormig, symmetrie en één piek). Als extra huiplijnen kunnen er verticale lijnen geplaatst worden op de x-as voor,3 ±s, k ±2s. In het laatste geval zal ongeveer 95% van de waarnemingen binnen deze grenzen bevinden. Normaliteit testen: een Q-Q plot Een methode om meer zicht te krijgen op de dataset is de normale Q-Q plot (quantile-quantile plot). Hiermee kan getoetst worden of de verdeling van de dataset als normaal getypeerd mag worden. Om een Q-Q plot te maken worden eerst alle waarnemingen geordend. Er wordt een plaatje gemaakt waarin de i-de waarneming uitgezet wordt tegen het i-de kwantiel (dit is de fractie) van de normale verdeling. In het onderstaande voorbeeld zijn 10 waarnemingen. De eerste waarneming is het lode kwantiel (0.1). In de z-tabel behoort bij 0.1 de z-waarde Zo kunnen ook de andere z-waarden bepaald worden. De tabel is symmetrisch dus de punten moeten op een rechte lijn liggen. Een Q-Q plot kan gemakkelijk met behulp van een statistisch pakket gemaakt worden. FWE

23 Voorbeeld 1.15 De weergave van een Q-Q plot Voor de waarnemingen uit voorbeeld 1.11 is een Q-Q plot gemaakt REGEN De punten in de grafiek liggen niet op een rechte lijn. Duidelijk is te zien dat de waarde voor 128 onder de rechte lijn ligt die getrokken kan worden door de andere punten. Dit duidt op een dunne staart naar rechts. Wanneer de waarde voor 128 boven de rechte lijn zou liggen, zou dit duiden op een dikke staart naar rechts. Voorbeeld 1.16 Q-Q plot Ook voor voorbeeld 1.6 hebben we een Q-Q plot gemaakt AFVOER X 10E3 Hoewel dit misschien niet direct uit de stemplot blijkt, lijken de punten in de grafiek redelijk op een rechte lijn te liggen. 20

24 Wilk-Shapiro test in een Q-Q plot Deze test onderzoekt of de verdeling op een normale verdeling 'lijkt'. Als de verdeling normaal is, is het getal gelijk aan 1. Verder geldt dat de uitkomst van de test kleiner of gelijk aan 1 is. Hoe dichter de uitkomst van de test bij 1 ligt des meer lijkt de verdeling op een normale verdeling. Dit is afhankelijk van het aantal waarnemingen en de gekozen onzekerheid a (zie tabel 4). APPROX. WILK-SHAPIRO De uitkomst van de test is in dit geval gelijk aan 0,97, dit ligt aardig dicht bij 1. De normale verdeling wordt vaak gebruikt omdat in de praktijk blijkt dat als er veel waarnemingen worden verricht de verdeling steeds meer de normale verdeling benadert en bovendien is de normale verdeling zeer van nut bij het toetsen. Er zijn echter nog andere verdelingen die afgeleid zijn van de normale verdeling Chi-kwadraat( ')-verdeling Wanneer er een aantal (n) standaard normale verdelingen X. worden gekwadrateerd en opgeteld, wordt de verdeling die zo ontstaat een chi-kwadraat verdeling genoemd met n vrijheidsgraden. Definitie Chi-kwadraat x2 Als X1,...,Xen X, standaard normaal verdeeld zijn dan is W(n) = Exi een chi-kwadraat verdeling met n vrijheidsgraden. De chi-kwadraat verdeling is niet symmetrisch en de vorm van de verdeling is afhankelijk van de grootte van het aantal waarnemingen n. 21

25 Hieronder staat een plaatje waarin de chi-kwadraat verdeling voor enkele waarden van n getekend is Student verdeling (of t-verdeling) De student verdeling is heel belangrijk in de statistiek. De student verdeling wordt als volgt gedefinieerd: Definitie student verdeling Laat X een standaard normale verdeling zijn en W(n) een chi-kwadraat verdeling met n vrijheidsgraden. Dan is x W(n) een student verdeling met n vrijheidsgraden. De student verdeling is symmetrisch. Als het aantal n groot wordt benadert de student verdeling de standaard normale verdeling. Hieronder staat een plaatje met een kansdichtheid voor een student verdeling met 3 vrijheidsgraden. Ter vergelijking is ook de kansdichtheid van de N(O, 1) verdeling getekend. 22

26 :3 verdeling - : N(O,1)verdeling f(x) F-verdeling Ook de F-verdeling is een belangrijke verdeling in de statistiek. Deze verdeling komt terug in hoofdstuk 4. Definitie F-verdeling Als X een chi-kwadraat verdeling heeft met m vrijheidsgraden (W(m)) en Y een chi-kwadraat verdeling met n vrijheidsgraden (W(n)). Dan heeft --x een F-verdeling met m vrijheidsgraden in de teller en n vrijheidsgraden in de noemer. 1.6 Kenmerken van een verdeling Naast de beschrijvingen van het gemiddelde van een verdeling en de spreiding van de verdeling zijn er nog een aantal maten die een beeld geven van de verdeling. Vanwege de terminologie die verwant is aan de normale verdelingen worden deze maten nu behandeld. Scheefheid van een verdeling Wanneer uit bijvoorbeeld een boxplot duidelijk geworden is dat de verdeling scheef is, kan de scheefheid van de verdeling geschat worden met behulp van de scheefheidscoëfficiënt B1: n 23

27 B1= (x - ( (x) 3 Als de verdeling symmetrisch is dan is B1 gelijk aan 0. Als de verdeling scheef naar rechts is, B1 >0 en als de verdeling scheef naar links is, is B1 <0. Er moet wel opgelet worden bij het interpreteren van de scheefheid van een verdeling omdat het niet automatisch zo is dat de verdeling symmetrisch is wanneer B1 gelijk aan nul is! Een plaatje om dit nog eens te controleren blijft dus nodig. Curtosis De dikte van de staart van de verdeling is ook erg belangrijk. Wanneer de verdeling bijvoorbeeld veel waarnemingen ver van het gemiddelde heeft, is er veel kans op een hoge waarneming. De curtosis schat de dikte van de staart. Een schatter B2 voor de curtosis: (x - B2 =(x-)2)2 Wanneer de staart dik is, is B2 ook groot. Voor N(j.,a) verdelingen is de curtosis gelijk aan 3. 24

28 2. Relaties tussen variabelen 2.1 Veranderingen in de tijd In het vorige hoofdstuk is aandacht besteed aan statistische maten om een verdeling te beschrijven, zoals het midden van de verdeling, de spreiding van de resultaten en de scheefheid van de verdeling. Uitgangspunt daarbij is de beschrijving van één enkele variabele. In dit hoofdstuk wordt ingegaan op de verandering van een variabele in de tijd en een beschrijving van de resultaten. Daarna wordt aandacht besteed aan de relaties tussen twee variabelen. Ook hier wordt de nadruk gelegd op de beschrijving en de eerste interpretatie van de resultaten. Daarbij wordt ingegaan op een methode om een lijn zo passend mogelijk te maken gegeven de data. Op basis van deze zogenaamde kleinste kwadraten methode wordt later de regressie-analyse gebaseerd. Voorbeeld 2.1 Waarnemingen in de tijd In de tabel staan de tweewekelijkse metingen van het chioridegehalte in Lobith. Deze data worden gebruikt voor een eerste inventarisatie van de verandering van een variabele in de tijd. De data staan vermeld in tabel 2.1. waarneming datum chioride waarneming datum chioride mg/l mg/l 1 9jan juli jan juli feb aug feb aug mrt sept mrt sept april oct april oct mei oct mei nov juni dec juni dec 217 Tabel 2.1 Lobith, 24 metingen van chioride 25

29 Uitgangspunt van de metingen kan zijn om de variabele in de tijd stabiel te houden. De data van de concentratie van chioride variëren van 117 mg/1 tot 317 mg/l. Er is spreiding in de data en het is de vraag of er een trend te onderscheiden valt, dat wil zeggen een systematische verandering in de tijd (echte tijdreeksanalyses vallen buiten het bestek van dit werkboek, maar indicaties zijn te geven) of dat er uitbijters zijn, dat wil zeggen extreme hoge of lage waarnemingen die duiden op bijzondere omstandigheden. De vraag is dus of er tekenen zijn van spreiding boven het regelmatige patroon van spreiding in de variabelen. Het stabiel houden van een variabele wordt aangeduid met de term statistische beheersing: deze situatie treedt op wanneer de variabele in de loop der tijd kan worden beschreven met dezelfde verdeling. Een variabele blijft niet hetzelfde, er is altijd sprake van variantie. Statistische beheersing houdt in dat het patroon van variabiliteit hetzelfde blijft. In eerste instantie wordt dan gekeken of het mogelijk is om de variantie van de variabele te onderscheiden van de extra variantie die wijst op een echte verandering. De eerste stap is om de gegevens uit tabel 2.1 in een grafiek af te beelden. Op de x-as staat de tijd en op de y-as de variabele. Deze grafiek wordt een scatterplot (spreidingsdiagram) genoemd. (Zie figuur 2.1) De combinatie van statistische maten en grafieken werkt zeer verhelderend om een beeld te krijgen van de data. ChIQ- ide-qeite In Lobith 320 Vfl J.1tS1 t/u = Do Cl o S Figuur 2.1 Een scatterplot van chioride De veranderingen in de concentratie worden verticaal weergegeven. Uit figuur 2.1 blijkt er een aanzienlijke spreiding is. Als er sprake zou zijn van een normale verdeling hebben de gegevens uit tabel 2.1 een gemiddelde van 183,75 mg/l en een spreiding van 57,9 mg/1. De verdeling kan dan in de grafiek getoond worden met een lijn die het gemiddelde aangeeft en twee lijnen die op twee standaardafwijkingen (naar onder en naar boven) van het midden zijn geplaatst. Dit zijn de 'control limits'. Als de concentratie statistisch beheerst is dan valt ongeveer 5 % van de waarnemingen buiten deze grenzen. Dit is dus de 68%/95%/99,7% regel van de normale verdeling (1.5.2) 26

30 Uit figuur 2.2 blijkt dat twee waarnemingen buiten de grenzen vallen (dat is ongeveer 8%). Deze grafiek waarin een variabele tegen de tijd wordt uitgezet wordt ook wel een 'control chart' genoemd bovengreus ChIorlde-geJte bij Loblth 5,11049 lsuuarl-dqcqlb9r r u cefttrale fl1] S 7 9 ii II 23 narnezinsen Figuur 2.2 De 'control chart' van chloride Deze grenzen zijn behulpzaam in het onderscheiden van spreiding die inherent is bij het meten van variabelen en bijzondere spreiding die onderzocht moet worden. Waarom komen de laatste twee metingen boven de grens uit? Als eerste inventarisatie van een variabele tegen de tijd voldoet deze scatterplot goed, maar er zitten een paar adders onder het gras. Bij de bepaling van de onder- en bovengrens wordt uitgegaan van een normale verdeling en dat hoeft niet altijd het geval te zijn. Daarnaast wordt de spreiding gemeten over een lange periode (hier een jaar) zodat een eventuele lange-termijn verandering ook in de berekening van de spreiding wordt meegenomen, naast de korte-termijn spreiding. Er moet dus rekening gehouden worden met het feit dat de spreiding dan te groot is. Bij een normale verdeling zou ongeveer de helft van de waarnemingen boven het midden uitkomen en de andere helft eronder. In figuur 2.2 blijkt dat aan het einde van de gemeten periode de meeste waarden boven het midden liggen. Het is nodig dat grafieken aangevuld worden met statistische maten om de data te analyseren. 2.2 Lineaire groei en kleinste kwadraten methode Lineaire groei Uitgangspunt in de vorige paragraaf was dat er min of meer een stabiele situatie bestaat met daarbij variantie van de variabelen. Maar het is ook mogelijk dat er patronen van verandering zijn in de tijd: naast lineaire groei ook exponentiële groei. Voorbeeld 2.2 Lineaire groei De toename van de schelplengte van de zebramossel (Dreissena polymorpha) vertoont een lineaire groei. (figuur 2.3) 27

31 De eerste stap is het geven van een grafiek van de data tegen de tijd. Dan kan er gekeken worden naar de algemene trend en de afwijkingen van dat patroon. Het algemene patroon van groei is duidelijk: de punten volgen een rechte lijn. Het is niet precies een rechte lijn, maar er zijn ook geen uitbijters. Qoe i zrtice IMtino lengte OS øe tas t.fl : 1 S 7 Figuur 2.3 De lineaire groei van de zebramossel Lineaire groei betekent dat de lengte van de mossel met een vaste waarde toeneemt per tijdsperiode. Voor de rechte lijn is de volgende vergelijking van toepassing: y = a + bt In deze vergelijking is b de richtingscoëfficiënt of helling (de hoeveelheid waarmee y verandert als t één waarde groter wordt). Het getal a is de intercept of asafsnijding (de waarde van y wanneer t = 0). In het voorbeeld van de zebramossel geldt dan de volgende vergelijking: lengte = a + (b*leeftijd) Als een rechte lijn precies door de punten in grafiek 2.3 gaat dan is dat een compacte beschrijving van de data. Maar dat is meestal niet het geval en moet er gezocht worden naar een lijn die zo goed mogelijk past op de data. De meest bekende methode is de methode van de kleinste kwadraten ('method of least squares'). Deze methode kijkt naar de verticale afwijkingen van de geobserveerde punten van de lineaire vergelijking. Er wordt gekeken naar de verticale richting omdat die variabele geschat moet worden (bijvoorbeeld de lengte van de zebramossel). Want de conventie is dat de afhankelijke variabele, de variabele die geschat moet worden, altijd op de y- as wordt afgebeeld. Wanneer de lijn redelijk past dan zullen sommige punten boven de lijn liggen en de andere eronder. Sommige afwijkingen zijn positief en andere negatief: bij kwadratering worden alle afwijkingen positief. Vervolgens worden alle gekwadrateerde afwijkingen bij elkaar opgeteld. Door deze aanpak wordt die lijn gekozen die de kleinste som van gekwadrateerde verticale afwijkingen heeft. PX

32 Kleinste kwadraten lijn De kleinste kwadraten lijn is die lijn die de som van de gekwadrateerde afwijkingen van de data ten opzichte van de lineaire lijn in de verticale richting zo klein mogelijk maakt Kleinste kwadraten methode Het schatten van een (lineaire) regressielijn komt uitgebreid in hoofdstuk 4 aan de orde, waarbij ook gebruik gemaakt wordt van de kleinste kwadraten methode. Nu zal worden aangegeven op welke wijze met behulp van deze methode een lineaire lijn geschat kan worden. In het voorbeeld van de zebra-mossel is de verandering van de lengte in de tijd gevolgd. Maar de kleinste kwadraten methode is ook te gebruiken bij de relatie tussen twee variabelen. Deze worden in het vervolg omschreven als y- variabele en de x-variabele. De variabele die niet te beïnvloeden is, zoals tijd, of de variabele die geacht wordt van invloed te zijn op een andere variabele komt op de x- as te staan. Bij regressie is het de bedoeling de y-variabele te schatten aan de hand van de gegeven waarde van de x-variabele. De observaties van de twee variabelen x en y worden als volgt omschreven: (x1, y1),(x2,y2),...,(xy11) De vergelijking van de lineaire lijn is: Y=a+bX Om aan te geven dat de y-waarde geschat is met behulp van de x-waarde krijgt de schatting van y een speciale notatie ( ): = a + bx De waarde van ' wordt geschat zodat de fout in de voorspelling gemeten wordt bij de y-variabele (in de verticale richting). De fout, het residu, is het verschil tussen de geobserveerde waarde van y en de geschatte waarde van y. Residu = geobserveerde waarde van y - de voorspelde waarde van y = yi - S, = y - a - bx 4J

33 Sommige van deze residuen zijn positief en de overige zijn negatief. De kleinste kwadraten methode kiest die lijn die de som van de gekwadrateerde residuen zo klein mogelijk maakt. Er is een formule nodig die de richtingscoëfficiënt b en de intercept a uitrekent om een lijn te schatten die zo goed mogelijk de gegeven data representeert (het 'fitten' van een lijn). Daarbij moeten de intercept a en de richtingscoëfficiënt b zo gekozen worden dat het patroon van verticale afwijkingen (d), het residu, zo klein mogelijk is. De som van deze afwijkingen bij de berekende richtingscoëfficiënt b en intercept a moet dus zo klein mogelijk zijn. minimaliseer E d2 = (Y - Ofwel minimaliseer de hoeveelheid Voor de gegevens uit tabel 2.2 zouden dan a en b zo gekozen moeten worden dat de volgende vergelijking zo klein mogelijk wordt: (6,5 - a - lb)2 + (7,2 - a - 2b)2. De som van de gekwadrateerde afwijkingen zo klein mogelijk maken is criterium van de kleinste kwadraten en de methode selecteert een unieke lijn, de kleinste kwadratenlijn. De richtingscoëfficiënt b en intercept a kunnen berekend worden aan de hand van de volgende formules: b = (X -)(Y - Het sommatieteken in de bovenstaande vergelijking geeft aan dat over alle geobservoerde waarden van X1 of Y1 de berekening moet worden uitgevoerd. In de formule worden de afwijkingen van de geobserveerde waarden ten opzichte van de gemiddelde waarden berekend: zowel voor de x-waarden (tijd) als voor de y- waarden (de lengte van de mosselen). 30

34 Voorbeeld 2.2 vervolg metingen lengte x-5 y-3' (x- )(y-) (x-y )2 1 6,5-3 -2,6 7, ,2-2 -1,9 3, ,3-1 -0,8 0, ,7 0 0, ,3 1 1,2 1, ,5 2 1,4 2, ,2 3 2,1 6,3 9 = 4 ' 9, ,7 28 Tabel 2.2 Berekening van richtingscoëfficiënt b Voor b geldt: b = (x-x)(y--y) = 22,7 = 0,81 28 E(x-)2 Wanneer de richtingscoëfficiënt b gevonden is kan de intercept a worden bepaald aan de hand van de volgende formule: a = - b = 9,1-0,81(4) = 5,86 Nu de richtingscoëfficiënt b en de intercept a bekend zijn kan de vergelijking van de kleinste kwadraten lijn als volgt worden geschreven: = 5,86 + 0,81X Aan de hand van de 7 data is een lijn geschat - de parameters a en b - waarvan de verticale afwijking dus het kleinst is. (zie figuur 2.4) De verticale afwijking (residu) is het verschil tussen de geschatte waarde aan de hand van de berekende lineaire functie en de feitelijk geobserveerde waarde. Dit is in figuur 2.4 aangegeven. 31

35 Groei zebramossel )le9ing lengte ac de twee Teken 11 to 9 8 ntv t) klmi ' anefznijdiiig 3 2 t 0,cbatttnq vee T e Neetdeqen Figuur 2.4 De lineaire functie en de afwijking De richtingscoëfficiënt b van bovenstaand voorbeeld is 0,81. De richtingscoëfficiënt is de stijging in y die overeenkomt met een stijging van één eenheid van x (of in dit voorbeeld van t). De schatting is dat de lengte van de zebramossel bij de volgende meting (twee weken later) 0,81 mm langer is. De intercept a geeft de geschatte waarde van y aan, wanneer x = 0. Met behulp van computerprogramma's is de vergelijking van de lineaire lijn eenvoudig te bepalen. Dit gebeurt meestal bij regressievergelijkingen want dat is een vergelijking die geschat wordt met behulp van de kleinste kwadraten lijn. De lijn kan gebruikt worden om voorspellingen te doen: hoe groot is de zebramossel bij de 8 meting (na 4 maanden)? Dit kan worden afgelezen uit de tabel, maar ook berekend worden met behulp van de functie: lengte = 5,86 + 0,81(8) = 12,34 mm Blindelingse toepassing van de vergelijking levert echter onzinnige toepassingen op, want stel dat er gekeken wordt naar de 12 e meting (na 6 maanden) dan wordt de geschatte lengte 15,58 mm en dat is voorbij de fysieke grenzen. Het gebruik maken van de geschatte lijn buiten het bereik van de data is extrapolatie. De groei vlakt af na de 7 meting en schattingen maken aan de hand van de lineaire functie buiten het bereik van de originele data is riskant. De accuraatheid van de voorspellingen van een (regressie-)lijn is afhankelijk van de hoeveelheid spreiding die de data rond de lijn vertonen. Wanneer alle data dicht in de buurt van de lijn liggen is er meer vertrouwen in de betrouwbaarheid van de schatting dan wanneer de data een grote spreiding vertonen. In het hoofdstuk over regressieanalyse (hoofdstuk 4) wordt nader ingegaan op het bepalen van de betrouwbaarheid van de voorspellingen. 32

36 2.2.3 Bepaling residuen De afwijking van de geobserveerde waarde en de geschatte waarde (y-, ) geeft vaak extra informatie over de 'passendheid' van de geschatte lijn. Deze afwijkingen kunnen het beste bekeken worden door deze residuen weer te geven in een grafiek. Bij de zebramossel was de geobserveerde lengte bij de 4 meting 9,7 mm terwijl de berekende lengte 9,1 mm bedraagt. Het residu bij de 40 meting is dus 9,7-9,1 = 0,6 mm. Alle residuen worden getoond in figuur 2.5. De verdeling van de residuen kan worden bekeken op uitbijters of op de vraag of het een normale verdeling is. In dit hoofdstuk is de aandacht gericht op de beschrijving van de data en dan komen vragen aan de orde als: Is de relatie tussen y en x (of t) lineair? Zijn er uitbijters? Zijn er aanwijzingen dat y door andere variabelen wordt beïnvloed dan door x (of t)? Daartoe worden grafieken gemaakt van de residuen tegen andere variabelen, zoals de tijd. Een voorbeeld daarvan is figuur 2.5. Pesidu zebragnossel o S U..td.Q.fl Figuur 2.5 Residu van lineaire functie De residuen kunnen in een grafiek worden uitgezet tegen de corresponderende waarden van de variabele x of andere variabelen of tegen de tijd (als y afhankelijk is van een variabele die verandert in de tijd). Als er sprake is van een lineair verband dan zullen de residuen verspreid liggen in een ongestructureerde horizontale band rond de waarde nul (het gemiddelde van de residuen). In het voorbeeld van de zebra-mossel blijkt dat er evenveel waarden boven als onder het gemiddelde liggen en dat er geen sprake is van een bepaald patroon. Andere vormen van residuele spreiding zijn het boogachtige patroon dat wijst op een niet-lineaire relatie en het uitwaaierende patroon waar de waarden van y een grotere spreiding vertonen naarmate x (of t) groter wordt. De voorspellingen van y zijn dan preciezer bij kleinere waarden van x. 33

37 Boogachtig patroon Y... ResiduI Y Y x.. : S r... S S Uitwaaierend patroon Y x Residuen kunnen worden berekend ten opzichte van elke geschatte lijn, maar de residuen van de lijn die geschat wordt met behulp van de kleinste kwadraten methode hebben een aantal typerende kenmerken: * de som (en daarmee het gemiddelde) van de residuen is nul; * de spreiding van de residuen (de spreiding rond de lijn) is het kleinst voor alle mogelijke lijnen die door de data getrokken kunnen worden. De analyse van residuen leidt tot het identificeren van uitbijters maar niet van belangrijke waarnemingen. Uitbijter en belangrijke waarnemingen Een uitbijter is een waarneming waarvan het residu groot is en een waarneming is belangrijk als verwijdering van die waarneming leidt tot een aanzienlijke verandering van de lijn. (In wordt de invloed van een belangrijke waarneming getoond.) 34

38 De kleinste kwadraten methode is gevoelig voor extreme waarden, dat wil zeggen dat de lijn beïnvloed wordt door de waarnemingen met een hoge x-waarde. Door de invloed van deze waarnemingen zijn het vaak geen uitbijters omdat zij de lijn naar zich toe trekken. Aan de hand van de grafiek van de y-waarden tegen de x-waarden zijn deze belangrijke waarnemingen te ontdekken. De vraag is dan of deze waarnemingen in de analyse moet worden betrokken of verwijderd. Lineaire regressie kan altijd worden toegepast of er een lineair patroon is of niet: het is de verantwoordelijkheid van de onderzoeker om de lineaire regressie toe te passen. 2.3 Exponentiële groei Inleiding Een variabele groeit lineair in de tijd wanneer er een vaste hoeveelheid wordt toegevoegd per tijdsperiode. Dit komt tot uiting in het voorbeeld van de zebramossel die per tweewekelijkse meetperiode 0,81 mm groter wordt. Exponentiële groei treedt op wanneer een variabele wordt vermenigvuldigd met een vast getal in elke tijdsperiode. Bijvoorbeeld de toename van de watervlooien: eerst groeit het aantal langzaam maar als er steeds meer komen gaat de groei sneller. Dus lineaire groei stijgt met een vaste hoeveelheid in de tijdsperiode, terwijl exponentiële groei stijgt met een vast percentage van het vorige totaal. Tenzij er grenzen van buiten worden gesteld zoals gebrek aan voedsel. Door het vaste percentage is de tijd die nodig is om de hoeveelheid te verdubbelen constant ongeacht de hoeveelheid die er bij het begin was. Bij een lineaire groei is de combinatie van beginhoeveelheid en toename van belang. Bij exponentiële groei is alleen het groeipercentage van belang bij de bepaling van de tijd die nodig is om de hoeveelheid te doen verdubbelen. Doubling time: Als een aantal exponentieel groeit met een percentage van R % per periode dan is de verdubbelingstijd ongeveer 70/R perioden. Voorbeeld: als het rentepercentage 7% per jaar bedraagt dan verdubbelt het spaartegoed in 70/7 = 10 jaar De logaritmische transformatie Een manier om te kijken of er sprake is van een exponentiële groei is het toepassen van een wiskundige transformatie om de exponentionele groei om te zetten in een lineaire groei. Vervolgens kan gemakkelijker bekeken worden of er inderdaad sprake is van een exponentiële groei omdat een rechte lijn gemakkelijker te interpreteren valt: als een variabele exponentieel toeneemt dan stijgt het logaritme daarvan lineair. Een niet-lineair verband kan dan worden benaderd met een lineaire regressie nadat er een transformatie heeft plaatsgevonden. 35

39 De gegevens worden getransformeerd door de logaritme te nemen van deze gegevens. De meest bekende logaritmische transformaties zijn log (met als basis het getal 10) en de natuurlijke log of in (met als basis het getal e met als waarde 2,718). In het algemeen geldt dat: Voorbeeld: 'log b = c als ac = b ' log 100 = 2 als 102 = 100 Als eigenschap van een logaritme geldt het volgende: In x = n In x Het exponentiële verband wordt omgezet in een lineair verband in de logaritmen waarbij de richtingscoëfficiënt gelijk is aan n. Voorbeeld: y= In y =in x2,dus In y = 21n x De voordelen van logaritmische transformatie zijn: * de beoordeling van de toepasbaarheid van een wiskundige vergelijking wordt gereduceerd tot de vraag of de punten na de transformatie op een rechte lijn liggen; * de verticale schaal van de grafiek wordt kleiner zodat afwijkingen in de eerste fasen van de groei beter zichtbaar worden (afwijkingen van de rechte lijn zijn gemakkelijker te identificeren dan in een sterk toenemende kromme). Bij een lineaire verandering in de tijd wordt de waarde van de variabele y op tijdstip t beschreven door de vergelijking: y = a + bt Exponentiële groei kan op dezelfde manier beschreven worden als daarbij meteen de logaritme wordt genomen. Dus als y exponentieel groeit dan geldt de volgende vergelijking: log y = a + bt Exponentiële curves De vergelijking voor een exponentiële curve is y=act

40 In deze vergelijking is de constante c het percentage van exponentiële toename of afname en is A de startwaarde van de variabele y. A, c en t zijn allen positief. Voorbeeld: als er honderd gulden op de bank gezet wordt tegen 7 procent samengestelde rente dan is het bedrag na t jaar: y = 100 (1.07)t. De tijd t verschijnt als exponent in de vergelijking. Wanneer de waarde t met 1 stijgt dan wordt de variabele y vermenigvuldigd met c. Dus y stijgt in de loop der tijd als c groter is dan 1 en daalt wanneer c kleiner is dan 1. Als c = 2 dan verdubbelt y in elke periode (en wordt gehalveerd als c = ½). Wanneer t = 0 dan is c = 1. De constante A is dus de startwaarde van y. Als van de vergelijking y = Act de logaritme van beide kanten wordt genomen dan wordt de vergelijking als volgt: log y = log A + (t)log c Log y volgt een rechte lijn wanneer log y uitgezet wordt tegen t. De helling van de lijn is log c, die positief is wanneer c groter is dan 1. Wanneer c < 1 dan daalt de waarde van y wanneer t groter wordt. Deze curven worden aangeduid met de term exponential decay. Hoe lager de waarde van c des te sneller gaat de y-waarde omlaag. De y- waarde wordt nooit negatief, maar komt wel steeds dichter bij nul. Een voorbeeld van exponentiële afname is radio-activiteit: een gelijke percentuele afname in een dezelfde tijdspanne. Net als bij lineaire groei is het belangrijk het mechanisme te weten van de exponentiële groei. Wanneer dat niet bekend is dan moet er bijzonder opgepast worden voor extrapolatie. De residuen zijn een aanwijzing voor de passendheid van het exponentiële groeimodel aan de data. Daartoe wordt een rechte lijn 'gefit' ten opzichte van de logaritmen en de residuen zijn de afwijkingen van de logaritmen van deze lijn. Voor de bepaling van de residuen geldt hetzelfde verhaal als bij de lineaire groei: residu = geobserveerde waarde - voorspelde waarde. De interpretatie is als volgt: een residu van nul betekent een groei die gemiddeld is aan de totale periode en een positief residu betekent een groei die hoger is dan de gemiddelde groei. Door het gebruik van logaritmen is het moeilijk om een voorspelling te geven: er treedt een vertekening op. De voorspelling is immers de logaritme en die moet worden omgezet in de oorspronkelijke waarde. De y-waarde kan worden bepaald door gebruik te maken van de basis-logaritme. Als voor y = Act log A uitgerekend wordt (bijvoorbeeld log A = 1,26) dan moet deze waarde worden omgezet: log A = 1,26 dan is A = = 18,2). De waarde van t blijft onveranderd omdat deze geen deel uitmaakt van een logaritme. Omdat de lange-termijn groei een gemiddelde is over verschillende perioden van wat snellere en langzamere groei is een voorspelling moeilijk te geven. 37

41 2.3.3 Voorbeeld exponentiële groei: bevolkingsgroei De bevolking van de Verenigde Staten vertoonde in de periode van een groei. De stijging is zo snel dat er aan exponentiële groei wordt gedacht. De waarden worden omgezet in logwaarden. Er wordt gedacht aan het volgende model: P = AeX P is de bevolking, X is de verstreken tijd en A en B zijn coëfficiënten die geschat moeten worden. Er wordt uitgegaan van de natuurlijke logaritme e (in). Na transformatie ontstaat de volgende vorm: in P = in A + Bx De gegeven data P en X worden ingeiezen waarna in P wordt berekend (= Y). Daarna schat de computer de simpele regressie van Y tegen X. De regressieljn is de volgende: P X Y(lnP) Y = in P = X Vervolgens moet de iogtransformatie ongedaan worden gemaakt door de exponenten te nemen: P = e324e P = 25.5e De coëfficiënt 25.5 is de intercept P (wanneer X = 0). De coëfficiënt b =.022, dat wil zeggen een jaarlijkse groei 2,2%.

42 2.4 Relaties tussen twee kwantitatieve variabelen Inleiding Wanneer er gekeken wordt naar de relatie tussen twee variabelen moet bekend zijn op welk niveau deze variabelen gemeten zijn: zijn het kwantitatieve variabelen of zijn er ook kwalitatieve variabelen bij? Kwantitatieve variabelen zijn variabelen die numerieke waarden aannemen en waarbij het mogelijk is om gemiddelden en standaardafwijkingen te berekenen. Kortom variabelen op interval- of rationiveau. Met kwalitatieve variabelen - nominaal of ordinaal niveau - zijn numerieke bewerkingen niet zinvol. Bij bestudering van meer dan één variabele is het nodig om de aard van de relatie te kennen. Er kan gekeken worden naar het patroon tussen twee variabelen, maar het is ook mogelijk om te kijken of de ene variabele verklaard kan worden door de andere variabele. Om terug te keren naar het voorbeeld van de concentratie van chioride gemeten in Lobith: er is een relatie met het debiet. Kan het debiet de veranderingen in de het chioride-gehalte verklaren? Want hoe hoger het debiet des te lager de gemeten concentratie. Het debiet is dan de verklarende (of onafhankelijke) variabele en de concentratie chioride is de response-variabele (of de afhankelijke variabele). Respons-variabele en verklarende variabele Een respons-variabele meet de uitkomst en een verklarende variabele probeert de geobserveerde uitkomsten te verklaren. Veelal is het de bedoeling om aan te tonen dat verandering in één of meer verklarende variabelen veranderingen teweeg brengt in de respons-variabele. Maar dat houdt niet in dat er altijd sprake is van directe veroorzaking (causale verbanden). Principes om de data te analyseren zijn: * combinatie van grafieken en numerieke samenvattingen; * algemene patronen zoeken en afwijkingen van deze patronen; * mathematische modellen ontwikkelen voor de data en beschrijvende maten voor specifieke aspecten van de data. Deze aanpak is gepropageerd in hoofdstuk 1 waar één variabele centraal staat, maar blijft onverminderd van kracht wanneer er meerdere variabelen in de analyse worden betrokken Grafische weergave: spreidingsdiagram De relatie tussen twee kwantitatieve variabelen kan het best grafisch worden weergegeven. Voorbeeld 2.4 Relatie twee kwantitatieve variabelen Het chloride-gehalte bij Lobith in 1989 vertoont een grillig karakter. Nu is het bekend dat er een relatie bestaat tussen de concentratie van chloride en het debiet. Deze relatie wordt verder onderzocht. In tabel 2.3 staan naast de chioride-gehaltes nu ook de debieten vermeld. wel

43 waarneming debiet m3/s chioride mg/1 waarneming debiet m3/s chioride mg/ Tabel 2.3 Lobith, 24 metingen van chioride en het debiet Het is moeilijk om aan de hand van deze tabel het globale patroon aan te geven (hoger debiet leidt tot lager chioride-gehalte) en het is nog moeilijk om de sterkte van de relatie aan te geven of om significante veranderingen te zien. Als eerste stap worden de gegevens in een scatterplot uitgezet: elke vierkantje in figuur 2.6 is een meting (chioride-gehalte en debiet). De gegevens zijn nu niet gerangschikt naar de datum zoals in figuur 2.1, maar naar oplopend debiet. Kijk bij de interpretatie van een scatterplot eerst naar het algemene patroon. Dit patroon moet een indicatie geven voor de richting, de vorm en de sterkte van de relatie tussen het chioride-gehalte en het debiet. De richting is duidelijk waarneembaar in figuur 2.6: hoe hoger het debiet (per dag) des te lager is het chloride-gehalte. Debiet en chioride-gehalte vertonen een negatieve relatie. Positieve relatie, negatieve relatie Twee variabelen vertonen een positieve relatie wanneer de hoge waarden van de ene variabele samengaan met de hoge waarden van de andere variabele, en lage waarden ook samen voorkomen. Twee variabelen vertonen een negatieve relatie wanneer hoge waarden van de ene variabele samengaan met lage waarden van de andere variabele en vice versa. we

44 350 ChIoride-gehate en debieten D r1at fl 1v66 s1ab61ifl o u U Z delicten 2515 end Figuur 2.6 Relatie chioride-gehalte en debiet De vorm van de negatieve relatie is bij benadering lineair, maar er is veel spreiding. Het meest opvallend is de cluster van waarnemingen tussen 1200 en 1800 m3is van het debiet. Waarden van het debiet die dicht bij elkaar liggen, zoals de waarnemingen 3 en 12 hebben waarden van het chioride-gehalte die sterk uiteenlopen: respectievelijk 230 mg/l en 156 mg/l. En waarneming 8 met 3413 m3/s debiet heeft bijna hetzelfde chioride-gehalte als waarneming 9 met 2307 m3/s, namelijk 117 mg/l tegen 118 mg/l. Aan de hand van de grafiek 2.6 en de gegevens uit tabel 2.3 is het duidelijk dat er geen perfect lineair verband bestaat tussen debiet en chioride-gehalte. Deze doorbrekingen van het 'normale' patroon kunnen aanwijzingen geven voor het invoeren van meerdere variabelen - naast de spreiding die om elke waarneming zit - om het patroon van het chioride-gehalte te beschrijven, zoals de geleidendheid of (extra) lozingen van de kali-mijnen. De sterkte van de relatie komt aan de orde in de paragraaf over correlatie. Grafieken kunnen allerlei vormen aannemen, met name in die gevallen waarin sprake is van experimenten waarin de verklarende variabele op een aantal niveaus wordt vastgesteld waarna gekeken wordt in welke mate de respons-variabele varieert. Per gegeven niveau op de x-as is er spreiding te zien in de responsvariabele. Door de grafiek wordt het duidelijk hoeveel variabiliteit er is (ten opzichte van het berekende gemiddelde per niveau van de verklarende variabele). Twee aspecten zijn zeer belangrijk bij het interpreteren van de grafieken: * niet-complete gegevens bemoeilijken de (statistische) interpretatie (het vergelijken van gemiddelden wordt dan moeilijk); * de relatie tussen twee variabelen in de grafiek kan veelal niet goed begrepen worden zonder kennis over andere variabelen in de achtergrond die van belang zijn voor het interpreteren van een relatie in een grafiek. De hoogte van het chloridegehalte wordt naast debiet bepaald door geleidendheid en lozingen. 41

45 De scatterplots geven een compleet beeld van de relatie tussen twee variabelen. Daarbij kan het algemene patroon en de afwijkingen van dat patroon worden aangegeven. Het algemene patroon kan - zeker bij meer data dan in de voorbeelden is gegeven - op een systematische wijze worden bepaald. Dit is het 'smoothen' van een scatterplot. Daarbij worden de gemiddelde y-waarde voor een bepaalde x-waarde uitgerekend, bijvoorbeeld op het bepaalde niveau van x (het effect van verschillende concentraties stof in het water op het aantal algen) of door te kijken naar een bepaalde tijdsperiode. Daarbij kan gebruik gemaakt worden van het gemiddelde of de mediaan (de mediaan is robuuster). Median trace Om een 'median trace' van een scatterplot te maken moet de grafiek in gelijke delen van de x-waarde worden gedeeld. Daarna kan de mediaan berekend worden van de y-waarden in elk deel van de x-waarde. Vervolgens kan de mediaan verticaal boven het horizontale midden van het deel van de x-waarde worden geplaatst en verbonden met een rechte lijn om de 'median trace' duidelijk te maken. Dit is dan het algemene patroon, en de spreiding rondom dit patroon zijn dan de afwijkingen. 9 Median trace Patroon ontdakran in data Figuur 2.7 Median trace In figuur 2.7 is een spreidingsdiagram gegeven met veel meer punten dan in de vorige voorbeelden. Dan blijkt dat op het eerste gezicht moeilijk een relatie valt aan te wijzen aan de hand van alleen deze grafiek. Maar na bepaling van de mediaan van elk tiental (en weergave in het midden van de cel) is er een duidelijker patroon waarneembaar: een negatieve relatie Berekening kleinste kwadraten lijn In paragraaf is de kleinste kwadraten methode uiteengezet en toegepast op een voorbeeld met de tijd als "verklarende" variabele. Deze methode is ook toepasbaar bij twee kwantitatieve variabelen. Er wordt een iets andere formule gegeven om de 42

46 richtingscoëfficiënt b te bepalen zodat de berekening versimpeld kan worden door het verschil tussen het gemiddelde en elke observatie niet te berekenen, maar uit te gaan van de totalen. De formule is dan als volgt: b = xy - (E x)( y) n E X2 - (2 x)2 Deze formule wordt gebruikt om een lijn te bepalen voor de data in tabel 2.3. Daartoe worden eerst de gesommeerde waarden uitgerekend. De debieten zijn de verklarende variabelen (x-waarden) en het chioride-gehalte de respons-variabelen (ywaarden). sum x = = sum x2 = = sum y = = 4410 sum xy = (2381)(122) + + (1496)(217) = Dan volgt uit de formule voor de richtingscoëfficiënt: b = (24)( ) (42.400)(4410) - = (24)( ) (42.400)2 - Vervolgens valt de intercept a gemakkelijk te berekenen aan de hand van de volgende formule: a = - bx = ~ De vergelijking van de lijn is dus: j = x De interpretatie van de richtingscoëfficiënt b en de intercept a is hetzelfde als bij de uitwerking van de variabele y tegen de tijd. Ook hier moeten de residuen afgezet worden tegen andere variabelen en tegen de tijd om daarmee (niet-linealre) relaties op het spoor te komen. De berekende lijn is in figuur 2.8 weergegeven (n = 24). In deze grafiek is ook de lijn getekend wanneer de waarneming met de hoogste x-waarde (het hoogste debiet) wordt weggelaten. Deze 'belangrijke waarneming' trekt de lijn omhoog en wanneer deze waarneming wordt weggelaten wordt de vergelijking als volgt: = x 43

47 350 Relatie criloride-gehalte endebiet 881 v6q].atsn van 88ft narnt1ng 0 N u. 150 ui 0 S Zt n (D0.it683t811Q5) Figuur 2.8 Het effect van belangrijke waarnemingen 2.5 Correlatie De berekening van de correlatie-coëfficiënt In bovenstaande voorbeelden is uitgegaan van het onderscheid tussen verklarende variabelen en respons-variabelen. Maar welke statistische technieken zijn beschikbaar om de relatie tussen twee variabelen te beschrijven zonder dat de richting van de relatie bekend is? De scatterplot geeft informatie over de richting, vorm en sterkte van de relatie tussen twee kwantitatieve variabelen. De interpretatie van een scatterplot is echter nogal subjectief. Daarom is er een numerieke maat nodig om de indruk van lineaire patronen te versterken. Correlatie-coëfficiënt r De correlatiecoëfficiënt r meet de sterkte van de lineaire relatie tussen twee kwantitatieve variabelen. De term correlatie wordt alleen gebruikt bij een lineaire relatie en bij kwantitatieve variabelen (in andere gevallen wordt de term 'verband' gebruikt). De berekening van de correlatie-coëfficiënt r voor de variabelen x en y aan de hand van n waarnemingen is als volgt: 1 E(YY) Voor elke individuele waarneming wordt het gemiddelde van variabele x (of y) van de geobserveerde waarde x (of y) afgetrokken en gedeeld door de standaardafwijking van x (of y). Vervolgens wordt er gesommeerd over alle waarnemingen en gedeeld door het aantal waarnemingen minus 1. 44

48 De correlatie-coëfficiënt r is een maat van verband tussen x en y. Wanneer er sprake is van een positieve relatie dan komen hoge waarden van x tegelijk voor met hoge waarden van y. Het produkt is dan positief. Hetzelfde geldt voor de lage waarden van x en de lage waarden van y. Dus r is positief en groter als de positieve relatie groter wordt. Bij een negatieve relatie (hoge waarde van x gaat samen met een lage waarde van y) wordt het produkt negatief en het teken van r is dan negatief. Doordat de waarde van de waarneming gedeeld wordt door de standaardafwijking maakt het niet uit in welke eenheden de variabele gemeten wordt. Zowel in de teller als in de noemer staat de eenheid en is er sprake van gestandaardiseerde afwijkingen. Dus de correlatie-coëfficiënt r wordt niet beïnvloed door de schaal van de eenheden. Net als bij de berekening van de richtingscoëfficiënt b is het mogelijk om een formule te geven waarbij de berekening gemakkelijker verloopt omdat er wordt uitgegaan van de totalen (en niet de afwijking tussen elke geobserveerde waarde en de gemiddelde waarde van een variabele hoeft te worden berekend). Bij de beschrijving van variabelen wordt gebruik gemaakt van het gemiddelde en de standaardafwijking. In de berekening van de correlatie-coëfficiënt wordt ook gebruik gemaakt van deze standaardafwij kingen: r= xy - - x)( ) Het voorbeeld debiet en chioride-gehalte - wordt nu uitgewerkt voor de correlatie-coëfficiënt. In figuur 2.8 blijkt dat er sprake is van negatieve lineaire relatie: hogere waarden van debieten gaan samen met lagere waarden van het chioridegehalte. Bij de bepaling van de regressie-coëfficiënt zijn al enkele totalen uitgerekend (alleen y2 moet nog berekend worden). sum x = = sum x2 = = sumy = =4410 sum y2 = = sum xy = (2381)(122) (1496)(217) = Vervolgens worden de gemiddelden en de standaardafwijkingen van beide variabelen bepaald x= x= =1767 n =184 45

49 x)2] = i[84.ls6.s64 - (42.400)2] S = = 1 [E y2 -!( y)2] =.. 1 [ (4410)2 = 3348 Daarna kan de correlatie-coëfficiënt r worden uitgerekend. De standaardafwijking (s,, en st,) is daarbij de wortel uit de bovenstaande variantie van s 2 en sy2. De correlatie-coëfficiënt is dan: (42.400)(4410) r= =- =-.708 (23)(635)(58) Interpretatie en beperkingen correlatie-coëfficiënt Voor de interpretatie van de correlatie-coëfficiënt r is het essentieel om de belangrijkste kenmerken van de correlatie-coëfficiënt r te kennen: * De waarde van r valt tussen -1 en 1. Een positieve r betekent een positief verband tussen de variabelen en een negatieve r betekent een negatief verband. Een positief verband betekent dat hoge waarden van de ene variabele samengaan met hoge waarden voor de andere variabele. Hetzelfde geldt voor lage waarden. Bij een negatief verband gaan hoge waarden van de ene variabele samen met lage waarden van de andere variabele. * De extreme waarden r = -1 en r = +1 komen alleen voor in het geval van een perfect lineair verband: de waarnemingen vallen in het spreidingsdiagram precies op een rechte lijn. * De correlatie-coëfficiënt wordt niet beïnvloed door de dimensie waarin de variabelen gemeten zijn. De waarde van de correlatiecoëfficiënt ligt altijd tussen -1 en 1. * Correlatie meet alleen het lineaire verband tussen twee variabelen. De waarde nul van de correlatie-coëfficiënt betekent dat er géén lineair verband is, maar er kan dan een ander verband zijn, bijvoorbeeld een exponentieel verband. Correlatie is dus géén algemene maat voor verbanden. Het teken van de correlatie-coëfficiënt r geeft alleen de richting van het verband aan. Bij dezelfde waarde (en tegengesteld teken) is de sterkte hetzelfde. Het is moeilijk om de waarde van r te schatten aan de hand van de scatterplot omdat de schaalindeling van invloed is. De correlatie in het voorbeeld van debiet en chioride-gehalte is negatief en redelijk sterk (r = ). Erg

50 De correlatie-coëfficiënt r heeft betekenis voor de regressie. Er is een nauwe band tussen correlatie en regressie want het kwadraat van de correlatie-coëfficiënt, r2, is het deel van de spreiding in de waarden van y dat verklaard wordt door de kleinste kwadraten regressie van y op x. De spreiding rond de lijn in figuur 2.8 is kleiner dan de spreiding rond het gemiddelde van 5 (een rechte lijn op het niveau van 184 mg/l). Bij een perfect lineair verband zou de spreiding rond de lijn nul zijn. Omdat r = is r2 =.503. Dit betekent dan 50% van de spreiding van het chloridegehalte verklaard wordt door de lineaire regressie van het debiet. De grootte van r, en niet het teken, meet de sterkte van het lineaire verband. Het kwadraat van de correlatie-coëfficiënt r, r2, is een maat voor het succes van de regressie. De relatie tussen correlatie en regressie is alleen het geval bij de kleinste kwadraten methode en niet bij andere methoden om een passende lijn te vinden. Correlatie en regressie zijn sterke maten om het verband tussen twee variabelen aan te geven. De beperkingen zijn al aan de orde geweest: de maten hebben alleen betrekking op lineaire verbanden, en de correlatie-coëfficiënt r en de regressie-lijn zijn gevoelig voor uitbijters en belangrijke waarnemingen. Het is belangrijk om naast de berekening van de correlatie-coëfficiënt ook een grafiek te maken om deze uitbijters en belangrijke waarnemingen op te sporen. De effecten van variabelen die niet opgenomen zijn in het model kunnen van invloed zijn op de correlatie en op de regressie. Voorbeeld: er is een sterke positieve relatie - in de tijd - tussen het aantal politie-agenten en het aantal misdrijven: hoe meer politie des te groter het aantal misdrijven. Dit komt door de bevolkingstoename waardoor er zowel meer politie-agenten komen als meer misdrijven worden gepleegd. Tussen het aantal politie-agenten en het aantal misdrijven bestaat een schijnbare relatie: de bevolkingstoename is zowel van invloed op het aantal agenten als op het aantal misdrijven. Er is wel een correlatie, maar dat wil niet betekenen dat er altijd sprake is van een oorzaak-gevolg relatie. Een correlatie tussen twee variabelen heeft betrekking op veel typen van relaties tussen x, y en andere niet genoemde variabelen. Een derde variabele kan de waarnemingen in twee groepen verdelen met binnen elke groep een hoge correlatie, maar als totaal een lage correlatie. Van oorzaak-gevolg relaties (causaliteit) is sprake wanneer er een correlatie bestaat tussen de variabelen, wanneer de oorzaak in de tijd vddraf gaat aan het gevolg en wanneer er geen sprake is van een schijnbare relatie tussen de variabelen. Ook al is de voorspelling logisch en r2 hoog dan nog is het gevaarlijk om te extrapoleren omdat de lijn alleen geldig is over een beperkt deel van de verklarende x-waarden. De correlatie wordt meestal berekend aan de hand van gemiddelden of met maten die veel informatie van individuele waarnemingen combineren. De schatting van een individuele waarneming is dan ook minder betrouwbaar dan uit de hoge r2 zou blijken. Door het middelen is de individuele spreiding minder geworden. Correlaties gebaseerd op gemiddelden zijn dan ook veelal te hoog wanneer die toegepast worden op individuele waarnemingen. 47

51 2.6 Relaties tussen kwalitatieve variabelen Analyse en beschrijving van twee kwalitatieve variabelen De samenhang tussen twee kwantitatieve variabelen - zoals debiet en concentratie - kan worden weergegeven in een spreidingsdiagram en de sterkte van de samenhang kan worden berekend met behulp van de correlatie-coëfficiënt r. Voor de relaties tussen kwalitatieve variabelen zijn er nauwelijks numerieke technieken beschikbaar. Kwalitatieve variabelen zijn bijvoorbeeld de vegetatietypen zand en klei, of numerieke variabelen die bijeengebracht zijn in verschillende klassen. Analyse van deze gegevens is gebaseerd op de frequenties of percentages van de verschillende categorieën. Het berekenen van een gemiddelde en een standaardafwijking is niet mogelijk. Voorbeeld 2.5 Kruistabel inkomen In dit fictieve voorbeeld wordt gekeken naar de verdeling van het inkomen tussen twee verschillende regio's in het land: de Randstad en de Rest van het land. Daarbij is het inkomen gegroepeerd in bepaalde klassen. Daarbij is wel een bepaalde rangorde aangehouden: van minste naar meeste. Er zijn in totaal 300 huishoudens geïnterviewd. Eerst zullen de gegevens beschreven worden en daarna zal worden gekeken of er een samenhang bestaat tussen regio en inkomen. (zie tabel 2.4) De totale frequenties van de kolommen en de rijen zijn ook gegeven. Deze worden de marginale verdelingen genoemd. Om inzicht te krijgen in de aard van de relatie tussen regio en inkomen is de volledige tabel nodig. De relaties tussen kwalitatieve variabelen wordt bepaald door het berekenen van percentages aan de hand van de gegeven aantallen. inkomen (fl.1000) regio totale relatieve frequentie frequentie Randstad Rest totale fre quentie relatieve frequentie Tabel 2.4 Kruistabel met kwalitatieve gegevens

52 Omdat de aantallen in de kolommen en rijen verschillen is het noodzakelijk om de percentages uit te rekenen voordat er een vergelijking kan worden gemaakt. De resultaten kunnen worden weergegeven in een staafdiagram, dat lijkt op de histogram. Op de horizontale as komt géén schaal te staan, maar de verschillende aspecten die vergeleken worden (bijvoorbeeld Randstad en Rest). Dan wordt er gekeken naar één inkomenscategone. Om de totale verdeling te vergelijken wordt er een gestapelde staafdiagram gemaakt. Er wordt dan gekeken naar de regio en vervolgens het percentage berekend over alle inkomensklassen voor die regio. In het totaal zijn de percentages dan 100% omdat alle huishoudens in die regio in één van de inkomenscategorieën vallen. De percentages zijn de conditionele verdeling van het inkomen, gegeven de regio. Er zal verschil zijn tussen de verschillende regio's en met de relatieve frequenties die onder aan de tabel worden vermeld. De percentages zijn: Randstad Rest De conditionele verdelingen worden weergegeven in figuur 2.9. Dan is het ook mogelijk om de verschillen te bekijken. Elke staaf beschrijft één regio met daarbinnen de verschillen tussen de inkomens. De verschillen worden weergegeven in percentages en het totaal is dan ook 100%. s# Het onderste segment en het bovenste segment zijn met elkaar te vergelijken omdat zij een gemeenschappelijk startpunt hebben. Uit figuur 2.9 blijkt dat in de Randstad de percentages in de hogere inkomenscategoriën hoger zijn dan in de rest van het land. In de grafiek is uitgegaan van de verdeling van de inkomens binnen elke regio. Maar er kan ook gekeken worden naar de regio gegeven bepaalde inkomensklasse... 5.,8.. S s IS #SIS Is Is is Q s;. s; s;, s;# S S/ :VAJI, - Figuur 2.9 Gestapeld staafdiagram 49

53 Een twee-weg tabel bevat twee marginale verdelingen (aan de onderkant en aan de rechterkant van de tabel) en twee conditionele verdelingen. Er zijn verschillende gestapelde staafdiagrammen mogelijk, afhankelijk van het doel. Grafisch kan de samenhang worden weergegeven door een staafdiagram, een gestapeld staafdiagram of een cirkeldiagram. En daarnaast is er de keuze van de verschillende percentages van de variabelen. Maar er is ook een maat die de samenhang tussen kwalitatieve variabelen aangeeft Maat van samenhang voor kwalitatieve variabelen: chi-kwadraat (x2) Tabel 2.4 wordt meestal aangeduid met de term kruistabel. In een kruistabel worden twee (of meer) variabelen met elkaar in verband gebracht. De ene variabele wordt verdeeld over de waarden van de andere variabele. Als er in een kruistabel sprake is van een perfecte samenhang dan is er van elke rij en elke kolom slechts één cel gevuld. Wanneer bekend is of het bos of stad is, dan is ook bekend of er bosuilen zijn. In de vijftig bospercelen worden telkens bosuilen aangetroffen. wel bosuilen geen bosuilen bos stad Er is géén samenhang tussen de variabelen als de celfrequentie gelijk is aan het product van het bijbehorende rij-totaal en kolomtotaal gedeeld door het totaal aantal waarnemingen. Als er samenhang bestaat tussen 'bos' en de aanwezigheid van 'bosuilen' dan is er verschil tussen het berekende product en de frequentie. wel geen bosuilen bosuilen bos stad 'Bos' zegt in bovenstaande tabel niets over de aanwezigheid van bosuilen, want in de helft van de gevallen wordt er in een bosperceel geen bosuilen aangetroffen en in de andere gevallen wel. Noch 'bos' noch 'stad' zegt iets over de aanwezigheid van bosuilen. Er is geen samenhang want de celfrequentie van 25 is gelijk aan het product van het rij totaal (50) en kolomtotaal (50) gedeeld door het totaal aantal waarnemingen (100): (50*50)/100 = 25. (Een identiek methode is om het product van de relatieve frequenties te vermenigvuldigen met het totaal aantal waarnemingen: (.50*.50)*100 = 25). De statistische maten die de samenhang aangeven zijn op deze redenering gebaseerd: in welke mate wijkt de gevonden celfrequentie af van de verwachte celfrequentie? 50

54 Aan de hand van voorbeeld 2.5 zal worden gekeken hoe sterk de samenhang is in de tabel. Voor de berekening van de chi-kwadraat x2 worden de volgende stappen gezet: Bepaal de relatieve frequentie voor elke cel door vermenigvuldiging van de relatieve frequentie van de rij en de kolom. Voor de eerste cel (Randstad en inkomen 0-15) is dat.477(. 183) =.087 (tabel 2.4). Bereken de verwachte waarde van elke cel door de relatieve frequentie te vermenigvuldigen met het totaal aantal waarnemingen (.087*300 = 26). Het is ook mogelijk om via de waarden de celvulling te vinden: 143*55 gedeeld door 300 is 26,2. De relatieve frequenties en de verwachte waarden staan in onderstaande tabel rel.freq Randstad (26) (25) (43) (28) (21) (143) Rest (29) (28) (47) (30) (23) (157) rel.freq (55) (53) (90) (58) (44) (300) Uitgangspunt bij de chi-kwadraat x2 is dat er géén samenhang bestaat. Er wordt gekeken naar het verschil tussen de geobserveerde waarde (G) en de verwachte (V) waarde. Als er geen samenhang bestaat is het verschil nul, althans zo klein mogelijk. Verschil (G - V) bepalen. Voor de eerste cel is dat: = 2) Vervolgens het verschil kwadrateren en delen door de verwachte frequentie. Daarna sommeren om de x2 te bepalen. Per cel (G - V)2/V berekenen De sommatie levert de chi-kwadraat op, X2 = 2,52. De chi-kwadraat wordt hier gebruikt als hulpmiddel bij het kwantificeren van de samenhang. Later wordt de chikwadraat ook gebruikt als toetsingsgrootheid (zie hoofdstuk 3). De waarde van de chikwadraat hangt af van het totaal aantal metingen (n) en daarom is een toets ontwikkeld die rekening houdt met het aantal waarnemingen. 51

55 Coëfficiënt Crmer (C) CH X2/n min(r-1,k-1) De kleinste van de twee waarden rijen (r) of kolommen (k) moet gekozen worden. De perfecte samenhang wordt bereikt bij de waarde 1 van de coëfficiënt C. Invulling in het voorbeeld levert de volgende waarde op: c = 2.52/300 = 0.09 N 1 De samenhang tussen regio en inkomen is dus zeer gering Het effect van niet gemeten variabelen Net als bij de kwantitatieve variabelen kunnen variabelen die niet gemeten zijn de relaties tussen twee kwalitatieve variabelen veranderen en zelfs omkeren. Voorbeeld 2.6 Invloed niet gemeten variabelen Door de ANWB worden de autorij scholen beoordeeld op het percentage van kandidaten die het rijbewijs bij het eerste rij-examen behalen. Om tot een keuze van rijschool te komen is het handig om deze percentages van slagen te kennen. Rij school 1 Rij school 2 Geslaagd Gezakt 8 4 Totaal De conclusie is dat bij rijschool 1 4% van de kandidaten is gezakt en bij rijschool 2 is dat 3.4%. Maar de rijscholen krijgen niet dezelfde soort van kandidaten. Dezelfde gegevens worden hieronder getoond met daarbij een onderverdeling naar de kwaliteit van de kandidaten, dat wil zeggen 'slechte' kandidaten zijn kandidaten die al vaker (elders) zijn gezakt. 52

56 Goede kandidaat Slechte kandidaat Rijschool 1 Rijschool 2 Rijschool 1 Rijschool 2 Geslaagd Gezakt Totaal Als naar de kandidaten wordt gekeken blijkt dat rijschool 1 zowel bij de goede kandidaten als bij de slechte kandidaten betere scores haalt dan rijschool 2. Voor de goede kandidaten is dat 2% tegen 2.5 % en bij de slechte kandidaten is dat 4.7% tegen 5%. Dus rijschool 1 heeft een (iets) slechter totaalresultaat, maar als er gekeken wordt naar de aard van de kandidaten is rijschool 1 beter. Simpson's paradox Simpson's paradox verwijst naar de omkering van de richting van een vergelijking of een verband wanneer data van verschillende groepen gecombineerd worden om één enkele groep te vormen. Deze omkering vindt plaats omdat rijschool 1 bekend staat om de goede resultaten zodat vele slechte kandidaten naar deze rijschool toekomen. De originele twee-weg tabel is dan ook misleidend omdat het de verschillen tussen de kandidaten, een derde variabele, negeert. Bovenstaande tabel is een drie-weg tabel waarin de frequenties van elke combinatie van 3 kwalitatieve variabelen staan vermeld. De oorspronkelijke tweeweg tabel wordt verkregen door te aggregeren over de kandidaten. Uit dit voorbeeld blijkt dat het nodig is om alle relevante variabelen in ogenschouw te nemen om te bekijken wat het verband is tussen de variabelen Causale relaties: een waarschuwing Bij het onderzoeken van de relatie tussen twee variabelen is het vaak de bedoeling om aan te tonen dat veranderingen in de verklarende variabelen de verandering in de response-variabele veroorzaakt. Maar er zijn veel meer variabelen die de responsevariabele beïnvloeden. Het is daarom belangrijk om verklaringen te zoeken voor een verband dat wordt aangetroffen. Een sterk verband tussen twee variabelen x en y kan het resultaat zijn van verschillende onderliggende relaties: * causale relatie Veranderingen in x veroorzaken veranderingen in y. Door x te veranderen wordt y beïnvloed. Voorbeeld: hoe sneller men rijdt in een auto des te hoger wordt het benzineverbruik. 53

57 * algemene reactie Zowel x als y reageren op veranderingen in een niet waargenomen variabele. Y kan wel voorspeld worden aan de hand van x, maar y kan niet veranderd worden door x aan te passen. Bijvoorbeeld: goede resultaten op het gebied van talen en van wiskunde als uiting van een algemeen kennisniveau en vermogen. * samengestelde reactie Het effect op y van de verklarende variabele x is vermengd met de effecten van andere variabelen op y. Een onderscheid maken is niet meer mogelijk. Een directe causale relatie tussen x en y kan worden vastgesteld door een nauwkeurig ontworpen experiment, waarin zoveel mogelijk variabelen worden beheerst. Experimenteren houdt in het veranderen van x en dan kijken wat de reactie van y is. Wanneer experimenteren niet mogelijk is wordt het bewijs voor veroorzaking minder direct en een combinatie van verschillende factoren: * Het verband tussen x en y moet voor zoveel mogelijk verschillende situaties worden geobserveerd. Dit om te vermijden dat een bijzonder geval tot norm wordt uitgeroepen. * Het verband moet gehandhaafd blijven ook al worden er zo veel mogelijk andere plausibele verklarende variabelen in het onderzoek betrokken. * Er moet een plausibele verklaring zijn voor de directe invloed van x op y en niet alleen afhangen van de geobserveerde relatie. Het is mogelijk om allerlei relaties te leggen - zoals de correlatie tussen de aanwezigheid van ooievaars en het aantal kinderen - maar zinvol is het niet. Vandaar dat elke relatie nauwkeurig bekeken moet worden op de aard van de samenhang. 54

58 3. Betrouwbaarheidsintervallen en toetsen 3.1 Inleiding In hoofdstuk 1 is de definitie van een verdeling gegeven: het patroon van variatie van een variabele. Vervolgens zijn enkele grafische technieken geïntroduceerd om een beeld van deze variatie te krijgen. De stemplot, het histogram en de boxplot zijn voorbeelden hiervan. De belangrijkste kenmerken van de verdeling kunnen met deze technieken boven tafel gehaald worden. Er kan hiermee een indruk gekregen worden van de globale vorm van de verdeling (is de verdeling symmetrisch dan wel scheef, zijn er uitschieters). Daarnaast zijn het midden van de verdeling en de spreiding van een verdeling bepaald. Vervolgens is een belangrijke klasse van verdelingen geïntroduceerd: de normale verdelingen. Deze normale verdelingen hebben als belangrijkste eigenschap dat de functie die deze verdeling beschrijft, slechts twee parameters heeft namelijk het gemiddelde g en de standaardafwijking a. De vorm van de verdeling is niet afhankelijk van het aantal waarnemingen. De normale verdelingen zijn symmetrisch, hebben één piek en zijn klokvormig. Om te controleren of gegevens uit een normale verdeling afstammen kan een Q-Q plot gemaakt worden en kan een Shapiro-Wilk test uitgevoerd worden. Een van de belangrijkste opmerkingen uit hoofdstuk 1 is het feit dat elke variabele een spreiding heeft. Het midden van de verdeling kan wel als een enkel getal weergegeven worden maar als er verder niets bekend is over de spreiding rondom dit midden dan valt er weinig te zeggen over de verdeling. In dit hoofdstuk zal een begin gemaakt worden met het trekken van conclusies uit gegevens: het toetsen en schatten. Eerst worden betrouwbaarheidsintervallen geïntroduceerd. Vervolgens wordt het toetsen behandeld. Toetsen betekent de waarschijnlijkheid berekenen van een bepaalde uitspraak. In hoofdstuk 1 is al een toets gebruikt, namelijk de toets om te kijken of gegevens normaal verdeeld zijn. Stap voor stap zullen een aantal aspecten van toetsen en schatten doorlopen worden. Niet alle methoden komen in de dagelijkse praktijk voor, maar in dit hoofdstuk gaat het voornamelijk om het principe achter het toetsen en schatten. Uitspraken over de populatie (of verdeling) worden gedaan aan de hand van steekproeven. De methoden zijn ontwikkeld met een bekend veronderstelde spreiding van de verdeling. Is dit niet het geval dan moeten de methoden aangepast worden voor toepassing bij steekproeven. 3.2 Betrouwbaarheidsintervallen Het gemiddelde R van de steekproef is de meest gebruikte schatter voor het onbekende gemiddelde j. van een verdeling. De wet van de grote aantallen zegt dat het gemiddelde Tc van de steekproef het onbekende gemiddelde ju steeds beter benadert als de grootte van de steekproef toeneemt. Oneindig grote steekproeven zijn echter 55

59 niet mogelijk en moeten de waarden geschat worden. In het voorbeeld 1.3 van hoofdstuk 1 was het gemiddelde van het aantal uitwisselingen bij Vissen in de behandeling gelijk aan 3,67. Wat zou echter het gemiddelde zijn wanneer het experiment herhaald zou worden? Het is zeer waarschijnlijk dat dit gemiddelde niet gelijk is aan 3,67. Is het mogelijk om een gemiddelde van 2,0 of 4,57 kunnen vinden? Het moge duidelijk zijn dat een schatting van het gemiddelde zonder een indicatie van zijn variabiliteit weinig waarde heeft. Wanneer bekend is dat een variabele een normale verdeling heeft met als gemiddelde ji en standaardafwijking a dan heeft het gemiddelde R dat berekend wordt uit een aantal (n) trekkingen ook een normale verdeling met gemiddelde j. en standaardfout a/vn. In essentie komt het hier op neer: hoe groter het aantal waarnemingen in de steekproef des te nauwkeuriger wordt het gemiddelde van de steekproef als schatter voor het gemiddelde van de verdeling. Het gemiddelde in de steekproef zal het gemiddelde in de verdeling steeds beter benaderen. Er wordt aangenomen dat de spreiding in de populatie (a) bekend is. Stel dat de verdeling uit voorbeeld 3.1 normaal verdeeld is met standaardafwijking a = 1,25. Het gemiddelde gebaseerd op 30 trekkingen heeft dan een standaardfout van: o() = 1,25 z0,228 Uit de 68 %-95 %-99,7 % regel blijkt dat de kans ongeveer 0,95 is dat het steekproefgemiddelde R in het interval [ /.L 2*0,228, j. +2*0,228] ligt. Omgekeerd ligt het populatiegemiddelde i in 95% van de gevallen in het interval Ex2*0,228x42*0,2281.Met "in 95% van de gevallen" wordt bedoeld: als het experiment heel vaak herhaald wordt ligt in 95% van de gevallen in het genoemde interval. Dit is heel gebruikelijk in de statistiek: er wordt een uitspraak gedaan over de waarschijnlijkheid dat één gebeurtenis voorkomt in de loop der tijd. In het voorbeeld 1.3 was het steekproefgemiddelde k= 3,67. Met 95 % betrouwbaarheid geldt dan dat het onbekende gemiddelde i van de verdeling ligt in het interval tussen: -0,456 = 3,67-0,456 = 3,213 en + 0,456 = 3,67 +0,456 = 4,126 Dit betekent dus dat er twee mogelijkheden zijn: 1 Het interval [3,213,4,126] bevat i 2 De uitkomst van het experiment geeft een interval waarin j niet ligt. Wanneer het experiment vaak herhaald wordt gebeurt dit slechts in 5% van de gevallen. Het is onbekend of het berekende interval, op basis van gegevens uit de steekproef, het gemiddelde van de verdeling bevat. 56

60 Het interval ±0,228 wordt een 95% betrouwbaarheidsinterval genoemd. In de statistiek is het ook heel gebruikelijk om een onbetrouwbaarheid aan te geven. Een 95% betrouwbaarheidsinterval correspondeert bijvoorbeeld met 1-a =0,95 oftewel met een onbetrouwbaarheid a =0,05. Voor de onbetrouwbaarheid a wordt vaak gelijk aan 0,05 genomen maar ook wel aan 0,01. Er zal nu een 1-a betrouwbaarheidsinterval geconstrueerd worden voor het gemiddelde M aan de hand van een dataset (steekproef) bestaande uit een aantal (n) gegevens. De afleiding is gebaseerd op de kennis van de verdeling van R. De verdeling van R is precies N(,ofVn) wanneer de verdeling van de variabele een N(j.,a) is. De centrale limietstelling zegt dat de verdeling van R bijna gelijk is aan N(j.,aNn) voor grote steekproeven. Voor een normale verdeling geldt dat het gemiddelde een kans van 0,95 heeft om in het interval [M-2a,M +20] te liggen. Om nu een l-a betrouwbaarheidsinterval af te leiden, wordt er een getal z bepaald zodat er 95% kans bestaat dat i in het volgende interval valt: - * a - $ Cr [x-z,xz -] yn) In (1a)*100% van de gevallen ligt R dus in dit interval. De volgende ongelijkheid geldt dan: -z * x-ij. alvrn- Het steekproefgemiddelde R heeft een N(,oïVn) verdeling. Dus: is standaard normaal verdeeld. De waarde van z' kan in een tabel opgezocht worden. 57

61 o.s 0.2 1' a Figuur 3.1 Standaardnormale verdeling met kritieke punten De waarde van z wordt het rechter a/2 kritieke punt van de standaard normale verdeling. Samenvatting Stel er is een steekproef van n waarnemingen van een verdeling met een bekende spreiding a en een onbekend gemiddelde j. Een l-a betrouwbaarheidsinterval voor i is dan: - 0 X ± Z - vn met z* is het rechter cr12 kritieke punt van de standaard normale verdeling. Het interval is exact als de verdeling normaal is en bijna exact wanneer de verdeling niet normaal is maar het aantal (n) groot is. De waarden van z kunnen in een tabel (tabel 1) opgezocht worden voor diverse waarden van de onbetrouwbaarheid a. Hieronder volgen er een paar. Een betrouwbaarheidsinterval is per definitie tweezijdig, daarom wordt de onbetrouwbaarheid a door twee gedeeld in de bepaling van de z-waarde. betrouwbaarheid cr12 z 90% 0,05 1,645 95% 0,025 1,960 99% 0,005 2,575

62 Voorbeeld 3.1 Betrouwbaarheidsinterval bepalen In Lobith zijn in de jaren 1961 tot en met 1989 de volgende maximale 8h standen (in cm) gemeten: Stel dat de spreiding van de verdeling a gelijk aan 125cm is. Gevraagd wordt een 99% betrouwbaarheidsinterval voor het gemiddelde g te creëren. Het gemiddelde van de 29 waterstanden is: x= = Voor 99% betrouwbaarheid geldt dat cr = 0,01 en cxi2 = 0,005. Uit de z-tabel (tabel 1) blijkt dat z=2,575.een 99% betrouwbaarheidsinterval voor ji is dus: = 1425±2,576! = 1425 ±59,79 Het betrouwbaarheidsinterval is [1356,2, 1484,41. De zekerheid is 99% dat het gemiddelde,u tussen 1356,2 en 1484,4 ligt. Stel nu dat er niet 29 waarnemingen waren maar dat er 1 jaarmaximum is, bijvoorbeeld Het 99% betrouwbaarheidsinterval zou dan als volgt veranderen: - 0 x±z - = 1418±2,576* 125 vr' = 1418 ±320,9 Het 99% betrouwbaarheidsinterval is nu [1096, Het betrouwbaarheidsinterval is veel groter geworden. Bij de bepaling van een 95% betrouwbaarheidsinterval voor de hele dataset wordt een onbetrouwbaarheid gebruikt van a =0,05 en a/2 =0,025.Uit de tabel volgt dan z =1,960. Een 95% betrouwbaarheidsinterval voor j is dus: x±z =1425±1,960* v/ i = 1425±45,5 59

63 Het interval is dus [1379,5, 1470,51. Dit betrouwbaarheidsinterval is beduidend minder breed dan het 99% betrouwbaarheidsinterval. Het is logisch om bij een betrouwbaarheid van 95% in 5% van de gevallen een gemiddelde ji. buiten het betrouwbaarheidsinterval te vinden. Bij een betrouwbaarheid van 99% is dat 1 % van de gevallen. Om de kans kleiner te maken dat een verkeerde schatting wordt gemaakt, moet het interval breder gemaakt worden. Uit dit voorbeeld blijkt dat de betrouwbaarheidsintervallen voor 4 smaller worden naarmate het aantal waarnemingen (n) groter wordt en dat de betrouwbaarheidsintervallen breder worden naarmate de betrouwbaarheid groter wordt. Steekproefomvang vaststellen De breedte (w) van een betrouwbaarheidsinterval voor het gemiddelde g is: 0 w = 2z rn Uitgaande van een bepaalde breedte w voor een bepaalde onbetrouwbaarheid a, wordt de bijbehorende z in de tabel opgezocht en de steekproefgrootte n opgelost: ( 2Za )2 Voorbeeld 3.2 Omvang steekproef bepalen Voor een 95 % betrouwbaarheidsinterval voor gemiddelde i uit het voorbeeld 1.3 met breedte w=l,5is het volgende aantal waarnemingen nodig: w 1,5 11 Eisen voor toepassing van betrouwbaarheidsinterval De steekproef moet bestaan uit onafhankelijke waarnemingen. Dat wil zeggen dat de waarnemingen elkaar niet beïnvloeden. Waterstanden die om de seconde gemeten worden bijvoorbeeld zijn niet onafhankelijk omdat de waterstand van een seconde geleden zeer sterk beïnvloed wordt door de waterstand van twee seconden geleden. Omdat het gemiddelde Yc sterk gevoelig is voor uitschieters, moeten deze eerst verwijderd worden voordat het betrouwbaarheidsinterval uitgerekend kan worden. Wanneer de steekproef klein is en de verdeling niet normaal, is het echte betrouwbaarheidsinterval afwijkend van het berekende betrouwbaarheidsinterval. Maak een Q-Q plot om de normaliteit te controleren. Het interval hangt alleen af van de verdeling van het steekproefgemiddelde Y en deze is zelfs voor kleine steekproeven aanzienlijk 'normaler' dan de individuele waarnemingen. Wanneer n groter of gelijk is aan 15 is het berekende betrouwbaarheidsinterval een goede benadering van het echte betrouwbaarheidsinterval behalve wanneer er sprake is van een erg scheve verdeling of wanneer er grote uitschieters zijn. ZE

64 4. De spreiding a van de verdeling moet bekend zijn. Dit is een zeer onrealistische situatie. Meestal is a onbekend. Dan wordt niet langer de z-verdeling gebruikt, maar de t-verdeling (zie paragraaf 3.3.1). 3.3 Toetsen aan de hand van betrouwbaarheidsintervallen Inleiding Als men wil weten hoeveel slakken er gemiddeld op een steen zitten kan men bijvoorbeeld een steekproef nemen van 25 stenen. Het is niet mogelijk (en nodig) om alle stenen te bemonsteren en daarom wordt er een aantal geselecteerd. Er wordt een steekproef getrokken uit de totale populatie. Een steekproef is een beperkt aantal elementen, die willekeurig getrokken worden, uit de totale hoeveelheid of populatie. Aan de hand van de steekproef kan dan een schatting worden gemaakt van parameters voor de totale populatie. Het gemiddelde van de steekproef is dan een schatter voor het gemiddelde van de totale populatie /2. Hetzelfde geldt voor de standaardafwijking: de standaardafwijking s van de steekproef is een schatter voor de standaardafwijking c van de populatie. Het is dus mogelijk om aan de hand van steekproeven uitspraken te doen over de totale populatie, daarbij is het dan wel nodig om rekening te houden met de variabiliteit van de steekproef. In paragraaf 3.2 is daarvoor het betrouwbaarheidsinterval ontwikkeld. Het gemiddelde van de populatie wordt geschat met het gemiddelde van steekproef met een zekere marge. In onderstaande formules wordt uitgegaan van een 95% betrouwbaarheidsinterval. Schatting met bekende populatiespreiding Wanneer de populatiespreiding a bekend is dan wordt de volgende formule gebruikt: - 0 I-1 = X ± Z 025- Schatting met onbekende populatiespreiding Veelal is de populatiespreiding a niet bekend en moet deze geschat worden aan de hand van de spreiding s uit de steekproef. Dan wordt ook een andere verdeling gebruikt, de t-verdeling. - S 12 = X ± rn Bij een onbetrouwbaarheid van 5% bevindt zich in elke staart 21/2 % van de waarnemingen. Het gemiddelde van de populatie bevindt zich met 95% kans in het betrouwbaarheidsinterval dat berekend is aan de hand van de resultaten van de steekproef. Dit is het schatten van een parameter, maar het is ook mogelijk om het betrouwbaarheidsinterval te gebruiken om verschillen tussen twee gemiddelden aan te geven of uitspraken te doen over veronderstellingen over een populatie. Dit wordt het toetsen genoemd: is er bewijs in de data voor een bewering? 61

65 Toetsen kan onder andere betrekking hebben op: * het aantonen van verschillen tussen gemiddelden van steekproeven etc.; * de vraag beantwoorden of veronderstellingen met betrekking tot een populatie aannemelijk zijn gegeven de steekproef. Het is mogelijk om deze twee onderwerpen op twee verschillende manieren te benaderen, namelijk aan de hand van betrouwbaarheidsintervallen en aan de hand van het "klassieke testen". Als introductie zal worden aangegeven welke rol betrouwbaarheidsintervallen kunnen spelen bij het toetsen. De betrouwbaarheidsintervallen en de toetsen gaan uit van een symmetrische verdeling en van een bij benadering normale verdeling. Als dat niet het geval is dan moeten de gegevens getransformeerd worden of andere toetsen worden toegepast Verschillen in twee gemiddelden (onafhankelijke steekproeven) Het gemiddelde en de standaardafwijking van de steekproeven zijn bekend, maar die van de populatie niet. Ter introductie van toetsen wordt de populatievariantie (cr 2 ) bekend verondersteld. Dan is het mogelijk om de standaard normale verdeling, de z- verdeling, te gebruiken. In het geval dat de populatievariantie niet bekend is wordt gebruik gemaakt van de t-verdeling. Dan moet de populatievariantie aan de hand van de variantie van de steekproef geschat worden en komt er een onzekerheidsbron bij, zeker bij kleine steekproeven. Het betrouwbaarheidsinterval wordt groter om deze onzekerheid op te vangen. De t-verdeling is afhankelijk van het aantal waarnemingen. Als de steekproef uit 5 elementen bestaat dan is het aantal vrijheidsgraden ('degrees of freedom' ) d.f. = 4. In het algemeen is het aantal vrijheidsgraden het aantal waarnemingen minus 1 (n - 1). Vervolgens kan dan in de t-tabel (tabel 2) worden bekeken welke waarde bij t 025 en d.f. = 4 hoort, namelijk 2,78 en die waarde is groter dan de waarde z 0 (1,96). Wanneer het aantal waarnemingen groter wordt dan nadert de t-verdeling de z-verdeling. Populatievariantie bekend Wanneer er onafhankelijke steekproeven zijn en de populatievariantie bekend is dan wordt de volgende formule gebruikt voor het 95 % betrouwbaarheid sinterval met de z- verdeling. Het verschil tussen de steekproefgemiddelden R 1 en R2 is een schatter voor het verschil tussen de populatiegemiddelden u, en /.L ) = - ) ±Z0.0254, o ofivel ( ) = - Ii ± N + 62

66 Dus het verschil tussen twee populatiegemiddelden wordt geschat aan de hand van het verschil tussen twee steekproefgemiddelden met daarbij een marge. Deze marge wordt bepaald bij 95% door tweemaal de spreiding van het steekproefgemiddelde (de waarde van z.025 is 1,96). In de praktijk is echter de populatievariantie a2 onbekend en moet deze vervangen worden door een schatting, namelijk de variantie in de steekproef (s12 en s22). (De F- toets test of deze varianties gelijk zijn.) Omdat er geschat wordt moet de z-waarde vervangen worden door de t-verdeling. Populatievariantie onbekend Bij onafhankelijke steekproeven met een onbekende populatievariantie wordt de volgende formule gebruikt voor het 95% betrouwbaarheidsinterval: (111-12) - ;;) ± t.o25\j + -;;;- n2 Bij onafhankelijke steekproeven met een onbekende populatievariantie maar waarvan verondersteld wordt dat beide populaties dezelfde onderliggende variantie hebben wordt de volgende formule gebruikt voor het 95% betrouwbaarheidsinterval: (91-111) = (x; - ;) ± tcrsp 1 + n i n 2 In dit geval moet de schatting voor s, nog berekend worden. Omdat de beide populaties dezelfde variantie a 2 hebben is het mogelijk om de informatie van beide steekproeven bij elkaar te voegen om de populatievariantie te schatten. Dit is de pooled variance s,2. Alle gekwadrateerde afwijkingen van beide steekproeven worden opgeteld en daarna gedeeld door het aantal vrijheidsgraden (d.f.) in beide steekproeven, (n1-1) + (n2-1). De formule voor de 'pooled variance s p 2, is als volgt: s 2 = (X - ) 2 + E (X - (n1-1) + (n2-1) Het aantal vrijheidsgraden staat in de noemer van de bovenstaande formule en is dus gelijk aan (n1-1) + (n2-1). Voorbeeld 3.3 Betrouwbaarheidsinterval met 'gepoolde' variantie In onderstaande tabel wordt voor elk jaar vanaf 1961 de hoogste en laagste 8h waterstand gegeven voor het betreffende jaar (zie voorbeeld 3.1). De metingen zijn verricht bij Lobith. 63

67 Jaar Laagste (x1) Hoogste (x2) Tabel 31 Hoogste en laagste waterstanden van Lobith

68 Het is belangrijk om eerst te kijken of de twee steekproeven normaal verdeeld zijn voordat er een betrouwbaarheidsinterval wordt geschat. Zowel het betrouwbaarheidsinterval als sommige toetsen stellen eisen met betrekking tot de verdeling van de steekproeven. Uitgangspunt bij veel toetsen is de normale verdeling. De twee steekproeven, laagste en hoogste waterstand, zijn bekeken met behulp van een Q-Q-plot en met een Wilk-Shapiro-toets. Het resultaat van de toets was dat bij de laagste waterstand de test een waarde te zien gaf van en bij de hoogste waterstand een waarde van Gegeven het aantal van 29 elementen in de steekproef is er sprake van een normale verdeling. Immers bij Wilk-Shapiro ligt de ondergrens bij een onbetrouwbaarheid van 5% en bij 29 waarnemingen bij (tabel 4). Als de waarden voor de steekproeven boven deze ondergrens uitkomt dan is er sprake van een normale verdeling. Als de laagste waterstand x1 genoemd wordt en de hoogste waterstand x2 dan kunnen de berekeningen, die noodzakelijk zijn voor de 'gepoolde variantie st,, als volgt worden uitgevoerd: = 819 X.2 = (x1 - i) = (x2 - = De 'gepoolde variantie st,' is dan als volgt: = = De steekproefgemiddelden geven een schatting van de onderliggende populatiegemiddelden g, en 1U2. Stel dat iemand beweert dat het verschil tussen de hoogste en laagste gemiddelde waterstand in werkelijkheid 600 is en iemand anders zegt dat het 700 is. Als het verschil buiten het betrouwbaarheidsinterval valt dan is het niet plausibel aan te nemen dat die bewering met betrekking tot de populatie juist is. Als de waarde van de bewering binnen het interval valt dan is het wel plausibel. Voor voorbeeld 3.3 kan een 95% betrouwbaarheidsinterval worden vastgesteld volgens de bekende formule (voor a= 0.05 en df = 56): F+ - ±.O2SP n, = ( ) ± = -606 ± 49,8 65

69 Aan de hand van het verschil tussen de steekproeven wordt voor het verschil in de populatie een 95 % betrouwbaarheidsinterval vastgesteld met als ondergrens 556 en als bovengrens 656. De uitkomst van 700 is niet plausibel want die valt buiten het interval. De andere uitkomst is plausibel want die valt binnen het betrouwbaarheidsinterval. Statistische hypothese Een statistische hypothese is een bewering over parameters van een populatie, bijvoorbeeld het gemiddelde, die getest kan worden door het trekken van een willekeurige ('random') steekproef. In de statistiek wordt meestal gesproken over steekproef ('sample') en populatie ('population'). Het is de bedoeling om aan de hand van de steekproef uitspraken te doen over de populatie. Betrouwbaarheidsinterval en acceptatie hypothesen Een uitkomst die buiten het betrouwbaarheidsinterval ligt wordt verworpen, terwijl een uitkomst die binnen het betrouwbaarheidsinterval valt niet wordt verworpen. Een betrouwbaarheidsinterval kan worden opgevat als een verzameling acceptabele uitkomsten. Meestal wordt niet de term '95% betrouwbaarheidsinterval' gebruikt maar de term 'testen met een foutenniveau van 5%'. Met 5% kans op een foute beslissing wordt de hypothese in voorbeeld 3.3, waarbij uitgegaan wordt van een verschil van 700, verworpen. Als het resultaat geaccepteerd wordt met 5 % kans op fouten dan wordt het ook wel 'statistisch significant' genoemd op 5% significantieniveau. Daarbij moet aangetekend worden dat: * Statistische significantie betekent dat er genoeg gegevens is verzameld om aan te tonen dat er een verschil bestaat. Het betekent niet dat het verschil belangrijk is, want hoe groter de steekproef des te eerder worden kleinere verschillen tussen twee populaties significant. * Op 5% significantieniveau kan beter vervangen worden door '5% foutenni- veau'. 3.4 Toetsen van één enkele hypothese: overschrijdingskansen Test voor populatiegemiddelde met bekende spreiding De betrouwbaarheidsintervallen kunnen op een eenvoudige manier worden gebruikt om elke hypothese te testen. Nu wordt er gekeken naar één hypothese en wordt er berekend hoeveel steun er is voor die ene hypothese. Daarbij kunnen de volgende stappen onderscheiden worden: het formuleren van de nulhypothese en een alternatieve hypothese; het formuleren van een toetsingsgrootheid ('test statistics'); het bepalen van het significantieniveau; Zei

70 het berekenen van de overschrijdingskans ('p-waarde'); het nemen van een beslissing. Analogie voor nulhypothese en alternatieve hypothese De rechterlijke macht ziet zich geconfronteerd met verdachten van misdrijven. De verdachte is in werkelijkheid schuldig ôf onschuldig. De rechter kan een beslissing nemen dat de verdachte schuldig is of onschuldig. De verdachte is onschuldig totdat het tegendeel is bewezen. De uitgangsstelling van de rechter is dat de verdachte onschuldig is: dit wordt dan de nulhypothese genoemd. De alternatieve hypothese is dat de verdachte schuldig is. Maar een hypothese is nog geen werkelijkheid. Deze stappen worden uitgewerkt aan de hand van een voorbeeld over de waterstanden. Stap 1: de formulering van de nulhypothese en de alternatieve hypothese Voorbeeld 3.4 Formulering nulhypothese en alternatieve hypothese Jarenlange meting van de laagste waterstanden heeft een gemiddelde van u = 824 opgeleverd met een standaardafwijking a = 48. Van de jaren is het gemiddelde R = 794. Is het gemiddelde van deze periode gelijk aan het gemiddelde van de populatie? Nulhypothese (H0): er is géén verschil tussen de laagste waterstanden over de jaren gemeten en de laagste waterstanden van de steekproef: H: Jh = 824. Dit wordt wel afgekort tot: /h0 = 824 Een andere hypothese is dat de waterstanden in de jaren lager zijn dan in de voorgaande jaren. Dit wordt de alternatieve hypothese (Ha) genoemd: Ha: j. <824. Dit wordt afgekort tot: M. <824 Als de nulhypothese (j = 824) waar is, wat is dan de kans dat de waarde 794 aanneemt? De nulhypothese De nulhypothese is een bewering over de populatie, een uitspraak over een parameter (bijvoorbeeld het gemiddelde), die getest wordt in een significantietest. De verdeling onder de nulhypothese is bekend, dus het gemiddelde en de spreiding, en de toets wordt gehouden om de sterkte van het bewijs tegen de nulhypothese te beoordelen, op grond van de data. De nulhypothese wordt meestal gesteld in termen als 'geen effect'. De nulhypothese wordt bekend verondersteld en de alternatieve hypothese niet. Alleen de nulhypothese kan dan getoetst worden. 67

71 Eerst wordt gekeken of de steekproef een normale verdeling heeft. Dit gebeurt aan de hand van de Q-Q-plot en de Wilk-Shapiro-test. Met een waarde van 0,91 blijkt dat de steekproef een normale verdeling heeft. Dan kan er verder gegaan worden met toetsen. Als de steekproef géén normale verdeling heeft moet er een andere toets worden gebruikt (de niet-parametrische of verdelingsvrije toetsen: bij deze toetsen worden geen aannames gemaakt over de verdeling van de variabelen). De hypothetische verdeling van R, als H0 waar is, ziet er dan als volgt uit. Een normale verdeling met een gemiddelde van 824. Het steekproefgemiddelde is een schatter voor het populatiegemiddelde,i. De verdeling van k is afhankelijk van de populatiespreiding a en deze moet geschat worden. 824 Standaa rdaf wij king (Standard Deviation) De standaardafwijking is de afwijking van de individuele waarneming ten opzichte van de gemiddelde waarde in de steekproef/populatie. Standaardfout (Standard Error) De standaardfout is de afwijking van de gemiddelde waarde van de steekproef ten opzichte van de gemiddelde waarde in de populatie. De standaardfout van het gemiddelde k wordt als volgt gedefinieerd: De gemiddelde waarde van een steekproef is een goede schatter voor de gemiddelde waarde van een populatie. Het gemiddelde van een steekproef vertoont minder spreiding dan de individuele waarnemingen, maar ook de gemiddelden vertonen een spreiding rondom het gemiddelde van de populatie. En die spreiding wordt aangeduid met de term standaardfout. Ofwel de typische afwijking van ten opzichte van het populatiegemiddelde M. Dan kan gekeken worden welke kans het gemiddelde van de steekproef heeft om v66r te komen gegeven de juistheid van de nulhypothese. Een opvallend punt aan de definitie van de standaardfout is dat hoe groter de steekproef wordt des te kleiner wordt de standaardfout (de schatting R voor,a wordt dus steeds beter bij een grotere steekproef).

72 Voorbeeld 3.4 (vervolg) De populatieverdeling is normaal verdeeld met uo = 824 en een standaardfout (SE) van c/vn = 48/'i5 = Hiermee kan de geobserveerde waarde van k gestandaardiseerd worden. Er wordt nu gekeken naar het gemiddelde en dat gebeurt aan de hand van het gestandaardiseerde gemiddelde. De formule waarmee een bepaalde kans wordt uitgerekend heet de toetsingsgrootheid ('test statistics'). Stap 2: de formulering van de toetsingsgrootheid Toetsingsgrootheid ('test statistics') De toetsingsgrootheid is gebaseerd op de parameter die in de nulhypothese wordt vermeld. Als de nulhypothese waar is dan moet de waarde van de toetsingsgrootheid daarbij dicht in de buurt blijven. Als de waarde van de toetsingsgrootheid ver verwijderd is van de parameterwaarde gespecificeerd door de nulhypothese dan is dat bewijs tegen de nulhypothese. De toetsingsgrootheid geeft een maat voor de 'passendheid' van de data aan de nulhypothese. Stap 3: het bepalen van het significantieniveau Statistische significantie Statistische significantie is een vaste waarde die van te voren wordt vastgesteld. Dit is het significantieniveau cx. Als de berekende kans (p-waarde) kleiner is dan cx dan zijn de data statistisch significant op niveau cx. Stap 4: het bepalen van de overschrjdingskans De 'one sample z-statistics' (gestandaardiseerd steekproefgemiddelde) volgt een standaard normale verdeling met N(0, 1): = - = aicn 21,47 = -1,39 Pr() 794) = Pr(Z :~ -1,39) =.0823 De kans dat het gemiddelde van de steekproef (R = 794) voorkomt gegeven de nulhypothese van gemiddelde u = 824 is 8,23%. Dat is de kans op een waarde die minstens zo ver weg ligt als de geobserveerde gemiddelde waarde. Hoe lager de kans is des te sterker is het bewijs tegen de nulhypothese.

73 Bij het testen van de significantie wordt uitgegaan van het bewijs tegen de nulhypothese in termen van kansen. De berekende kans wordt wel de p-waarde ('probability') van H0 genoemd of beter nog de eenzijdige p-waarde omdat de alternatieve hypothese alleen - in het voorbeeld - gericht is op waarden kleiner dan de nulhypothese. p-waarde De p-waarde is de kans - als de nulhypothese waar is - dat de toetsingsgrootheid een waarde aanneemt die op zijn minst zo extreem is als de geobserveerde waarde. Dit is de p-waarde van de test. Hoe kleiner p, des te sterker is het bewijs tegen de nulhypothese. Stap 5: de beslissing De p-waarde geeft aan hoeveel overeenstemming er is tussen de data en de nulhypothese. Meestal wordt de grens van 5 % aangegeven: als de p-waarde groter is dan 5% dan kan de nulhypothese niet verworpen worden. Voorbeeld: 8,23% van de gevallen bevindt zich voorbij de waarde gemeten in de steekproef. Deze waarde, Y = 794, is niet zo uitzonderlijk en de nulhypothese wordt niet verworpen. Immers ongeveer 8% van de waarden is kleiner dan de gemeten waarde. In bovenstaand voorbeeld was de berekende waarde kleiner dan de nulhypothese, maar de berekende waarde kan natuurlijk ook groter zijn dan de nulhypothese. p-waarde in de rechterstaart De p-waarde is de kans dat de steekproefwaarde net zo groot of groter is dan de geobserveerde waarde, als H. waar is. p-waarde in de linkerstaart De p-waarde is de kans dat de steekproefwaarde net zo klein of kleiner is dan de geobserveerde waarde, als H. waar is. Veelal worden twee steekproeven met elkaar vergeleken en dan wordt de formule voor de z-toets iets aangepast. Deze 'two sample z-statistic' volgt ook een standaard normale verdeling met N(0,1): (X1 - X2) - (91-92) 12 2 I i 02 ' n2 N In de praktijk is de spreiding van de populatie (de theoretische spreiding) onbekend en moet deze spreiding geschat worden. Dit komt in de volgende paragraaf aan de orde. 70

74 3.4.2 Test voor populatiegemiddelde met onbekende spreiding a Als de spreiding van de populatie bekend is kan de waarde van k gestandaardiseerd worden waarna de standaard normale tabel (z-tabel) gebruikt kan worden. Het is onrealistisch om te veronderstellen dat de populatiespreiding bekend is. Deze moet dan ook geschat worden met de steekproef standaardafwijking s. De toetsingsgrootheid is dan niet langer Z, maar t. De t-verdeling heeft (n - 1) vrijheidsgraden en kan gekarakteriseerd worden met N(j,cr). Vddrdat een t-verdeling toegepast wordt moet eerst de data bekeken worden of er sprake is van een normale verdeling. Als er minder dan 15 waarnemingen zijn en de verdeling is normaal dan kan de t-toets worden toegepast. Dit kan niet als er uitbijters zijn of als er sprake is van een scheve verdeling. De t-toets is gevoelig voor uitbijters omdat het gemiddelde van de steekproef en de spreiding daarvoor gevoelig zijn. Als de steekproefomvang groter is dan n =40 kan de t-toets zonder veel bezwaar worden toegepast. Bij een grotere n nadert de steekproefverdeling de normale verdeling, en nadert de steekproefstandaardafwijking s de standaardafwijking van de populatie a. De t-verdeling vereist een normale verdeling van het gemiddelde van de steekproef, Dit is moeilijk te bewijzen. Omdat Y rond ju0 schommelt, fluctueert Z rond 0. De toetsingsgrootheid t heeft dezelfde dichtheidsfunctie, maar er is sprake van een grotere spreiding bij de t-verdeling dan bij de z-verdeling: er zijn meer kansen in de staart van de verdeling. Omdat de populatiespreiding niet bekend is moet die geschat worden zodat er sprake is van een extra onzekerheid en dat vertaalt zich in grotere waarden van t. Er is één z-verdeling maar er zijn heel veel t-verdelingen: voor elke steekproefomvang (= aantal vrijheidsgraden) is er een tabel. Hoe groter de steekproefomvang des te kleiner wordt de spreiding van de t-verdeling en de schatting wordt veel nauwkeuriger. Als de steekproefomvang groot wordt (minimaal een omvang van 100) dan nadert de t-verdeling de z-verdeling: bij dezelfde kansen krijgen zij dan ongeveer dezelfde waarden. De t-verdeling wordt alleen gebruikt bij kleine steekproeven en wanneer de spreiding van de verdeling (cr) niet bekend is (zie plaatje in hoofdstuk 1). Toetsingsgrootheid t, schatting - nulhypothese SE 71

75 Vaak is in de nulhypothese gesteld dat u = 0 en dan wordt de toetsingsgrootheid t als volgt: = schatting SE De t-ratio meet de omvang van de schatting ten opzichte van de geschatte standaardfout. Voorbeeld 3.5 t-toets afzonderlijke verschillen In voorbeeld 3.3 is het betrouwbaarheidsinterval uitgerekend voor het verschil tussen de hoogste en de laagste waterstand. Daarbij werd als hypothese geformuleerd dat het verschil 600, respectievelijk 700 is. Het waren twee steekproeven en het verschil kan nu getoetst worden aan de hand van de t-toets. De SE (al'!) is berekend bij de betrouwbaarheidsintervallen. = = 0,24 24,31 = = -3,87 24,31 Het aantal vrijheidsgraden is in beide gevallen hetzelfde, namelijk 28 (n - 1). De t-verdeling is afhankelijk van het aantal vrijheidsgraden. Voor 28 vrijheidsgraden wordt de t-tabel hieronder gereproduceerd. d.f t.25 t 0 t 05 t.025 t 010 t 5 t.0025 t z-ver deling Tabel 3.2 Vergelijking t-tabel en z-tabel De t-waarde van 0,24 ligt nog v66r t. Dit betekent dat de kans dat het verschil van 600 voorkomt groter is dan 25%. De t-waarde van 3,87 ligt voorbij t 5. De kans dat het verschil van 700 voorkomt is kleiner dan.0005 en dat is dus erg klein. Dit verschil wordt als mogelijkheid verworpen (het lag ook buiten het betrouwbaarheidsinterval). 72

76 Als men wil weten of het gemiddelde van twee serie metingen van elkaar verschillen dan is de volgende toets geschikt (als de waarnemingen normaal verdeeld zijn): 'Two sample t-statistics': (; - - ( - I.12) 12 2 nl n2 Wanneer de beide populatiegemiddelden gelijk worden gesteld dan wordt de bovenstaande formule iets eenvoudiger: x1 - x2 2 N ni n2 Voorbeeld 3.6 t-toets met twee steekproeven in een proef heeft de ene groep een behandeling ondergaan en de andere groep niet. De behandelde groep bestaat uit 21 personen met een gemiddelde van en een standaardafwij king van De controlegroep bestaat uit 23 personen met een gemiddelde van en een standaardafwijking van De veronderstelling is dat de behandelde groep betere resultaten behaalt. Dit kan worden getoetst met behulp van de t-toets. t = I N = 2.31 Voor het opzoeken in de t-tabel wordt uitgegaan van het kleinste aantal vrijheidsgraden (in dit voorbeeld 20, want df=n-1). Er wordt gekeken naar de kans dat p > Deze waarde ligt tussen de en Deze kans is zo klein dat er uitgegaan mag worden van een verschil: de behandelde groep scoort na afloop hoger dan de controlegroep. 73

77 3.5 Klassieke testen: van foutenniveau naar kritieke waarde De kritieke waarde en het foutenniveau a In de vorige paragraaf is de feitelijke overschrijdingskans berekend, terwijl bij het klassieke testen uitgegaan wordt van een vastgestelde onbetrouwbaarheid die daarna wordt vertaald in een kritieke waarde. Als het testresultaat zich in het kritieke gebied bevindt dan wordt de nulhypothese (geen verschil) ontkracht. De gegevens zijn bekend van de laagste waterstanden (zie voorbeeld 3.4). Daarbij was het gemiddelde ji. = 824 en de standaardafwijking a = 48. Voor het verrichten van een klassieke test om te kijken of een steekproef afwijkt van de populatie worden de volgende stappen gezet. De eerste twee stappen worden gezet voordat er gegevens verzameld wordt. De nulhypothese (H0 : g = 824) en de alternatieve hypothese (Ha: L <824) worden geformuleerd. Daarnaast wordt de steekproefomvang n vastgesteld en het foutenniveau a ('error level') van de test. Het foutenniveau wordt meestal gesteld op 5%. Er wordt enkelzijdig getoetst want de alternatieve hypothese veronderstelt dat het gemiddelde in de steekproef kleiner is. De alternatieve hypothese bepaalt ook of de kritieke waarde zich in de linker- of rechterstaart bevindt. De nulhypothese wordt als waar verondersteld en daarbij komt de vraag naar voren: wat kan er verwacht worden van het steekproefgemiddelde gegeven de nulhypothese? De grens wordt nu bepaald door a = 5%. Dit is het kritieke gebied voor het verwerpen van de nulhypothese. Als de geobserveerde waarde groter is dan de kritieke waarde (in de rechterstaart) of kleiner dan de kritieke waarde (in de linkerstaart) dan wordt de nulhypothese verworpen. Er wordt nu een steekproef getrokken. Als het gemiddelde van de steekproef k in het kritieke gebied valt dan wordt H0 verworpen. a= 5% ververpen Altritieke waarde

78 In het voorbeeld 3.3 wordt uitgegaan van een normale verdeling. Uit tabel 3.2 blijkt dat 5% van de staart van de z-verdeling wordt afgesneden bij de waarde van z 05 = Voor de rechterkant van de verdeling geldt dat: - I.1 KritiekeZ= X C 0 a/v = kritieke Z (ci/1i) Voor de linkerkant van de verdeling geldt dat: = kritieke Z (a//') Voor het voorbeeld, waar de alternatieve hypothese veronderstelt dat het gemiddelde lager is (in de linkerstaart), geldt dan het volgende: xc = (48//) = ,2 = 788,8 De gemiddelde waarde van de steekproef ( = 794) bevindt zich niet voorbij de kritieke waarde van 788,8. De nulhypothese H0 kan op 5% foutenniveau niet verworpen worden (dit komt overeen met de berekende p-waarde van 8,23%). VerwerpH0 wanneer de p-waarde kleiner of gelijk is aan a. Meestal wordt de voorkeur gegeven aan het vermelden van de p-waarde en niet aan de (arbitraire) a. De p-waarde is de kleinste a waarop de gegevens significant zijn: H0 is 'waar'. Wanneer de waarde in de steekproef kleiner is dan 788,8 dan zijn er twee verklaringen: H. is waar maar er is een bijzondere steekproef getrokken. H0 is niet waar en dan is het geen verrassing dat het gemiddelde van de steekproef zo laag was. Het is dus mogelijk dat de eerste verklaring juist is. Vandaar de toevoeging: 'op 5% foutenniveau' Type T en type II fouten Bij de beslissing over de juistheid van hypothesen is het mogelijk om de verkeerde beslissing te nemen. Als H0 waar is, is er 5% kans dat Y in het kritieke gebied valt. Dan wordt beslist om H0 te verwerpen terwijl H0 wel juist is. Dit wordt een type 1 fout genoemd met als kans cx ('type 1 fout van de test'). Het significantieniveau wordt ook aangeduid met cx. Een type 1 fout is dus de kans de juiste hypothese (H0) te verwerpen. 75

79 Stel dat de alternatieve hypothese juist is: Ha: u < 824 (bijvoorbeeld: j. = 770). De juiste beslissing is dan om de foute nulhypothese te verwerpen. Een fout zou optreden als het gemiddelde van de steekproef Y in het gebied zou vallen dat acceptabel is voor H0. In het voorbeeld is dat het gebied dat groter is dan 788,8. De hypothese H0 accepteren terwijl die fout is wordt een type II fout genoemd met als kans D. Type II fout: een onjuiste hypothese aanvaarden, namelijk H0 ten koste van Ha De 'echte wereld' is onbekend en het is ook onbekend of H0 waar is of niet. Als een beslissing genomen wordt is er altijd het risico van de ene of de andere fout. Meestal wordt er naar gestreefd om a zo klein mogelijk te houden. Voorbeeld 3.7 Analogie rechtspraak Een analogie: in de rechtspraak moet er een beslissing genomen worden tussen H0, de hypothese dat de verdachte onschuldig is, en Ha dat de verdachte schuldig is. Type T fout: H0 ten onrechte verwerpen en een onschuldige veroordelen. Type II fout: een schuldige in vrijheid stellen. 76

80 de beslissing de werkelijke situatie H0 acceptabel H0 verworpen Als H0 waar is Als H0 fout is ('a waar) Tabel 3.3 Fouten bij toetsen juiste beslissing kans = 1 - a (betrouwbaarheid) type II fout kans =13 type T fout kans = a (foutenniveau) juiste beslissing kans =1-13 (macht van de test) Het verminderen van a en 13 De kans op fouten is a als H0 waar is en 13 wanneer Ha waar is. Wanneer a verkleind wordt door de kritieke waarde te verschuiven van 788 naar 775 dan wordt 13 groter (zie onderstaande grafiek). Het is niet mogelijk om a naar 0 te laten zakken zonder dat 13 naar 1 stijgt. Stel dat het gemiddelde van de alternatieve verdeling op u = 822 ligt (en H0 op 824) dan vallen de verdelingen praktisch over elkaar. Het gebied rechts van de kritieke waarde (als er naar de linkerstaart wordt gekeken) is dan bijna het hele gebied van de verdeling. Voorbeeld 3.7 (vervolg) Analogie met de rechtsspraak: door wettelijke hervormingen is het mogelijk om de positie van de verdachte te verstevigen om daarmee te verhinderen dat een onschuldige wordt veroordeeld. Het is onmogelijk om te verhinderen dat er nooit meer een onschuldige wordt veroordeeld (a naar nul) want dat houdt in dat alle verdachten vrijgelaten moeten worden (13 naar 1). Het is wel mogelijk om één fout te verminderen zonder de andere te vergroten. Dit kan gebeuren door de steekproefomvang te vergroten. Dan wordt de steekproefverdeling accurater en wordt 13 kleiner zonder dat a groter wordt. 768, i

81 3.5.4 Valkuilen bij klassiek testen Er zijn verschillende problemen aan te wijzen bij het klassieke testen met een van te voren vastgesteld foutenniveau a. Uitgangspunt bij het klassieke testen is het verwerpen of accepteren van hypothesen. Bij een a - 5% valt de waarde van 790 niet in het verwerpingsgebied, maar bij een a 10% wel want dan wordt het kritieke gebied groter. Het verwerpen van een hypothese is afhankelijk van de waarde van a. De onbetrouwbaarheid moet van te voren worden vastgesteld. Het is beter om niet de term 'H0 is waar' te gebruiken, maar 'H0 wordt niet verworpen'.of: H0 wordt geaccepteerd. H0 is één van de alternatieven en daarnaast wordt H0 vaak gebruikt om H. vast te stellen: Ha bewijzen door H0 te verwerpen. Een grote steekproef leidt tot een zo'n kleine standaardfout dat zelfs de kleinste nuance in de data aanleiding geeft tot het verwerpen van H0. Een lage p-waarde houdt in dat er een sterk bewijs is tegen een bepaalde hypothese. Als de correlatie wordt getoetst houdt het niet in dat er een sterk verband is. Toetsen moet dan ook altijd vooraf gegaan worden door het bekijken van de gegevens: een scatterplot maken en een betrouwbaarheidsinterval berekenen. De oplossing is het vermelden van de p-waarde zodat de lezers hun eigen oordeel kunnen vellen. Het foutenniveau a kan worden gebruikt wanneer er veel steekproeven zijn zodat er maar één keer een kritieke waarde hoeft te worden uitgerekend en niet elke keer de p-waarde hoeft te worden bepaald. In dat geval moet a op een rationele wijze worden vastgesteld: Als er van te voren twijfel bestaat over de alternatieve hypothese dan moet a kleiner worden gemaakt. Hoe groter de kosten van een type 1 fout (respectievelijk type II fout) des te kleiner moet a zijn (respectievelijk 13) Het berekenen van 13 De kans om Ha te verwerpen terwijl de alternatieve hypothese juist is wordt aangeduid met 13. Deze 13 kan berekend worden wanneer de alternatieve hypothese exact gespecificeerd is en wanneer de (normale) verdeling bekend is. Dit is meestal niet het geval. In het voorbeeld van de laagste waterstanden was de kritieke waarde x=788 en de alternatieve hypothese g = 770. Vervolgens kan 13 berekend worden door te kijken hoever het gemiddelde van de alternatieve hypothese verwijderd is van de kritieke waarde (de kritieke waarde wordt gestandaardiseerd). De steekproef betrof 5 observaties en de standaardafwijking van de populatie a = 48. De fout om H0 te accepteren vindt plaats wanneer 5 boven de kritieke waarde uitkomt van 778.

82 = SE z = = f/ Dus: Pr (R > 788) = Pr (Z >.838) = =20% De alternatieve verdeling bevindt zich links van de nulhypothese (Ia = 770 en go = 824). Hoe verder de alternatieve verdeling zich links bevindt des te minder overlap is er met de verdeling van de nulhypothese. De kans op fout 13 zakt dan tot 0. Als = 700 is de kans op fout 13 = 0. De twee alternatieven vertonen dan geen overlap. Als het gemiddelde van de alternatieve verdeling steeds dichter bij het gemiddelde van de nulhypothese komt nadert de kans op fout 13 = 1. Alle waarden kleiner dan p = 824 kunnen worden berekend: hoe verder weg van 824 des te lager de kans op 13 en des te kleiner de kans op vergissingen Bij het formuleren van een toets wordt gekeken naar de power of het onderscheidingsvermogen van een toets. Power houdt in dat een toets kan ontdekken dat H0 fout is. Dat is de kans om H0 te verwerpen terwijl Ha juist is. De power van een test tegen een specifiek alternatief is de kans van 1 - kans op type II fout (13) voor dat alternatief. Hoe verder het alternatief van de nulhypothese is verwijderd des te groter is het onderscheidingsvermogen. Als het onderscheidingsvermogen te laag is moet het aantal waarnemingen in de steekproef vergroot worden. Bij de berekening van 13 werd de kans van.20 gevonden voor het alternatief van 770. De kans dat de test H0 zal verwerpen (j.t = 824) als in feite het alternatief juist is (Ha 770) is 1-13 = =.8. Er kan van uitgegaan worden dat de test het verschil zal ontdekken. Als de alternatieve hypothese daarentegen 820 bedraagt is het onderscheidingsvermogen gezakt tot

83 3.5.6 Tweezijdig toetsen Bij eenzijdig toetsen (paragraaf 3.5.1) wordt de alternatieve hypothese en daarmee het kritieke gebied en de p-waarde aan edn kajit van de nulhypothese geconcentreerd. Dus aan de rechterkant of aan de linkerkant. Maar als het niet bekend is of de alternatieve hypothese groter of kleiner is dan de nulhypothese dan kan er aan beide kanten van H0 getoetst worden. Daarvoor Zfl enige aanpassingen nodig. Voorbeeld 3.8 rt beeldbuizefl die een gemiddelde levensduur Een televisiefabrikant producee = 1200 uur met een spreiding van a = 300. De veronderstelde hebben van M nulhypothese is dan: H0:,LL = 1200 Er is een nieuw model gemaakt maar de ontwerpers weten niet of de gemiddelde levensduur van dit nieuwe produkt langer of korter is dan de huidige produktiese rie. De alternatieve hypothese is dan Ha : M > 1200 of 9 < 1200 Een waarde van k in de steekproef beneden de 1200 is net zo belangrijk als een waarde boven de Het belangrijkste is de vraag hoe ver het gemiddelde verwijderd is van die Als het steekproefgemiddelde R = 1265, wat is dan de tweezijdige p-waarde? Dus wat is de kans dat R zo ver verwijderd is (beide kanten = 1200? De steekproef bestaat uit 100 observaties. op) van de nulhypothese ji( De toetsingsgrootheid is Z: hoever is R verwijderd van de nulhypothese j? - $.L = 2.17 Dus Pr(K > 1265) = Pr(Z >2.17) =.015.Er is dus 1,5% kans dat k zo ver boven de juo = 1200 wordt aangetroffen, maar er is een identieke kans dat wordt aangetroffen (in de andere staart van de verdeling). zo ver beneden go In totaal is de kans dus.030. (Voor z-toets zie 1.5.2) De aanpassingen van de eenzijdige toets zijn als volgt: Wanneer de steekpro efverdelig synimetrisch is kan de t weezijdige p-waarde worden berekend door de eenzijdige p-waarde met twee te vermenigvuldigen. Toetsen: H0 wordt verworpen wanneer de tweezijdige p-waarde kleiner is dan a (in het voorbeeld wordt de nulhypothese verworpen omdat p = 3 % kleiner is dan a = 5%). twee kritieke waarden te Het kritieke gebied kan worden berekend door berekenen met elk 21/2 % in de staart voor a = 5%. Het gebied is gecentreerd rond j. Als buiten het gebied van deze test valt dan wordt H 0 verworpen.

84 Het is ook mogelijk een betrouwbaarheidsinterval te berekenen (rond xi). Wanneer de nulhypothese mo buiten dit gebied valt kan de nulhypothese verworpen worden. Het tweezijdig betrouwbaarheidsinterval (1 - a) en de tweezijdige test (a) zijn precies gelijk omdat in beide gevallen gekeken wordt of het verschil 1 R - mo l groter is dan 1.96 standaardfout. In de klassieke test wordt de nulhypothese als uitgangspunt genomen en bij het betrouwbaarheidsinterval staat R centraal. De nulhypothese wordt verworpen wanneer de waarde van de parameter buiten het betrouwbaarheidsinterval valt Eenzijdige testen en betrouwbaarheidsintervallen Het is mogelijk om een eenzijdig betrouwbaarheidsinterval te ontwikkelen dat gelijk is aan een eenzijdige test. In beide gevallen wordt de fout a = 5% in één staart geconcentreerd. Dus aan één kant van de verdeling. Er is dan één kritieke waarde. Voor een eenzijdig 95% betrouwbaarheidsinterval geldt dan de volgende berekening voor de ondergrens van het betrouwbaarheidsinterval: a p. > X - z 05- Voorbeeld 3.9 Eenzijdig betrouwbaarheidsinterval Vraag: hoeveel uren zal een beeldbuis het op zijn minst uithouden met een betrouwbaarheid van 95 %? Uit de standaard normale tabel blijkt dat de kritieke waarde die 5% in één staart laat is z 05 = Het betrouwbaarheidsinterval wordt dan: > (_300) ïöö /.h > 1216 Het gemiddelde is minstens Als er een tweezijdig interval wordt gecreëerd dan wordt de z-waarde van 1.64 vervangen door z.025 = 1.96 (voor elke staart 21/2 %) en dan wordt de ondergrens Het is dus mogelijk om aan de hand van een éénzijdig interval een sterkere uitspraak te doen (1216 versus 1206 uren), maar er wordt geen bovengrens aangegeven. E31

85 Als het populatiegemiddelde beneden een bepaalde waarde is dan kan het volgende éénzijdige betrouwbaarheidsinterval worden geformuleerd waarin de bovengrens wordt aangegeven:.l <X + z05 rn Het tweezijdig betrouwbaarheidsinterval is meestal de standaardvorm met als aanvulling de éénzijdige p-waarde. 3.6 Niet-parametrische toetsen De testen tot nu toe zijn gericht op het gemiddelde van de steekproef en de populatie. Het gemiddelde wordt gebruikt als het totaal bekend moet zijn, maar het gemiddelde is wel gevoelig voor uitbijters. Er zijn verschillende oplossingen: het transformeren van data als de verdeling scheef verdeeld is (verder werken met het logaritme), het gebruik van medianen en het toepassen van verdelingsvrije- of niet-parametrische toetsen. In deze toetsen wordt geen enkele uitspraak gedaan over de aard van de verdeling. De eis van een normale verdeling gaat voor deze toetsen niet op. Het nadeel van deze toetsen is dat het bewijs minder sterk is dan toetsen gebaseerd op een normale verdeling De sign-test voor de mediaan Het steekproefgemiddelde R schat het populatiegemiddelde ju en de mediaan van de steekproef schat de mediaan van de populatie 'nu'(v). De sign test is een eenvoudige test die kijkt of de observatie boven of beneden een veronderstelde mediaan ligt. Stel dat de hypothese luidt dat de mediaan van het inkomen op f ligt. Er wordt een willekeurige steekproef getrokken van 9 families en dan blijkt dat 7 families een inkomen hebben boven de mediaan en 2 onder de mediaan. Is dit bewijs voldoende om de nulhypothese te verwerpen dat H0: v = f ? Als H0 waar is dan ligt de helft van de inkomens boven de f Dit hoeft niet te betekenen dat de helft van de inkomens in de steekproef boven deze grens ligt, maar wel dat als elke familie willekeurig ('at random') wordt getrokken de kans dat het inkomen boven de ligt een ½ bedraagt. Denk hierbij aan een munt: de kans dat kop boven komt is een ½. Als H0 waar is dan is de steekproef van 9 waarnemingen hetzelfde als het gooien van een munt. Het aantal keren dat een familie een inkomen boven f heeft (het aantal 'successen') heeft de binomiale verdeling. Het is mogelijk om een p-waarde te berekenen voor H0: dat is de kans dat het aantal successen (S) gelijk of meer is dan 7

86 uit 9 waarnemingen. Het antwoord kan gevonden worden in de tabel met de cumulatieve binomiale verdeling. De tabel is onderverdeeld in het aantal waarnemingen van de steekproef (n), het aantal successen (s) en de kans dat een bepaalde gebeurtenis plaatsvindt. n s De kans dat uit een steekproef van 9 families er 7 boven de mediaan uitkomen (.5) is.090, dus 9%. Als de mediaan van de populatie f is (als H0 waar is) dan is de kans 9% dat de steekproef zo scheef zou zijn. H0 is niet waarschijnlijk De Wilcoxon rangorde test De sign test is zeer simpel: er wordt alleen gekeken of een waarneming boven of onder een veronderstelde mediaan ligt. De klassieke t-test daarentegen gebruikt veel meer informatie omdat daar ook de waarde van de waarneming wordt betrokken in de berekening. De Wilcoxon rangorde test is een compromis: er wordt wel gekeken naar de volgorde maar niet naar de waarde. Deze test kan gebruikt worden wanneer er geen normale verdeling is en bij kleinere steekproeven. Voorbeeld 3.10 Wilcoxon rangorde test In twee gebieden is het aantal vogelsoorten geteld. In A zijn 4 tellingen verricht en in B 6 tellingen. Dit zijn twee onafhankelijke steekproeven. De nulhypothese luidt dat de twee onderliggende populaties gelijk zijn. De alternatieve hypothese luidt dat in het 2 gebied (B) het aantal soorten groter is. gebied A gebied B ti] 31 n1 =4 n2 =6 De gecombineerde observaties worden op volgorde gezet. Het feitelijk aantal vogelsoorten wordt niet in de berekening opgenomen, maar wel hun rangorde. De test wordt niet beïnvloed door uitschieters en scheefheid. Vervolgens wordt Wilcoxon's Rank Sum W berekend: de som van de waarden van de rangen van de kleinste steekproef. (RA en RB zijn de rangen van de gebieden.)

87 Uitgangspunt van deze test is dat als er een groot verschil bestaat tussen de twee steekproeven dan krijgen de waarden van de ene steekproef vooral lage rangnummers en de waarden van de andere steekproef vooral hoge rangnummers. Het laagste aantal voor de kleinste steekproef in dit voorbeeld zou 10 punten bedragen (rangorde 1 tot en met 4). Dan is de kans zo klein dat H0 - gelijke populaties - dat er besloten wordt dat er een verschil bestaat. Wanneer de twee groepen door elkaar staan dan zijn er tabellen om te zien wat de minimum-waarde is. De som van alle rangorden in het voorbeeld is: W= =18 Vervolgens kan de p-waarde voor H0 (geen verschil) worden opgezocht in de Wilcoxon Rank Test tabel (tabel 5). Daarbij wordt eerst gekeken naar het aantal van de kleinste steekproef (n = 4) en binnen deze tabel naar de omvang van de andere steekproef (n = 6) en naar de waarde van W = 18. p-waarde =.238 De waarde is zo groot dat de nulhypothese niet verworpen kan worden. Er bestaat geen verschil tussen de twee gebieden wat betreft het aantal vogelsoorten. De Wilcoxon rangorde test kan worden toegepast bij steekproeven waarbij de kleinste maximaal 5 elementen bevat en de grootste maximaal 10.

88 3.7 Gepaarde waarnemingen Inleiding Toetsen kan gebeuren aan de hand van betrouwbaarheidsintervallen en aan de hand van toetsingsgrootheden. Bij de toetsingsgrootheden is uitgegaan van onafhankelijke steekproeven. Een andere veronderstelling is dat de gegevens normaal verdeeld zijn. Als dan de populatiespreiding bekend is kan de z-toets worden gebruikt. Meestal moet de populatiespreiding geschat worden met behulp van de steekproeven. Dan wordt de t-verdeling gebruikt. De interesse gaat meestal uit naar het vergelijken van steekproeven en niet naar het toetsen van een specifieke hypothese over de populatie. De nulhypothese en de alternatieve hypothese zijn belangrijk want de nulhypothese die getoetst kan worden bij het vergelijken van steekproeven is dat er geen verschil is tussen de gemiddelden van de twee steekproeven. In de voorgaande paragrafen zijn de toetsen voor gemiddelden van steekproeven aan de orde gekomen en ook enkele niet-parametrische toetsen zijn behandeld. Uitgangspunt voor beide soorten toetsen is de onafhankelijkheid van steekproeven. Maar dat is niet altijd het geval. Het kan zelfs beter zijn om niet-onafhankelijke steekproeven te verrichten. Wanneer de steekproeven niet onafhankelijk zijn wordt er gesproken over gepaarde waarnemingen, bijvoorbeeld de metingen aan dezelfde objecten vddr en ná een experiment. Omdat dezelfde personen of objecten gemeten worden is de variatie minder dan bij niet-gepaarde waarnemingen. Dit komt tot uiting in de standaardafwijkingen. De toetsen voor het vergelijken van het gemiddelde van steekproeven en de niet-parametrische toetsen moeten worden aangepast voor de gepaarde waarnemingen. Deze aanpassingen en de toename van nauwkeurigheid bij steekproeven met gepaarde waarnemingen zullen in deze paragraaf aan de orde komen Verschillen in gemiddelden - gepaarde steekproeven Soms is het nuttig om een meting te verrichten waarin de steekproeven niet onafhankelijk van elkaar zijn. Bijvoorbeeld wanneer metingen ('cases') in de verschillende steekproeven aan elkaar gerelateerd zijn. Dit is het geval wanneer er gebruik gemaakt wordt van experimentele- en controle-groepen waarbij de experimentele groep de behandeling krijgt en de controle-groep ('blanco') niet. Of bij een 'vooraf-achteraf' ontwerp waarin dezelfde objecten of personen worden vergeleken v66r en na de behandeling. In het laatste geval is er geen sprake van onafhankelijkheid want het resultaat van een waarneming bij de eerste steekproef helpt het resultaat te voorspellen van een waarneming bij de tweede steekproef. Het doel van gepaarde steekproeven is om de steekproeven zo gelijk mogelijk te maken. De eerste en tweede steekproef verschillen dan alleen in de te meten variabele: alle andere variabelen worden dan zoveel mogelijk gelijk gehouden. Bij twee onafhankelijke steekproeven is de variantie groter. Het is niet mogelijk om een toets 99

89 uit te voeren die naar het verschil in de gemiddelden kijkt omdat de twee steekpr verschil tussek ven niet onafhankelijk zijn samengesteld. Wel is het mogelijk om het te bekijken, dus wat is het verschil van de waarneming v66r en paren waarnemingen ná de behandeling? Als nulhypothese kan dan geformuleerd worden dat het gemiddelde van de verschillen in de populatie (Jd) nul is. Er is nu sprake van een toets van een enkele steekproef met als hypothese = 0. Het verschil wordt berekend, daarna btd spelen de originele gegevens geen rol meer. Het aantal waarnemingen wordt in feite gehalveerd. BetrouwbaarheidSintel'\'al niet-gepaarde waarnemingen Voorbeeld 3.11 De sportschool Metamorfose, gevestigd in Kempenaar 01-06, heeft programma's voor krachttraining, aerobics en fitness. Om het effect te meten van de fitness wordt er een onderzoek ingesteld naar het gewicht van de deelnemers voor en na een speciaal programma. Er zijn vijf personen voor de actie gemeten en vijf personen na de actie (later wordt gekeken naar steekproeven met gepaarde waarnemingen). Voor het programma: J.H. 84, K.L. 97.5, M-M. 77.5, T.R. 91.5, M.T Na het programma : L.W. 91.5,V.G. 88.5,E.P.74,J.C. 81, M.W. 90 Allereerst wordt gekeken naar een 95 % betrouwbaarheidsinter voor het gemiddelde gewicht voor en na het programma en naar de gemiddelde gewichtsafname tijdens de actie. De formule voor de berekening van het 95 % betrouwbaarheidsifltepal met een schatting voor de spreiding - met de t-verdeling - is bekend: Bij het 95 % betrouwbaarheidsinter\'al voor het verschil tussen de gemiddelden van beide steekproeven wordt de volgende formule gebruikt: r 2 2 Sz Is1 P.2 = - ± t.o \L?;;. + De initialen duiden erop dat er voor en na het programma sprake was van verschillende steekproeven: er zijn twee groepen mensen getest. Dit kan met de bekende benadering worden opgelost. Er kunnen betrouwbaarheidsint'11 worden geconstrueerd voor de vooraf-meting (x1) en de achteraf-meting (x2 ) en voor het verschil. m.

90 x1 (x (x1 - x2 (x2-2) (x2-2) = IR 2 = Tabel 3.4 Voorbeeld onafhankelijke steekproeven = 87 ± /4 = 87 ± 9.5 = 85 ± /4 = 85 ± = ( 87-85) ± ± 11 Betrouwbaarheidsintervallen bij gepaarde waarnemingen Bij gepaarde steekproeven worden dezelfde personen in de analyse betrokken. De analyse wordt dan gebaseerd op individuele verschillen: de eerste stap is om te kijken hoe van elk persoon afzonderlijk het gewicht veranderd is. Het verschil wordt berekend: d = x1 - x2. Als deze verschillen berekend zijn worden deze verschillen opgevat als een enkele steekproef en de gegevens van de vooraf- en achteraf-meting worden verder in de analyse niet gebruikt. Voor deze steekproef wordt het gemiddelde verschil uitgerekend (d) en de standaardafwijking (Sd). Aan de hand van deze gegevens kan een betrouwbaarheidsinterval worden uitgerekend voor het gemiddelde populatieverschil A (met gepaarde steekproeven): - S = D ± t 5-- wo

91 Omdat het gemiddelde van de populatieverschillen precies gelijk is aan het verschil van de gemiddelden ( - j.) kan de formule ook als volgt worden gezien: t.'l - = - ± 1025 Sd Dezelfde parameter wordt geschat - het verschil in twee populatiegemiddelden - maar de benadering met de gepaarde waarnemingen is beter omdat de steekproeffout (sdnn) kleiner is. Dit kan worden aangetoond met onderstaand voorbeeld. Voorbeeld 3.11 (vervolg) Om het effect te meten van het nieuwe oefenprogramma wordt er nu een steekproef getrokken met dezelfde personen voor en na het programma. Er wordt gekeken naar het individuele gewichtsverlies. Persoon x1 x-, d = x1 - x2 (d - d ) (d - d )2 J.H K.L M.M T.R M.T Tabel 3.5 Steekproeven met gepaarde waarnemingen d =4 0 Sd 2 Dan kan het 95% betrouwbaarheidsinterval worden uitgerekend: = 4 ± = 4 ± 1.8 VIS De steekproef met gepaarde waarnemingen geeft dus een preciezere schatting voor het interval van het gewichtsverlies (1. 8 versus 11). De schatting wordt beter omdat allerlei extra factoren constant wordt gehouden (telkens dezelfde personen) zodat alleen het oefenprogramma van invloed is.

92 t-toets gepaarde waarnemingen Het is ook mogelijk om het verschil (vooraf- minus achterafmeting) te onderwerpen aan een toets om te kijken of het verschil significant is. De nulhypothese is dat er geen verschil bestaat tussen de voor- en achteraf-meting: Md = 0. Er wordt aangenomen dat alle verschillen normaal verdeeld zijn. Omdat de standaardafwijking van de populatie van de verschillen niet gegeven is, moet de t-verdeling gebruikt worden met n - 1 vrijheidsgraden. Er zal tweezijdig worden getoetst met een a van Voor 4 vrijheidsgraden betekent dit dat de nulhypothese zal worden verworpen wanneer Iti >=2.78. De formule voor de toetsingsgrootheid is bekend, maar nu wordt het gemiddelde van de verschillen (R d) en de standaardafwijking van de verschillen (sd) in de toets opgenomen: = X d - 1 d Sd/ De gegevens zijn berekend in tabel 3.5: het gemiddelde van de steekproefverschillen is 4 en de standaardafwijking van verschillen is 2. Dit levert de volgende t-waarde op: = - 1.4// = 6.33 Met 4 vrijheidsgraden ligt de kans tussen en bij een t-waarde van De nulhypothese - geen verschil - wordt verworpen en de conclusie is dat er wel een verschil bestaat na afloop van het trainingsprogramma. Dit komt ook tot uiting in het betrouwbaarheidsinterval want het berekende interval ligt tussen de 2.2 en 5.8. Maar met de t-toetsingsgrootheid wordt de exacte kans aangegeven. Hoe beter de 'pairs' zijn samengesteld des te geringer is de standaardafwijking van de verschillen en daardoor wordt de halvering van het aantal waarnemingen - en dus vergroting van de standaardfout - gecompenseerd Niet-parametrische toetsen en gepaarde waarnemingen (Wilcoxon) Voorbeeld 3.12 Niet-parametrische toetsen voor gepaarde waarnemingen Bij een onderzoek zijn telkens twee steden aan elkaar gelijkgesteld en in een paar ondergebracht. Vervolgens wordt gekeken wat het effect is van een bepaald beleid. De nulhypothese is dat er geen verschil bestaat: Md = 0 en volgens de alternatieve hypothese heeft groep b hogere waarden dus Md > 0.

93 paar groep a, % groep b, % verschil (b - a), % rang neg. rang Tabel 3.6 Niet-parametrische toetsen met gepaarde waarnemingen Het gemiddelde van de verschillen en de standaardafwijking kan berekend worden aan de hand van de eerste vier kolommen. Het gemiddelde is Y d = 4.0 (52/13) en de standaardafwijking Sd = ( 328/12) = Er wordt tweezijdig getoetst met a = De toetsingsgrootheid t wordt als volgt: = Xd - lld = = 2.76 Sd 5.228//Ï Bij een waarde van t = 2.76 hoort een kans van tussen.01 en.02 bij 12 vrijheidsgraden. Er wordt tweezijdig getoetst dus de kans wordt met twee vermenigvuldigd. Volgens "Statistixt' is de kans Deze kans is zo klein dat de nulhypothese - geen verschil - wordt verworpen: methode b is beter dan methode a. De nulhypothese luidt dat er geen verschillen zijn tussen de scores van de twee steekproeven. Daarvoor worden eerst de verschillen bepaald voor elk paar, waarna de verschillen op volgorde worden gezet (5'kolom van tabel 3.6). Er wordt nu niet gelet op het teken dat voor het verschil staat. Het kleinste verschil krijgt de rang 1. Daarna worden alsnog de tekens vermeld en wordt er gesommeerd over de positieve en negatieve verschillen.

94 Als de nulhypothese juist is dan is de som van de positieve verschillen ongeveer even groot als de som van de negatieve verschillen. Als er een groot verschil bestaat tussen deze twee sommaties kan de nulhypothese verworpen worden. De toetsingsgrootheid W wordt berekend en dat is kleinste van de twee som maties. Wanneer verschillen dezelfde grootte hebben ('tied to magnitude') dan krijgen de waarnemingen de gemiddelde waarde (twee waarnemingen staan op plaats één: zij krijgen dan beide de plaats 1.5). De som van de rangnummers van negatieve verschillen is kleiner dan de som van rangnummers van de positieve verschillen: W = = 13.5 De nulhypothese luidt dat de som van de positieve verschillen ongeveer zo groot is als de som van de negatieve verschillen. Er wordt tweezijdig getoetst met a = Omdat W kleiner is wordt H0 verworpen wanneer W gelijk of kleiner is dan de waarden in de 'Wilcoxon matched-pairs signed ranks test'-tabel (tabel 6). Bij een aantal waarnemingen van n = 13 is een W van 17 of kleiner nodig om de nulhypothese te verwerpen op 0.05 niveau. Een W van 13 of minder is nodig om de nulhypothese te verwerpen op.02 niveau. Volgens t'statistix" is de waarde van p = Het onderscheidingsvermogen van verschillende toetsen Niet-parametrische toetsen vereisen niet dat de verdeling normaal verdeeld is en er zijn ook geen veronderstellingen over de exacte vorm van de populatie. De nietparametrische toetsen zijn zwakker en minder restrictief dan bijvoorbeeld de t-toets. De niet-parametrische toetsen zijn te gebruiken wanneer de resultaten geordend worden naar rang of wanneer de steekproef klein is. Een test die sterkere veronderstellingen vereist is een krachtiger test: een lager risico op een type II fout (H0 accepteren terwijl Ha waar is). De power (of onderscheidingsvermogen) van een test is gedefinieerd als 1-13 (1 - kans op een type II fout). Hoe groter het vermogen van een test is om verkeerde hypothesen te verwerpen des te groter is het relatieve onderscheidingsvermogen. Type II fouten zijn moeilijker te beoordelen dan type 1 fouten omdat de exacte vorm van de populatie bekend moet zijn en omdat het onderscheidingsvermogen afhangt van de alternatieve hypothese die waar is. Het risico van een type II fout is relatief groot wanneer de waarde (van de hypothese) niet ver verwijderd is van de juiste waarde. Het is belangrijk om eenzijdige en tweezijdige toetsen te bekijken. Wanneer de echte waarde zich rechts van juo bevindt dan is er grotere kans om H. te verwerpen wanneer er een eenzijdige toets in deze richting wordt toegepast dan bij een tweezijdige test. Het onderscheidingsvermogen van deze eenzijdige toets is dan groter. Als de waarde zich links van uo bevindt dan wordt H0 nooit verworpen als het alternatief aan de rechterkant is geformuleerd. Dus een eenzijdige toets heeft meer onderscheidingsvermogen dan een tweezijdige toets wanneer de alternatieven in de richting liggen die veronderstelt is. Anders is de tweezijdige toets beter. Het risico van een type II fout is bij een eenzijdige test groot wanneer de veronderstelling verkeerd is. 91

95 Ook niet-parametrische toetsen zijn te beoordelen naar het onderscheidingsvermogen. Afhankelijk van omstandigheden heeft een toets meer onderscheidingsvermogen dan een ander. Het onderscheidingsvermogen wordt in elk geval groter wanneer het aantal waarnemingen toeneemt. Dit betekent dat de standaardfout kleiner wordt: een foute hypothese kan gemakkelijker verworpen worden wanneer n groot is. Om testen te vergelijken kan er gekeken worden naar hoeveel waarnemingen er nodig zijn om hetzelfde onderscheidingsvermogen te verkrijgen. De test met het meeste onderscheidingsvermogen is de t-test voor de verschillen van gemiddelden. Bij het gebruik van niet-parametrische toetsen is de vraag hoeveel het kost om de veronderstelling van normaliteit niet te accepteren terwijl die veronderstelling wel waar is. Dus wanneer er een niet-parametrische toets wordt gebruikt terwijl de t-test gebruikt kan worden. Niet-parametrische toetsen gaan uit van de onafhankelijkheid van de steekproeven. Wanneer er gepaarde waarnemingen zijn dan kan een test die gericht is op verschillen tussen gemiddelden niet gebruikt worden. Er wordt dan gekeken naar de verschillen tussen de scores voor elk paar. De Wilcoxon test vereist dat de data op een schaal te ordenen zijn en dat de verschillen tussen de metingen zijn te ordenen. Wanneer de veronderstellingen van de t-test waar zijn en de Wilcoxon test wordt gebruikt dan is de 'power efficiency' ongeveer 95%. Dit betekent dat voor het onderscheiden van een type II fout bij de Wilcoxon 5 % meer data nodig is dan bij de t-test. Bij variabelen die op interval-niveau zijn gemeten maar waar sprake is van een kleine steekproef is de Wilcoxon test dan ook nuttig. Gepaarde t-test versus gepaarde Wilcoxon De berekening van de p-waarde volgens een niet-parametrische toets levert een hogere p-waarde op dan volgens de t-test. Het onderscheidingsvermogen van de t-test is groter want de Wilcoxon-test zal eerder de nulhypothese aanvaarden terwijl de alternatieve hypothese waar is. Met dezelfde gegevens uit voorbeeld 3.12 levert de t- test een kans op van 1,7% en de Wilcoxon-test een kans van 2,7%: de Wilcoxon-test zal eerder boven het cr-risico van 5 % uitkomen en daarmee wordt de nulhypothese eerder aanvaard. Gepaarde t-test versus onafhankelijke t-test Het onderscheidingsvermogen bij steekproeven met gepaarde waarnemingen wordt ook groter dan bij steekproeven met onafhankelijke waarnemingen. Wanneer dezelfde data uit tabel 3.8 wordt getoetst met een t-toets waarin uitgegaan wordt van twee onafhankelijke steekproeven dan is de p-waarde.3742 en niet Dit is het grote voordeel van gepaarde waarnemingen waarbij allerlei verstorende invloeden constant kunnen worden gehouden. 3.9 Chi-kwadraat (x) testen Voorbeeld 3.13 Stel dat er een steekproef wordt gehouden onder passagiers in de trein tussen Lelystad en Almere. Daarbij is gekeken naar het aantal mannen en vrouwen en naar het hebben van werk (geen werk betekent onder andere het volgen van een opleiding). In de onderstaande kruistabel zijn de resultaten vermeld.

96 werk geen werk totale fre- relatieve - quentie frequentie vrouw man totale frequentie relatieve frequentie Tabel 3.7 Kruistabel voor x2 met gemeten waarden In totaal is 69% van de steekproef man. Als er geen samenhang bestaat met de andere variabele, werk, dan zou 69% van de mensen met werk man zijn en ook 69% van de mensen zonder werk. In totaal 56% van de steekproef heeft een baan. Als er geen samenhang bestaat tussen werk en sexe dan zou ook 56% van de vrouwen een baan moeten hebben. Uit de gegevens blijkt dat 64% van de mensen met werk een man is in plaats van 69% en 64% van de vrouwen heeft een baan in plaats van de 56%. De rijen en kolommen zijn nu afzonderlijk bekeken, maar die gegevens kunnen ook gecombineerd worden. Als er geen samenhang tussen sexe en werk in de steekproef blijkt te bestaan dan is elke cel, bijvoorbeeld man en het hebben van werk, gelijk aan het produkt van de relatieve frequenties van rij en kolom. Geen samenhang houdt in dat er géén voordeel is bij het voorspellen van de ene variabele als de andere variabele bekend is. Bijvoorbeeld: de relatieve frequentie van mannen is.69 en de relatieve frequentie van het hebben van werk is.56. Als er geen samenhang bestaat dan is de celvulling het produkt van.56 maal.69 =.386. Als deze relatieve frequentie vermenigvuldigd wordt met de steekproefomvang komt als celvulling voor man/werk het aantal van 31 mensen tevoorschijn. Berekening van alle cellen levert dan het volgende resultaat: werk geen werk totale fre- relatieve quentie frequentie vrouw man totale frequentie relatieve frequentie Tabel 3.8 Kruistabel met frequenties bij afwezigheid van samenhang Nu blijkt dat de celvulling klopt met de relatieve frequenties: 3 1/55 = 56% van de mannen heeft werk en 31/45 = 69% van de mensen met werk is man. 93

97 De nulhypothese bij een kruistabel is dat er geen afhankelijkheid bestaat tussen sexe en het hebben van werk. De chi-kwadraat test voor onafhankelijkheid is als volgt: De chi-kwadraat x2 is de som van het verschil tussen de Gemeten waarde en de Verwachte waarde in het kwadraat gedeeld door de verwachte waarde. In twee maal twee-tabel zijn alle tellers gelijk. 4/14 =.29 4/11 =.36 4/31 =.13 4/24 =.17 De chi-kwadraat x2 is de som van bovenstaande getallen =.95. Er wordt gesommeerd over de hele tabel, dus over de kolommen en de rijen. Het aantal vrijheidsgraden ('degrees of freedom') voor deze test is dan: d.f. = (c-l)(r-1) In bovenstaande tabel is er 1 vrijheidsgraad. Vervolgens kan in de 2-tabel opgezocht worden waar de waarde van.95 zich bij 1 vrijheidsgraad bevindt. 2 ' 2 ' 1 2 df X. X.10 X.os X.o25 X.oio X.00s - X.00i De geobserveerde x2 van 0.95 is nog kleiner dan X2.25 = Dus de p-waarde is groter dan.25. De nulhypothese van 'geen verschil' kan op het niveau van 5% niet verworpen worden, want de kans dat de waarde van x2 is groter dan 25%. Dus er is geen verschil. Als in de kruistabel numerieke informatie is opgeslagen, bijvoorbeeld inkomenscategorieën, is het beter om een tweezijdige t-toets te gebruiken en een betrouwbaarheidsinterval. Wanneer er meerdere kwantitatieve categorieën zijn dan kan beter een variantie-analyse worden toegepast. De chi-kwadraat x2 is geschikt voor alle variabelen die kwalitatief van aard zijn. kt

98 4. Regressie 4.1 Enkelvoudige lineaire regressie Inleiding In regressie analyse wordt een relatie tussen kwantitatieve variabelen weergegeven. Het volgende voorbeeld zal gebruikt worden om lineaire regressie toe te lichten. Voorbeeld 4.1 Lineaire regressie-analyse Electrische geleidbaarheid van water wordt verondersteld gerelateerd te zijn aan het chioride gehalte. Om deze relatie te kunnen bepalen zijn metingen (waarnemingen) nodig. Uit metingen die in Lobith genomen zijn, zijn 12 data geselecteerd (tabel 4. 1). Men wil nu weten hoe het chloridegehalte afhangt van de geleidbaarheid. Hiervoor wil men, ingegeven door het feit dat de geleidbaarheid voor het grootste gedeelte bepaald wordt door de chloride-ionen, een lineaire relatie gebruiken. Dit kan eventueel met een scatterplot nagegaan worden. In dit voorbeeld speelt het toeval een grote rol. De variatie in de hydrologische omstandigheden bijvoorbeeld zorgt voor een zekere mate van onvoorspelbaarheid. Dit toeval moet in de relatie 'ingebouwd" worden Statistisch model In lineaire regressie analyse wordt een lineaire relatie tussen de variabelen verondersteld. De variabele y wil men zo goed mogelijk verklaren met behulp van de variabele x. Hiervoor zijn een aantal waarnemingen, zeg n, voor x en y beschikbaar: (x1,y1 ), (x2,y2 ),..., (x,y,,) De variabele y wordt wel de afhankelijke variabele genoemd en de variabele x wordt de onafhankelijke of verklarende variabele genoemd. Het volgende statistische model wordt verondersteld: y.= 0 + 1x+E i=1,2,...n waarbij de 1's n onafhankelijke trekkingen zijn uit een normale verdeling met verwachting 0 en variantie a2. Deze, wordt ook wel storingsterm genoemd. De parameters van het model, 6 (intercept of asafsnijding) en 6 (richtingscoëfficiënt of helling), worden met behulp van de waarnemingen geschat. 95

99 waarneming datum x y 1 4jan jan jan feb feb feb feb mrt mrt mrt mrt mrt tabel 4.1 Lobith, 12 metingen van geleidbaarheid (x) en chioride (y) Voor elke waarde van x wordt aangenomen dat de afhankelijke variabele y een trekking is uit een normale verdeling met een gemiddelde dat afhankelijk is van x (dit gemiddelde is n x). De spreiding (a) rondom dit gemiddelde wordt aangenomen gelijk te zijn voor alle waarden van x. Dus voor elke waarde van x ligt y voor het grootste deel vast maar een toevaisfactor ( ) telt ook mee. Lobi th 170.]flI *I...St Igog Afbeelding 4.1 Regressie-lijn voor voorbeeld 4.1

100 Schatters voor parameters De parameters 60 en 6 worden met behulp van de kleinste kwadraten methode geschat. Deze methode geeft dan de schatters b0 en b1 voor respectievelijk 6 en 6. b1 = (x1-)(y-) (x) Met deze schatters kan een voorspelling () voor y gegeven x gemaakt worden: 9 =b0 +b1x 5' is een zuivere schatter voor y. Nu kunnen de residuen e, de schattingen voor,, uitgerekend worden. e. =y -j = y. -b0 -b1x Rest nog de spreiding van de modelresiduen (a) te schatten. Dit gebeurt met de residuen. De schatter s2 voor a2 is: De factor n-2 in deze uitdrukking voor s2 volgt uit het feit dat zowel 60 als 61 geschat zijn; er zijn dus twee vrijheidsgraden minder. De schatter s voor a is dan: s= Voorbeeld 4.1 (vervolg) Om de bovenstaande schatters - schatters voor b1 en b0, de voorspelling 5', de residuen en de spreiding van de residuen - te bepalen kan gebruik gemaakt worden van een tabel zoals tabel 4.2. Daartoe worden eerst het gemiddelde van x en y berekend en de spreiding. 97

101 waarne- x, Yi x1-5 y-3' (x- )2 (y5' )2 (x- )(y-') ming ,83 17,25 77,97 297,56 152, ,83 7,25 14,67 52,56 27, ,83 60,25 433, , , ,83 5,25 14,67 27,56 20, ,83 23,25 46,65 540,56 158, ,17-21,75 1,37 473,06 25, ,83 13,25 3,35 175,57 24, ,83 14,25 0,69 203,06 11, ,17-23,75 103,43 564,06 241, ,17-22,75 84,09 517,56 208, ,17-28,75 103,43 826,56 292, ,17-43,75 261, ,06 707,44 som ,04 0, , , ,78 Tabel 4.2 Tabel voor berekening gemiddelde en spreiding De eerste drie kolommen geven het waarnemingsnummer en de waarden van de variabelen x en y. Met de som in de laatste rij worden de gemiddelden Y en 5 berekend. 12 =54, y= =93,75 12 De volgende twee kolommen geven de afwijking van x en y van deze gemiddelden. Waarneming 3 heeft bijvoorbeeld een grote afwijking voor zowel x als y. De som van deze twee kolommen moet nul of in geval van afbreekfouten ongeveer gelijk aan nul zijn. Als dit niet zo is, moeten de berekeningen gecontroleerd worden en eventueel moeten er meer cijfers achter de komma gebruikt worden om de gemiddelden te bepalen. In de volgende twee kolommen staan de kwadraten van de afwijkingen van de gemiddelden. Met de som van deze kolommen kunnen de variantie en de spreiding (standaardafwijking) voor x en y berekend worden.

102 De schatting voor de variantie in x en y is dan: = 1145,68 =104,15 11 SY 1=1 n-1 = 9222,23 = 838,38 11 De factor n-1 in de noemer komt door het verlies van één vrijheidsgraad door de berekening van de gemiddelden. De schatting voor de spreiding in x en y is dan: s= 10,21 s, =28,95 Schatting van regressieparameters: uitwerking van het voorbeeld De som van de laatste kolom van tabel 4.2 (het produkt van de afwijking van x en y van de respectievelijke gemiddelden) wordt gebruikt voor de schatting van de regressieparameters. De schatting b1 voor de richtingscoëffïciënt wordt: (x-)(y-) (x)2 = 3125,78 = 2, ,68 en voor de asafsnijding: b0 = = 93,75-(2,73)(54,17) = -54,13

103 De schatting 5' voor de waarde van y voor x, kan nu gegeven worden. 9, =b+b1x1 = -54,13 +2,73x Met behulp van de schattingen 5'i voor yi kunnen de residuen e, = y-3 berekend worden, zie tabel 4.3. waarneming x, y, 1 -' i e e ,86-6,86 47, ,21-3,21 10, ,62 3,38 11, ,21-5,21 27, ,40 4,60 21, ,56-18,56 344, ,75 8,25 68, ,02 11,98 143, ,99 4,01 16, ,72 2,28 5, ,99-0,99 0, ,61 0,39 0,15 som ,94 0,06 695,56 Tabel 4.3 Schattingen en residuen Met de laatste kolom uit tabel 4.3 kan de schatting (s) voor de spreiding residuen o bepaald worden. In s= 1 n-2 = 695,56 = 8,34 N 10 De factor n-2 komt door de schatting van de twee coëfficiënten 60 en

104 De residuen kunnen op twee manieren in een grafiek uitgezet worden om te controleren of er geen patronen of "vreemde" waarnemingen te vinden zijn. Er is immers aangenomen dat de residuen onderling onafhankelijk zijn. In afbeelding 4.2 staan de residuen uitgezet tegen het waarnemingsnummer (=tijd), dit om te controleren of de volgorde waarin de waarnemingen genomen zijn nog van invloed is. In afbeelding 4.3 staan de residuen uitgezet tegen de variabele x oftewel de geleidbaarheid, dit dient om te kijken of er nog een verband tussen de residuen en geleidbaarheid bestaat. Als er nog een verband bestaat zou dit kunnen duiden op een mogelijk kwadratisch of ander niet-lineair verband tussen geleidbaarheid en chioride. Lob 1 t h 00 JentarI til. niet : S cl u u r ien.eitc Figuur 4.2 Residuen tegen waarnemingen 20 Lob 1 th Jeroen t/ir nwt : r 0 0.I.ld.odt,.ld CroS/.u] Figuur 4.3 Residuen tegen geleidendheid 101

105 In geen van beide grafieken lijkt een patroon te zitten. Dit kan ook getoetst worden maar omdat in dit voorbeeld het aantal waarnemingen vrij beperkt is, zal dat hier niet gebeuren. Wanneer er meer waarnemingen zijn, kan hiervoor bijvoorbeeld een Durbin-Watson toets gebruikt worden. Met behulp van de residuen kunnen eventuele uitschieters gedetecteerd worden. Omdat verondersteld is dat de residuen N(O,a) verdeeld zijn, kan met behulp van de 68% /95 % /99,7% regel uitschieters worden opgespoord. Een uitschieter in de residuen betekent dat de waarneming (x,y) niet voldoet aan het veronderstelde lineaire verband. De aanname van een N(O,) verdeling kan gecontroleerd worden met een Q-Q plot Betrouwbaarheidsintervallen en toetsen voor de parameters In de vorige paragraaf is aangegeven hoe de lineaire regressieparameters geschat kunnen worden. In deze paragraaf zal antwoord gegeven worden hoe vragen over de nauwkeurigheid en de betrouwbaarheid van deze schatters beantwoord kunnen worden. Soms is het de vraag of de variabele y wel echt afhankelijk is van de variabele x. Immers als de richtingscoëfficiënt 61 gelijk aan nul is dan is y niet afhankelijk van x en als 6 ongelijk aan nul is dan is y wel afhankelijk van x. De toetsing aan de hand van de t-toets wordt in deze paragraaf uit de doeken gedaan. Verder kunnen de schatters van de regressieparameters ook gebruikt worden om de lineaire regressie vergelijking te gebruiken als een z.g. predictor. De volgende vragen zullen één voor één de revue passeren: wat is voor vaste waarden x, de gemiddelde uitkomst V en het bijbehorende betrouwbaarheidsinterval en wat is voor een willekeurige waarde van x de beste schatting voor een individuele y en wat is het bijbehorende betrouwbaarheidsinterval? Deze vragen zullen in paragraaf worden beantwoord. Met behulp van een t-toets kan getoetst worden of 61 gelijk of ongelijk aan nul is. 61 is al geschat (n.1. door b1). Er is dus alleen nog een schatting nodig voor de variantie van 6. De standaardafwijking van b1 wordt gegeven door de volgende formule. Voor deze afleiding wordt gebruik gemaakt van de rekenregels voor de variantie en het feit dat de residuen onderling onafhankelijk en normaal verdeeld zijn. o(b1) kan geschat worden door voor a de schatting s te gebruiken. Dus de schatting van de standaardafwijking voor de helling b1 is: 102

106 s(b1 ) S (x - Op dezelfde manier kan de standaardafwijking van b0 bepaald worden: a(b0)=cr die geschat wordt door: = -+ s(b,) sj1 n i=1 (x) De regressieparameters b0 en b1 zijn beide normaal verdeeld met gemiddelden 60 en 61 en standaardafwijkingen o(b0) en a(b1). Nu kan dus een t-toets gebruikt worden om te toetsen of b0 en b1 al dan niet gelijk aan nul zijn. Allereerst zullen betrouwbaarheidsintervallen voor de beide regressieparameters gegeven worden. Een 1-ct betrouwbaarheidsinterval voor de intercept 60 is: b0 ± ta*s(bø) en een 1-a betrouwbaarheidsinterval voor de helling 6 is: b1 ± ta*s(bi) met ç is de kritieke waarde voor een student-t verdeling met n-2 vrijheidsgraden en onbetrouwbaarheid a (tweezijdig). Om te toetsen of 61 ongelijk aan nul is, wordt uitgegaan van de volgende nulhypothese. H0: 6=0 en H1: 6*O 103

107 De toetsingsgrootheid t is dan H0 wordt verworpen voor die waarden van t waarvoor geldt: Ir 1 1 met ta is kritieke waarde van student-t verdeling met n-2 vrijheidsgraden en onbetrouwbaarheid a (tweezijdig). Voor de asafsnij ding kan dezelfde toets gebruikt worden om te kijken of 60 gelijk of ongelijk aan nul is maar de interesse in de beantwoording van deze vraag is niet zo groot. Het kan zijn dat de verwachting is dat de afhankelijke variabele positief gerelateerd is aan de onafhankelijke variabele. In dat geval kan er ook enkelzijdig (en dus meer onderscheidend) getoetst worden. en 61 =O 6>0 De toetsingsgrootheid t is hetzelfde als voor de tweezijdige toets. H0 wordt verworpen voor die waarden van t waarvoor geldt: t ;_> t4g met ta is kritieke waarde van een student-t verdeling met n-2 vrijheidsgraden en onbetrouwbaarheid a (enkelzijdig). In het geval van een (verwachte) negatieve relatie: H0: 61 =O en H1: 6<O 104

108 Ook hier is de toetsingsgrootheid t hetzelfde als voor de tweezijdige toets. H0 wordt verworpen voor die waarden van t waarvoor geldt: t :~ t met ç is kritieke waarde van een student-t verdeling met n-2 vrijheidsgraden en onbetrouwbaarheid a (enkelzijdig). Wanneer 6 gelijk aan nul is, wordt de regressievergelijking een stuk simpeler: Met andere woorden het gemiddelde van y verandert niet met een verandering van x. Dus 60 kan geschat worden met 5' en x is niet bruikbaar om V te schatten in een regressievergelijking. Voorbeeld: standaardafwijkingen en toetsen voor coëfficiënten De bovenstaande afleidingen zullen nu uitgewerkt worden in het voorbeeld dat in dit hoofdstuk al eerder gebruikt is. Allereerst de standaardafwijking van b1. s 8,34 = = 0,246 s(bl) 33,85 (x) In het voorbeeld kan verwacht worden dat de afhankelijke variabele (het chioridegehalte) positief gerelateerd is aan de onafhankelijke variabele (geleidbaarheid). Getoetst wordt dus: H0: 6=O en H1: 6>0 De toetsingsgrootheid t is: b1-2,73 =11,10 s(b1 ) 0,246 ta is gelijk aan 1,812 (bij a=0,05,d.f.=10,enkelzijdig). De nulhypothese wordt dus verworpen: 6 is groter dan nul. 105

109 Het 95% betrouwbaarheidsinterval voor 13, wordt gegeven door: 2,73±2,228*0,246 oftewel 2,73 ± 0,548 Voor b0 wordt alleen de standaardafwijking en voor 60 het betrouwbaarheidsinterval gegeven. s(b0 ) = 8, (54,17)2 = 13, ,68 Het 95% betrouwbaarheidsinterval van 8 is: ± Schatten en voorspellen afhankelijke variabele Schatting van het gemiddelde van de afhankelijke variabele Wanneer een schatting () van het gemiddelde van de afhankelijke variabele gemaakt zou moeten worden voor een of andere waarde (x) van de onafhankelijke variabele gebaseerd op de huidige dataset kan hiervoor de regressielijn gebruikt worden. j=b0+b1x * De geschatte standaardafwijking van 5' is dan: (x*_)2 S(Y)\ = -+ 1 n E (x_)2 i=1 Met deze standaardafwijking kan dan een 1-a betrouwbaarheidsinterval voor S' gegeven worden. )î±ta *s(f) met t is kritieke punt van student-t verdeling met n-2 vrijheidsgraden (tweezijdig). 106

110 Voorbeeld: schatting gemiddelde Wanneer in het voorbeeld het gemiddelde chioridegehalte bij een geleidbaarheid van 60 ms uit de dataset geschat moet worden, volgt uit de berekende regressievergelijking: Ygem =b0ibix* = -54,13 +(2,73)(60) =109,67 De standaardafwijking is dan: s(9 )=sh+_ (x*_)2 gem 4\J n E (x _)2 =8,34 + (60-54,1 7) ,68 =2,30 Het betrouwbaarheidsinterval is dan: j gem ±ta S&gem)=10967±1812*23O = 109,67 ±4,17 In afbeelding 4.4 staat de regressielijn uitgezet met een 95% betrouwbaarheidsband. LOO itfi - 1/.I.Iøflwlø Figuur 4.495% betrouwbaarheidsband voor de regressielij n 107

111 Duidelijk is te zien dat rondom Y de band het smalst is en wijder wordt naarmate de x waarden groter of kleiner worden. Schatting van individuele waarneming De regressievergelijking kan ook gebruikt worden om voorspellingen te maken. De toekomstige waarde voor de afhankelijke variabele y voor een of andere waarde x wordt geschat met behulp van de regressievergelijking. De voorspelde waarde is dan: = b + b1x De regressievergelijking wordt dus gebruikt om een schatting te maken van de gemiddelde waarde van y wanneer x =x én om een predictie te maken van een enkele toekomstige waarde van y. Duidelijk mag zijn dat de betrouwbaarheidsintervallen wel van elkaar verschillen. Het betrouwbaarheidsinterval zal in het geval van een predictie duidelijk groter zijn. Niet alleen de spreiding van de regressiecoëfficiënten moet in rekening gebracht worden (de regressielijn gaat niet precies door de waarnemingen) maar ook de spreiding van deze enkele toekomstige waarneming rond het gemiddelde van de waarnemingen voor x=x.het interval dat gebruikt wordt om een toekomstige waarneming te voorspellen wordt een predictie-interval genoemd. De standaardafwijking voor het predictie-interval is: = l~_ 1 (x*_)2 s(j) s\j + E (x_)2 Het verschil met de uitdrukking voor de standaardafwijking voor de schatting van de gemiddelde waarde van y voor een bepaalde x is de extra 1 onder het wortelteken. Een I-a predictie-interval voor een toekomstige waarneming van de afhankelijke waarneming y voor een waarde x van de onafhankelijke variabele is: :9 ± ts(y') met ta is het kritieke punt van de student-t verdeling met n-2 vrijheidsgraden (tweezijdig). Voorbeeld: schatting individuele waarneming In het voorbeeld kan de predictie en het bijbehorende predictie-interval berekend worden voor een toekomstige waarde van de geleidendheid van 60 Ms.

112 De predictie is dan: 9=bo+b1x * = -54,13 +(2,73)(60) =109,67 De standaardafwijking is dan: = 1+_ 1 (x*_)2 s(9) s\j + n E (x _)2 =8,34J 1+j+ (60_54,17)2 1145,68 Het 95% predictie-interval is dan: 9±çs(j) = 109,67 ± 1,8 12 * 8,80 = 109,67 ± 15,95 Het predictie-interval is duidelijk groter dan het betrouwbaarheidsinterval voor Ygem In afbeelding 4.5 staat de regressielijn en de bijbehorende betrouwbaarheidsband voor de predicties. Ook hier geldt dat de band het smaist is voor waarden van x dichtbij. Verder is de band duidelijk breder dan in afbeelding 4.4. LOÖIth Figuur % betrouwbaarheidsband voor de predicties 109

113 Variantie-analyse voor regressie In de vorige paragraaf zijn een aantal begrippen geïntroduceerd waarmee de nauwkeurigheid van de regressieparameters afgeleid kan worden. In deze paragraaf zal nader ingegaan worden op de variantie in de data en hoeveel van deze variantie 'verklaard' wordt door de regressie. In de regressie-analyse wordt er vanuit gegaan dat de data opgebouwd zijn uit een deel zekerheid en een deel onzekerheid: DATA = FIT + RESIDU Door nu de variantie van de residuen te analyseren en te vergelijken met de variantie in de oorspronkelijke data, kan iets gezegd worden over de kwaliteit van de toegepaste regressievergelij king. Om de variantie van de oorspronkelijke data te kunnen analyseren wordt vaak gebruik gemaakt van de volgende 'truc': (Y i =&-) +(y -9) Aan de linkerkant van het geljkteken staat het verschil van de individuele waarneming met het gemiddelde van de waarnemingen. Aan de rechterkant van het gelijkteken staat het verschil van de schatting met het gemiddelde en het verschil van de waarneming met de schatting. Met behulp van enig schrijfwerk kan dan het volgende afgeleid worden. E (y)2= E(9_)2+ (yj)2 Het blijkt dus dat dezelfde relatie voor de verschillen geldt als voor de 'sommen van de kwadraten' oftewel de 'sum of squares'. Deze sum of squares wordt vaak afgekort als SS. Het eerste somteken wordt vaak afgekort als SST (T van total); het tweede somteken wordt vaak afgekort als SSM (M van model) en het laatste somteken wordt vaak afgekort als SSE (E van error). Ook voor het aantal vrijheidsgraden bestaat eenzelfde relatie: DFT = DFM + DFE DFT staat voor 'total degrees of freedom', DFM voor 'degrees of freedom voor het model' en DFE voor 'degrees of freedom voor de error'. DFT is n-1 en omdat het model maar één verklarende variabele heeft is DFM gelijk aan 1. DFE is dan gelijk aan n-2. Voor het berekenen van de variantie moet de sum of squares gedeeld worden door het aantal vrijheidsgraden. 110

114 Dan is s2, de schatting voor cr2: De rechterkant van deze vergelijking is dus gelijk aan SSE/DFE, ook wel afgekort als MSE: mean square of error (gemiddelde kwadraat). Analoog wordt de totale variantie afgekort als MST (=SST/DFT) en de variantie van het model als MSM (SSM/DFM). Op een andere manier dan in de vorige paragraaf kan nu getest worden of de parameter 61 gelijk dan wel ongelijk aan nul is. H0 : 6=O en n -2 H1 : 6 O wordt getoetst met de toetsingsgrootheid F: F= MSM/MSE De nulhypothese wordt verworpen bij die waarden van F groter dan Fa, met F. gelijk aan het kritieke punt van een F(l,n-2) verdeling met onbetrouwbaarheid a (tweezijdig). In deze toets wordt de variantie van het model (MSM) vergeleken met de variantie van de residuen (MSE). Wanneer de nulhypothese (31 = 0) waar is, is F verdeeld als F(1,n-2). Wanneer 61 ongelijk aan nul is zal MSM (veel) groter zijn dan MSE, want dan wordt een (groot) deel van de variantie verklaard door het model. In het enkelvoudige lineaire regressiemodel geldt dat de t-toets uit de vorige paragraaf en deze F-toets aan elkaar gerelateerd zijn volgens t2=f. In het geval van één verklarende parameter, zoals in dit hoofdstuk, gaat de voorkeur uit naar de t-toets om te testen of 6 gelijk aan nul is omdat dan ook enkelzijdig getoetst kan worden. Een samenvatting van alle berekeningen kan in een ANOVA (afkorting voor Analysis of Variance) tabel weergegeven worden. sum of squares degrees of mean square F freedom Model (S'- 2 1 SSM/DFM MSM/MSE Error (y-5'1)2 n-2 SSE/DFE Total (y1-2 n-1 SST/DFT 111

115 Deze ANOVA tabel wordt dan voor het voorbeeld: sum of squares degrees of mean square F freedom Model 8526, ,67 122,58 Error 695, ,56 / Total 9222, ,38 In de tabel voor de 17(1,10) verdeling wordt F=4,96afge1ezen voor a=0,05.de nulhypothese wordt dus verworpen. De richtingscoëfficiënt is ongelijk aan nul: er is een verband. De toetsingsgrootheid t uit paragraaf is gelijk aan 11,10. Vervolgens wordt de waarde van t gekwadrateerd: 11,1 2 is gelijk aan 123,21. Deze waarde is dus bijna gelijk aan F. Het verschil komt door allerlei afrondingsfouten. Ook de correlatie-coëfficiënt Q (rho) wordt gebruikt om te testen of er enig verband bestaat tussen de afhankelijke variabele y en de onafhankelijke variabele x. Correlatie is een maat voor een lineair verband tussen twee kwantitatieve variabelen. Dit hoeft niet altijd te gaan om regressiemodellen met daarin een afhankelijke en onafhankelijke variabele. (Correlatie wordt uitgelegd in hoofdstuk 2.) De correlatie-coëfficiënt Q wordt geschat door r: n-1 s s,, Na enig 'omschrijfwerk' kan r ook als volgt berekend worden: E (9_)2 = SSM SST E Dus r2 is de verhouding tussen de variantie verklaard door het model en de totale variantie in y. Met deze schatter r kan nu getoetst worden of de populatie correlatie gelijk aan nul is. Indien dit het geval is, is er geen reden om een lineair verband te veronderstellen. =0 en H1: Q*O 112

116 wordt getoetst met toetsingsgrootheid t: = r/i [1r2 H. wordt verworpen voor die waarden van t waarvoor geldt Iti -Ç met ç is kritieke punt van student-t verdeling met n-2 vrijheidsgraden en onbetrouwbaarheid a (tweezijdig). Er kan ook enkelzijdig getoetst worden zoals in paragraaf De schatting voor de correlatie-coëfficiënt in het voorbeeld is dus: 1 SSM T1 =W' SST,23 =J0,9246 = 0,9615 De toetsingsgrootheid t is dan: = 0,9615J12-2 v/ = 11,06 De nulhypothese wordt enkelzijdig getoetst; er wordt immers een positieve relatie verwacht. Het kritieke punt voor een student-t verdeling met 10 vrijheidsgraden en onbetrouwbaarheid a =0,05 is 1,812 (enkelzijdig); de nulhypothese wordt dus verworpen Voorbeeld toepassing SPSS-PC+ Met het statistische pakket SPSS-PC + kan regressie analyse uitgevoerd worden. De volgende commando's zijn gebruikt. DATA LIST FILE 'a:\regres.dat' FREE / get chi. REGRESSION /VARIABLES GEL CHL /DESCRIPTIVES DEFAULT /STATISTICS DEFAULTS/DEPENDENT CHL /METHOO ENTER /RESIDUALS DEFAULTS /CASEWISE ALL. FINISH. De uitvoer die SPSSPC dan levert volgt hieronder; de ruwe uitvoer van SPSSPC is wat 'opgeschoond'. Alle commando's zijn vetgedrukt. DATA LIST FILE 'a:regres.dat' FREE / get chl. 113

117 Dit commando leest de gegevens in van een file genaamd 'regres.dat' en stopt deze gegevens in de variabelen 'gel'(geleidendheid) en 'chl'(chloride). REGRESSION IVARIABLES GEL CHL /DESCRIPTIVES DEFAULT /STATISTICS DEFAULTS /DEPENDENT CHL /WTHW ENTER /RESIDUALS DEFAIJITS /CASEWISE ALL. Dit commando voert regressie uit op de variabelen 'ge!' en 'chl',waarbij 'chi' de afhankelijke variabele is. Allerlei extra bewerkingen worden ook nog uitgevoerd. Eerst de algemene beschrijving: Ustwise Deletion of Missing Data MULTIPLE REGRESSION ** Mean Std 0ev Label GEL CHL N of Cases = 12 De gemiddelden van de waarden voor 'ge!' en 'chi' zijn respectievelijk 54,167 en 93,750 (zie ook voorbeeld uit paragraaf 4.1.3). Ook de spreiding van 'gel' en 'chi' zijn gegeven. Vervolgens beginnen de regressie-berekeningen. Equation Nuïter 1 Dependent Variable.. CHL Beginning Block Nuer 1. Method: Enter Variable(s) Entered on Step Nuer 1.. GEL Multipte R R Square Adjusted R Square Standard Error Analysis of Variance OF St.in of Squares Mean Square Regression Residual F = Signif F =.0000 Hierboven staan de gegevens waaruit al blijkt of de regressie enigszins zinvol is geweest. Deze ANOVA tabel, zoals SPSS deze uitvoert, verschilt iets van de ANOVA tabel uit paragraaf maar alle belangrijke grootheden zijn terug te vinden. De F berekend met SPSS verschilt iets van de F zoals dezelfde paragraaf berekend is; dit komt omdat bij de berekeningen met de hand nogal wat afgerond wordt, iets wat bij een computerberekening vaak pas bij het printen gebeurt. Regression is hetzelfde als Model in de tekst van de vorige paragraaf en Residual is hetzelfde als Error. R Square is R2 zoals gedefinieerd in paragraaf R2=1 SSE SST 114

118 Met SSE is residual sum of squares en SST is total sum of squares (SST=SSM+SSE met SSM is regression sum of squares). Multiple R is de wortel uit R Squared en Adjusted R squared (correctie voor onafhankelijke variabelen) is: R =R2_(l_R) N-p-1 met p is aantal onafhankelijke variabelen (in dit geval is p dus gelijk aan 1). Standard error is s uit paragraaf ,de schatting voor cr. Zowel R2 als Ra2 zijn vrij groot. Vervolgens worden de regressie-coëfficiënten bepaald: Equation Nuiter 1 Dependent Variabte.. CHL -----Variables in the Equation Variable B SE B Beta T Sig T GEL (Constant) End Btock Nuger 1 ALl requested variables entered. Equation Nuiter 1 Dependent Variabte.. CHL De regressiecoëfficiënt b0 is dus gelijk aan -54,02 en de regressiecoëfficiënt b1 is gelijk aan 2,73 (zie paragraaf 4.1.3). Verder zijn de standaardafwijkingen voor b0 en b1 gegeven, resp. 13,56 en 0,246 (zie paragraaf 4.1.3).Ook de toetsingsgrootheid t wordt berekend: 11,072 (zie paragraaf 4.1.4). BETA is een soort gestandaardiseerde regressiecoëfficiënt. Casewise Plot of Standardized Residual *: Selected M: Hissing Case # 0:... :0 CHL *PRED *RESIO 1 * * * * * * * * * Case # 0:... :0 CHL *PRED *RESID In deze plot staan in de laatste drie kolommen resp. de gemeten waarde voor 'chl',de predictie en het residu. In de scatterplot staan dan de gestandaardiseerde residuen uitgezet. Alle residuen die groter zijn dan 3,16 (a < <0.01)of kleiner dan -3,16, worden aangemerkt als uitschieter (oftewel outlier; in grafiek 0). Er zijn dus geen uitschieters. 115

119 In het volgende stukje staat een soort samenvatting van deze gegevens. Residuats Statistics: Min Max Mean Std 0ev Pl *PRED *RESID *ZPRED *ZRESID TotaL Cases = 12 Uit de laatste rij volgt dat er geen gestandaardiseerde residuen groter dan 3,16 of kleiner dan -3,16. Vervolgens wordt de Durbin-Watson toetsingsgrootheid gegeven. Deze test onderzoekt of er een relatie bestaat tussen de residuen. Met een waarde rond de 2 is er geen relatie tussen de residuen. (Positieve samenhang bestaat als de waarde 0 nadert en een negatieve samenhang als de waarde de 4 nadert.) Durbin-Watson Test = De toetsingsgrootheid (D) van Durbin-Watson wordt als volgt berekend: i=2 e i Vervolgens wordt een Normal Probability (Q-Q) Plot gegeven voor gestandaardiseerde residuen): NorinaL Probability (P-P) PLot Standardized Residuat b 5 e.5 r v e d.25 Expected Deze plot laat zien dat er geen echte uitschieters zijn. Het volgende commando besluit de SPSS-pc sessie: FINISH. 116

120 4,2 Meervoudige lineaire regressie Inleiding Het kan voorkomen dat een variabele niet afhankelijk is van één onafhankelijke variabele maar dat deze afhankelijk is van meerdere onafhankelijke variabelen. Dit is het geval in het volgende voorbeeld. Voorbeeld 4.2 Meervoudige regressie Er zijn drie variabelen gemeten: de temperatuur, het zwevend stof gehalte en de pseudofaeces productie. De pseudofaeces productie wordt lineair afhankelijk geacht van de temperatuur en het zwevend stof gehalte. In tabel 4.4 staat de gegevensset. Waarneming Temperatuur Zwevend stof Pseudofaeces gehalte productie 1 6,4 86,8 99,8 2 7,5 29,1 23,9 3 8,2 16,5 6,2 4 8,3 31,8 18,2 5 9,1 4, ,5 14, ,6 25, ,3 14,4 9 13,5 12,4 15, ,9 13,5 16, ,6 6,9 18, ,2 8,4 23, ,6 6,8 22, ,8 7,3 17, ,3 7,9 24, ,5 8,5 19, ,8 9,1 18,5 18 8,5 5,2 12,6 Tabel 4.4 Gegevens van temperatuur, zwevend stof en pseudofaeces 117

121 4.2.2 Statistisch model In meervoudige lineaire regressie wordt de afhankelijke variabele 'verklaard' door meerdere variabelen. Het aantal verklarende variabelen wordt p genoemd en het aantal 'waarnemingssets' wordt n genoemd. In verkorte notatie betekent xij de j-de verklarende variabele voor waarnemingsset i. De dataset kan dus geschreven worden als: (x11,x121...,x1,y1 ) (x21,x,...,x,y2) Het statistische model voor meervoudige regressie wordt dan gegeven door: met i=l,..,n y=p0+i31x1+p2x p x +E. pip 1 De c1's worden verondersteld onderling onafhankelijk en normaal verdeeld met gemiddelde 0 en standaardafwijking a (dus NO,o) te zijn. Het statistische model voor enkelvoudige lineaire regressie is dus uitgebreid met een aantal verklarende oftewel onafhankelijke variabelen Uitwerking statistisch model Het bepalen van schatters voor de parameters van de regressievergelijking met de kleinste kwadratenmethode is voor enkelvoudige lineaire regressie nog vrij eenvoudig. In principe gaat het schatten van de parameters voor meervoudige lineaire regressie hetzelfde maar de uitvoering is wat ingewikkelder. Daarbij wordt de volgende notatie gebruikt: b0, b1, b2,..., b,, voor de schatters van de parameters P19 P De geschatte waarde 5' voor de i-de waarneming is: =b0 -s-b1x 1+b2x bpxlp 118

122 Het residu is dan: e. =y = y. -b0 -b1x11 -b2x bx i. De kleinste kwadraten methode bepaalt nu de coëfficiënten b0, b1,...,bzodanig dat de som van de kwadraten van de residuen zo klein mogelijk is: (y.-b0-b1x 1-b2x bx,)2 Formules voor de coëfficiënten zullen hier niet worden gegeven; deze kunnen veel gemakkelijker met een computerprogramma berekend worden. De schatting s2 voor de variantie van de residuen a2 is: 2 ei n-p-1 Merk op dat als p gelijk aan 1 is, de meervoudige lineaire regressie tot enkelvoudige regressie reduceert. Het aantal vrijheidsgraden van s2 is n-p-1. De standaardafwijking a wordt geschat door S: Alle formule's vertonen een grote gelijkenis met de formule's voor enkelvoudige regressie; het enige grote verschil is het aantal vrijheidsgraden. s= Omdat alle benodigde berekeningen tegenwoordig met de computer gedaan kunnen worden, is het belangrijk om de uitkomsten die de computer produceert goed te kunnen interpreteren. Ook de betrouwbaarheidsintervallen worden op dezelfde manier afgeleid. De algemene afleiding voor de parameter b met standaardafwijking s(b) is als volgt: Een l-a betrouwbaarheidsinterval voor 6 is: b. ± ta*s(bj) met ç is de kritieke waarde voor een student-t verdeling met n-p- 1 vrijheidsgraden en onbetrouwbaarheid a (tweezijdig). 119

123 Om te toetsen of 6 i ongelijk aan nul is, wordt uitgegaan van de volgende nulhypothese. H0: 6=O en H1: 6*O De toetsingsgrootheid t voor b is dan H0 wordt verworpen voor die waarden van t waarvoor geldt: t t met t6 is kritieke punt van student-t verdeling met n-p-1 vrijheidsgraden en onbetrouwbaarheid a (tweezijdig). De waarde voor s(b) kan uit de uitvoer van een computerprogramma gehaald worden. Voor het enkelzijdig toetsen van de parameters b wordt verwezen naar enkelvoudige regressie. Betrouwbaarheidsintervallen voor een gemiddelde en predictie-intervallen voor een toekomstige (individuele) waarneming worden op eenzelfde manier bepaald als bij enkelvoudige regressie; let hierbij op het aantal vrijheidsgraden! Ook de ANOVA tabel wordt iets anders: sum of squares degrees of mean square F freedom Model p SSM/DFM MSM/MSE Error (y-)2 n-p- 1 SSE/DFE Total (yî- n-1 SST/DFT Wederom verschilt deze ANOVA tabel voor meervoudige lineaire regressie alleen wat betreft het aantal vrijheidsgraden van enkelvoudige lineaire regressie. 120

124 De waarde MSM/MSE wordt gebruikt om de volgende hypothese te testen: H0 :61=62=... =6=0 en H1 : 6*0 voor tenminste één j=l,2,... p De nulhypothese zegt dat geen van de verklarende variabelen een voorspeller is voor de afhankelijke variabele in de regressievergeljking. De alternatieve hypothese zegt dat tenminste één van de verklarende variabelen lineair gerelateerd is aan de afhankelijke variabele. Wanneer H0 waar is heeft F=MSM/MSE een F-verdeling: De nulhypothese wordt getoetst met de toetsingsgrootheid F: F= MSM/MSE De nulhypothese wordt verworpen bij die waarden van F groter dan F, met F. is gelijk aan het kritieke punt van een F(p,n-p-l) verdeling met onbetrouwbaarheid a (tweezij dig). In enkelvoudige lineaire regressie is de correlatie tussen de afhankelijke en de onafhankelijke variabele beschreven met R2. R2 werd berekend door SSM (kwadraat sommen van het model) te delen door SST (kwadraatsommen van het totaal: model + residuen). Dit was een maat voor de verklaarde variantie van het model. Ook voor meervoudige regressie kan R2 uitgerekend worden: R2= SSM = E (9)2 SST E (_;)2 R2 is nu de variantie van de afhankelijke variabele y die verklaard wordt door de onafhankelijke variabelen x1,x,,... xvaak wordt de waarde van R2 vermenigvuldigd met 100 en weergegeven in procenten. De wortel uit R2 is de correlatie tussen de waarnemingen yi en de schattingen (zie ook 2.5.2) Uitwerking voorbeeld Voorbeeld 4.2 wordt nu uitgewerkt en daarbij zullen enkele 'adders onder het gras' voor meervoudige regressie toegelicht worden. In de eerste plaats moet er een reden zijn om meerdere verklarende variabelen te gebruiken. Zoveel mogelijk verklarende variabelen toevoegen om de verklaarde variantie te vergroten kan zelfs averechts werken: verklarende variabelen kunnen onderling een relatie hebben. Zo hebben de troebelheid van het water en de hoeveelheid zwevend stof in het water een sterke relatie. Het heeft dan weinig zin om èn troebelheid èn het zwevend stof gehalte in een regressievergelijking op te nemen. 121

125 Voordat de regressievergelijking wordt opgesteld, moet eerst kritisch naar de beschikbare gegevens worden gekeken. Allereerst moet de verdeling van alle variabelen dus zowel de onafhankelijke variabelen als de afhankelijke variabele worden bekeken. In het voorbeeld dus de temperatuur (afgekort tot TEMP), het zwevend stof gehalte (ZW) en de pseudo-faeces productie (PDF). DESCRIPTIVE STATISTICS PDF TEMP ZU CASES MEAN S.D S.E. (MEAN) LOWER 95.0% C.I UPPER 95.0% C.I C.V MEDIAN MINIMUM MAXIMUM De eerste stap is om een algemene beschrijving van de variabelen te verkrijgen. Uit de bovenstaande gegevens blijkt dat zowel PDF als ZW een grote maximumwaarde hebben van 99,8 resp. 86,8. Dit komt ook terug in het feit dat de medianen van beide variabelen veel ideiner zijn dan het gemiddelde. Tijdens de analyse moet hiermee rekening worden gehouden maar voorlopig worden deze waarnemingen niet als uitschieters beschouwd temeer daar ze tegelijkertijd gemeten zijn. De standaardafwijkingen voor PDF en ZW zijn vergelijkbaar. Met behulp van een Q-Q plot kan de normaliteit van de gegevens worden bekeken. Het is voor lineaire regressie niet noodzakelijk dat de gegevens normaal verdeeld zijn: alleen de residuen moeten normaal verdeeld zijn. De reden om op deze manier naar de gegevens te kijken, is om het gedrag van de individuele variabelen te onderzoeken en om eventuele uitschieters vroegtijdig te ontdekken om ze in het verdere proces 'in de gaten' te houden. Het is heel goed mogelijk dat de punten die in de verdelingen voor de afzonderlijke variabelen uitschieters zijn toch heel goed in het regressiemodel passen. Het valt verder op dat de verdelingen voor PDF en ZW enigszins scheef naar rechts zijn; de verdeling voor TEMP lijkt redelijk symmetrisch te zijn. Nogmaals: de verdelingen van de variabelen hoeven niet normaal verdeeld te zijn. Na deze eerste verkennende stap wordt vervolgens gekeken naar de correlaties tussen de variabelen onderling. Met behulp van Statistix zijn de volgende correlatiecoëfficiënten berekend: SPEARMAN RANK CORRELATIONS PDF TEMP 2W PDF TEMP ZW

126 De Spearman rank correlatie is een niet-parametrische methode om de correlaties tussen variabelen te bepalen. Niet-parametrisch betekent dat de variabelen niet normaal verdeeld hoeven te zijn. De matrix is symmetrisch: de correlatie tussen PDF en ZW is gelijk aan de correlatie tussen ZW en PDF. De variabelen TEMP en ZW zijn sterk negatief gecorreleerd en ZW en PDF vertonen een kleine correlatie. Als de variabelen wel een normale verdeling volgen, dan geven de correlaties het volgende beeld te zien: TEMP ZW PDF TEMP ZW PDF De correlaties zijn veel groter. Dit komt doordat er aangenomen is dat de variabelen normaal verdeeld zijn. PDF is sterk positief gecorreleerd met ZW en zwak gecorreleerd met TEMP. Bovendien blijkt dat ZW negatief gecorreleerd is met TEMP. Het feit dat PDF niet echt sterk gecorreleerd is met TEMP hoeft echter nog niet te betekenen dat TEMP geen bijdrage zou kunnen leveren aan de verklaarde variantie in een regressievergelij king. Meervoudige lineaire regressie geeft de volgende resultaten: VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT TEMP E ZU E CASES INCLUDED 18 MISSING CASES 0 DEGREES OF FREEDOM 15 OVERALL F P VALUE ADJUSTED R SQUARED R SQUARED RESID. MEAN SQUARE De schatting b0 voor 60 is -23,0, voor b1 1,9 en voor b2 1,2. De vergelijking wordt dan als volgt: PDF= -23,0 + l,9 *TEMP + 1,3*ZW De standaardafwijking van b0, s(b0), is gelijk aan 6,5; s(b1 ) is gelijk aan 0,41 en s(b2) is gelijk aan 0,096. De t waarde voor b0 is -23,0/6,5-3,54,voor b1 is t gelijk aan 1.9/0,41-4,63 en t voor b7 is gelijk aan 1,2/0,09612,5.Het aantal vrijheidsgraden is gelijk aan n-p-1= =15 en de kritische waarde tg voor t met onbetrouwbaarheid a=0,05 is gelijk aan 2,131. Alle coëfficiënten zijn dus ongelijk aan nul. De p-waarde voor TEMP is klein: conciudeer dus niet te snel naar aanleiding van een correlatieberekening dat een bepaalde variabele niet in de regressievergelijking opgenomen moet worden. De p-waarde van de constante b0 is iets groter maar nog steeds klein genoeg om te kunnen concluderen dat b0*0 is. 123

127 Verder blijkt dat de F waarde gelijk aan 82,61 is. Deze komt uit een F(p,n-p-1)=- F(2, 15) verdeling; de kritische waarde is dan 19,43 en de p-waarde is zeer klein. De nulhypothese dat 6 =62=0 wordt dus verworpen. De conclusie is dat minstens één van beide coëfficiënten ongelijk aan nul is. De ANOVA tabel is: ANALYSIS OF VARIANCE OF POF SOURCE DF SS MS F P REGRESSION RESID(JAL TOTAL Ook hier komt de F-waarde weer terug. SS staat weer voor Sum of Squares en MS wordt gegeven SS/DF. Er geldt weer dat het aantal vrijheidsgraden van het model (REGRESSION) samen met het aantal vrijheidsgraden van de residuen gelijk is aan het aantal vrijheidgraden van het totaal. Het volgende overzicht geeft een indruk van de 'belangrijkheid' van een verklarende variabele. STEPWISE ANALYSIS OF VARIANCE OF PDF INDIVIDUAL CUM CUMULATIVE CUMULATIVE ADJUSTED MALLOW'S SOURCE SS DF SS MS R-SQUARED CP P CONSTANT TEMP ZW RESIDUAL Uit deze tabel blijkt dat de onafhankelijke variabele TEMP een klein deel van de variantie verklaart. Ter vergelijking de resultaten van enkelvoudige lineaire regressie met ZW als enige verklarende variabele. VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT ZU E CASES INCLUDED 18 MISSING CASES 0 DEGREES OF FREEDOM 16 OVERALL F P VALUE ADJUSTED R SQUARED R SQUARED RESID. MEAN SQUARE De verklaarde variantie is kleiner: de constante is niet te onderscheiden van

128 4.3 Niet-lineaire regressie Ook niet-lineaire regressie wordt behandeld aan de hand van een voorbeeld. Voorbeeld 4.3 niet-lineaire regressie Van 20 watervlooien is eerst de lengte (in mm) en vervolgens het drooggewicht (in jg) bepaald. Van de gegevens is een spreidingsdiagram gemaakt. DGW * LENGTE Op grond van dit spreidingsdiagram bestaat het vermoeden dat er een exponentiële relatie bestaat tussen lengte en drooggewicht. drooggewicht = «Deze vergelijking kan herschreven worden met behulp van een transformatie zoals ook in hoofdstuk 2 gebruikt is. ln(drooggewicht) = ln(a) + P *lengte Bij toepassing van enkelvoudige lineaire regressie op het volgende statistische model (noem lengte x en drooggewicht y): ln(y) =ln(a) +b*x1 +e worden de volgende waarden voor de coëfficiënten ln(a) en b berekend: VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT E LENGTE E CASES INCLUDED 103 MISSING CASES 0 DEGREES OF FREEDOM 101 OVERALL F P VALUE ADJUSTED R SQUARED R SQUARED RESID. MEAN SQUARE 5.604E

129 ANALYSIS OF VARIANCE OF LNDGW SO(JRCE OF SS REGRESSION RESIDUAL TOTAL MS F P E-O2 De verklaarde vanantie is 78%; voor a is de waarde exp(1, 1 1)3,03 en voor b 1,20. Voor ln(y) kunnen betrouwbaarheidsintervallen worden geconstrueerd. In dit voorbeeld worden de gegevens eerst getransformeerd zodat er een lineair verband tussen de variabelen ontstaat. Vervolgens worden de residuen in de getransformeerde dataset geminimaliseerd. Het is ook mogelijk om de residuen in de oorspronkelijke dataset te minimaliseren: mine (y.-a *exp(3 *x))2 Dit minimaliseringsprobleem is niet-lineair en er kan geen exacte oplossing voor de coëfficiënten a en b als schatters van a en 6 gegeven worden. In SPSS-PC+ bestaat de mogelijkheid om schattingen voor de coëfficiënten te verkrijgen. Voor a en b worden de volgende waarden berekend: Asymptotic 95 Z Asyntotic Confidence IntervaL Pararneter Estimate Std. Error Lower Upper A B Source OF Sun of Squares Mean Square Regression ResiduaL Uncorrected TotaL (Corrected TotaL) R squared = 1 - Residuat SS / Corrected SS = De waarden van a en b verschillen nogal van de gevonden waarden in de getransformeerde dataset. Wanneer de geschatte regressielijnen in één afbeelding getoond worden, wordt het verschil duidelijker: 126

130 Vergelijking regressiellinen drooggewkht T T 722T lengte transformalie * Figuur 4.6 Vergelijking regressielijnen Omdat de getransformeerde verdeling van drooggewicht aanzienlijk minder scheef naar rechts is, ligt de geschatte regressielijn voor de grotere waarden van lengte beneden de regressielijn die verkregen is met behulp van niet-lineaire regressie. De twee waarden voor R2 mogen niet met elkaar vergeleken worden. In het eerste geval is R2 namelijk gelijk aan de verklaarde variantie in de getransformeerde dataset en in het tweede geval is R2 gelijk aan de verklaarde variantie in de originele dataset. Enige voorzichtigheid is dus geboden. 127

131 Literatuurlijst Bethiehem, J.G., Keller, W.J.(red.), Statistiek, Utrecht, Stichting Teleac, Moore, D.S.,Introduction to the practice of statistics, W.H. Freeman and Company, Wonnacott, T.H., Wonnacott, R.J., Introductoiy Statistics, New York, John Wiley & Sons,

132 Tabellen Tabel 1: Standaardnormale verdeling Tabel 2: t-tabel Tabel 3: F-tabel Tabel 4: Wilk-Shapiro tabel Tabel 5: Wilcoxon Rank Test Tabel 6: Wilcoxon gepaarde waarnemingen Tabel 7: Chi-kwadraat tabel 131

133 Tabel 1: Standaard-normale verdeling (z-tabel) Table entry is probability at er below z. Standard normal probabilitie3 z : ,

134 Tabel 1: Standaard-normale verdeling (z-tabel) (vervolg) Table entry is probability at or below z. Standard normal probabilities _- z O

135 Tabel 2: t-tabel Table entry is the point t wich given probabélity p Iying above it. t distribution crlt!ql values L r S F

136 Tabel 3: F-tabel Table F F Critical vaues Dezrees of freedom in the numerator DFD pl Q c : * , S t, S I : t r Q f , :

137 Tabel 3: F-tabel (vervolg) Table F (continued) Degrees of freedom in the numerator ,93 5,

138 Tabel 4: Wilk-Shapiro tabel Lgvei Percernae points 01 Ike W resr tor n 1150 ' S II * * IS *.982.9*6.9* * * , ' * ' , ' q 'Bascu on iitted Johnson 9 103'0 S. approsimation. see Sh.siro & Wilk (1965) for Cetajis. 138

139 Tabel 5: Wilcoxon Rank Test TABLE VIII Wilcoxon Rank Test (Two Independent Sampes) The one-sided p-value corresponding to the rank sum W of the smaller sample. ranking from the end where this smaller sample is concentrated. For n1 =-:t 6. see equation (16-10). Smaller Sample Size n, = 2 V n. = Smaller Sam ple Size n, = 3 W n. = Smaller Samale Size n = 4 Smaller Sampie Size n, = 5 W n,= lol W1n2 = bi

140 Tabel 5: Wilcoxon Rank Test (vervolg) Toet. win Wilcoxo... Kritiek. -axrd.. IJ a - 0,00 ö1.zijdi. 4 S Ii ' Llok.r kritiek. e&~ Lii $ ii " iii ii iii ii j ! ? i $ 14? $ $ $ $ _ _.-46' ' ? I R.cIl.r kritiek. waard~ Toet. ven Wticonon. Kritleke w.arden bij n xol)dl 4 S Linker kritiek. xaxrden i _ _ _ _ _ I _ ii i : : - Recht.r kritiek. eerd.e 4 9 le ' Toet# win iilicexon. Kritiek...rtl.s 16 a. 0,01 44ldI > Linbar kritiek. isarden ' _ ' ii i62-..-_ f ï $ i è è ' $ i $