Voorbeeld regressie-analyse In dit voorbeeld wordt gebruik gemaakt van het SPSS data-bestand vb_regr.sav (dit bestand kan gedownload worden via de on-line helpdesk). We schatten een model waarin de afhankelijke variabele Arbeidssatisfactie (Y) wordt voorspeld op basis van Inkomen (X ), Inspraak (X ) en Werksfeer (X 3 ). De regressievergelijking die we derhalve schatten is: Y' = a + b X + b X + b 3 X 3 In de output kunnen we het volgende zien: Variables Entered/Remove d b Variables Variables Entered Removed Method,, a. Enter a. All requested variables entered. b. Dependent Variable: SATISFAC Deze tabel geeft een overzicht van de onafhankelijke variabelen die zijn opgenomen in het regressiemodel en welke procedure we gekozen hebben. In dit geval is dat Method=Enter, waarbij alle variabelen in keer in het model worden opgenomen. Summary Std. Error Adjusted of the R R Square R Square Estimate.303 a.09.079.4999 a. Predictors:,,, In deze tabel wordt zowel de multipele correlatie van de afhankelijke variabele met de set predictoren weergegeven (R). Het kwadraat van deze correlatie ( R Square ) geeft aan hoeveel van de variantie in Y door de set predictoren wordt verklaard. Uit de uitvoer blijkt dat in de steekproef 9.% van de variantie in arbeidssatisfactie wordt verklaard door de predictoren inkomen, sfeer en inspraak. De Adjusted R Square geeft een zuiverder schatter van de populatiewaarde van R.
Regression Residual Total ANOVA b Sum of Mean Squares df Square F Sig. 36.35 3 45.438 7.7.000 a 343.667 5 6.50 479.98 8 a. Predictors:,,, b. Dependent Variable: SATISFAC De tabel ANOVA geeft de resultaten van de modeltoe weer; de toe waarmee wordt nagegaan of het regressiemodel een significante proportie variantie verklaard. NB: Deze toe is eenzijdig. Bij deze data blijkt dat het geschatte regressiemodel een significante proportie variantie verklaard. De gevonden toeingsgrootheid F=7.7. Het aantal vrijheidsgraden is 3,5. De kolom Sig. Geeft de overschrijdingskans weer van de gevonden F-waarde. Hier p< 0.00. Bij een significantieniveau van % is het gevonden toeresultaat dus significant. Unstandardi a.37.506 4.597.000.03.069.07.970.003.4.06.59.80.04 3.679E-05.000.00.33.755 In de tabel zijn zowel de ruwe regressiecoëfficienten opgenomen, als de gestandaardiseerde coëfficienten ( Beta ). M.b.v. de gestandaardiseerde regressiecoëfficiënten kan worden bepaald welke predictoren het belangrijkst zijn in de voorspelling van de arbeidssatisfactie. In de steekproef blijkt sfeer de groote gestandaardiseerde regressiecoëfficiënt te hebben (0.07) en dus de belangrijkste voorspeller te zijn. De tabel bevat tevens voor iedere predictor de resultaten van de t- toe voor afzonderlijke regressiecoëfficiënten. Deze toet twee-zijdig of de gevonden regressiecoëfficiënt in de populatie significant afwijkt van 0. Veronderstel dat de vooropleiding van werknemers mogelijk invloed heeft op de arbeidssatisfactie van werknemers. Een eerste indicatie m.b.t. de invloed van vooropleiding kan worden verkregen door de regressieanalyses apart uit te voeren voor de drie vooropleidingen m.b.v. <Split File>. De verkregen output bevat onder meer onderstaande tabel met regressiecoëfficiënten:
a VOOROPL lager onderw ijs middelbaar onderw ijs hoger onderw ijs Unstandardi.093.586 3.570.00.36.079.34 3.990.000.60.074.86.76.03 -.39E-05.000 -.05 -.8.857 4.7.498.755.009 -.39.77 -.36 -.783.438.73.55.85.8.70-6.09E-05.000 -.09 -.8.857.06.3.674.0.6.94.45.89.4.33.63.4.87.48.4E-04.000.05.35.77 Uit de output blijkt dat de regressieconstante (a) voor de drie vooropleidingen verschilt (.093 voor mensen met die waarvan lager onderwijs de hoogst behaalde opleiding is; 4.7 voor mensen waarbij middelbaar onderwijs de hoogst behaalde opleiding is en.06 voor mensen die hoger onderwijs hebben genoten). Het lijkt er dus op dat vooropleiding inderdaad van invloed is op de afhankelijke variabele arbeidssatisfactie. Omdat vooropleiding een nominale variabele is, kan deze niet zonder meer in de regressie-vergelijking worden opgenomen. Eerst dienen we voor vooropleiding twee dummy-variabele aan te maken, zoals beschreven in de theoretische uitleg (een dummy-variabele is een dichtome variabele waarop 0 of gescoord kan worden). We maken twee nieuwe variabelen: de variabele MO (middelbare opleiding) en de variabele HO (hogere opleiding). MO heeft de waarde 0 als VOOROPL= of 3 (d.w.z niet middelbaar) en de waarde als VOOROPL= (d.w.z. middelbaar). HO heeft de waarde 0 als VOOROPL= of (d.w.z. niet hoger) en de waarde als VOOROPL=3 (d.w.z. hoger). Toevoeging van de dummyvariabelen MO (D ) en HO (D ) aan het regressiemodel geeft de volgende te schatten regressievergelijking: Y' = a + b X + b X + b 3 X 3 +d D +d D MO HO Unstandardi a.337.54 4.30.000.98.069.0.865.005.46.063.6.36.0 3.493E-05.000.09.94.769.0.437.033.48.630 -.95.43 -.03 -.45.65 3
Opname van de dummy-variabelen in het regressiemodel laat zien dat beide dummyvariabelen voor vooropleiding geen significante regressiecoëfficiënt hebben (MO: t=0.48, p=0.630; HO: t=-0.45, p=0.65). Aangezien we twee dummy-variabelen aan het regressiemodel hebben toegevoegd die de variabele vooropleiding representeren, dienen we met behulp van de F-toe voor modelvergelijking of het toevoegen van de twee predictoren (MO en HO) een significante verbetering te zien geeft in de proportie verklaarde variantie. Eerst specificeren we het kleine model: <Dependent = satisfac>, <Independent = inkomen, sfeer, inspraak>. Nu klikken we op Block of <Next> en specificeren we het grote model: <Dependent = satisfac>, Independent = inkomen, sfeer, inspraak, MO, HO>. Vervolgens kiezen we <Statistics, R Change> om de F-toe voor model vergelijking uit te voeren. SPSS geeft nu de output voor de twee regressie-analyses (de kleine analyse en de grote analyse) in één keer. In de tabel ANOVA staan de resultaten van de F-toe voor modelvergelijking. 4
Summary Std. Error Change Statistics Adjusted of the R Square Sig. F R R Square R Square Estimate Change F Change df df Change.303 a.09.079.4999.09 7.7 3 5.000.308 b.095.073.508.003.300 3.74 a. Predictors:,,, b. Predictors:,,,, HO, MO De tabel geeft voor model (kleine model) en model (grote model) de verklaarde varianties weer (resp. 9.% en 9.5%). Voor de F-toe voor modelvergelijking is het stukje Change Statistics van belang. De rij is hierbij minder interessant. Deze rij bevat informatie over de F-toe voor model vergelijking waarbij het kleine model wordt vergeleken met een leeg model (een model zonder predictoren met verklaarde variantie 0%). De rij geeft het verschil in verklaarde variantie tussen kleine en grote model (0.3%) en de F-waarde voor de F-toe voor modelvergelijking (0.300) met bijbehorende vrijheidsgraden (df=,3) en overschrijdingskans (p=0.74). Hieruit kan geconcludeerd worden bij een significantieniveau van 5% dat het toevoegen van dummyvariabelen voor Vooropleiding niet leidt tot een significante verbetering van het regressiemodel. Tot slot kunnen we nagaan of het effect van Sfeer op Arbeidssatisfactie verschilt voor de onderscheiden opleidingsgroepen. Uit de aparte regressie-analyses voor de drie vooropleidingsgroepen blijkt namelijk dat de regressiecoëfficiënt voor het effect van sfeer op arbeidssatisfactie verschilt tussen de drie vooropleidingsgroepen. Hiertoe maken we m.b.v. <Compute> een produktvariabelen aan, waarbij we zowel MO als HO vermenigvuldigen met Sfeer. Deze worden resp. MOX (P ) en HOX (P ) genoemd. Toevoegen van deze produkttermen aan de regressievergelijking geeft het volgende te schatten regressiemodel: Y' = a + b X + b X + b 3 X 3 +d D + d D + p P + p P 5
Summary Std. Error Change Statistics Adjusted of the R Square Sig. F R R Square R Square Estimate Change F Change df df Change.308 a.095.073.508.095 4.454 5 3.00.35 b.4.095.4787.09 3.54.03 a. Predictors:, HO,,, MO, b. Predictors:, HO,,, MO,, HOX, MOX Met behulp van de F-toe voor modelvergelijking is getoet of het zinvol is om regressiemodellen met verschillende regressiecoëfficienten voor het effect van sfeer te schatten, afhankelijk van de vooropleiding van mensen. Het kleine model bevat hierbij de predictoren inkomen, inspraak, sfeer, MO en HO. Het grote model bevat dezelfde predictoren en tevens MOX en HOX. Het verschil in verklaarde variantie (.9%) blijkt significant te zijn (F gevonden =3.54, df=, p=0.03). Het effect van sfeer op arbeidssatisfactie is dus niet even groot voor de drie opleidingsgroepen. 6
MO HO MO HO MOX HOX a Unstandardi.337.54 4.30.000.98.069.0.865.005.46.063.6.36.0 3.493E-05.000.09.94.769.0.437.033.48.630 -.95.43 -.03 -.45.65.030.564 3.599.000.37.085.3 3.70.000.56.063.74.488.04 -.67E-06.000 -.00 -.03.98.898.773.97.456.05.35.699.055.50.67 -.439.66 -.34 -.640.009 -.64.63 -.6 -.007.35 Uit de regressiecoëfficiënten valt af te leiden dat het effect van sfeer op arbeidssatisfactie significant verschilt tussen de lager en middelbaar opgeleiden. Coëfficiënt p =-0.439 en significant (t=-.640, p=0.009). De waarde van deze coëfficiënt is negatief, dit betekent dat voor middelbaar opgeleiden het effect van sfeer op arbeidssatisfactie lager/kleiner is dan voor lager opgeleiden. Coëfficiënt p is niet significant bij een significantieniveau van 5%. In de populatie verschilt de regressiecoëfficiënt van de variabele sfeer niet tussen hoger en lager opgeleiden (p =-0.64, t=-.007, p=0.35). 7