Nederlandse vertaling van de Teacher- Rating-Scale-of-School-Adjustment (TRSSA)

Transcriptie

1 SiBO Schoolloopbanen in het BasisOnderwijs Dekenstraat 2 B 3000 Leuven Nederlandse vertaling van de Teacher- Rating-Scale-of-School-Adjustment (TRSSA) (Ladd, 1992) Toetsing van de factorstructuur en constructie van een verkorte versie Gert Cornelissen & Karine Verschueren Centrum voor Schoolpsychologie Onderzoek in opdracht van de Vlaamse minister van Onderwijs en Vorming, in het kader van het programma Steunpunten voor Beleidsrelevant Onderzoek 2002 LOA-rapport nr. 2

2 Voor meer informatie omtrent deze publicatie: Steunpunt LOA, Unit Onderwijsloopbanen Auteur(s): Gert Cornelissen & Karine Verschueren Centrum voor Schoolpsychologie Adres: Dekenstraat 2, 3000 Leuven Tel.: of Fax.: Website: Copyright (2002) Steunpunt LOA p/a E. Van Evenstraat 2e, 3000 Leuven Niets uit deze uitgave mag worden verveelvuldigd en/of openbaar gemaakt zonder uitdrukkelijk te verwijzen naar de bron. No material may be made public without an explicit reference to the source.

3 Abstract Nederlandse vertaling van de Teacher-Rating-Scale-of-School-Adjustment (TRSSA, Ladd, 1992): Toetsing van de factorstructuur en constructie van een verkorte versie In het geplande longitudinale onderzoek over schoolloopbanen van kinderen in het basisonderwijs, was er nood aan een meting van schoolaanpassing die psychometrisch voldeed, maar tegelijk praktisch haalbaar was. De Teacher-Rating-Scale-of-School-Adjustment (TRSSA) (Ladd, 1992) is een observatieschaal voor leerkrachten en bevat twee subschalen die respectievelijk coöperatieve participatie en onafhankelijke participatie bij jonge schoolkinderen (tussen 5 en 9 jaar) peilen. Coöperatieve participatie verwijst naar de mate waarin kinderen de autoriteit van de leerkracht aanvaarden, zich op een coöperatieve en sociaal verantwoordelijke manier gedragen in de klas, en zich houden aan de sociale regels en rolverwachtingen. Onafhankelijke participatie betreft de mate waarin het kind zelfstandig en onafhankelijk is tegenover de eisen en taken in de schoolse omgeving. De oorspronkelijke subschalen werden op grond van exploratorische factoranalyses samengesteld en bestonden uit respectievelijk zeven en vier items. De vragenlijst werd in het kader van een onderzoek aan het Centrum voor Schoolpsychologie in het Nederlands vertaald en afgenomen bij een steekproef van 199 kinderen uit de derde kleuterklas (100 jongens en 99 meisjes). De bedoeling van onderhavig analyseproject bestond erin de psychometrische kwaliteiten te toetsen van de Nederlandse vertaling van de TRSSA en indien mogelijk een verkorte versie op te stellen. De analyses werden uitgevoerd op de hierboven beschreven proefgroep. Uit de resultaten bleek, ten eerste, dat de interne consistenties van de twee participatieschalen goed tot zeer goed waren (alfa =.81 voor Onafhankelijke en.91 voor Coöperatieve ). Bovendien toonde een confirmatorische factoranalyse dat het tweefactorenmodel zoals vooropgesteld door Ladd (1992) een acceptabele passing vertoonde (Chi²(40) = 85.86, p <.00; Chi²/df = 2.15; GFI =.90, AGFI =.83; RMSEA =.079, NNFI =.91). Ten tweede vonden we steun voor het gebruik van een verkorte versie van de TRSSA, waarbij de subschalen elk slechts uit vier items bestonden. Ook voor deze beperktere set van items werd het tweefactorenmodel bevestigd (Chi²(19) = 34.56, p <.02; Chi²/df = 1.82; GFI =.94, AGFI =.88; RMSEA =.067, NNFI =.93). De interne consistentie van de subschaal Coöperatieve was, zelfs na het weglaten van drie items, nog steeds voldoende hoog (alfa =.86). Op basis van de resultaten van dit onderzoek werd besloten de verkorte Nederlandstalige versie van de Teacher-Rating-Scale-of-School-Adjustment op te nemen in het longitudinaal onderzoek naar schoolloopbanen in het basisonderwijs. De psychometrische kwaliteiten van de schaal bleken immers bevredigend, en de inspanning die van de leerkrachten vereist wordt, is minimaal.

4 INHOUDSTAFEL 1. INLEIDING 1 2. BESCHRIJVING VAN DE VRAGENLIJST Coöperatieve Onafhankelijke 2 3. PSYCHOMETRISCHE EIGENSCHAPPEN VAN DE ENGELSTALIGE VERSIE 2 4. PSYCHOMETRISCHE EIGENSCHAPPEN VAN DE NEDERLANDSE VERTALING Steekproefgegevens Betrouwbaarheidsgegevens 4 5. DE CONFIRMATORISCHE FACTORANALYSE VAN DE PARTICIPATIESCHALEN VAN DE TRSSA Het tweefactorenmodel volgens Ladd (1992) Tweefactorenmodel op basis van een exploratorische factoranalyse Exploratorische Factoranalyse Toetsing van de verkorte versie Conclusies 13 Referenties Bijlagen

5 Nederlandse vertaling van de Teacher Rating Scale of School Adjustment (TRSSA) (Ladd, 1992): Toetsing van de factorstructuur en constructie van een verkorte versie 1. INLEIDING In een onderzoek rond zelfwaardering, relatie met de leerkracht en schoolaanpassing bij kleuters maakte Roncada (2001) ondermeer gebruik van de Teacher Rating Scale of School Adjustment (TRSSA), ontwikkeld door Ladd (1992). De vragenlijst werd in het Nederlands vertaald en kreeg de naam 'Beoordelingsschaal voor SchoolAanpassing'. Deze vragenlijst gaat de houding na van kinderen ten aanzien van klastaken en klasomgeving en kan interessant zijn in het kader van onderzoek rond schoolloopbanen van kinderen. In wat volgt worden eerst de inhoud van de vragenlijst en de subschalen beschreven, daarna worden enkele psychometrische gegevens van de originele, Engelstalige versie gegeven en tenslotte worden onze eigen analyses van de Nederlandse vertaling besproken. 2. BESCHRIJVING VAN DE VRAGENLIJST De TRSSA (Teacher Rating Scale of School Adjustment) is een vragenlijst in te vullen door leerkrachten of begeleiders en bestaat uit 26 items. De schaal is ontwikkeld voor kinderen tussen 5 en 9 jaar De leerkrachten geven aan in welke mate de items, geformuleerd als stellingen, van toepassing zijn op een bepaald kind, aan de hand van een driepuntenschaal (1=niet van toepassing, 2=soms van toepassing, 3=zeker van toepassing), om zo de schoolaanpassing van jonge kinderen te beoordelen. Schaalscores worden bepaald door het gemiddelde of de som van de scores van de items binnen een subschaal te berekenen. De vragenlijst bevat vijf subschalen : Coöperatieve ( Cooperative Participation ), Onafhankelijke ( Independent Participation ), graag naar school gaan ( School Liking ), de school vermijden ( School Avoidance ) en zich op het gemak voelen bij de leerkracht ( Comfort with Teacher ). De subschalen De twee ''-subschalen hebben in de literatuur meer aandacht gekregen dan de overige drie. Ook in het hier gerapporteerde onderzoek zullen we ons toeleggen op deze twee schalen. We hebben voor de subschalen Coöperatieve en Onafhankelijke immers gegevens over 199 kinderen voorhanden, terwijl er voor de overige 3 schalen er slechts gegevens over 64 kinderen beschikbaar zijn. Voor een lijst 1

6 van de items per subschaal, wordt verwezen naar bijlage 1. We beschrijven nu de twee -subschalen. 2.1 Coöperatieve De subschaal Coöperatieve bestaat uit zeven items, zoals "maakt verantwoordelijk gebruik van het klasmateriaal" en "aanvaardt het gezag van de leerkracht". Ze is een index van de mate waarin kinderen de autoriteit van de leerkracht aanvaarden, zich op een coöperatieve en sociaal verantwoordelijke manier gedragen in de klas, en zich houden aan de sociale regels en rolverwachtingen. 2.2 Onafhankelijke De subschaal Onafhankelijke is een index van hoe zelfstandig en onafhankelijk het kind is tegenover schoolse taken. Ze bestaat uit vier items. Voorbeelden zijn: "is zelfbepalend, stelt eigen doelen" en "heeft veel hulp en leiding nodig" (omgekeerd te scoren). 3. PSYCHOMETRISCHE EIGENSCHAPPEN VAN DE ENGELSTALIGE VERSIE In een studie van Ladd, Birch and Buhs (1999), bedroeg de interne consistentie (α-coëfficiënt) van de Cooperatieve schaal.70 en die van de Onafhankelijke schaal bedroeg.75. De scores van beide subschalen waren vrij hoog gecorreleerd r(190)=.64. Daarom kunnen de scores ook opgeteld worden en samen de samengestelde schaal in de Klas ( Classroom Participation ) vormen. 4. PSYCHOMETRISCHE EIGENSCHAPPEN VAN DE NEDERLANDSE VERTALING 4.1 Steekproefgegevens De gegevens waarop we deze analyses uitvoeren zijn afkomstig van twee onderzoeken, uitgevoerd in het kader van licentiaatsverhandelingen. Verboven en Verheyen (in voorbereiding) lieten de vragenlijst invullen door negen leerkrachten voor 135 kinderen in vijf scholen in Turnhout, Arendonk en Beringen. Het aantal leerlingen per klas varieerde van 9 tot 25. In dit onderzoek werden alleen de twee -subschalen afgenomen. Roncada (2001) liet de vragenlijst invullen door drie leerkrachten voor 64 kinderen in drie verschillende scholen: twee in Genk en één in Antwerpen. De klassen bestonden uit 19, en 24 leerlingen. In dit onderzoek werden vijf subschalen ingevuld. 2

7 Alle kinderen waarvoor de vragenlijst ingevuld werd, zaten in de derde kleuterklas. De leeftijd van deze kleuters lag tussen 5 jaar en 1 maand en 6 jaar en 8 maanden met een gemiddelde leeftijd van 5 jaar en 8 maanden. Er waren 100 jongens en 99 meisjes. Alle leerkrachten waren vrouwen. In tabel 1 staan enkele beschrijvende gegevens voor de Coöperatieve - en Onafhankelijke -subschalen en de totaalschaal ( in de klas ). De oordelen van de leerkrachten van de participatie in de klas blijken een aanzienlijke variabiliteit te vertonen over leerlingen. De scores voor alle drie de schalen zijn negatief scheef verdeeld. Leerkrachten rapporteren dus meestal een hoge participatie-graad voor hun leerlingen. Tabel 1 Beschrijvende Statistieken voor de Coöperatieve - en Onafhankelijke - subschalen en de totaalschaal (n=199) Schaal Gemiddelde Std Dev Min-Max Scheefheid Kurtosis Cooperatieve Onafhankelijke TOTAAL ( in de klas) Tabel 2 geeft gemiddelden en standaarddeviaties per geslacht en per subschaal. Daarnaast worden de resultaten van t-toetsen weergegeven voor geslachtsverschillen op de schalen van de TRSSA. Op geen enkele schaal wordt er een significant verschil tussen jongens en meisjes gevonden. Tabel 3 bevat de correlaties tussen de scores op de subschalen onderling en met de scores op de totaalschaal. Tabel 2 Gemiddelden en standaarddeviaties per geslacht en per subschaal meisjes n=99 jongens n=100 Schaal gem std dev gem std dev t p Coöperatieve Onafhankelijke Totaal Tabel 3 Correlaties tussen de scores op de subschalen en de totaalschaal Coöperatieve Onafhankelijke Totaal Coöperatieve *.91 * Onafh * * p<.01 3

8 4.2 Betrouwbaarheidsgegevens Betrouwbaarheid heeft te maken met de mate waarin de testscore vrij is van allerhande fouten. Schattingen van interne consistentie werden berekend met de alfa methode van Cronbach. Ook de standaardmeetfout werd berekend om het bereik aan te geven waarbinnen de ware score van een individu vermoedelijk valt. Tabel 4 geeft de alfacoëfficiënten en de standaardmeetfouten voor de TRSSA (sub)schalen voor de gehele steekproef en per geslacht. Alle alfa's waren aanvaardbaar. Voor de Cooperatieve -subschaal en de Totaalschaal ' in de klas' bedroegen ze minstens.88. De Onafhankelijke -subschaal haalde een alfa van minstens.80. Dat deze laatste iets lager lag heeft allicht te maken met het feit dat deze schaal uit minder items bestaat, namelijk vier, terwijl de Coöperatieve subschaal zeven items bevat. Tabel 4 Alfa-coëfficiënten en standaardmeetfouten van de -subschalen en het totaal voor de hele steekproef en per geslacht totale steekproef jongens meisjes schaal/subschaal α SMF α SMF α SMF Coöperatieve Onafhankelijke Totaal Tabel 5 geeft enkele itemkarakteristieken : gemiddelden, standaarddeviaties en de itemtotaalcorrelaties voor elk van de 11 items. In de vragenlijst zoals die aan de leerkrachten aangeboden werd stonden de items van verschillende schalen door elkaar, bij het onderzoek van Verheyen en Verboven (in voorbereiding) nog aangevuld met items behorend tot een andere vragenlijst (PBQ). Om de item-totaalcorrelatie te berekenen, moesten we eerst de score op item 11 omkeren. De items vertonen een behoorlijke variabiliteit hoewel bijna alle items (op item 8, 9 en 10 na) negatief scheef verdeeld zijn (zie tabel 5). De item-totaalcorrelaties lagen tussen.48 en.80. Acht van de elf items hadden een correlatie van meer dan.60. 4

9 Tabel 5 Gemiddelden, standaarddeviaties, correlaties van de items met het totaal en scheefheidswaarden (Zscore) met bijbehorende p-waarden voor de elf items van de schalen # Item M SD item-totaalcorrelatie Z-score p-waarde COOPERATIEVE PARTICIPATIE 1. Doet wat de leerkracht vraagt Maakt verantwoordelijk gebruik van klasmateriaal Luistert aandachtig naar de uitleg en de opdrachten van de leerkracht. 4. Is goed handelbaar voor de leerkracht Reageert snel op wat de leerkracht vraagt Aanvaardt het gezag van de leerkracht Aanvaardt verantwoordelijkheid voor een gegeven taak ONAFHANKELIJKE PARTICIPATIE 8. Zoekt uitdagingen Is zelfbepalend, stelt eigen doelen Werkt onafhankelijk Heeft veel hulp en leiding nodig (Omgekeerd gescoord) CONFIRMATORISCHE FACTORANALYSES VOOR DE NEDERLANDSE VERTALING Eén van de hoofdbedoelingen van dit (psychometrisch) onderzoek bestond erin de factorstructuur van de STRS te toetsen. Hierbij wilden we verder gaan dan het uitvoeren van een exploratorische factoranalyse. Het was onze bedoeling de vooropgestelde factorenstructuur te toetsen via (het uitvoeren van) confirmatorische factoranalyses. Confirmatorische factoranalyses hebben - net als exploratorische factoranalyses als doel de covarianties tussen (vele) geobserveerde variabelen (de items) te verklaren door middel van een beperkter aantal onderliggende of latente variabelen. In tegenstelling tot EFA s bieden CFA s echter het voordeel dat (a) de passing of fit van het globale factoranalytische model kan worden berekend, (b) er kan vertrokken worden vanuit een apriori geformuleerd model waarbij niet alleen het aantal factoren of latente variabelen kan worden bepaald, maar ook het al dan niet bestaan van een associatie tussen (sommige van) die factoren, (c) de factorladingen (naar keuze) op nul kunnen worden gezet, en (d) de correlaties tussen meetfouten inherent aan geobserveerde variabelen, indien wenselijk, kunnen worden toegelaten. EFA daarentegen confounds the correlated measurement errors with the latent factors, potentially leading to ambiguous and misleading solutions (Bollen, 1989, p. 232). De factoranalytische modellen worden getoetst met LISREL 8.30 (Jöreskog, Sörbom, 1993), gebruik makend van de covariantiematrix, de asymptotische covariantiematrix en maximum 5

10 likelihood schattingen. Aan de hand van de volgende fitmaten evalueerden we hoe goed een model bij de gegevens pastte: χ², χ²/df, GFI, AGFI, RMSEA en NNFI. Wanneer de fit niet bevredigend was, modificeerden we het model. Aan de hand van de modificatie-indices (MIs) en gestandaardiseerde residuen gingen we na of we een beter fittend model konden vinden door het toevoegen van paden of het vrijlaten van foutencovarianties. Dit toevoegen van paden of vrijlaten van foutencovarianties deden we alleen als deze (a) een beter fit tot gevolg hadden en (b) substantief konden geïnterpreteerd worden. We gingen achtereenvolgens op twee manieren te werk. Deze werkwijzen worden één na één besproken. Ten eerste toetsten we de vooropgestelde tweefactorenstructuur van de schalen zoals voorgesteld door Ladd (1992). Aan de hand van een confirmatorische factoranalyse (CFA) gingen we na of het dit model bij onze data past. Zoals wordt uitgelegd in paragraaf 5.1 vonden we na een beperkt aantal modificaties een bevredigende fit. Daarnaast gingen we aan de hand van een exploratorische factoranalyse (EFA) na of we, door het herschikken van de items in nieuwe subschalen, of het weglaten van bepaalde items wegen crossladingen (of helemaal geen significante ladingen) een ander model konden bekomen dat beter bij de data past. Een extra objectief bij het weglaten van items was om een verkorte versie van de vragenlijst te bekomen. Dat is wenselijk wanneer leerkrachten veel leerlingen moeten beoordelen en/of meerdere vragenlijsten moeten invullen. Een verkorte versie (die toch valide is) kan dan werk besparen. Het nieuw bekomen model werd dan weer aan een CFA onderworpen. Gebruikte fitmaten Naast de χ²-statistiek gebruiken we als bijkomende fitmaten χ²/df, de Goodness of Fit index (GFI), de Adjusted Goodness of Fit index (AGFI), De Root-Mean-Square Error of Approximation (RMSEA) en de Non-Normed Fit Index (NNFI). Voor de beschrijving van deze fitmaten werd beroep gedaan op Verschueren (1996). De χ² goodness-of-fit statistiek geeft de discrepantie weer tussen de steekproefcovariantiematrix en de covariantiematrix die geïmpliceerd of voorspeld wordt door het vooropgestelde model (Jöreskog en Sörbom, 1993). Hoe groter de χ², hoe groter de discrepantie is en hoe slechter het model bij de data past. De χ² -statistiek wordt doorgaans gebruikt als een teststatistiek om de nulhypothese te toetsen dat er geen verschil is tussen de steekproef covariantiematrix en de voorspelde covariantiematrix (Loehlin, 1987; Jöreskog & Sörbom, 1993). Immers, als het vooropgestelde model waar is in de populatie en aan de 6

11 assumpties van de χ²-test wordt voldaan, dan heeft de χ²-statistiek een χ²-verdeling waarvan het aantal vrijheidsgraden gelijk is aan het aantal niet-redundante elementen in de (co)variantiematrix (k*(k-1)/2 met k = aantal geobserveerde variabelen die geanalyseerd worden) min het aantal geschatte parameters in het model (Bollen, 1989). Als χ² groter is dan de kritische χ², dus als de geassocieerde p-waarde kleiner is dan.05, dan wordt de nulhypothese verworpen en wordt besloten dat het model niet bij de data past (Jöreskog et al. (1999) stelden voor om in het geval van scheve verdeling en kleine steekproeven de Satorra-Bentler χ² statistiek te gebruiken). Deze werkwijze is vrij streng, daarom gebruiken we χ² ook als descriptieve fitmaat. We berekenen χ²/df (df=aantal vrijheidsgraden). Als het model perfect bij de data past, dan is de ratio gelijk aan 1. Jöreskog lijkt een ratio van 2 als cut-off te nemen (Loehlin, 1987). Volgens Tanaka (1987) moet de χ²/df ratio kleiner zijn dan 5.0 voor een aanvaardbare fit. De GFI en de AGFI zijn functies van χ² waarin het effect van de steekproefgrootte gereduceerd wordt (Bollen, 1989; Jöreskog en Sorböm, 1993). De GFI meet de relatieve hoeveelheid van de steekproef covarianties die voorspeld kan worden op basis van het model (Bollen, 1989). Ze geeft met andere woorden aan hoeveel beter het model fit in vergelijking met no model at all (Jöreskog en Sörbom, 1993, p. 122). Bij de AGFI wordt de GFI aangepast voor het aantal vrijheidsgraden (relatief aan het aantal variabelen). De Goodness-of-Fit indices variëren tussen 0 en 1. Hoe hoger ze zijn, des te beter de fit. Minimum waarden voor aanvaardbar fit of cut-offs worden in de literatuur niet gegeven (Loehlin, 1987). Algemeen wordt aangenomen dat een GFI van.95 en een AGFI van.90 of meer wijzen op een zeer goede fit. Van Aken (1990, vermeld in Verschueren, 1996) neemt.80 als benedengrens en dat zullen ook wij doen. We gaan ervan uit dat alle modellen slechts benaderingen zijn, en er geen perfect passend model mogelijk is. Daarom nemen we de RMSEA (Steiger, 1990) mee op als fitmaat. Als het model een goede benadering is, dan is de RMSEA klein. De gebruikelijke norm is dat de RMSEA kleiner moet zijn dan.05. Browne en Cudeck (1993) stellen voor dat waarden tot.08 aanvaardbare benaderingsfouten aangeven. Het extra voordeel is, dat het mogelijk is een betrouwbaarheidsinterval te berekenen rond de RMSEA-score, waardoor getoetst kan worden of de RMSEA significant groter is dan de grens van.05. Deze toets heet de 'test for close fit'. De NNFI meet hoeveel beter het model fit vergeleken met een basislijnmodel, standaard het onafhankelijkheidsmodel (Jöreskog en Sörbom, 1993; Byrne, 1989). Vergeleken met de NFI compenseert de NNFI voor de complexiteit van het model: bij gelijke fit met de gegevens krijgt een ingewikkeld model een lagere fit-index dan een eenvoudig model (Hox, 1999). 7

12 Cramer en Harleib (2001) stellen dat een waarde van.90 minimaal is om te spreken van een goede fit Het tweefactorenmodel volgens Ladd (1992): de schalen Het tweefactorenmodel dat we gaan toetsen, wordt schematisch weergegeven in figuur 1. Dit model gaat ervan uit dat (a) de antwoorden op de 11 items van de participatieschalen verklaard kunnen worden door twee factoren: Coöperatieve en Onafhankelijke ; (b) elk TRSSA-item een lading heeft (die verschillend is van nul) op de factor die hij moet meten en een nul-lading heeft op de andere factor; (c) de twee TRSSA-factoren gecorreleerd zijn; en (d) de foutentermen of uniciteiten van de items ongecorreleerd zijn met elkaar. item item item item COOP item item item ONAFH item item item 1 item 1 Figuur 1. De schalen van de TRSSA Tabel 6 geeft een aantal fitmaten voor het volledige tweefactorenmodel wanneer we een CFA uitvoeren. In bijlage 2 vindt men de volledige lijst van fitmaten voor dit model, door LISREL 8.30 gegeven. De fit van het volledige tweefactorenmodel voldoet niet aan de voorwaarden die we gesteld hebben voor χ²/df, RMSEA, GFI, AGFI en NNFI. Ook het submodel van 'Coöperatieve ' voldoet niet aan de fitvereisten. Voor het submodel van Onafhankelijke is de fit bijna perfect. Voor dit model bedraagt de correlatie tussen de twee latente variabelen.69. Gebruik makend van de gestandaardiseerde residuen en de 8

13 modificatie-indices (MIs) probeerden we de fit te verbeteren. Meer concreet door foutencovarianties tussen de items toe te laten. Een model met drie foutencovarianties (tussen items 6 en 4, 6 en 1 en 7 en 6) paste bij de data. Voor dit model bedraagt de correlatie tussen de latente variabelen.72. Als we de fit van dit model afwegen tegen een model waarbij de latente variabelen perfect correleren vinden we : χ²(1)=90.82, p <.01. Het tweefactorenmodel verklaart de gegevens dus beter dan een model met slechts één latente variabele. De fitgegevens van de tussenoplossingen bevinden zich in bijlage 3. In bijlage 4 staan de gestandaardiseerde factorladingen van dit volledige model (met foutencovarianties). Daar zien we dat alle factorladingen voldoende hoog liggen. Tabel 6 Enkele fit-statistieken voor het volledige tweefactorenmodel Modellen χ² (df) p χ²/df GFI AGFI RMSEA NNFI Volledig Model (43) Coöperatieve (14) Onafhankelijke 1.35 (2) Volledig Model met foutencovarianties tussen: Items 6 en 4 en Items 6 en 1 en Items 7 en 6 en (40) We vonden dus dat de hoogste modificatie-index tot drie maal toe bij een foutencovariantie tussen item 6 en een ander item hoorde. Het lijkt er op dat item 6 een probleemitem is. Daarom berekenden we de fit van het volledige model en de submodellen na het weglaten van dit item. Die fitgegevens worden weergegeven in tabel 7 (de volledige lijst bevindt zich in bijlage 5. Zonder item 6 is de fit van het model inderdaad beter. We hoeven nog maar één foutencovariantie toe te laten om voor alle fitmaten de beoogde criteria te bereiken. De correlatie tussen de latente variabelen bedraagt in dit geval.73 (dit tweefactorenmodel bleek de gegevens beter te verklaren dan een model met slechts één latente variabele: χ²(1)= 90.27, p <.01). De gestandaardiseerde factorladingen worden weergegeven in tabel 8. Deze zijn allemaal voldoende hoog. 9

14 Tabel 7 Enkele fit-statistieken voor het volledige tweefactorenmodel, zonder item 6 Modellen χ² (df) p χ²/df GFI AGFI RMSEA NNFI Volledig Model (34) Coöperatieve (9) Onafhankelijke 1.35 (2) Volledig Model met foutencovariantie tussen: Item4 en item (33) Tabel 8 De gestandaardiseerde factorladingen van de schalen (zonder item 6) # Item Coöperatieve Onafhankelijke R² 1. Doet wat de leerkracht vraagt Maakt verantwoordelijk gebruik van klasmateriaal Luistert aandachtig naar de uitleg en de opdrachten van de leerkracht 4. Is goed handelbaar voor de leerkracht Reageert snel op wat de leerkracht vraagt Aanvaardt verantwoordelijkheid voor een gegeven taak Zoekt uitdagingen Is zelfbepalend, stelt eigen doelen Werkt onafhankelijk Heeft veel hulp en leiding nodig Tweefactorenmodel op basis van een exploratorische factoranalyse Hoewel de fit van het oorspronkelijke model als voldoende beschouwd kan worden, voerden we toch nog een exploratorische factoranalyse uit op onze gegevens om te checken of het op voorhand weglaten van bepaalde items wegens geen betekenisvolle ladingen of crossladingen nuttig kon zijn om te fit te doen verbeteren en voornamelijk om een verkorte vragenlijst op te stellen Exploratorische factoranalyse Op basis van Cattell s scree-plot, het mineigen-criterium en de psychologische interpreteerbaarheid kunnen er inderdaad twee factoren onderscheiden worden: het geroteerde factorpatroon staat in tabel 9. De twee factoren verklaren 66% van de variantie. Het is zo dat de items die oorspronkelijk tot dezelfde subschaal behoorden, nu ook het hoogst laden op dezelfde factor. De items één tot en met zeven, die oorspronkelijk tot de Coöperatieve -schaal behoorden, laden het hoogst op factor 1 en de items die oorspronkelijk tot de Onafhankelijke -schaal behoorden laden het hoogst op factor 2. We kunnen de benamingen van de schalen dus gewoon overnemen. We zien dat 10

15 items 3, 5 en 7 crossladingen vertonen. In de CFA s die volgen, worden ze daarom weggelaten. Deze items behoorden alle tot de Coöperatieve schaal Toetsing van de verkorte versie We toetsten het verkorte tweefactorenmodel van de schalen (dus zonder items 3, 5 en 7). De fitgegevens bevinden zich in tabel 10 (voor de volledige lijst, zie bijlage 6). Eerst geven we de fitgegevens voor het Coöperatieve -submodel dat alle zeven items bevat. Dan de gegevens voor het submodel waarbij de items 3, 5 en 7 weggelaten werden en tenslotte het volledige tweefactorenmodel waaruit items 3, 5 en 7 verwijderd zijn. Dit laatste model komt neer op een verkorte versie van de TRSSA, waarbij elk van de schalen uit vier items bestaat. Zie figuur 2 voor een grafische weergave van dit model. Voor alle fitmaten voldeed dit model aan de vooropgestelde criteria. De p-waarde voor de test for close fit bedroeg.20. De gestandaardiseerde factorladingen van de verkorte versie van de TRSSA bevinden zich in tabel 11. Tabel 9 Factorstructuur van de 11 items van de TRSSA (subschalen Coöperatieve en Onafhankelijke ) Factor1 Factor 2 Coöperatieve : ITEM1 ITEM2 ITEM3 ITEM4 ITEM5 ITEM6 ITEM7 Onafhankelijke : ITEM8 ITEM9 ITEM10 ITEM11 * Lading groter dan * * *.49 *.82 * *.51 *.87 * *.52 * * * * * 11

16 Tabel 10 Fitgegevens voor het Coöperatieve -submodel, het Coöperatieve - submodel zonder items 3,5 en 7 en het de verkorte versie van de TRSSA Modellen χ² (df) P χ²/df GFI AGFI RMSEA NNFI Coöperatieve (volledig) Coöperatieve (zonder items 3, 5 en 7) Volledig Model (zonder items 3, 5 en 7) (14) (2) (19) Tabel 11 Gestandaardiseerde factorladingen voor de verkorte versie van de TRSSA Item Coöperatieve Onafhankelijke 1. Doet wat de leerkracht vraagt Maakt verantwoordelijk gebruik van klasmateriaal Is goed handelbaar voor de leerkracht Aanvaardt het gezag van de leerkracht Zoekt uitdagingen Is zelfbepalend, stelt eigen doelen Werkt onafhankelijk Heeft veel hulp en leiding nodig R² item1 item2 item4 COOP item6 item8 ONAFH. item9 item10 item11 Figuur 2. De verkorte versie van de TRSSA. De correlatie tussen de latente variabelen voor de verkorte versie van de TRSSA bedraagt.50. We gingen na of deze significant afweek van 1. We testten met andere woorden of dit 12

17 tweedimensionale model de data beter kon verklaren dan een unidimensioneel model. De Likelihood Ratio was gelijk aan: χ²(1) = , p <.01. Dit betekent dat het tweedimensionele model de data inderdaad beter verklaard dan een unidimensioneel model. De fitgegevens wijzen erop dat het de verkorte versie van de TRSSA beter bij de data past dan het oorspronkelijke tweefactorenmodel waarbij we drie foutencovarianties toelieten. De interne consistentie van de Coöperatieve -schaal is, zelfs na het weglaten van de drie items, nog steeds voldoende hoog. Ze bedraagt namelijk.86. In tabel 12 worden de items van de verkorte versie van de TRSSA nog eens op een rijtje gezet. Tabel 12 De items van de verkorte versie van de TRSSA # Item Coöperatieve : 1. Doet wat de leerkracht vraagt 2. Maakt verantwoordelijk gebruik van klasmateriaal 4. Is goed handelbaar voor de leerkracht 6. Aanvaardt het gezag van de leerkracht Onafhankelijke : 8. Zoekt uitdagingen 9. Is zelfbepalend, stelt eigen doelen 10 Werkt onafhankelijk 11. Heeft veel hulp en leiding nodig (omgekeerd te scoren) 6.CONCLUSIE De bedoeling van deze studie was om de factorstructuur van de TRSSA te toetsen en zo mogelijk een verkorte versie op te stellen. Ladd (1992) stelde op basis van exploratorische factoranalyses een lijst op van 11 items die bestond uit twee subschalen: Coöperatieve en Onafhankelijke. De items uit deze schalen werden vertaald in het Nederlands en ingevuld voor 199 leerlingen. We wilden nagaan of we deze zelfde tweefactorenstructuur ook in onze gegevens terugvonden via een confirmatorische factoranalyse. De meeste items vertoonden een scheve verdeling, wat betekent dat de leerkrachten een hoge graad van rapporteerden voor de meeste leerlingen. De interne consistenties van de schalen waren goed tot zeer goed (.81 voor Onafhankelijke en.91 voor Coöperatieve ). Op basis van de Confirmatorische factoranalyses vonden we twee versies van de vragenlijst die een aanvaardbare fit vertoonden. Ten eerste de versie waarbij item 6 wordt weggelaten. Het model vertoont dan een goede fit wanneer er één foutencovariantie wordt toegelaten (tussen item 4 en item 1). De 13

18 Coöperatieve schaal bestaat dan nog uit zes items: items 1, 2, 3, 4, 5 en 7. De Onafhankelijke schaal blijft ongewijzigd. Ten tweede vonden we evidentie voor een verkorte versie van de TRSSA waarbij we drie items weglieten uit de Coöperatieve schaal: items 3, 5 en 7. De Onafhankelijke schaal bleef weerom ongewijzigd. Voor een lijstje met de items die tot deze verkorte versie behoren verwijzen we naar tabel

19 Referenties Bollen, K. A. (1989). Structural equations with latent variables. New York: Wiley. Brown, M. W., & Cudeck, R. (1993). Alternative ways of assessing model fit. In K. A. Bollen & J. S. Long (Eds.): Testing Structural Equation Models, Sage Publications. Byrne, B. M. (1989). A primer for LISREL: basic applications and programming for confirmatory factor analytic model. New York: Springer. Cramer, K. M., Hartleib, M. (2001). The attitudes to chocolate questionnaire: a psychometric evaluation. Personality and Individual Differences, 31, Hox, J. J. (1999). Principes en toepassing van structurele modellen. Kind en Adolescent, 20(3), Ladd G. W. (1992). The Teacher Rating Scale of School Adjustment. University of Illinois. Ladd, G. W., Birch, S. H., & Buhs, E. (1999). Children's social and scholastic lives in kindergarten: Related spheres of influence? Child Development, 70(6), Jöreskög, K. G. & Sörbom, D. (1993). LISREL8: Structural Equation Modeling with the SIMPLIS Command Language. Hillsdale, NJ: Lawrence Erlbaum. Loehlin, J. C. (1987). Latent variable models. An introduction to factor, path, and structural analysis. Hillsdale, NJ: Lawrence Erlbaum. Roncada, A. (2001). Zelfwaardering, relatie met de leerkracht en schoolaanpassing bij kleuters. Ongepubliceerde licentiaatsverhandeling, Centrum voor Schoolpsychologie, K.U. Leuven. Steiger, J. H. (1990). Structural model evaluation and modification: An interval estimation approach. Multivariate Behavioral Research, 25, Tanaka, J. S. (1987). How Big is Big Enough : sample size and goodness of fit in structural equation models with latent variables. Child Development, 58, Verboven, K., & Verheyen, V. (in voorbereiding). Schoolaanpassing van kinderen bij de overgang naar het lager onderwijs (voorlopige titel). Centrum voor Schoolpsychologie, K.U.Leuven. Verschueren, K. (1996). Een veilige gehechtheid, een positief zelf? Representaties van gehechtheidsrelaties en van het zelf en sociaal-emotionele competentie bij kleuters. Ongepubliceerd doctoraatsproefschrift, Centrum voor Ontwikkelingspsychologie, K.U. Leuven. 15

20 Bijlagen 1

21 Bijlage 1 De items van de TRSSA per subschaal De TRSSA : Teacher Rating Scale of School Adjustment (Ladd, 1992) Vertaald als de 'Beoordelingsschaal voor SchoolAanpassing' (Roncada, 2001) 1. Niet van toepassing 2. Soms van toepassing 3. zeker van toepassing 1. Coöperatieve (Cooperative Participation) # item Doet wat de leerkracht vraagt Maakt verantwoordelijk gebruik van klasmateriaal Luistert aandachtig naar de uitleg en de opdrachten van de leerkracht Is goed handelbaar voor de leerkracht Reageert snel op wat de leerkracht vraagt Aanvaardt het gezag van de leerkracht Aanvaardt verantwoordelijkheid voor een gegeven taak 2. Onafhankelijke (Self-Directedness) # item Zoekt uitdagingen Is zelfbepalend, stelt eigen doelen Werkt onafhankelijk Heeft veel hulp en leiding nodig 3. Graag naar school gaan (School Liking) # item Komt graag naar school Vindt school niet leuk Amuseert zich op school Is graag op school Vindt de meeste klasactiviteiten plezierig 4. School vermijden (School Avoidance) # item Verzint redenen om naar huis te kunnen gaan Vraagt om de schooldokter Veinst ziekte op school Vraagt om het klaslokaal te mogen verlaten Vraagt hoe lang het nog duurt voor het tijd is om naar huis te gaan 2

22 Bijlage 1 De items van de TRSSA per subschaal 5. Zich op het gemak voelen bij de leerkracht (Comfort with Teacher) # item 22. Is traag op gang te brengen 23. Voelt zich op zijn gemak als hij de leerkracht benadert 24. Speelt graag schooltje, imiteert de leerkracht 25. Is geïnteresseerd in de leerkracht als persoon 26. Knoopt gesprekjes aan met de leerkracht 3

23 Bijlage 2 Lijst met fitgegevens voor het volledige tweefactorenmodel van de TRSSA Goodness of Fit Statistics Degrees of Freedom = 43 Minimum Fit Function Chi-Square = (P = 0.0) Normal Theory Weighted Least Squares Chi-Square = 8.04 (P = 0.0) Satorra-Bentler Scaled Chi-Square = (P = 0.00) Chi-Square Corrected for Non-Normality = (P = 0.00) Estimated Non-centrality Parameter (NCP) = Percent Confidence Interval for NCP = (81.95 ; ) Minimum Fit Function Value = 1.08 Population Discrepancy Function Value (F0) = Percent Confidence Interval for F0 = (0.45 ; 0.88) Root Mean Square Error of Approximation (RMSEA) = Percent Confidence Interval for RMSEA = (0.10 ; 0.14) P-Value for Test of Close Fit (RMSEA < 0.05) = 0.00 Expected Cross-Validation Index (ECVI) = Percent Confidence Interval for ECVI = (0.94 ; 1.37) ECVI for Saturated Model = 0.73 ECVI for Independence Model = 6.88 Chi-Square for Independence Model with 55 Degrees of Freedom = Independence AIC = Model AIC = Saturated AIC = Independence CAIC = Model CAIC = Saturated CAIC = Root Mean Square Residual (RMR) = Standardized RMR = Goodness of Fit Index (GFI) = 0.82 Adjusted Goodness of Fit Index (AGFI) = 0.73 Parsimony Goodness of Fit Index (PGFI) = 0.53 Normed Fit Index (NFI) = 0.84 Non-Normed Fit Index (NNFI) = 0.83 Parsimony Normed Fit Index (PNFI) = 0.66 Comparative Fit Index (CFI) = 0.87 Incremental Fit Index (IFI) = 0.87 Relative Fit Index (RFI) = 0.79 Critical N (CN) =

24 Bijlage 3 Fitgegevens voor modificaties van het volledige tweefactorenmodel van de TRSSA Modellen χ² (df) p χ²/df GFI AGFI RMSEA NNFI Volledig Model met foutencovarianties tussen items: 6 en 4 Volledig Model met foutencovarianties tussen items: 6 en 4 6 en 1 Volledig Model met foutencovarianties tussen items: 6 en 4 6 en 1 7 en (42) (41) (40)

25 Bijlage 4 Gestandaardiseerde factorladingen voor het volledige tweefactorenmodel van de TRSSA Item Coöperatieve Onafhankelijke R² 1. Doet wat de leerkracht vraagt Maakt verantwoordelijk gebruik van klasmateriaal Luistert aandachtig naar de uitleg en de opdrachten van de leerkracht Is goed handelbaar voor de leerkracht Reageert snel op wat de leerkracht vraagt Aanvaardt het gezag van de leerkracht Aanvaardt verantwoordelijkheid voor een gegeven taak Zoekt uitdagingen Is zelfbepalend, stelt eigen doelen Werkt onafhankelijk Heeft veel hulp en leiding nodig

26 Bijlage 5 Fitgegevens van het model zonder item 6 Goodness of Fit Statistics Degrees of Freedom = 34 Minimum Fit Function Chi-Square = (P = 0.00) Normal Theory Weighted Least Squares Chi-Square = (P = 0.00) Satorra-Bentler Scaled Chi-Square = (P = 0.00) Chi-Square Corrected for Non-Normality = (P = 0.00) Estimated Non-centrality Parameter (NCP) = Percent Confidence Interval for NCP = (22.65 ; 74.51) Minimum Fit Function Value = 0.59 Population Discrepancy Function Value (F0) = Percent Confidence Interval for F0 = (0.12 ; 0.41) Root Mean Square Error of Approximation (RMSEA) = Percent Confidence Interval for RMSEA = (0.060 ; 0.11) P-Value for Test of Close Fit (RMSEA < 0.05) = Expected Cross-Validation Index (ECVI) = Percent Confidence Interval for ECVI = (0.54 ; 0.83) ECVI for Saturated Model = 0.60 ECVI for Independence Model = 5.77 Chi-Square for Independence Model with 45 Degrees of Freedom = Independence AIC = Model AIC = Saturated AIC = Independence CAIC = Model CAIC = Saturated CAIC = Root Mean Square Residual (RMR) = Standardized RMR = Goodness of Fit Index (GFI) = 0.90 Adjusted Goodness of Fit Index (AGFI) = 0.83 Parsimony Goodness of Fit Index (PGFI) = 0.55 Normed Fit Index (NFI) = 0.90 Non-Normed Fit Index (NNFI) = 0.90 Parsimony Normed Fit Index (PNFI) = 0.68 Comparative Fit Index (CFI) = 0.93 Incremental Fit Index (IFI) = 0.93 Relative Fit Index (RFI) = 0.86 Critical N (CN) =

27 Bijlage 6 Fitgegevens voor de verkorte versie van de TRSSA Goodness of Fit Statistics Degrees of Freedom = 19 Minimum Fit Function Chi-Square = (P = ) Normal Theory Weighted Least Squares Chi-Square = (P = ) Satorra-Bentler Scaled Chi-Square = (P = 0.016) Chi-Square Corrected for Non-Normality = (P = 0.023) Estimated Non-centrality Parameter (NCP) = Percent Confidence Interval for NCP = (2.86 ; 36.06) Minimum Fit Function Value = 0.26 Population Discrepancy Function Value (F0) = Percent Confidence Interval for F0 = (0.016 ; 0.20) Root Mean Square Error of Approximation (RMSEA) = Percent Confidence Interval for RMSEA = (0.029 ; 0.10) P-Value for Test of Close Fit (RMSEA < 0.05) = 0.20 Expected Cross-Validation Index (ECVI) = Percent Confidence Interval for ECVI = (0.31 ; 0.49) ECVI for Saturated Model = 0.40 ECVI for Independence Model = 3.69 Chi-Square for Independence Model with 28 Degrees of Freedom = Independence AIC = Model AIC = Saturated AIC = Independence CAIC = Model CAIC = Saturated CAIC = Root Mean Square Residual (RMR) = Standardized RMR = Goodness of Fit Index (GFI) = 0.94 Adjusted Goodness of Fit Index (AGFI) = 0.88 Parsimony Goodness of Fit Index (PGFI) = 0.49 Normed Fit Index (NFI) = 0.93 Non-Normed Fit Index (NNFI) = 0.93 Parsimony Normed Fit Index (PNFI) = 0.63 Comparative Fit Index (CFI) = 0.95 Incremental Fit Index (IFI) = 0.95 Relative Fit Index (RFI) = 0.89 Critical N (CN) =

28 Bijlage 7 Percentielscores voor alle gegevens en per geslacht 9 Voor alle gegevens Percentiel Coöperatieve Onafhankelijke Totaal Voor meisjes Percentiel Coöperatieve Onafhankelijke Totaal

29 Bijlage 7 Percentielscores voor alle gegevens en per geslacht 10 Voor Jongens Percentiel Coöperatieve Onafhankelijke Totaal