SIGA. signaleringslijst voor gedrag. Voorlopige handleiding. Ad Donkers Ad Vermulst



Vergelijkbare documenten
De klimaatschaal & de SIGA...

Handleiding. Ad Donkers Ad Vermulst. Ontwikkeld in samenwerking met Fontys Opleidingscentrum voor Speciale Onderwijszorg Tilburg.

Leerlingbespreking m.b.v. de Klimaatschaal en de SIGA. Woensdag 11 december Ad Donkers en Danielle Langenhuijsen. Klimaatschaal SIGA.

Presentatie Klimaatschaal, SIGA en Sproetje

3.1 Itemanalyse De resultaten worden eerst op itemniveau bekeken. De volgende drie aspecten dienen bekeken te worden:

EMPO voor Ouders en Jongeren versie 2.0

Inhoud. Uitstroom naar het vo. Onderwijstypen vo Praktijkonderwijs Vmbo Havo en vwo Overig aanbod vo. bo sbo so. PrO vmbo havo vwo (lwoo)

Onderwijstypen vo 7 december 2016

Inhoud VOORWOORD 11 INLEIDING 13 DEEL 1 HANDLEIDING 15 1 OPBOUW HANDLEIDING 17

Van Kinsbergen college

De KLIMAATSCHAAL als reflectie op leraarsgedrag Het pedagogisch klimaat in de klas in beeld

Emotieherkenning bij CI kinderen en kinderen met ESM

SOCIAAL-EMOTIONELE ONTWIKKELING

Handleiding Nederlandse Werkwaardentest

Basisschooladvies. Oki-doc. (Extra) ondersteuning. Basisschooladviezen in Amsterdam. Een dubbeladvies STAP 1

College Week 3 Kwaliteit meetinstrumenten; Inleiding SPSS

Rapportage sociaal-emotionele ontwikkeling Playing for Success

Operationaliseren van variabelen (abstracte begrippen)

Jaar 3: Deelrapportage 4. Werkbevlogenheid docenten Montaigne Lyceum, mei 2010

6 Psychische problemen

BIJLAGE 8: QUALIDEM. Inleiding. Het instrument heeft een eerste toetsing bij 240 mensen met lichte tot zeer ernstige dementie ondergaan.

Rapportage Normeringsonderzoek SCOL-VO

Protocol Ontwikkelingsperspectief. 1. Inleiding. 2. Wet en regelgeving. 3. Huidig toezicht- en waarderingskader inspectie

TECHNISCHE HANDLEIDING BEROEPSKEUZETEST ELEMENTAIRE BEROEPEN SOCIALE WERKPLAATS / LBO

Observatielijst peuters. Analyse doelen Jonge kind

TECHNISCHE HANDLEIDING BEROEPSKEUZETEST FUNDAMENTELE BEROEPEN VMBO / MBO-1 / MBO-2

VWO (atheneum en gymnasium) HAVO Theoretische leerweg (MAVO) Basisberoepsgerichte leerweg

Onderzoek van Onderwijs

Samenvatting, conclusies en discussie

ANALYSE PATIËNTERVARINGEN ELZ HAAKSBERGEN

Onderzoek Passend Onderwijs

Informatieavond Voortgezet onderwijs

TECHNISCHE HANDLEIDING IQ TEST

ONDERSTEUNINGSPROFIEL CSG HET NOORDIK VESTIGING VROOMSHOOP

Uitwerking berekening prestatieanalyse (voortgezet) speciaal onderwijs 2017

Het meetinstrument heeft betrekking op de volgende categorieën Lichaamsregio Hoofd / hals Overige, ongespecificeerd

Onderwijskundig Rapport

VERSLAG RESULTATEN SCHALEN VRAGENLIJST LEERBIOGRAFIE JOHAN DE WITT COLLEGE

Onderzoek Passend Onderwijs

Recht op geletterd(heid)!

SCOL Sociale Competentie Observatielijst. Analyse doelen Jonge kind

Cultuursurvey. Betrouwbaarheidsonderzoek voor Stichting LeerKRACHT. Maaike Ketelaars Ton Klein

Alvast bedankt voor het invullen!

Capellenborg. Aanmelding. leerling met een didactische achterstand. (voorheen LWOO)

De Nederlandse doelgroep van mensen met een LVB Van Basisvragenlijst LVB naar LVB-screeningsinstrument (screener LVB)

UITWERKING BEREKENING PRESTATIEANALYSE SECTOR SPECIAAL ONDERWIJS 2016

COOL Speciaal Cohortonderzoek onderwijsloopbanen in speciaal (basis)onderwijs in 2010/11. Kohnstamm Instituut/ITS September 2012

Plaatsingswijzer. Versie mjp 1

EEN NIEUW BEGIN OP EEN SPECIALE SCHOOL

1. Gegeven zijn de itemsores van 8 personen op een test van 3 items

Uitwerking berekening Risicomodel sector SO 2014

Ondersteuningsprofiel

Emotieweb: van data naar praktijk

Een onderzoek naar visuele en verbale denkvoorkeuren en vaardigheden bij leerlingen van groep 6 en 7

NIO & 10 jaar aanvullend intelligentieonderzoek. Dr. H. van Dijk

A c. Dutch Summary 257

HANDREIKING EVIDENT EN KENNELIJK STABIELE KINDKEMERKEN Algemene uitgangspunten

ONDERSTEUNINGSPROFIEL CSG HET NOORDIK VESTIGING VRIEZENVEEN

Procedure schooladvies

Onderzoek naar het cluster 4 onderwijs: kinderen en hulpverlening. Drs. R. Stoutjesdijk & Prof. Dr. E.M. Scholte M.m.v. drs. H.

Vragen oefententamen Psychometrie

Verantwoording. ZIEN! als monitor voor sociale veiligheid op school. 6 juni 2017

ONDERSTEUNINGSPROFIEL MONTESSORI LYCEUM staat aangegeven:

BEPERKING ONDERWIJSPARTICIPATIE

Starterscursus po. BOVO procedure deel 2 Start

Adviseer het Van Lodenstein College als ouders van harte achter de identiteit van deze school staan.

School Ondersteunings Profiel

SCHOOLFEEDBACKRAPPORT ONDERZOEK WELBEVINDEN Bevraging van de leerlingen van het lager onderwijs

Toelating. tot het leerwegondersteunend- en praktijkonderwijs

Uitwerking berekening Risicomodel sector SO 2015

Stappenplan schoolverlaters (welke kinderen komen in aanmerking voor de NIO?) afname laatste week september, eerste week oktober 2012

Correlatie = statistische samenhang Meest gebruikt = Spearman s rang correlatie Ordinaal geschaalde variabelen -1 <= r s <= +1 waarbij:

Toelichting ouders Adviesbeleid VO groep 8

Leerwegondersteunend onderwijs (LWOO) Praktijkonderwijs (PrO) Wat zijn de criteria voor Praktijkonderwijs en Leerwegondersteunend onderwijs?

Schoolportret samenwerkingsverband Roermond. vo- docenten over Passend onderwijs (vmbo tot en met gymnasium)

Vastgesteld op [ ] Advies DR [ (1 e bespreking] Looptijd Schoolondersteuningsprofiel versie 1.2

team De gelukkige groep

Onderzoeksrapport. Hou vol! Geen alcohol. Een alcohol preventieprogramma gericht op basisschool leerlingen en hun moeders.

Samenvatting (Summary in Dutch)

Wijzigingen opbrengstbeoordeling in het primair onderwijs Februari 2011

Schoolverlatersprocedure

Welke vragenlijst voor mijn onderzoek?

hoofdstuk 3 Hoofdstuk 4 Hoofdstuk 5

Schoolverlaters traject

Starterscursus po. BOVO procedure deel 2 Op weg

3 Werkwijze Voordat een CQI meetinstrument mag worden ingezet voor reguliere metingen moet het meetinstrument in twee fases getest worden.

Overstap van basisonderwijs naar voortgezet onderwijs. Rotterdamse plaatsingswijzer Schooljaar

Projectplan overzicht (deel 1)

GEEN LWOO MAAR PRO SHOW

Vragenlijst voor Inventarisatie van Sociaal gedrag van Kinderen (VISK)

Informatie-avond vo. - Welkom

FinQ Monitor van financieel bewustzijn en financiële vaardigheden van Nederlanders. Auteurs Jorn Lingsma Lisa Jager

Procedure schooladvies VO Basisschool St. Dionysius

ONDERSTEUNINGSPROFIEL MONTESSORI LYCEUM staat aangegeven:

Eerste contactpersoon Dr. Jos van Loon Manager Arduin / onderzoeker en prof. aan de Vakgroep Orthopedagogiek Gent

Een Positieve Klas resultaten Duhamel College Den Bosch

Pijn-Coping-Inventarisatielijst (PCI) Kraaimaat, Bakker & Evers (1997)

Psychometrie Nederlandse persoonlijkheidstest

Op weg naar het voortgezet onderwijs

Transcriptie:

SIGA signaleringslijst voor gedrag Voorlopige handleiding Ad Donkers Ad Vermulst Meetinstrument voor het signaleren van probleemgedrag bij leerlingen in het in het basis- en voortgezet onderwijs. Ontwikkeld in samenwerking met Fontys Opleidingscentrum voor Speciale Onderwijszorg te Tilburg. 1

Voorwoord. De SIGA is een meetinstrument om het gedrag van leerlingen in de klas in beeld te brengen. Het is een geautomatiseerde screeningslijst die uitgaat van waarneembaar gedrag waarmee het voor leraren mogelijk is om vrij snel en overzichtelijk aanwezige sociaal-emotionele problematiek van leerlingen te signaleren en in kaart te brengen. De behoefte van scholen om naast het in beeld brengen van het pedagogisch klimaat (SIGA) ook snel en met een beperkt aantal items een betrouwbare indruk te krijgen van het probleemgedrag in de klas is de aanleiding geweest voor de constructie van dit instrument. De ontwikkeling van de SIGA voor scholen startte in 2005 met een eerste experimentele versie binnen het opleidingstraject Master SEN van het Opleidingscentrum voor Speciale Onderwijszorg (Fontys OSO) te Tilburg. Er was een behoefte onder studenten om snel en betrouwbaar probleemgedrag op basis van waarneembaar gedrag in beeld te brengen. De vragenlijsten als de LICOR lijst en de BOLERO voldeden niet meer. Vervolgens hebben diverse studies plaatsgevonden rondom betrouwbaarheid en validiteit. Er zijn vijf gedragsaspecten ontwikkeld op basis waarvan elke leerling door de leraar beoordeeld kan worden: - Teruggetrokken gedrag (internaliserend), - Negatief zelfbeeld (internaliserend), - Faalangst in het omgaan met taken (internaliserend) - Impulsief gedrag (externaliserend) - Oppositioneel gedrag (externaliserend) De leraar geeft aan in welke mate hij bepaalde uitspraken van toepassing vindt op de betreffende leerling: - (bijna) nooit van toepassing (gedrag dat je zelden of nooit ziet), - soms van toepassing (gedrag dat je een tot enkele keren per maand ziet), - regelmatig (gedrag dat je wekelijks ziet), - vaak van toepassing (gedrag dat je enkel keren per week of dagelijks ziet). Begin 2009 is begonnen met de online versie van de SIGA op de site www.klimaatschaal.nl. Inmiddels zijn er diverse onderzoeken uitgevoerd met de SIGA. Zo zijn er met hulp van Master SEN studenten bij het Fontys Opleidingscentrum voor Speciale Onderwijszorg verschillende onderzoeken gedaan om de psychometrische kwaliteiten van de SIGA te onderbouwen en de normgegevens vast te stellen. Een meetinstrument is altijd in ontwikkeling. De SIGA wordt tot nu toe ingevuld door de leerkracht. Wij willen gebruikers en onderzoekers dan ook vragen om ervaringen en onderzoeksgegevens met ons te delen, zodat wij in de toekomst dit instrument verder kunnen perfectioneren. Wij willen tot slot iedereen bedanken die zich de afgelopen jaren hebben ingezet bij de ontwikkeling en het testen van de SIGA. Dankzij deze hulp is het een instrument waar we trots op kunnen zijn. Wij hopen van harte dat toekomstige gebruikers ons enthousiasme zullen delen. 2

Van signaleringslijst naar de SIGA. Voor een leerkracht is het belangrijk om te weten hoe de leerlingen in de klas zich ontwikkelen en welk gedrag zij laten zien. Een goede observatie van gedrag is nodig om leerlingen in hun sociaal emotionele ontwikkeling te volgen. Gedrag is immers de wijze waarop de leerling laat zien hoe hij zich voelt. Waarneembaar gedrag is een uiting van motieven, drijfveren, zelfbeeld en normen (Lingsma, 2001). Naast het in beeld brengen van het gedrag is het nodig dat de leerkracht inzicht krijgt in de vraag of bepaald gedrag nu problematisch of zorgelijk kan worden genoemd. Van der Ploeg benoemt vier criteria die je kunt onderscheiden om probleemgedrag in beeld te brengen, namelijk de frequentie, de duur, de omvang en de gevolgen (Ploeg, 1997). In de theoretische verantwoording komen we hier nog op terug. Een belangrijke voorwaarde om je talenten en kwaliteiten optimaal tot ontwikkeling te laten komen is een gezonde sociaal emotionele ontwikkeling. Dit is geen stabiele factor en kan door bepaalde gebeurtenissen omslaan in angst en onzekerheid. Daarom is het belangrijk om regelmatig de sociaal emotionele ontwikkeling van leerlingen in beeld te brengen en plannen van aanpak uit te voeren om deze te verbeteren. Hiervoor hebben we een instrument ontwikkeld, namelijk de SIGA met de analyse en diagnose wijzers. De SIGA is een genormeerd instrument om op elk moment in het schooljaar het gedrag van een leerling en daarmee van een groep of klas in kaart te brengen. Daarnaast biedt de SIGA de gebruiker handvatten voor eventuele interventies (zie bijlage II: analyse en diagnosewijzers). De SIGA is geschikt voor alle groepen van het (speciaal) basisonderwijs, het speciaal onderwijs (cluster scholen) en het gehele V(MB)O. Samen met collega s van het Opleidingscentrum voor Speciale Onderwijszorg in Tilburg is in 2005 een eerste versie van een SIGA voor scholen ontwikkeld. De veelgebruikte LICOR lijst en de BOLERO waren weinig betrouwbaar en niet valide waardoor er de wens was om tot een goede signaleringslijst op basis van waarneembaar gedrag te komen. De vragenlijst van de eerste versie was gecentreerd rondom vijf begrippen: (1) teruggetrokken gedrag, (2) zelfbeeld van de leerling, (3) omgaan met taaksituaties, (4) impulsief gedrag en (5) agressief gedrag. Met deze eerste versie met 60 vragen hebben we een pilot voor afname uitgevoerd met studenten van de Master SEN op diverse scholen in Nederland. Op basis van feedback door de docenten is er vervolgens een verbeterde versie gemaakt waarin de verschillende opmerkingen en adviezen verwerkt zijn. Op basis van theoretisch onderzoek en statistische analyses zijn de begrippen verder aangepast en gewijzigd naar: (1) teruggetrokken gedrag, (2) negatief zelfbeeld van de leerling, (3) faalangst in het omgaan met taken, (4) impulsief gedrag en (5) oppositioneel gedrag. Na enkele jaren met een papieren versie gewerkt te hebben, is er sinds januari 2009 een online versie van de SIGA. Hierdoor is het invullen, scoren en interpreteren van de uitkomsten volledig gedigitaliseerd en derhalve zelfstandig door de school te gebruiken. Deze online versie te vinden op www.klimaatschaal.nl staat centraal in deze verantwoording. 3

Normgroepen In de vragenlijst worden 20 onderwijssoorten onderscheiden. In de volgende Tabel 1 staan de verschillende onderwijssoorten en de aantallen zoals die in de totale steekproef van N = 4230 leerlingen zijn aangetroffen. Tabel 1. Onderwijssoorten en aantallen in steekproef 3. Onderwijssoort N 1 Basisonderwijs 965 2 Speciaal basisonderwijs 111 3 Praktijkonderwijs 2052 4 Assistentenleerweg 0 5 VMBO basisberoepsgerichte leerweg 28 6 VMBO basisberoepsgerichte leerweg met LWOO 74 7 VMBO kaderberoepsgerichte leerweg 153 8 VMBO kaderberoepsgerichte leerweg met LWOO 8 9 VMBO gemengde leerweg 5 10 VMBO gemengde leerweg met LWOO 0 11 VMBO theoretische leerweg 103 12 VMBO theoretische leerweg met LWOO 18 13 HVAO/VWO/Atheneum/Gymnasium 23 14 REC scholen cluster 1-2-3-4 632 15 MBO niveau 1 en 2 58 16 MBO niveau 3 en 4 0 Totaal aantal 4230 Naast het basisonderwijs (1) is er speciaal basisonderwijs (2) voor kinderen die op het reguliere basisonderwijs niet meekunnen. Het betreft kinderen met een betrekkelijk laag intelligentieniveau die een leerachterstand hebben. Praktijkonderwijs is voortgezet onderwijs en bedoeld voor leerlingen die op het VMBO (al dan niet met leerweg ondersteunend onderwijs) niet meekunnen. De assistentenleerweg kan ondergebracht worden bij VMBO basisberoepsgerichte leerweg. Binnen de vier niveaus van het VMBO (basis, kader, gemengd en theoretisch) krijgen leerlingen die wel over voldoende capaciteiten bezitten maar extra hulp nodig hebben Leerweg Ondersteunend Onderwijs (LWOO) aangeboden. Regionale Expertise Centra (REC)-scholen zijn scholen die onderwijs verzorgen aan leerlingen met een lichamelijke en/of geestelijke beperking of ernstige gedragsproblemen en/of psychische stoornissen. Er zijn vier clusters, cluster 1 is bedoeld voor kinderen met visuele beperkingen, cluster 2 voor kinderen met gehoor-, taal en/of spraakproblemen, cluster 3 voor kinderen met een verstandelijke en/of lichamelijke beperking en langdurige ziekte en cluster 4 voor kinderen met ernstige gedragsproblemen en/of psychiatrische stoornissen. De kinderen op deze scholen volgen basisonderwijs, maar vaak ook voortgezet onderwijs. Op basis van deze 16 onderwijssoorten hebben we een zevental normgroepen onderscheiden. Het praktijkonderwijs en de assistentenleerweg zijn ondergebracht in normgroep 4 samen met het VMBO onderwijs met LWOO, het betreft immers leerlingen die extra zorg nodig hebben. Bij RECscholen is het lastig een onderscheid aan te brengen tussen leerlingen die tot het basisonderwijs 4

behoren en leerlingen die tot het voortgezet speciaal onderwijs behoren. Daarom hebben we dat onderscheid ook niet gemaakt. Leerlingen die behoren tot cluster 1 (visuele beperkingen) en cluster 2 (gehoor-, taal en/of spraakproblemen) zijn nog niet voorgekomen in onze steekproeven. MBO niveau 1 en 2 is met MBO niveau 3 en 4 samengevoegd tot één normgroep. De onderwijssoorten praktijkonderwijs, assistentenleerweg en de vier VMBO/LWOO onderwijssoorten zijn samengevoegd tot één normgroep 4, de vier reguliere VMBO onderwijssoorten in één normgroep 3 en de twee MBO-onderwijssoorten eveneens tot één normgroep 7. De normgroepen met hun aantallen staan in Tabel 2. Tabel 2. De normgroepen en de aantallen per normgroep. Normgroep N 1. Basisonderwijs 965 2. Speciaal basisonderwijs 111 3. VMBO 289 4. VMBO/LWOO/PRO 2152 5. HAVO/VWO 23 6. REC-scholen (cluster 1-2-3-4) 632 7. MBO 58 Totaal 4230 5

PSYCHOMETRISCHE EIGENSCHAPPEN: betrouwbaarheid Voor het vaststellen van de betrouwbaarheid van de vier begrippen maken we gebruik van betrouwbaarheid op basis van inter-item relaties en structurele vergelijkingsmodellen. Betrouwbaarheid op basis van inter-item relaties en structurele vergelijkingsmodellen. De meest gangbare maat die gebruikt wordt voor het vaststellen van de betrouwbaarheid van schalen (begrippen, concepten) is de maat alpha van Cronbach. Het gebruik van alpha staat de laatste jaren onder kritiek omdat deze maat een onderschatting is van de werkelijke betrouwbaarheid (Sijtsma, 2009). Deze onderschatting wordt groter als de items een ordinaal karakter hebben en/of scheef zijn verdeeld (Muthén, 1984; Stone, Otten, Ringlever, Hiemstra, Engels, Vermulst, Janssens, 2013). Daarom wordt naast de rapportage van alpha's gebruik gemaakt van een alternatieve maat die is gebaseerd op structurele vergelijkingsmodellen. Bij dat laatste gaat het in feite om factoranalyses waarbij gebruik wordt gemaakt van Structural Equation Modeling (SEM). Bij SEM staat de analyse van latente variabelen centraal. Latente variabelen zijn variabelen die elk gemeten worden door een set van indicatoren (items) en zijn dus identiek met factoren. In zijn meest eenvoudige vorm is SEM gelijk aan factoranalyse. Hoe wij hiermee zijn omgegaan staat beschreven in sectie 4.2.2. Op basis van de factorladingen wordt de betrouwbaarheid bepaald als de ratio van de verklaarde variantie (door een factor) gedeeld door de totale variantie. Deze maat staat bekend als Jöreskog rho (Jöreskog, 1971) en McDonald s omega ( h) (McDonald, 1978, 199) voor eendimensionale schalen, zie ook Revelle en Zinbarg (2009). We zullen de term omega gebruiken omdat deze naam het meest wordt gebruikt. De alpha's en omega's staan in Tabel 3 vermeld voor elk van de zeven normgroepen en zijn gebaseerd op de derde steekproef. Tabel 3. Betrouwbaarheden voor elk van de zeven normgroepen op basis van inter-item relaties (Cronbach's alpha) en op basis van structurele vergelijkingsmodellen (omega). Teruggetrokken gedrag Negatief zelfbeeld Faalangst met taken Impulsief gedrag Oppositioneel gedrag Normgroep h h h h h 1. Basisonderwijs.86.92.90.96.90.94.92.96.89.96 2. Speciaal basisonderw..85.90.85.91.86.90.93.96.91.96 3. VMBO.89.93.86.92.87.91.92.96.94.97 4. VMBO/LWOO/PRO.87.92.91.95.88.92.90.94.91.96 5. HAVO/VWO.88.92.92.97.87.92.94.98.95.99 6. REC-scholen (1-2-3-4).86.91.90.94.90.93.86.91.90.94 7. MBO.70.77.86.92.80.86.91.95.92.97 Totaal.87.91.90.95.89.93.90.94.91.97 Alpha en omega zijn beide onderschattingen van de werkelijke betrouwbaarheid, maar omega ligt altijd dichter bij de werkelijke betrouwbaarheid dan omega (Zinbarg, Revelle, Yovel en Li (2005). Dit is 6

duidelijk zichtbaar als we de alpha's met de omega's vergelijken, alpha's zijn in alle gevallen lager dan de omega's. De omega's en de alpha's (met uitzondering van de schaal teruggetrokken gedrag bij MBO) zijn alle hoger dan.80 en volgens de COTAN (Evers, Lucassen, Meijer & Sijtsma, 2010, p. 33) levert dat de kwalificatie goed op voor tests met minder belangrijke beslissingen op individueel niveau of tests voor onderzoek op groepsniveau. De aantallen voor de normgroepen 5 (HAVO/VWO) en 7 (MBO) zijn te laag om nu al van betrouwbare schalen te kunnen spreken, maar gezien de betrouwbaarheden van de overige normgroepen ligt het in de lijn van de verwachtingen dat deze twee normgroepen hier niet veel van zullen afwijken. PSYCHOMETRISCHE EIGENSCHAPPEN: validiteit. Voor de beoordeling van de validiteit sluiten we aan bij de klassieke driedeling van validiteit die ook door de COTAN (Evers et al., 2010, p. 38) wordt gehanteerd: inhoudsvaliditeit (6.1), begripsvaliditeit (6.2) en criteriumvaliditeit (6.3). Inhoudsvaliditeit Inhoudsvaliditeit heeft betrekking op (1) de uitgangspunten van de constructie van de SIGA (meetpretentie, doelgroepen, gebruiksdoel), op (2) herkomst en/of definitie van de te meten begrippen en (3) de relevantie van de testinhoud voor de te meten begrippen. Uitgangspunten. In het Voorwoord, 1.1 en Hoofdstuk 2 is aangegeven welke begrippen er gemeten worden om problematisch gedrag van kinderen in kaart te brengen, voor welke doelgroepen het meetinstrument bedoeld is en wat het doel is van de SIGA. Herkomst en/of definitie van de te meten begrippen. In Hoofdstuk 3 is het theoretisch kader aangegeven waarop de SIGA gebaseerd is, welke begrippen er gehanteerd worden en een omschrijving van de begrippen in termen van deelbegrippen en de items waarmee de begrippen gemeten worden. Relevantie testinhoud. De 24 items vormen een evenwichtige weergave van de vijf begrippen. Begripsvaliditeit Bij begripsvaliditeit gaat het erom te toetsen of de test inderdaad de eigenschap meet die wordt verondersteld (Evers et al., 2010, p. 38). Begripsvaliditeit wordt hier onderzocht met behulp van factoranalyse (6.2.1), correlaties tussen factoren (6.2.2) en item-restcorrelaties (6.2.3). 7

Factoranalyses 6.2.1 Confirmatieve factoranalyses (CFA s) en eendimensionaliteit van de factoren Het vijffactorenmodel is getoetst met Confirmatieve Factor Analyse (CFA) op de totale dataset van N = 4230 leerlingen. De resultaten staan vermeld in Tabel 4. De ladingen staan in kolom 3. De fit voor dit vijffactorenmodel is χ 2 (242) = 4985.06, p =.000, CFI =.970 en RMSEA =.068. De fit van een model is goed als CFI >.95 en RMDEA <.05 en is acceptabel als CFI >.90 en RMSEA <.08. Dit betekent dat de fit van het model goed is in termen van CFI en acceptabel in termen van RMSEA. De factorladingen variëren tussen.78 en.94, en op een na zijn ze allemaal >.80. De ladingen zijn dus substantieel. Het vijffactorenmodel blijkt uitstekend te worden ondersteund door de data. Tabel 4. Resultaten factoranalyses, factorladingen en item-rest correlaties Teruggetrokken gedrag irc 1 Laat contact maken van de ander uitgaan.84.74 6 Valt niet op in de klas, is stil en teruggetrokken.84.70 11 Laat over zich heen lopen.78.60 16 Stelt zich afwachtend ten opzichte van anderen op.90.79 21 Is bang om op te vallen.80.65 Negatief zelfbeeld 2 Vind zichzelf nergens goed in.90.76 7 Voelt zich nutteloos.89.76 12 Praat negatief over eigen prestaties.88.75 17 Voelt zich een mislukkeling.93.82 22 Heeft weinig respect voor zichzelf.86.74 Faalangst in het omgaan met taken 3 Is onzeker bij proefwerken en/of toetsen.89.78 8 Maakt zich veel zorgen dat hij/zij een taak niet aan kan.86.71 13 Wordt onzeker bij onverwachte overhoringen of proefwerken.87.78 23 Is nerveus bij overhoringen of proefwerken.88.75 Impulsief gedrag 4 Doet van alles, behalve zijn/haar werk.91.80 9 Gaat chaotisch te werk.87.76 14 Begint steeds aan iets anders.90.77 19 Kan lang alleen werken.81.71 24 Is snel afgeleid.89.78 Oppositioneel gedrag 5 Is brutaal tegen volwassenen.94.82 10 Wordt snel boos in contact met volwassenen.94.83 15 Maakt ruzie met andere kinderen.81.68 20 Probeert je te provoceren, je uit te dagen.88.75 25 Is snel driftig.90.80 = gestandaardiseerde factorlading, irc = item-restcorrelatie 8

Eendimensionaliteit van de factoren Om de eendimensionaliteit van de vijf factoren te onderzoeken is een exploratieve factoranalyse (EFA) met oblique rotatie uitgevoerd over de totale steekproef Het doel daarvan is te onderzoeken in welke mate er hoge crossladingen aanwezig zijn. Hoge crossladingen duiden op het ontbreken van eendimensionaliteit, items willen dan immers laden op factoren waarvoor ze niet bedoeld zijn. De resultaten van deze analyse staan in Tabel 5. Tabel 5. Resultaten van exploratieve factoranalyse met oblique rotatie en vijf factoren. 1 2 3 4 5 *) 1 Laat contact maken van de ander uitgaan.95 -.05 -.02 -.01.13 6 Valt niet op in de klas, is stil en teruggetrokken.76.02 -.02 -.18 -.09 11 Laat over zich heen lopen.56.23.08.09 -.23 16 Stelt zich afwachtend ten opzichte van anderen op.90.00.01.02 -.03 21 Is bang om op te vallen.64.21.07 -.10 -.03 2 Vind zichzelf nergens goed in.00.71.24.06 -.05 7 Voelt zich nutteloos.18.77.01.05.11 12 Praat negatief over eigen prestaties -.16.75.28 -.02 -.01 17 Voelt zich een mislukkeling.02.91.03 -.01.04 22 Heeft weinig respect voor zichzelf.16.80 -.05 -.03.18 3 Is onzeker bij proefwerken en/of toetsen.00.12.82.00 -.02 8 Maakt zich veel zorgen dat hij/zij een taak niet aan kan -.05.31.64.02 -.08 13 Wordt onzeker bij onverwachte overhoringen of proefwerken.07 -.07.93 -.04.12 23 Is nerveus bij overhoringen of proefwerken.06.10.74.06.09 4 Doet van alles, behalve zijn/haar werk.02.04 -.09.87.08 9 Gaat chaotisch te werk.03 -.06.09.90 -.03 14 Begint steeds aan iets anders.02.04 -.02.90.00 19 Kan lang alleen werken -.05.06.03.76.01 24 Is snel afgeleid -.08 -.03.01.87.02 5 Is brutaal tegen volwassenen -.08 -.01.04.01.90 10 Wordt snel boos in contact met volwassenen.06.02.05 -.01.96 15 Maakt ruzie met andere kinderen -.05.12 -.03.07.70 20 Probeert je te provoceren, je uit te dagen -.10 -.05.02.06.82 25 Is snel driftig,00.10 -.01.02.86 *) 1 = teruggetrokken gedrag, 2 = negatief zelfbeeld, 3 = faalangst, 4 = impulsief gedrag, 5 = oppositioneel gedrag De 24 hoofdladingen zijn dikgedrukt weergegeven. Uit dit beeld komt naar voren dat de items hoog laden op de factor waarvoor ze bedoeld zijn en laag tot niet op de factoren waarvoor ze niet bedoeld zijn: de 96 crossladingen hebben een gemiddelde van.02 met een SD van.09 en variëren tussen -.23 en.31. De hoge hoofdladingen in combinatie met de afwezigheid van hoge crossladingen ondersteunen de eendimensionale structuur van de vijf factoren. 9

Correlaties tussen factoren De correlaties tussen de vijf probleemgedragingen staan weergegeven in Tabel 6 en zijn gebaseerd op de totale steekproef van N = 4230 leerlingen. Tabel 6. Correlaties tussen de vijf schalen van de SIGA 1 2 3 4 5 1 Teruggetrokken gedrag 2 Negatief zelfbeeld.33 3 Faalangst met taken.31.67 4 Impulsief gedrag -.20.30.25 5 Oppositioneel gedrag -.18.48.32.58 In deze Tabel 6 zijn alle correlaties significant met p <.001. Van de drie internaliserende gedragingen (teruggetrokken gedrag, negatief zelfbeeld en faalangst) hangt negatief zelfbeeld vrij sterk samen met faalangst (r =.67): een hoog negatief zelfbeeld gaat samen met een hoge mate van faalangst in het omgaan met taken. De twee externaliserende gedragingen impulsief gedrag met oppositioneel gedrag hangen eveneens vrij sterk samen (r =.58): een hoge mate van impulsief gedrag gaat samen met een hoge mate van oppositioneel gedrag. Negatief zelfbeeld hangt vrij redelijk samen met oppositioneel gedrag (r =.48): hoge scores op negatief zelfbeeld gaat vaak samen met een hoge mate van oppositioneel gedrag. De overige correlaties zijn lager. Item-restcorrelaties Item-rest correlaties hebben betrekking op de interne consistentie van een schaal of factor. Elk item behoort een substantiële bijdrage te leveren aan die schaal. De hoogte van een factorlading van een item is reeds een indicatie hiervoor. Een factorlading heeft een directe relatie met de item-rest correlatie. Is de lading hoog, dan is de item-rest correlatie ook hoog. De item-rest correlaties worden berekend over de totale steekproef. De resultaten staan weergegeven in de laatste kolom van Tabel 4. Volgens de COTAN (Evers et al., 2010, p. 40) is een item-rest correlatie >.30 een indicatie dat de interne consistentie goed is. De item-rest correlaties variëren tussen.60 en.83 wat betekent dat de interne consistenties van elk van de vijf schalen als goed kunnen worden beoordeeld. 10

Samenhang van de begrippen van de klimaatschaal met de signaleringslijst voor gedragsproblemen (SIGA). De correlaties van de schalen van de klimaatschaal met die van de SIGA is gebaseerd op een steekproef van N = 103 leerlingen afkomstig van acht klassen praktijkonderwijs van een scholengemeenschap, zie Tabel 7. Tabel 7. Correlaties van de vijf SIGA-schalen met de schalen van de klimaatschaal. kwal sfeer orde interactie Teruggetrokken gedrag -.20 *.09.09.04 Negatief zelfbeeld -.09 -.21 * -.21 * -.18 Faalangst met taken.03.13.23 *.11 Impulsief gedrag.00 -.25 ** -.13 -.11 Oppositioneel gedrag -.14 -.33 *** -.27 ** -.25 ** * p <.05 ** p <.01 *** p <.001 Substantiële correlaties zijn gevonden tussen oppositioneel gedrag van de leerling met sfeer, orde en interactie: naarmate de leerkracht meer oppositioneel gedrag bij de leerling waarneemt zal de leerling een slechtere sfeer in de klas rapporteren (r = -.33, p <.001), zal de leerkracht (volgens de leerling) minder orde kunnen houden (r = -.27, p <.01) en minder positief met de leerling om kunnen gaan (r = -.25, p <.01). Daarnaast hangt impulsief gedrag van de leerling samen met een slechtere sfeer in de klas (r = -.25, p <.01). Het zijn met name de externaliserende gedragingen van de leerling die een negatieve relatie hebben met sommige schalen van de klimaatschaal. Internaliserende gedragingen (teruggetrokken gedrag, faalangst en negatief zelfbeeld) vallen minder op in de klas en zullen daardoor niet of nauwelijks een relatie hebben met de schalen van de klimaatschaal. 11

Ontwikkelaars Drs. Ad A.M.J.M. Donkers (1951) heeft sinds 1 september 2012 een eigen Orthopraktijk. Daarvoor was hij hogeschooldocent aan de Fontys Opleidingscentrum voor Speciale Onderwijszorg te Tilburg waar hij als leerroutecoördinator jaren verantwoordelijk is geweest voor ontwikkeling van de master SEN VO opleiding. Hij studeerde af als orthopedagoog met specialisatie gezin en gedrag. Daarnaast is hij werkzaam als GZ-psycholoog bij de RVC-VO en de CVI voor cluster IV onderwijs. Zijn wetenschappelijk onderzoek en interesse ligt vooral op het gebied van gezinsonderzoek, gedragsproblemen en pedagogisch klimaat. Dr. Ad A. Vermulst (1948) was tot 1 januari 2013 senior wetenschappelijk onderzoeker aan de Radboud Universiteit van Nijmegen. Hij was als statisticus, methodoloog en sociaal wetenschappelijk onderzoeker werkzaam bij de afdeling ontwikkelingspsychopathologie van het Behavioural Science Institute (BSI) van deze universiteit. Zijn wetenschappelijke onderzoek en kennis ligt vooral op het gebied van persoonlijkheid en gedrag, gezins- en werkstress, opvoeding, riskante leefwijzen (rook- en drinkgedrag en gebruik van drugs) bij adolescenten en statistische methodologie zoals factoranalyse, structurele modellen met latente variabelen en groeimodellen. Daarnaast is hij werkzaam als ontwikkelaar van wetenschappelijke testen. Drs. John Jeninga (1953) studeerde af als orthopedagoog en is als hogeschooldocent verbonden aan het Opleidingscentrum Speciale Onderwijszorg van Fontys Hogescholen. Daarnaast is hij werkzaam bij het Ruud de Moor Centrum van de Open Universiteit. Na zijn opleiding voor leraar heeft hij in verschillende functies (leraar SO en VSO, intern begeleider, en adjunct directeur) lange tijd gewerkt op een school voor leerlingen met ernstige gedragsproblemen. Hij is auteur van diverse publicaties over gedragsproblemen. Verder liggen zijn interesses en werkzaamheden op het gebied van peer coaching en netwerkleren. Februari 2015 Ad Donkers en Ad Vermulst 12