Documentatie van Tests en Testresearch in Nederland TOELICHTING BIJ DE BEOORDELING

Transcriptie

1 ZIEN! Theoretische Uitgangspunten ZIEN!, uitgegeven door Driestar Onderwijsadvies, wordt door de constructeurs neergezet als een webbased leerlingvolg- en expertsysteem voor het primair onderwijs. Het is echter niet duidelijk waarom het instrument voldoet aan de voorwaarden van een expertsysteem. Een expertsysteem is een computersysteem dat specifieke kennis van menselijke experts representeert en gebruikt om een probleem binnen een bepaald gebied op te lossen. Of wordt bij ZIEN! met de term expertsysteem bedoeld dat de expertise wordt aangereikt via het instrument of dat de leerkracht zijn expertise kan ordenen via het instrument? Dit wordt niet duidelijk omschreven in de handleiding, net als dat niet beschreven wordt of het instrument als volgsysteem voldoet, dat wil zeggen verandering registreert. ZIEN! maakt als module deel uit van de applicatie ParnasSys. Het instrument beoogt het sociaal-emotioneel functioneren op een gestandaardiseerde manier te observeren en vast te leggen. Sociaal-emotioneel functioneren wordt nader beschreven als gedragingen, ideeën en gevoelens die betrekking hebben op andere mensen. Het meest concreet wordt de meetpretentie beschreven als de vijf vaardigheden van sociaal gedrag, ook wel effectvariabelen, namelijk Sociaal Initiatief (SI), Sociale Flexibiliteit (SF), Sociale Autonomie (SA), Impulsbeheersing (IB) en Inlevingsvermogen (IL). Daarnaast zijn er twee zogeheten procesvariabelen of graadmeters, namelijk Betrokkenheid en Welbevinden. In deze herziene versie is de kritiek van de COTAN op de vorige versie, dat er sprake was van het door elkaar gebruiken van termen als gedrag, functioneren en vaardigheid enerzijds en ontwikkeling anderzijds ter harte genomen. Dat wil zeggen dat de bewering dat het instrument bedoeld is om (rechtstreeks) ontwikkeling te volgen nu achterwege blijft. Deze is op diverse plaatsen vervangen door de bewering dat je met ZIEN! het sociaal-emotioneel functioneren volgt, waarbij het woord volgen in de zin van het volgen van gedrag en functioneren nu in de aangepaste tekst - enigszins vreemd overkomt. De doelgroep wordt gevormd door basisschoolleerlingen van 4 tot en met 12 jaar in zowel reguliere scholen als scholen voor speciaal onderwijs, te observeren door hun leerkracht. Er zijn twee versies, voor respectievelijk groep 1 tot en met 4 en groep 5 tot en met 8, welke overigens hoofdzakelijk verschillen in de verstrekte handelingssuggesties. Het belangrijkste doel is het volgen van het sociaal-emotioneel functioneren door het observeren en analyseren van sociale vaardigheden van leerlingen, zodat het pedagogische handelen kan worden afgestemd op het zorgvragende gedrag. Daarbij wil het instrument een bijdrage leveren aan de objectieve waarneming van het gedrag van het kind en het begrijpen van de zorgvraag die het kind met dit gedrag stelt. De meerwaarde van het instrument ligt volgens de auteurs in het feit dat het instrument wordt ingezet in een model van handelingsgericht werken: een cyclisch proces van waarnemen, begrijpen, plannen en realiseren. Het instrument biedt leerkrachten ondersteuning bij het objectief observeren, komen tot handelen, monitoren van het pedagogisch klimaat, informatieoverdracht, afstemming met ouders en gespreksvoering met het kind zelf. Hierbij dient aangetekend te worden dat het doel objectief observeren bij dit soort instrumenten moeilijk haalbaar is; enige subjectiviteit is inherent aan observeren. Standaardisering van de oordeelsvorming zou een alternatieve formulering van het doel kunnen zijn. Het gebruik van ZIEN! bevordert de sensitiviteit en responsiviteit van de leerkracht. De leerkracht 1) ontwikkelt een sensitieve houding ten aanzien van de te beïnvloeden factoren, 2) verkrijgt een begrippenkader waaraan hij het waargenomen gedrag kan koppelen, 3) wordt ondersteund in het proces van hypothesevorming zodat hij een beredeneerd aanbod van ondersteunende maatregelen kan realiseren die het kind helpen bij het tot een goed einde brengen van een ontwikkelingstaak en 4) vergroot zijn op handelen gerichte houding en zijn handelingsrepertoire ten aanzien van het sociaal-emotioneel functioneren van de leerling. Bovendien ontwikkelt het team van leerkrachten een gemeenschappelijke taal betreffende zorgvragend gedrag van leerlingen. Op pagina 13 van de Verantwoording wordt het concept van ZIEN! schematisch weergegeven. Vervolgens wordt besproken hoe het is afgeleid van een enigszins gedateerd model van Laevers ( ). Daarbij worden vijf effectvariabelen voor de sociaal-emotionele ontwikkeling (gezien als medeafhankelijk van de inrichting van het onderwijsleerproces) onderscheiden. Daarnaast worden twee procesvariabelen als belangrijke aspecten van dit onderwijsleerproces onderscheiden. Het model van Laevers is

2 uitgebreid met de factoren Relatie-Competentie-Autonomie, terug te voeren op o.a. Stevens. Veel aandacht wordt besteed aan een ontwikkelingspsychologisch model, waarbij ontwikkeling wordt gestuurd door ontwikkelingsopgaven à la Erikson (Jeninga). Procesmatig wordt dit ontwikkelingsmodel ingevuld aan de hand van termen als sensitiviteit, responsiviteit, vertrouwen en zelfvertrouwen, waarbij gekozen is voor de interactionele benadering van onder anderen Van Lieshout, Riksen-Walraven, Van Lier en Houben. ZIEN! wordt gebruikt in een pedagogische situatie. De drie componenten hiervan zijn aanpak, proces en effect. Blijkens pagina 19 van de Verantwoording heeft de vragenlijst twee invalshoeken, te weten proces en effect en laat het aanpak buiten beschouwing. In de paragraaf over de benadering van de pedagogische situatie wordt de aanpak toch aan de orde gesteld (p ). De leerkracht bevordert door ondersteunende interactie met de leerling een positieve of gezonde sociaal-emotionele ontwikkeling, een ander begrip dan het complexe sociaal-emotioneel gedrag of de sociaal-emotionele vaardigheden die de makers van ZIEN! centraal stellen. Het is de vraag of het nodig is om ontwikkeling ook mee te nemen. De auteurs onderscheiden ontwikkelingsopgave en ontwikkelingstaak. Het sluiten van vriendschap, het oplossen van ruzie, samenwerken en aansluiting zoeken bij een groep zijn voor schoolkinderen ontwikkelingstaken die voortvloeien uit de ontwikkelingsopgave omgaan met leeftijdgenootjes. De aanpak van de sensitieve en responsieve leerkracht is gericht op verbetering van de vaardigheden die de leerling in staat stellen de ontwikkelingstaak te volbrengen. Er wordt overigens gesproken van aanleren van sensitiviteit en responsiviteit van de leerkracht, maar het is onduidelijk of iets wordt aangeleerd, uitgebreid, verfijnd of beter inzetbaar gemaakt. Het adequaat oplossen van ontwikkelingsopgaven veronderstelt specifieke sociaal-emotionele vaardigheden, waarbij egoveerkracht, egocontrole en empathie als de belangrijkste ontwikkelingsdimensies worden beschreven. Deze drie dimensies worden echter niet op een duidelijke manier verbonden met de vijf effectvariabelen. Verder wordt aangegeven dat de genoemde effectvariabelen alleen op indirecte wijze ontwikkeling in kaart brengen. Hoe dat precies gebeurt, wordt ook met deze herziene formulering niet duidelijk. Met deze formulering is er in ieder geval geen noodzaak om te veronderstellen dat de effectvariabelen met toenemende leeftijd ook een toename laten zien, wat in de vorige versie van ZIEN! het geval was. In het algemeen is het de vraag of alle beschreven concepten nodig zijn om ZIEN! een theoretisch fundament te geven. De overgang van meetpretentie naar operationalisatie wordt systematisch en uitgebreid beschreven. Er zijn zeven door de leerkracht te beoordelen dimensies: de vijf effectvariabelen en de twee graadmeters. In de Verantwoording worden ze gedefinieerd en worden de operationalisatie, de relatie met ontwikkelingstaken, voorbeelden van manieren waarop de leerkracht de variabele als kenmerk van de leerling kan beïnvloeden en de normale ontwikkeling van de variabele beschreven. De beschrijving van de normale ontwikkeling is nu evenwichtiger, daar in de herziene versie minder nadruk is op heel jonge kinderen die niet tot de doelgroep van het instrument behoren. In de omschrijving van de stellingen worden twee versies gehanteerd, een voor de jonge kinderen (groep 1-4) en een voor de oudere (groep 5-8), met vrijwel gelijke omschrijvingen voor beide leeftijdsgroepen. Dit impliceert in feite dat de dimensies niet of nauwelijks kunnen worden gezien als directe effectvariabelen of ontwikkelingsdimensies. Hierbij past de toelichting dat de stellingen niet zo zeer direct betrekking hebben op ontwikkeling, maar op gedrag en functioneren waarbij de beoordelaar impliciet het kind vergelijkt met leeftijdgenoten en daarbij in zijn scoring het kind op relatieve wijze positioneert. Daarbij is het goed mogelijk dat deze relatieve positionering afhankelijk wordt gesteld van de snelheid of kwaliteit van het ontwikkelingsverloop, maar dit cruciale punt wordt nergens besproken of toegelicht. Die uitleg is wel belangrijk omdat in de theoretische onderbouwing veel aandacht wordt besteed aan ontwikkeling en ontwikkelingsprocessen. De beschrijving van het ontwikkelingsproces en de ruimte die daarin wordt gemaakt voor de inbreng van de leerkracht om de ontwikkeling te stimuleren en remediëren spreekt aan en vormt een sterk punt van het instrument. Daarmee wordt immers een duidelijke verbinding gelegd tussen meten en doen.

3 Kwaliteit van het Testmateriaal Papier-en-potloodversie N.v.t. Documentatie van Tests en Testresearch in Nederland Computerversie Alle testmateriaal is volledig gestandaardiseerd. De te beoordelen stellingen worden via een webbased service gepresenteerd. De observatie / beoordeling wordt uitgevoerd via dezelfde service welke ook de scoring en rapportage verzorgt. Er is sprake van een observatie- en beoordelingssysteem, waarbij de 28 stellingen en antwoordopties in de vorm van zogenoemde (concrete) signalen zijn beschreven. Inhoud, vorm en volgorde van de 28 positief geformuleerde stellingen zijn voor iedereen gelijk en de stellingen zijn vrij van kwetsende inhoud. Er zijn vier stellingen voor elk van de zeven categorieën (vijf effectvariabelen en twee graadmeters). Ze zijn geordend per categorie. De vier antwoordcategorieën zijn gesteld in termen van mate waarin de stelling klopt voor deze leerling. De betekenis van drie antwoordmogelijkheden is in neutrale frequentietermen geformuleerd ( nooit, geregeld, vaak ) en één is normatief ( te weinig ). De achtergrond van deze uitzondering wordt niet toegelicht. Het standaard antwoord is het klopt redelijk, maar benadrukt wordt dat deze optie zo weinig mogelijk gebruikt moet worden. De vraag is waarom deze optie dan gegeven wordt. Er wordt op gewezen dat de leerkracht de leerling altijd vergelijkt met leeftijdgenoten. Of dat voor de leerkracht ook geldt wanneer hij voor een leerling de lijst na een interval opnieuw invult, valt te betwijfelen. Bij elk item kan de gebruiker een toelichting aanklikken waaraan telkens een variabel aantal signalen (concrete gedragsvoorbeelden) is toegevoegd. De toelichting is veelal een herhaling van de itemformulering. Hoe de signalen zijn gekozen en waarop ze zijn gebaseerd blijft onvoldoende belicht. Het is tevens de vraag of de signalen iets toevoegen. Er zijn enkele voorbeelden te noemen uit de versie voor de groepen 1-4 die tot verwarring kunnen leiden. Rimpels rond de ogen zijn niet noodzakelijk een uiting van opgewektheid, een rode kleur wijst niet zonder meer op levenslust, weinig tegensputteren kan uit andere innerlijke toestanden voortkomen dan uit openstaan voor nieuwe plannen en voetstoots aannemen dat een ontspannen ogende leerling zichzelf durft te zijn lijkt voorbarig. Kortom, de signalen kunnen de objectief waarnemende leerkracht behalve helpen ook op een dwaalspoor zetten. Eens te meer pleit dit voor vervanging van de suggestie dat ZIEN! in de waarnemer objectiviteit bevordert door de suggestie dat het instrument de waarnemer helpt bij onbevooroordeelde betrokkenheid. Het leerlingprofiel wordt visueel helder weergegeven. Lage scores (centiel < 50) zijn aanleiding voor aanvullende vragen, waarop weer een antwoord aangeklikt moet worden waarna automatisch een indicatieuitspraak (kenschets van het probleem van de leerling) verschijnt. Er zijn drie graden van indicaties: actie gewenst, overweeg ondersteuning en overleg. De gebruikshandleiding beschrijft hoe eventuele indicatie-uitspraken tot stand komen. ZIEN! wordt als Software as a Service aangeboden door Driestar Onderwijsadvies via ParnasSys en is zodanig ontworpen dat fouten door onjuist gebruik kunnen worden vermeden. De gebruikshandleiding vermeldt eisen aan de IT omgeving. Voor de bediening van het programma is een helpfunctie voorhanden. De invuller kan zo veel als hij wil herzien. De stellingen (items) en de uitleg zijn in heldere taal geformuleerd. De vormgeving van de interface is overzichtelijk en aangenaam van kleuren. De stellingen worden overzichtelijk gepresenteerd, waarbij men onder de knop toelichtingen (signalen) kan oproepen. Scoren kan door per leerling alle stellingen langs te lopen of groepsgewijs door per stelling alle kinderen een score te geven. Of het toepassen van een bepaalde werkwijze effect heeft op de scoring is onduidelijk en lijkt niet onderzocht. De instructies zijn niet bedoeld voor een geteste maar voor de leerkracht die de lijst invult. De instructies in de gebruikshandleiding zijn helder en uitgebreid. De observatiesteekproef per kind wordt vrij gelaten, dat wil zeggen de leerkracht moet de leerling kennen en het te beoordelen gedrag op voldoende momenten in meer open werkvormen hebben waargenomen. In de gebruikshandleiding staat verder dat de leerkracht zeker van zijn zaak moet zijn en anders de observatie moet uitbreiden. De leerlingprofielen kunnen per leerling maar ook per groep leerlingen bekeken worden. Beide mogelijkheden stellen de leerkracht in staat het eigen handelen in te steken op de bevindingen.

4 De beveiliging is geregeld met een gebruikersnaam en wachtwoord die beide gevoelig zijn voor hoofd- en kleine letters. De veiligheid wordt daarbij bepaald door de voorzichtigheid die de gebruiker daaromtrent zelf in acht neemt. Kwaliteit van de Handleiding Er is een handleiding beschikbaar, welke vanaf de website te downloaden is. De handleiding bestaat uit een verantwoording en een gebruikshandleiding. Beide zijn duidelijk geschreven. Er wordt ook duidelijk naar elkaar verwezen. In de handleiding wordt gewezen op de wijze waarop men de technische verantwoording kan verkrijgen en dit wordt ook aangeraden. Hoe men de inhoud van de verantwoording dient te betrekken bij het gebruik van het instrument (bijvoorbeeld bij de scoring en interpretatie), komt wat minder goed uit de verf. De gebruikshandleiding bevat ruime aanwijzingen, ook voor de niet ingewerkte leerkracht. Het werken met het computerprogramma wordt tevens uitgebreid uitgelegd. Een begrippenindex in het deel Verantwoording zou het gebruik vergemakkelijken, net als het opnemen van de hoofdstuktitels in de koptekst naast de naam van het instrument. De gebruiksmogelijkheden van het instrument worden uitvoerig toegelicht en geconcretiseerd in de vorm van handelingsplannen die worden ontleend aan de testprofielen en indicatie-uitspraken. Of voor een leerling de aan het resultaat van ZIEN! ontleende handelingsplannen passen hangt echter in hoge mate samen met de pedagogische wijsheid en opmerkingsgave van de leerkracht. Er lijken weinig beperkingen te zijn in het gebruik, maar veel is daarover niet te lezen in de handleiding en toelichtingen. Dat geldt ook voor het gebruik van het instrument in het speciaal onderwijs. Dit had meer aandacht mogen krijgen, vooral omdat het mogelijk is dat leerkrachten in het speciaal onderwijs de vragenlijst systematisch op een andere manier invullen dan leerkrachten in het reguliere basisonderwijs. Zoals eerder aangegeven lijken leerkrachten vooral relatief te beoordelen. Dat wordt ook aangemoedigd door de tekst van de instructiekaart die aandringt op vergelijking met leeftijdgenoten. In het reguliere basisonderwijs is dit geen probleem omdat groepen homogeen op leeftijd zijn samengesteld. In het speciaal onderwijs echter is de heterogeniteit qua leeftijd in de groepen groter en kunnen de groepen gemiddeld qua niveau en wijze van sociaalemotioneel functioneren soms andere kenmerken hebben dan de groepen in het reguliere onderwijs. Dit kan consequenties hebben voor de beoordeling van de leerlingen. In de Verantwoording en de Gebruikshandleiding wordt geen samenvatting van de onderzoeksresultaten gegeven. Er worden uitgebreide voorbeelden gegeven van hoe testscores kunnen worden geïnterpreteerd, zowel individueel als op groepsniveau. Er zijn twee voorbeelden van een leerlingprofiel om de gebruikers te helpen de scores en de samenhang daartussen te begrijpen en om het perspectief te richten op zorgbehoefte en mogelijkheden (meer dan op problemen). Een voorbeeld van een groepsprofiel licht toe hoe zorgvragende leerlingen eventueel baat kunnen hebben bij een gezamenlijke aanpak en om de behoefte aan ondersteuning van de hele groep nader te kenschetsen. Er is tevens veel aandacht besteed aan de interpretatie van uitkomsten en de stap van uitkomsten naar indicatiestelling naar handelingsplannen. Wel ontbreekt hoe de leerkracht kan onderscheiden tussen bijvoorbeeld temperament of aard van het beestje en onwenselijk gedrag. Een stil, introvert kind hoeft immers geen sociaal-emotioneel probleem te hebben en hoeft geen dienovereenkomstige remediëring te krijgen. ZIEN! is bedoeld voor leerkrachten binnen de kaders van het basisonderwijs, er wordt geen verdere specificatie gegeven. De voor het gebruik van ZIEN! vereiste vaardigheden van de leerkrachten komen in het geheel niet aan de orde. Een voorwaarde bij de aankoop van ZIEN! is het volgen van een training van minimaal 2.5 uur. Informatie over de installatie van de software staat in de gebruikshandleiding. Het aan de praat krijgen van de test is nauwelijks een probleem omdat geen software hoeft te worden geïnstalleerd. Men kan het systeem en de opgeslagen data bereiken door in te loggen op een website. Dit wordt duidelijk uitgelegd. De bediening en mogelijkheden van de software worden tevens in de gebruikshandleiding uitgelegd. Onder een knop kan men ondersteuning vinden onder andere in de vorm van handleidingen en veelgestelde vragen. Men kan via deze knop ook contact leggen met een helpdesk; het protocol daarvoor wordt duidelijk

5 beschreven. ZIEN! is ondergebracht in ParnasSys. De betreffende software ziet er goed verzorgd en gebruiksvriendelijk uit. Aan zowel de technische als inhoudelijke handleiding is veel zorg besteed. Normen De normen zijn bepaald op basis van gegevens die zijn verzameld in het najaar van De normen zijn gebaseerd op grote steekproeven. In totaal zijn leerlingen in de normering betrokken, waarvan voor de jongste normgroep en voor de oudste normgroep. Uit deze steekproeven zijn vier gestratificeerde steekproeven getrokken, namelijk jongens in de groepen 1-4, jongens in de groepen 5-8, meisjes in de groepen 1-4 en meisjes in de groepen 5-8, met steekproefgroottes variërend van 389 tot 500. Er is sprake van een sample of convenience. Er is gebruik gemaakt van de vragenlijsten die in 2009 tussen 22 oktober en 16 december zijn ingevuld door leerkrachten in het primair onderwijs. Daarbij is er geen gegevensverzameling geweest die specifiek gericht was op normering, in die zin dat zorgvuldig een aselecte steekproef is gevormd op basis van een weloverwogen steekproefkader. Stratificatie heeft naast leeftijd (leerjaar) en sekse, plaatsgevonden op regio, formatiegewicht (% gewichtsleerlingen) en schooltype (regulier versus speciaal onderwijs). De mate van verstedelijking is niet meegenomen in de stratificatie, dit had gekund door de postcode van de scholen op te vragen. In de tabellen wordt aangetoond dat de verdeling voor de genoemde variabelen in de normgroep vrijwel gelijk is aan die in de populatie, al is de beschrijving soms wat onoverzichtelijk. Alleen de regio s Noord en Zuid zijn lichtelijk ondervertegenwoordigd ten opzichte van de landelijke verdeling. Etniciteit wordt niet apart meegenomen, vermoedelijk omdat leerling-gewicht zwaarder weegt. Er wordt toegelicht waarom voor speciaal onderwijs geen aparte normering wordt gemaakt. Door het gebruik van een sample of convenience kan weliswaar niet worden uitgesloten dat de normgroepen een systematische bias vertonen ten opzichte van de populatie in de scores op het instrument, maar de kans daarop is vrij klein te noemen. Op basis van de gehanteerde procedures lijkt representativiteit voldoende gegarandeerd. Daar komt bij dat er sprake is van een vrij grove normering in termen van kwartielscores, zodat eventuele kleine afwijkingen weinig betekenis hebben. De normen zijn gebaseerd op rangorde (een aanpassing van het door het CITO gebruikte A t/m E systeem tot kwartielen). Gegevens over de scoreverdeling betreffen meisjes en jongens afzonderlijk omdat hun sociaal-emotionele ontwikkeling verschilt en omdat veel gedragsvragenlijsten onderscheid in sekse maken. Onderscheid tussen onder- en bovenbouw wordt verantwoord in de Uitgangspunten. Het bezwaar van mogelijke vertekening door de niet aselect getrokken steekproef wordt besproken. Zowel het type normschaal als de verdeling in kwartielen sluit goed aan bij het doel van het instrument. De zogeheten kommagetallen uit de vorige handleiding worden nu niet meer gebruikt. De beschrijvende gegevenstabellen zijn voldoende informatief. Er zijn afzonderlijke tabellen voor beide leerjaargroepen. Elke tabel toont per effectvariabele en graadmeter, afzonderlijk voor jongens en meisjes, het aantal leerlingen, de gemiddelde score, de standaardfout van het gemiddelde, de standaardmeetfout, de scheefheid, kurtosis, de t-waarde en de effectgrootte. De verschillen tussen seksegroepen worden getoond voor de vijf effectvariabelen en de twee graadmeters, afzonderlijk voor de groepen 1-4 en de groepen 5-8. Een aantal schalen toont verschillen tussen jongens en meisjes met een gemiddelde effectgrootte. Er zijn geen afzonderlijke normen ontwikkeld voor (diverse vormen van) speciaal (basis)onderwijs en deze keuze wordt toegelicht. Verder is het gezien de geringe verschillen in gemiddelde scores de vraag of afzonderlijke normering naar leerjaar (groepen 1-4 versus groepen 5-8) wel echt nodig was. Dit wordt niet afdoende onderbouwd. De standaardmeetfout is systematisch berekend en vermeld. Er worden geen betrouwbaarheidsintervallen gerapporteerd en het gebruik ervan wordt ook niet toegelicht. Betrouwbaarheid Er wordt van uitgegaan dat ZIEN! is bedoeld voor minder belangrijke beslissingen (zie COTAN beoordelingssysteem). Relevant worden geacht betrouwbaarheidsgegevens gebaseerd op inter-itemrelaties, testhertestonderzoek en interbeoordelaarsonderzoek. Bij verschillende uitkomsten geeft laatstgenoemde de doorslag.

6 Het instrument bestaat uit zeven subschalen met elk vier vierpunts beoordelingsschaaltjes. Voor alle vier de normgroepen zijn alpha s bepaald per subschaal. De waarden variëren tussen.82 en.90 en zijn dus hoog te noemen. Hierbij moet de kanttekening worden geplaatst dat dergelijke waarden vrij gebruikelijk zijn bij subjectieve beoordelingen. Daarbij geldt doorgaans: hoe hoger het aantal schaalpunten, des te hoger alpha. Zelfs bij geringe aantallen items is alpha dan al snel aan de hoge kant. De inter-itemcorrelaties zijn bepaald aan de hand van r it per normgroep en in een tabel weergegeven. De r it waarden variëren in de onderbouw bij jongens tussen.65 en.83, bij meisjes tussen.60 en.80 en in de bovenbouw bij jongens tussen.59 en.84, en bij meisjes tussen.58 en 81. Deze waarden zijn zonder meer hoog te noemen. Er is test-hertest onderzoek gedaan in 2011, waarbij alle scholen op zorgvuldige wijze werden benaderd met het verzoek om mee te doen aan het test-hertestonderzoek. Dit betrouwbaarheidsonderzoek vormt een aanvulling op het eerder gerapporteerde onderzoek. Er werden 311 leerlingen tweemaal beoordeeld, met een interval van vijf weken, verdeeld over alle vier de normgroepen. Qua regionale spreiding zijn het Oosten en Zuiden ondervertegenwoordigd. Voor ZIEN! voor de groepen 1-4 liggen alle test-hertestcorrelaties boven.70 (regelmatig zelfs boven.80), met één uitzondering voor Inlevingsvermogen (meisjes:.69). Geen van de verschillen tussen test en hertest zijn significant. Opmerkelijk is dat de testhertestbetrouwbaarheden voor ZIEN! voor de groepen 5-8 behoorlijk wat lager liggen. Ook hier echter zijn elf van de veertien coëfficiënten groter dan.70. De verschillen tussen test en hertest zijn voor deze groep significant voor beide graadmeters en voor de effectvariabele Inlevingsvermogen bij de jongens en bij de meisjes voor Sociale autonomie. De vraag is wat hier de verklaring voor is. Gaan de leerlingen in vijf weken beter functioneren of is er sprake van een of ander beoordelaarseffect?. Hier wordt niet op ingegaan. Voor 253 leerlingen is twee maal onafhankelijk van elkaar binnen een maand een oordeel uitgebracht door twee duo-leerkrachten. In de Verantwoording (p. 57, Procedure dataverzameling) staat dat beide leerkrachten de lijsten onafhankelijk van elkaar invulden, maar in Bijlage 5 (p. 92, Instructies voor betrouwbaarheidsonderzoek (Inter-beoordelaars)) staat dat de leerkrachten de lijst op verschillende dagen moeten invullen maar dat dit zonder weet van elkaars beoordelingen moet gebeuren. De resultaten worden helaas alleen gerapporteerd op het niveau van de ruwe schaalscores in de vorm van correlaties. Verder geven correlaties op schaalniveau onvoldoende zicht op de interbeoordelaarsbetrouwbaarheid. Men had gemakkelijk op itemniveau overeenstemmingsmaten kunnen berekenen, zoals een (gewogen) kappa. De relevantie van de analyses die gerapporteerd worden in tabel 6.2 en 6.3 is twijfelachtig. De correlaties worden nu (terecht) gerapporteerd voor alle vier de normgroepen afzonderlijk (dit in tegenstelling tot de eerder beoordeelde versie). Opnieuw is onze conclusie dat de interbeoordelaarsbetrouwbaarheden in veel gevallen te laag zijn. Hierbij kan de scheefheid van de verdeling van de betreffende scores een rol spelen (zowel op item- als op somscoreniveau), maar dit is verder niet onderzocht en/of toegelicht. Ten slotte: De deelnemende leerkrachten aan het onderzoek waren op standaardwijze getraind. Het is de vraag of dit in de praktijk altijd het geval zal zijn, ook al is er een - bij aankoop - verplichte training van minimaal 2,5 uur. Dit zou de toch al laag uitvallende interbeoordelaarsbetrouwbaarheid nog verder negatief kunnen beïnvloeden. Samenvattend: De interne consistentie is in orde en zelfs hoog te noemen en het test-hertestonderzoek levert bevredigende resultaten op. Er zijn tamelijk grote vraagtekens bij de interbeoordelaarsbetrouwbaarheid. Daarom is het van belang dat de leerkrachten die met ZIEN! werken een training volgen, zoals wordt aanbevolen. Nader onderzoek naar de interbeoordelaarsbetrouwbaarheid van ZIEN! is gewenst. Begripsvaliditeit Er wordt een intercorrelatiematrix gegeven voor de zeven subschalen en de resultaten van een principale componenten factoranalyse, dit voor alle vier de normgroepen afzonderlijk. In tegenstelling tot de eerder beoordeelde versie worden de Eigenwaarden en factorladingen gegeven. Uit de gepresenteerde resultaten wordt duidelijk dat de veronderstelde factoren (subschalen) over het algemeen goed worden teruggevonden, met uitzondering van item 1 voor ZIEN! voor de groepen 1-4, dat zowel op Betrokkenheid als op Welbevinden laadt. De items voor Sociaal initiatief enerzijds en die voor Sociale autonomie anderzijds lijken de grootste problemen te geven. De items 17 en 18 trekken wat te sterk richting Sociaal initia-

7 tief. Bij de versie voor de groepen 1-4 is Sociale autonomie bij de meisjes zelfs helemaal verdwenen en opgegaan in Sociaal initiatief. Overigens, bij de factoranalyses voor meisjes in de groepen 1-4 lijkt de kolom voor Impulsbeheersing naar links te zijn opgeschoven en dus niet correct in de tabel geplaatst. De Eigenwaarden zijn merendeels groter dan 1. De zeven componenten verklaren in de vier normeringsteekproeven meer dan 70% van de variantie. De correlaties tussen de variabelen verschillen sterk, bijvoorbeeld bij de jongere leerlingen van 41% op Impulsbeheersing tot 2,3% op Sociale flexibiliteit. Kortom, een redelijk aantal van de op grond van de theorie verwachte subbegrippen manifesteert zich als componenten van sociaal-emotioneel functioneren. Hetzelfde geldt voor het patroon van intercorrelaties en de interpretatie daarvan. Er worden analytische gegevens verstrekt over de items. Er is sprake van hoge item-restcorrelaties binnen de subschalen. De verdelingen van de itemscores zijn sterk scheef verdeeld (wat wellicht consequenties heeft voor de interbeoordelaarsbetrouwbaarheid; zie eerder), maar dat is niet ongebruikelijk voor dit type gedragsbeoordelingsschalen. Factoranalyses en correlatiematrices zijn er voor alle vier de normgroepen. Zij lijken sterk op elkaar en zijn derhalve invariant (wat op zich opmerkelijk is gezien het grote leeftijdsverschil). Er zijn wat verschillen en die hebben vooral te maken met de onderscheidbaarheid van items voor Sociale autonomie en Sociaal initiatief, die is voor meisjes in de groepen 1-4 gering. Verder variëren de correlaties tussen de schalen van de zeven uitkomstvariabelen nogal: bij de jongens in de groepen 1-4 van -.03 tot.74, bij de meisjes in de groepen 1-4 van -.08 tot.78, bij de jongen in de groepen 5-8 van.04 tot.70 en bij de meisjes in de groepen 5-8 van -.04 tot.76. Waarom de vele positieve correlaties tussen de vijf vaardigheden of effectvariabelen en de twee graadmeters betekent dat pro-sociale kinderen positief staan tegenover school (p. 64, Verantwoording) is niet duidelijk op te maken uit deze relaties. Ook omdat de houding van de kinderen tegenover school niet als zodanig wordt geïnventariseerd. Er zijn analyses uitgevoerd naar vraagonzuiverheid voor sekse voor beide versies van ZIEN!. Met behulp van de Mantel-Haenszelprocedure werden bij sommige items significante verschillen gevonden, maar die zijn er bij deze N al gauw. De auteurs concluderen daarom terecht dat er geen of nauwelijks sprake is van DIF. Gegevens over de convergente validiteit betreffen correlaties met de Blikvanger 5-13 en de Gedragsvragenlijst voor leerkrachten (TRF). De keuze viel op deze instrumenten omdat ze - op onderdelen - vergelijkbare constructen hanteren, door volwassenen op basis van observaties worden ingevuld, en omdat ze door de COTAN als minimaal voldoende zijn beoordeeld. Een verschil tussen Blikvanger en Zien! enerzijds en TRF anderzijds is dat beide eerstgenoemde instrumenten gedrag van kinderen inventariseren en de TRF meer gericht is op probleemgedrag. Bij de interpretatie van de uitslagen wordt hier rekening mee gehouden. Er zijn (in tegenstelling tot de eerder beoordeelde versie) hypothesen geformuleerd ten aanzien van de te verwachten samenhangen. Een flink aantal van de geformuleerde hypothesen wordt bevestigd, enkele echter verworpen. Daarnaast zijn er ook significante correlaties in gevallen waarvoor vooraf geen hypothesen werden geformuleerd. Dit komt voor een deel doordat per subschaal maar één of enkele voorspellingen werden gedaan. Voor een ander deel is er het probleem dat er een hoge mate van samenhang is tussen veel subschalen (zoals de intercorrelatiematrix laat zien). Ten slotte zijn in sommige gevallen geen hypothesen opgesteld, terwijl dit wel verwacht had kunnen worden. De hoge negatieve correlatie tussen Impulsbeheersing van ZIEN! en Externaliserende problematiek van TRF had bijvoorbeeld vooraf verwacht en onderbouwd kunnen worden. Uit de negatieve verbanden tussen TRF-scores en ZIEN!-scores zou de discriminante validiteit afgeleid kunnen worden, immers, ZIEN! betreft pro-sociaal gedrag en de TRF betreft probleemgedrag. Verschillen tussen relevante groepen worden niet onder validiteit besproken. Eerder in de verantwoording worden gemiddelden en standaarddeviaties gegeven voor jongens en meisjes en voor de twee normgroepen afzonderlijk. Deze worden voor sekse geanalyseerd en getoetst, maar niet in termen van validiteit geinterpreteerd. Verschillen in gemiddelden tussen onderscheiden groepen (naar regio, schooltype en formatiegewicht) worden in de bijlagen gepresenteerd, maar niet in termen van validiteit geïnterpreteerd. Verschillen tussen leerlingen in het regulier basisonderwijs en speciaal basisonderwijs worden niet verwacht en ook niet gezocht. Het onderzoeken van de samenhang met leerling-gewichtgroepen zou interessant zijn.

8 Samenvattend: De procedures en verslaglegging zijn zorgvuldig. De onderbouwing van de begripsvaliditeit is ten opzichte van de eerder beoordeelde versie aanzienlijk verbeterd, met name door een adequatere onderbouwing van hypothesen en een meer volledige presentatie van de resultaten. Het beeld is over het algemeen bevredigend: de verwachtingen worden grotendeels onderbouwd door de data, aan de andere kant blijven nog vraagtekens bestaan en worden soms verwachtingen niet bevestigd. De variatie in de uitkomstmaten maakt onzeker of vooral in de jongere leeftijdsgroepen de lijst optimaal is voor het meten van sociaal-emotionele ontwikkeling. Criteriumvaliditeit Er worden geen gegevens over de criteriumvaliditeit verstrekt. In het licht van de beschreven gebruiksdoelen lijkt criteriumvaliditeit niet aan de orde (ook al wordt dit niet expliciet door de constructeurs aangegeven). Als het instrument toch voor predictieve doeleinden zou worden gebruikt, moet de criteriumvaliditeit als onvoldoende worden beoordeeld op basis van gebrek aan onderzoek.