Selectie, schoning en weging van het Scholierenonderzoek

Transcriptie

1 Selectie, schoning en weging van het Scholierenonderzoek Inleiding In dit rapport zal verslag worden gedaan van de procedure die gevolgd is bij het opzetten van het Scholierenonderzoek , de schoning van de ingevulde vragenlijsten, de weging van het uiteindelijke schone bestand en de schoolvragenlijst. Aan de scholieren is een vragenboekje voorgelegd die zij in twee lesuren moesten invullen. Het invullen gebeurde klassikaal. De vragenlijst die is voorgelegd aan de deelnemende scholieren bevat 123 vragen. Dit is een toename van acht vragen ten opzichte van het Scholierenonderzoek In totaal hebben 131 scholen ruim leerlingen aangemeld. Aangezien het aantal aangemelde leerlingen te groot was, heeft er een selectie plaats gevonden. Er is bij de aanmelding gekeken naar de provincie, denominatie en schooltype. In november 2001 zijn aan 70 scholen vragenlijsten verstuurd, (inclusief 10 MBO-opleidingen). In februari 2002 zijn aan 8 scholen nog eens vragenlijsten gezonden. Ook bleek bij binnenkomst van ingevulde vragenlijsten dat een aantal scholen niet het opgegeven aantal leerlingen had laten participeren. Aan de deelnemende scholen is een extra vragenlijst voorgelegd aan de schoolleiding. Reacties Uit commentaar bleek dat een aantal scholieren huiverig was om openheid te geven over privacygevoelige vragen. Voornamelijk de vragen over inkomsten en uitgaven werden als zeer persoonlijk ervaren. Daarnaast werd de moeilijkheidsgraad van de vragen vaak genoemd waardoor veel uitleg nodig was, met name voor brugklas- en V(M)BO-scholieren. Er waren meerdere scholen die de geplande tijd van twee lesuren te kort vonden en waar leerlingen pas na drie lesuren de vragenlijst compleet hadden ingevuld. De niet-deelnemende scholen hebben meestal geen reden opgegeven om niet mee te doen met het Scholierenonderzoek Wanneer de reden bekend was, was deze meestal geen tijd in verband met vakanties of dat er al meegedaan werd aan andere onderzoeken. In oktober 2001 zijn directies van 1228 instellingen 1 voor het voortgezet onderwijs (inclusief middelbaar beroepsonderwijs) via een mailing in tweevoud uitgenodigd om met de leerlingen van hun school deel te nemen aan dit onderzoek. In deze mailing werden de doelstelling en de procedure van het onderzoek uitvoerig toegelicht. Op deze oproep hebben zo n 130 scholen positief gereageerd. Van het MBO had zich in eerste instantie 1 school zich opgegeven. Besloten werd om daarom alle MBO-opleidingen telefonisch te benaderen. Dit leverde in totaal 10 scholen van het MBO op. Net als het vorige Scholierenonderzoek bleef de respons bij het MBO erg laag. Dit ondanks de vernieuwde mailing. Dit geeft te denken over de wijze waarop het MBO binnen het onderzoek past. 1 Inclusief hun nevenvestigingen. 1

2 De scholen die gereageerd hebben, vormden een redelijke spreiding over de verschillende schooltypen, leerjaren, denominaties 2 en provincie. De steekproef van deelnemende scholen is zo getrokken dat op voorhand een redelijke verderling over provincie, denominatie en schooltype, leerjaar te verwachten was. Handmatige controle, de eerste schoning De uiterlijke inleverdatum van de vragenlijsten waarna ze niet meer in behandeling werden genomen was gesteld op 15 januari Op 1 februari waren echter slechts 7000 bruikbare vragenlijsten binnengekomen. Een groot aantal scholen had tot die datum nog niets teruggestuurd of met veel minder leerlingen meegedaan dan ze hadden opgegeven. De scholen die nog niets hadden teruggestuurd zijn nog tweemaal telefonisch benaderd (eind januari en eind februari) om ze alsnog te verzoeken de boekjes in te sturen. Leeg teruggestuurde boekjes zijn opnieuw uitgezet onder de scholen die op de reservelijst stonden. In totaal zijn tot 1 maart nog 8 scholen bediend met ongeveer 2000 vragenboekjes. Al deze scholen stuurden wel boekjes terug, maar niet het volledige aantal. Door het inschakelen van scholen van de reservelijst zit er echter wel een tweedeling in het tijdstip van beantwoording. Dit kan voor vertekening in de antwoorden zorgen. De scholen die op een later tijdstip de vragenlijsten hebben afgenomen hebben in de datafile een teller boven de Bij aankomst op het NIBUD zijn de vragenboekjes gecontroleerd op een aantal kenmerken: 1) Het schoolnummer en eventueel klasnummer, niet ingevuld of verkeerd ingevuld. Dit was voor de meeste scholen te herstellen omdat de vragenboekjes per klas waren gebundeld. Waar dit niet makkelijk te herstellen was is dit hersteld in de dataset (zie tweede schoning). 2) Niet ingevulde boekjes. 3) Onvolledig ingevulde boekjes, wanneer minder dan de helft was ingevuld is het boekje achtergehouden, bij meer dan de helft is de leerling meegenomen in de analyse. 4) Grappenmakers, vaak wanneer er grappige commentaar was bijgeschreven waren de vragen niet serieus ingevuld. Wanneer alleen een deel van de vragen niet serieus is ingevuld (meestal het laatste deel) zijn de boekjes wel meegenomen en zal dit gecorrigeerd worden bij de tweede schoning. 5) Fouten, wanneer het oog viel op een onduidelijke of fout ingevulde vraag is dit verbeterd. Het bleek dat vooral per school of per klas niet goed was ingevuld. 6) Ruim 500 boekjes zijn apart gehouden wegens duidelijk fout invullen of het feit dat minder dan de helft was ingevuld. Dit waren er aanzienlijk meer dan vorige Scholierenonderzoeken. 2 Zoals Katholiek, Openbaar, enz. 2

3 Tweede schoning De ingevulde boekjes zijn naar de Filipijnen verstuurd waar zij verwerkt zijn tot een ASCIIbestand waarna zij via internet weer teruggestuurd werden. Als eerste werd een proefbestand ontvangen van 63 leerlingen.. Vervolgens kwamen er nog 3 samples waarbij de laatste medio maart is binnengekomen. Het inlezen en het toekennen van labels gaf geen problemen (bestanden Inleesvo01.sps en Labelsvo01.sps). De samples zijn samengevoegd tot het bestand nsodeel1. Iedere leerling heeft een uniek volgnummer gekregen, de teller. De leerlingen uit de verschillende samples zijn te herkennen aan de teller. (sample 1 loopt van 1-63, sample 2 van 1001 t/m ca. 5000, sample 3 van t/m ca , sample 4 vanaf De volgende stappen zijn bij deze schoning gezet: Schoolnummers, klasnummer, schooltype en leerjaar zijn zo goed als het ging verbeterd waar dit onduidelijk was. Via een kruistabel tussen schoolnummer, klasnummer en schooltype konden met behulp van de vragenlijsten voor de docent meestal de fouten worden verbeterd. De locatiebeschrijvingen zijn niet verbeterd. Bij schooltype kan verwarring bestaan bij brugklassen en bij VMBO-klassen, waar de ene helft van de klas MAVO invult en de andere helft VBO, bijvoorbeeld. Deze aanduidingen zijn ook niet verbeterd. De records zijn nagelopen op het feit of structureel een 7 voor een 1 en een 9 voor een 4 werd aangezien bij het invoeren van de data. Waar dit het geval was is dit verbeterd. Vervolgens is een SPSS-programma gebruikt om grappenmakers op te sporen, hierbij is gelet op inconsistenties en vreemde getallen. Hierbij zijn enkele grenzen vastgesteld waarbuiten waarnemingen niet realistisch zijn. De hoogte van deze grenzen is naar eigen inzicht vastgesteld. De enkele serieuze uitbijters die hierdoor als grappenmakers worden gekenmerkt zijn verwijderd. De volgende stap is geweest om de inconsistenties en vreemde getallen te corrigeren. Dit maakte het noodzakelijk dat alle inconsistenties en vreemde getallen opgespoord moesten worden en op -1 (inconsistent) en -5 (extreme waarde) of missing gezet moeten worden. Waarbij dit mogelijk was is dit gedaan. Bij een aantal blokken numerieke variabelen ontbraken de nullen omdat leerlingen niet de moeite namen overal een nul in te vullen. Zij hebben alleen ingevuld waar ze wel geld aan uitgaven, bijvoorbeeld. Via een eenvoudige som van de missings en een som van de posities waar wel iets is ingevuld, zijn nullen geimputeerd in deze numerieke blokken. Dit is altijd gebeurd met de waarde Dit kan handig zijn, omdat bij het optellen van variabelen een missing, de som missing wordt wanneer er een missing tussenzit. Dit is gebeurd bij de blokken baantjes, vakantiebaantjes, uitgaven, tijdsbesteding en meegemaakte zaken de afgelopen 12 maanden. De weging Na de dataverzameling is het bestand via herweging representatief gemaakt. Daarbij is gebruik gemaakt van de meest recente onderwijsstatistieken 3. Gezien de grootte van de steekproef is het mogelijk daarbinnen een aantal subgroepen te onderscheiden (bijvoorbeeld naar leeftijd, geslacht, schooltype, denominatie of geografische karakteristieken), die representatief zijn voor dezelfde groepen binnen de totale scholierenpopulatie in Nederland. 3 Ministerie van OCenW gegevens schooljaar

4 Op basis van gegevens van het Ministerie van OC en W over het aantal scholieren met de kenmerken provincie, denominatie, schooltype en leerjaar is het bestand gewogen (variabele weegzmbo). De deelnemende leerlingen van het MBO zijn niet bij de weging betrokken. Via een iteratief proces is het bestand gewogen. Eerst werd op provincie gewogen, daarna op denominatie, daarna op schooltype en leerjaar, vervolgens weer op provincie, etc., net zo lang tot het gewogen bestand een afspiegeling vormde van de werkelijke verdeling in Nederland. In de bijlage staat de werkelijke en gewogen verdeling naar provincie, denominatie en schooltype. 4

5 Tot slot Na schoning en het wegen van het bestand is een representatief bestand verkregen waarbij vergelijkingen gemaakt kunnen worden tussen enerzijds schoolcijfers en anderzijds landelijke cijfers. Het bestand is tevens naar het SCP opgestuurd waar het gebruikt gaat worden voor de jeugdrapportage van het SCP. Marcel Warnaar Utrecht

6 Bijlage 2: Landelijke verdeling en steekproef naar provincie, denominatie schooltype en leerjaar provincie N landelijk N ongewogen N gewogen % landelijk % ongewogen % gewogen Groningen ,1 0,3 4,1 Friesland ,8 1,5 3,8 Drente ,5 2,7 2,5 Overijssel ,7 8,1 7,7 Gelderland ,4 19,2 11,4 Utrecht ,2 7,7 7,2 Noord-Holland ,2 6,5 15,2 Zuid-Holland ,4 18,0 21,4 Zeeland ,3 6,5 2,3 Noord-Brabant ,6 17,6 15,6 Limburg ,2 7,1 7,2 Flevoland ,5 4,7 1, denominatie Openbaar ,2 15,0 26,0 Katholiek ,1 33,6 30,1 Protestant ,6 25,1 25,7 Overig ,1 26,3 18, schooltype/leerjaar basis ,6 20,9 21,5 basis ,9 25,3 21,9 basis ,7 0,1 0,7 VMBO ,3 14,9 12,3 VMBO ,4 11,6 11,3 HAVO ,7 6,0 4,7 HAVO ,9 5,7 5,9 HAVO ,7 2,7 4,7 VWO ,7 3,4 4,7 VWO ,4 5,0 4,4 VWO ,8 2,5 3,8 VWO ,0 2,1 4,0 overig 0, ,0 100,0 100,0 MBO1 176 MBO2 17 MBO3 76 6