JOB-monitor en LAKS-monitor 2014 Onderzoeksverantwoording Onderzoek in opdracht van JOB en LAKS Froukje Wartenbergh-Cras Joyce Bendig-Jacobs Danny Brukx ResearchNed april 2014
2014 ResearchNed Nijmegen in opdracht van JOB en LAKS. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder nauwkeurige bronvermelding. ResearchNed werkt conform de kwaliteitsnormen NEN-EN-ISO 9001:2008 voor kwaliteitsmanagementsystemen en NEN-ISO 20252:2012 voor markt-, opinie- en maatschappelijk onderzoek. 1 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Inhoudsopgave 1 Inleiding 3 1.1 Inleiding 3 1.2 Taakstelling deskundigenpanel 3 1.3 Leeswijzer 3 2 Vragenlijst 4 3 Inrichting veldwerk 5 3.1 JOB-monitor 5 3.2 LAKS-monitor 8 4 Respons, datacleaning en weging 14 4.1 Respons 14 4.1.1 JOB-monitor 14 4.1.2 LAKS-monitor 14 4.2 Datacleaning 14 4.3 Weging 15 4.3.1 JOB-monitor 15 4.3.2 LAKS-monitor 17 5 Thematische clustering van vragen 19 5.1 JOB-monitor 19 5.2 LAKS-monitor 21 6 Rapporteren over de resultaten 24 6.1 Instellingsrapportages en instellingsbestanden 24 6.2 Online rapportage 24 7 Vragen aan het deskundigenpanel 25 Bijlage A Vragenlijst JOB-monitor 27 Bijlage B Vragenlijst LAKS-monitor 33 Bijlage C Netto-respons per instelling JOB-monitor 41 Bijlage D Netto-respons per instelling LAKS-monitor 43 2 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
1 Inleiding 1.1 Inleiding Voor u ligt de onderzoeksverantwoording van de JOB-monitor en LAKS-monitor 2014. De JOB-monitor is het landelijke studenttevredenheidsonderzoek in het mbo dat de JongerenOrganisatie Beroepsonderwijs (JOB) sinds 2000 tweejaarlijks laat uitvoeren, met financiering van OCW. Met de monitor wordt door studenten gesignaleerd wat goed gaat in het mbo en waar verbetering noodzakelijk is. Het biedt in de eerste plaats studentenraden en instellingen een handvat om hun kwaliteit mee te verbeteren. De LAKSmonitor is vergelijkbaar aan de JOB-monitor, eveneens uitgevoerd met financiering vanuit OCW, maar vindt plaats in het voortgezet onderwijs. LAKS staat voor Landelijk Aktie Komitee Scholieren. Het LAKS behartigt de belangen van alle scholieren, en daarom is het voor LAKS belangrijk om te weten hoe tevreden scholieren zijn met hun school en onderwijs. Om die reden doet het LAKS sinds 2010 elke twee jaar een grootschalig onderzoek naar de tevredenheid onder scholieren: de LAKS-monitor. Het LAKS wil met de LAKS-monitor een helder en betrouwbaar beeld geven van de leerlingentevredenheid. In deze verantwoording worden de keuzes toegelicht in de onderzoeksopzet en de databewerking van beide monitoren. Er is voor gekozen om de verantwoording van beide onderzoeken te integreren, omdat de keuzes die gemaakt zijn binnen de databewerking grotendeels overeenkomen en de teams van beide projecten zowel aan de kant van de opdrachtgever als aan de kant van het onderzoeksbureau dit jaar voor het eerst volledig identiek zijn. 1.2 Taakstelling deskundigenpanel Het deskundigenpanel bestaande uit prof. dr. Dirk Sikkel, prof. dr. Joop Hox en prof. dr. Bert Felling adviseert in 2014 voor de derde maal als onafhankelijke partij ResearchNed. Het deskundigenpanel is samengesteld in overleg met de begeleidingscommissie en de opdrachtgevers vanuit LAKS en JOB. Het deskundigenpanel wordt nauw betrokken bij de stappen die de onderzoekers nemen in het analyseproces. Dit betreft alle keuzes die ten grondslag liggen aan responsberekening, datacleaning, weging en datapublicaties. Ook de betrouwbaarheid en validiteit van het onderzoek komen hierin aan de orde. In overleg met het deskundigenpanel wordt bepaald of herweging van de data als gevolg van onevenwichtigheid van de respons noodzakelijk is. Alle stappen in dit proces zijn in voorliggende onderzoeksverantwoording zorgvuldig gedocumenteerd en worden na goedkeuring door het deskundigenpanel voor geïnteresseerden ter inzage beschikbaar gesteld. 1.3 Leeswijzer In deze notitie gaan we allereerst kort in op de gebruikte vragenlijst waarna de gekozen onderzoeksopzet wordt besproken. In het derde hoofdstuk gaan we in op de deelname van instellingen, de cleaning en weging van de data. De clustering van de vragen en de betrouwbaarheid en de validiteit van de twee monitoren worden in hoofdstuk 5 behandeld. Vervolgens wordt het aggregatieniveau van de resultaten besproken en we eindigen deze notitie met een aantal vragen die wij het deskundigenpanel hebben voorgelegd. 3 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
2 Vragenlijst De vragenlijst voor de JOB-monitor en die voor de LAKS-monitor zoals gebruikt in vorige meting (2012) zijn in overleg met JOB en LAKS waar nodig aangepast. Hierbij is zoveel mogelijk rekening gehouden met het opgebouwde JOB-monitortrendbestand en met de wens om een trendbestand op te bouwen voor de LAKS-monitor. Alleen de noodzakelijke wijzigingen zijn doorgevoerd. Dit jaar heeft de kerngroep van het Platform Gehandicapten MBO een verzoek ingediend bij JOB en LAKS om mee te mogen denken over de vragen in de twee monitoren rondom studeren met een beperking. Dit heeft geleid tot het uitbreiden van de lijst met mogelijke beperkingen en het toevoegen van vier vragen over studeren met een beperking. Deze aanpassingen zijn afgeleid van bestaande vragenlijsten in het hoger onderwijs en komen daarmee ten goede aan de vergelijking met andere onderzoeken. De bijgestelde vragenlijsten zijn voorafgaand aan de start van het veldwerk uitgetest. De test voor de JOB-monitor is gebeurd bij twee groepen mbo-studenten van twee verschillende instellingen. Op verzoek van het gebruikersplatform van de JOB-monitor 2012 is nogmaals expliciet aandacht besteed aan het testen van de vragenlijst bij de groep niveau-1-studenten. De test voor de LAKS-monitor is gebeurd bij een groep vo-studenten bij één vo-school. Bij alledrie de testrondes hebben de testgroepen de vragenlijst ingevuld en is gevraagd om onduidelijkheden te noteren. Naderhand is de inhoud van de vragenlijst doorgesproken en hebben de onderzoekers deze aan de hand van de uitkomsten zo nodig verfijnd. Voor de JOB-monitor heeft dit geleid tot: een negental wijzigingen in vraagstelling (vervanging van woorden die beter aansluiten bij de doelgroep); toevoegen van vijf vragen; verwijderen van drie vragen; verplaatsen van het blok beperking ; aanpassen van de uitleg van de vraag bij zeven vragen. Voor de LAKS-monitor heeft dit geleid tot: een zevental wijzigingen in vraagstelling (vervanging van woorden die beter aansluiten bij de doelgroep) toevoegen van zes vragen; verwijderen van vier vragen; verplaatsen van twee vragen en het blok voorzieningen ; aanpassen/toevoegen van de uitleg van de vraag bij vijftien vragen. De twee definitieve vragenlijsten voor het veldwerk van deze ronde zijn te vinden in bijlage a (JOBmonitor) en bijlage b (LAKS-monitor). De definitieve vragenlijsten alsook de versies met wijzigingen ten opzichte van de vorige meting zijn ook op de portal van de betreffende monitoren gepubliceerd ter inzage voor de instellingen en andere geïnteresseerden. 4 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
3 Inrichting veldwerk 3.1 JOB-monitor De JOB-monitor wordt sinds 2008 volledig online afgenomen. In de JOB-monitor 2014 hadden studenten van 3 december 2013 tot en met 28 maart 2014 de mogelijkheid de vragenlijst op een speciaal daarvoor ingerichte website in te vullen. Deelname aan de JOB-monitor loopt in de meeste gevallen via een inlogfaciliteit die door DUO in samenwerking met ResearchNed is ontwikkeld. Studenten gaan (veelal klassikaal) naar de website www.job-monitor2014.nl waarop naast de link naar de vragenlijst informatie over het onderzoek en over de wijze waarop hun privacy gewaarborgd wordt. Hierna een aantal screenshots om een beeld te geven van de wijze waarop studenten aan de monitor deelnemen. 5 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
6 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
De meeste mbo-studenten nemen deel via de DUO-inlogfaciliteit, waar zij toegang krijgen tot de vragenlijst met een combinatie van hun pgn (persoonsgebonden nummer of onderwijsnummer). Deze inlogmethode werkt voor studenten die geregistreerd staan bij DUO. Sinds 1 januari 2012 leveren ook niet-bekostigde mbo-instellingen verplicht gegevens aan DUO aan. Dit maakt het mogelijk om naast studenten aan bekostigde instellingen ook studenten aan niet-bekostigde instellingen via de DUOinlogfaciliteit toegang te geven tot de enquête. Voor het eerst in de geschiedenis van de JOB-monitor resulteerde dat deze meting in deelname van Hogeschool TIO (met hun mbo-opleidingen). Ook nieuw in deze meting is de deelname van de Politieacademie. Deze instelling is weliswaar bekostigd, maar niet door OCW en daarmee zijn de studenten ook niet geregistreerd bij DUO. Voor deze studenten is daarom een alternatieve inlogroute gerealiseerd, waarbij niet om het privacygevoelige pgn gevraagd wordt, maar het minder-privacygevoelige studentnummer van de instelling volstaat. Deze inlogroute loopt direct bij ResearchNed. 7 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Voordeel van de gehanteerde methode van inloggen met een unieke inlogcode per student is in beide gevallen dat studenten hooguit één keer de vragenlijst kunnen invullen met een voor hen al bekend uniek nummer en dat het bovendien mogelijk is een groot deel van de relevante achtergrondkenmerken te koppelen vanuit de bestaande studentenadministratie bij DUO in BRONMBO 1 (deelname van de Politieacademie gebeurde onder voorwaarde dat zij dezelfde administratieve informatie konden aanleveren als we ook van DUO ontvangen). Deze methode laat bovendien de ruimte aan studenten om de vragenlijst in te vullen buiten de onderwijsinstelling (thuis of op de leerwerkplek), de vragenlijst tussentijds te stoppen en later verder te gaan op het punt waar ze waren gebleven en voorkomt dat studenten de vragenlijst meer dan eens invullen. De oproep tot het invullen van de vragenlijst ligt in eerste instantie bij de mbo-instellingen zelf. Er is promotiemateriaal (posters, flyers en informatiefilmpjes) beschikbaar dat instellingen kunnen gebruiken om het onderzoek onder de aandacht van studenten te brengen. Alhoewel de mogelijkheid wederom is aangeboden, hebben instellingen deze ronde geen aanvullende mailings naar de studenten laten versturen door ResearchNed. Wel is er door JOB gedurende het veldwerk actief campagne gevoerd op onder meer de sociale media om de monitor bij studenten onder de aandacht te brengen. Ook heeft JOB in deelnamecontracten met de instellingen een inspanningsvereiste bij de instellingen neergelegd. 3.2 LAKS-monitor De werving van scholen om deel te nemen aan de LAKS-monitor en de verdere communicatie rondom de monitor heeft het LAKS ook dit jaar op zich genomen. In mei 2013 hebben alle vo-scholen een eerste aankondiging van de monitor van het LAKS ontvangen. Vanaf half september tot eind december konden scholen zich aanmelden voor de LAKS-monitor via een hiervoor door ResearchNed ontwikkeld aanmeldformulier. Vervolgens konden scholen op vestigingsniveau of locatieniveau via een online portal vanaf half november aangeven met welke klassen ze wilden deelnemen aan de monitor (zie ook volgende pagina). Het stond de school vrij om zelf een keuze te maken in de selectie van klassen. Wel is geadviseerd om zoveel mogelijk klassen mee te laten doen om ook uitspraken over de gehele school mogelijk te maken. Per klas moest in het aanmeldformulier aangegeven worden welk niveau de leerlingen volgden, welk leerjaar het betrof en hoeveel leerlingen in een klas zaten. Daarnaast konden scholen maximaal vijf eigen vragen toevoegen aan de monitor, die aan het einde van de vragenlijst toegevoegd werden. De vijf mogelijke antwoordcategorieën voor deze eigen vragen komen overeen met die in de basisvragenlijst om het invullen voor de scholieren zo eenvoudig mogelijk te laten zijn. Door zeven scholen (verantwoordelijk voor achttien vestigingen) zijn extra vragen aangeleverd. 1 De koppeling met achtergrondkenmerken gebeurt bij DUO, de verrijkte bestanden worden met een nietherleidbaar omnummer aan ResearchNed geleverd, waardoor de koppeling tussen pgn en het onderzoeksresultaten nooit te maken is (DUO krijgt de onderzoeksresultaten niet, ResearchNed krijgt het echte pgn niet). De toestemming voor de wijze waarop het pgn gebruikt wordt in dit onderzoek is gegeven door OCW, in afstemming met de privacy-officer van DUO. 8 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Het scherm om eigen gegevens te wijzigen of klassen en/of eigen vragen toe te voegen zag er als volgt uit: 9 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Het scherm om klassen toe te voegen, zag er als volgt uit: Nadat een klas was toegevoegd, kwam de ingevoerde informatie in beeld inclusief het wachtwoord waarmee de klas kon inloggen in de enquête: Door onderaan het beginscherm op verstuur details per e-mail te klikken kon de contactpersoon de aangemelde klassen inclusief de bijbehorende wachtwoorden naar zichzelf e-mailen. De inlogcodes van de diverse klassen konden op deze manier relatief gemakkelijk onder de begeleidende docenten verspreid worden. De dataverzameling van de LAKS-monitor heeft net als in het verleden wederom geheel online plaatsgevonden. De vragenlijst is klassikaal afgenomen onder begeleiding van een docent in de periode 3 februari tot en met 28 maart 2014, via de website www.laks-monitor.nl, waarop later ook de resultaten van het onderzoek beschikbaar worden gesteld. 10 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
11 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Het inlogscherm om te beginnen aan de vragenlijst: Scholen waren zelf verantwoordelijk voor het inplannen van de afname voor alle aangemelde klassen en konden zelf bepalen wanneer de vragenlijst gedurende deze periode werd afgenomen. Wanneer een school achterbleef met invullen met de enquêtes, is de school actief aangespoord door het LAKS hun klassen alsnog de enquête in te laten vullen. Op basis van de gebruikte klasspecifieke inlogcode werden achteraf de gegevens over de klas zoals aangegeven in het aanmeldformulier en gegevens over de school afkomstig uit open onderwijsdata beschikbaar gesteld door DUO (voetv12 en voatv12 2 met o.a. locatiecode, leerlingaantal en etniciteit) aan de enquêteresultaten gekoppeld. Aan het eind van de enquête van de LAKS-monitor is de vragenlijst van Vensters voor Verantwoording toegevoegd. Vensters voor Verantwoording is een project waarbij alle cijfermatige informatie over scholen voor voortgezet onderwijs, verzameld wordt in één systeem. Deze informatie, afkomstig van DUO, Onderwijsinspectie en van de scholen zelf, wordt bewerkt en gevisualiseerd. Doel van het project is mede kwaliteitsstandaarden te ontwikkelen en de mogelijkheid om scholen op basis van resultaten met elkaar te vergelijken (benchmarking). Een onderdeel van Vensters voor Verantwoording is dat scholen verplicht zijn jaarlijks vijftien (in het geval van praktijkonderwijs zeventien) vragen over leerlingtevredenheid in te laten vullen door de leerlingen van de derde klas en deze informatie te leveren aan Vensters voor Verantwoording. Scholen kunnen zelf bepalen via welke manier zij de leerlingtevredenheid invullen. Deelnemen aan de LAKS-monitor is één manier om aan de informatieplicht voor Vensters voor Verantwoording te voldoen. Naast deelname aan de LAKS-monitor via reguliere deelname konden scholen die een licentie hebben bij Kwaliteitscholen ook deelnemen aan de monitor via hun portaal. Kwaliteitscholen geeft scholen onder meer de mogelijkheid zelf enquêtes af te nemen onder leerlingen, ouders en medewerkers. Momenteel zijn ruim 600 locaties van vo-scholen hierbij aangesloten. Verschillende scholen gaven tijdens de eerste LAKS-monitor aan dat zij niet deelnamen aan de LAKS-monitor omdat zij al een samenwerking hadden met Kwaliteitscholen. Om die reden heeft het LAKS ervoor gekozen voor de volgende LAKS-monitoren de samenwerking met Kwaliteitscholen aan te gaan. Kwaliteitscholen heeft scholen de mogelijkheid geboden via hun website de LAKS-monitor in te vullen. Van alle derdeklassers die ook de vragen voor Vensters voor 2 Vooralsnog zijn de voorlopige gegevens van schooljaar 2012-2013 gebruikt als basis voor aanmaak van de weegfactor; voor overige populatiegegevens is gebruikt gemaakt van voorlopige populatiegegevens op instellingsniveau (brin) met als peildatum 1 oktober 2013 afkomstig van www.duo.nl. In dit bestand ontbreken de gegevens over etniciteit. 12 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Verantwoording invulden krijgt Kwaliteitscholen de antwoorden teruggekoppeld, zodat deze direct zichtbaar zijn voor scholen op de website van Kwaliteitscholen. 13 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
4 Respons, datacleaning en weging 4.1 Respons 4.1.1 JOB-monitor In 2014 namen ALLE 66 bekostigde mbo-instellingen deel aan de JOB-monitor (een historisch hoogtepunt in de JOB-monitorgeschiedenis) alsook de Politieacademie en een niet-bekostigde instelling (Hogeschool TIO). Binnen de instellingen hebben 277.016 studenten de vragenlijst geopend (55% van de populatie: 500.956 studenten). Na cleaning (zie paragraaf 4.2) resteert een bruikbare netto-respons van 255.859 studenten (51% van de populatie). In bijlage c is de netto-respons per instelling te vinden. 4.1.2 LAKS-monitor Met 162 vestigingen/locaties hebben 95 van de in totaal 658 vo-scholen (14%) deelgenomen aan de LAKS-monitor 2014. Door 66.132 scholieren van de deelnemende instellingen is een start gemaakt met de enquête (7% van de populatie: 980.449 scholieren; 36% van de populatie van de deelnemende scholen: 182.577). De cleaning heeft geresulteerd in een netto-respons van 59.075 scholieren (53.529 afkomstig van scholen die volgens de reguliere weg de vragenlijst hebben ingevuld; 5.546 enquêtes zijn afkomstig via Kwaliteitscholen.nl; in totaal 6% van de populatie en 32% van de populatie van de deelnemende scholen). Veel scholen hebben ervoor gekozen om slechts een deel van de leerlingen te laten deelnemen. In bijlage d is de netto-respons per instelling te vinden. Derdeklassers zijn op alle niveaus oververtegenwoordigd. Hiervoor wordt gecorrigeerd door het berekenen van een weegfactor. 4.2 Datacleaning De datacleaning vindt in beide onderzoeken plaats volgens een vast stramien waarbij we kijken naar de mate waarin de vragenlijst volledig - en in het geval van de JOB-monitor in ieder geval voor 40 procent - is ingevuld, naar de invultijd en naar de eenzijdigheid van antwoorden. Voor de LAKS-monitor worden alleen compleet ingevulde vragenlijsten meegenomen. Hiervoor is gekozen omdat bij deze monitor gewerkt wordt met een klassencode en het daarom niet uit te sluiten is dat een leerling die de vragenlijst in eerste instantie niet volledig ingevuld heeft, later alsnog een volledige enquête invult. Hierbij moet wel opgemerkt worden dat alleen gekeken wordt naar de hoofdvragenlijst van de LAKS-monitor; wanneer leerlingen de vragen van Vensters voor Verantwoording of de schoolspecifieke vragen niet (volledig) hebben ingevuld maar de hoofdvragenlijst wel, dan worden deze toch meegenomen in de analyse. In de JOB-monitor is gewerkt met persoonlijke inlogcodes, daar kunnen studenten wél na het onderbreken van de vragenlijst op een ander moment verder gaan met invullen. Bij de JOB-monitor worden daarom alleen vragenlijsten die voor minimaal 40 procent zijn ingevuld meegenomen, rekening houdend met het totaal aantal verplichte vragen. Voor zowel de JOB-monitor als de LAKS-monitor zijn vragenlijsten die te snel zijn ingevuld, niet meegenomen. Voor beide monitoren is de grens van vijf minuten invultijd gehanteerd: studenten danwel scholieren die de vragenlijst sneller dan in vijf minuten hebben ingevuld, worden niet meegenomen. Wanneer te vaak een zelfde antwoordcategorie is gekozen (telkens score 1, 2, 3, 4 of 5), wordt de enquête niet meegenomen. Voor beide monitoren is de grens van maximaal 85 procent dezelfde antwoordcategorie gehanteerd voor het wel of niet meenemen van de enquête. 14 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Uiteindelijk blijft er van de brutorespons van de JOB-monitor van 277.016 studenten een groep van 255.859 studenten over waarvan de analyses in dit onderzoek gedaan zullen worden (tabel 1). Van de brutorespons van de LAKS-monitor (66.132 scholieren) blijft er voor de analyses in dit onderzoek een groep van 59.075 scholieren over. Tabel 1 Datacleaning Weggelaten (Overgebleven) respons Populatie JOB-monitor Landelijke populatie 500.956 Bruto respons 277.016 55% Vragenlijst voor min. 40 % ingevuld 7.367 269.649 3 54% Voldoende invultijd (min. 5 min.) 7.077 262.572 52% Voldoende afwisseling (max. 85% zelfde antwoorden) 6.713 255.859 51% Landelijk Deelnemende LAKS-monitor scholen Populatie 980.449 182.577 Bruto respons 66.132 7% 36% Vragenlijst geheel ingevuld 5.071 61.061 6% 33% Voldoende invultijd (min. 5 min.) 749 60.312 6% 33% Voldoende afwisseling (max. 85% zelfde antwoorden) 1.237 59.075 6% 32% 4.3 Weging 4.3.1 JOB-monitor Tot dusver is er in de voorgaande JOB-monitoren gecorrigeerd voor onevenwichtige respons met een poststratificatie weegmodel. Binnen dit weegmodel is de onevenredige verdeling in de respons tussen opleidingen (tot dusver: brin*opleidingsrichting*leerweg*niveau*geslacht*etniciteit) rechtgetrokken door het relatieve aandeel van een deelpopulatie in de responsgroep te delen door ditzelfde aandeel binnen de populatie. Ook uit de responsanalyses op het bestand van 2014 blijkt dat er sprake is van een onevenwichtigheid naar achtergrondkenmerken (zie tabel 2) en dat deze kenmerken bovendien samenhingen met de tevredenheid over docenten (zie tabel 3). Met een stijging in de respons, is de scheefheid van de respons ten opzichte van de populatie telkens minder groot dan in de jaren daarvoor. Omdat deze echter op cruciale kenmerken nog altijd verschilt, en zoals gezegd deze verschillen medebepalend zijn voor de tevredenheid, vinden we het belangrijk ook in deze meting een weegfactor toe te passen. Voor te hoge en te lage weegfactoren wordt daarbij gecorrigeerd, lager dan 0,3 wordt gezet op 0,3 (dit gold voor geen enkel geval) en hoger dan 3 op 3 (kwam 1.355 keer (0, 5%) voor). 3 Hiervan heeft 98,7 procent de vragenlijst geheel ingevuld. 15 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Tabel 2 - Verdeling personen binnen JOB-monitor 2014 naar niveau, leerweg, geslacht en etniciteit Respons Populatie % N % N Chi-square Niveau Onbekend 0,7% 1.845 1,0% 4.843 2094,7** Niveau 1 2,3% 5.997 3,8% 18.869 Niveau 2 19,3% 49.337 21,3% 106.873 Niveau 3 26,3% 67.207 26,8% 134.469 Niveau 4 51,4% 131.473 47,1% 235.902 Leerweg Onbekend 0,0% 0 2,1% 10.475 10379,0 ** BBL 17,6% 44.926 24,2% 121.012 BOL 82,4% 210.933 73,8% 369.469 Geslacht Man 49,6% 126.872 52,5% 262.774 557,6 ** Vrouw 50,4% 128.987 47,5% 238.182 Etniciteit Autochtoon 76,8% 196.505 72,9% 365.406 1319,9 ** Allochtoon 23,2% 59.354 27,1% 135.550 Bron: JOB-monitor 2014; ** significant bij p<0.01 * significant bij p<0.05. Tabel 3 Percentage studenten binnen JOB-monitor 2014 dat docenten (zeer) goed vindt, naar achtergrondkenmerken Ongewogen Gewogen Gem. N Sig. Gem. N Sig. Niveau Niveau 1 76,3% 5.997 ** 76,5% 7.408 ** Niveau 2 62,9% 49.337 62,9% 52.821 Niveau 3 58,7% 67.207 59,2% 68.964 Niveau 4 58,0% 131.473 57,7% 124.037 Leerweg BBL 66,0% 44.926 ** 66,1% 56.516 ** BOL 58,2% 210.933 58,0% 199.343 Geslacht Man 61,9% 126.872 ** 62,0% 131.847 ** Vrouw 57,3% 128.987 57,4% 124.012 Etniciteit Autochtoon 59,7% 196.505 ** 59,9% 187.726 ** Allochtoon 59,3% 59.354 59,5% 68.133 Bron: JOB-monitor 2014; ** significant bij p<0.01 * significant bij p<0.05. Het is belangrijk om bij JOB de weging altijd te nesten naar instelling, omdat de samenstelling van de studentpopulatie sterk verschilt tussen instellingen. Niet opgenomen in deze rapportage, maar wel getest in de voorbereiding ervan, is een toets van de geneste verschillen per instelling. Daaruit blijkt dat de verdeling naar domein*niveau*leerweg*geslacht*etniciteit bij 16 van de 68 instellingen niet significant afwijkt van de populatie, bij de overige 52 instellingen is deze mismatch er wel. 16 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
4.3.2 LAKS-monitor In de LAKS-monitor is het niet mogelijk om te wegen op vestigingsniveau, omdat er op dat niveau geen geadministreerde populatiedata beschikbaar zijn. Omdat veel scholen ervoor kiezen slechts een deel van de leerlingen deel te laten nemen aan het onderzoek, ontstaat er een scheve verdeling van leerlingen ten opzichte van de hele populatie, waardoor ongewogen landelijke resultaten een onjuist beeld zouden geven. Een analyse van de respons naar achtergrondkenmerken laat zien dat er sprake is van een onevenwichtige vertegenwoordiging in de respons naar leerjaar, schoolsoort, geslacht en etniciteit (zie tabel 4, genest zijn deze verschillen eveneens significant) en dat deze kenmerken samenhangen met de gegeven rapportcijfers voor school (tabel 5). Net als bij de JOB-monitor corrigeren we daarvoor door met een poststratificatiemodel de weegfactor te berekenen. In de eerste twee leerjaren is daarbij overigens geen onderscheid gemaakt naar schoolsoort, omdat deze in die eerste twee jaar niet altijd al vastligt (leerlingen zitten vaak in een gemengde brugklas). Voor te hoge en te lage weegfactoren is daarbij net als bij de JOB-monitor gecorrigeerd, lager dan 0,3 naar 0,3 (dit gold voor 179 cases, 0,3%) en hoger dan 3 naar 3 (kwam 49 (0,08%) keer voor). Tabel 4 - Verdeling respons en populatie binnen LAKS-monitor 2014 naar leerjaar, schoolsoort, geslacht en etniciteit Respons Populatie % N % N Chi-square Leerjaar 1 23,1% 13.664 21,8% 208.560 4076,6 ** 2 19,4% 11.490 21,6% 206.222 3 31,0% 18.304 21,1% 201.954 4 17,1% 10.113 21,6% 206.649 5 7,2% 4.237 9,9% 94.410 6 2,1% 1.267 4,0% 37.940 Schoolsoort Brugklas 43,5% 25.718 44,1% 421.222 1073,5 ** Praktijkonderwijs 0,4% 235 1,6% 15.526 Vmbo 25,5% 15.086 21,5% 205.811 Havo 15,5% 9.185 15,9% 152.073 Vwo 15,0% 8.851 16,9% 161.103 Geslacht Man 48,5% 28.676 50,3% 480.377 65,9 ** Vrouw 51,5% 30.399 49,7% 475.358 Etniciteit Autochtoon 81,2% 47.980 78,0% 745.583 335,7 ** Allochtoon 18,8% 11.095 22,0% 210.152 Bron: LAKS-monitor 2014; ** significant bij p<0.01 * significant bij p<0.05. 17 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
Tabel 5 - Rapportcijfer school LAKS-monitor 2014 Ongewogen Gewogen Gem. N Sig. Gem. N Sig. Leerjaar 1 7,7 13.664 ** 7,6 12.954 ** 2 7,0 11.490 7,0 12.809 3 6,6 18.304 6,6 12.516 4 6,4 10.113 6,4 12.829 5 6,8 4.237 6,8 5.695 6 6,9 1.267 6,9 2.272 Schoolsoort Brugklas 7,3 25.718 ** 7,3 26.163 ** Praktijkonderwijs 6,1 235 6,0 677 Vmbo 6,3 15.086 6,2 12.783 Havo 6,6 9.185 6,6 9.445 Vwo 7,1 8.851 7,1 10.006 Geslacht Man 6,8 28.676 ** 6,8 29.666 ** Vrouw 7,0 30.399 7,0 29.409 Etniciteit Autochtoon 7,0 47.980 ** 7,0 46.113 ** Allochtoon 6,6 11.095 6,6 12.962 Bron: LAKS-Monitor 2014; ** significant bij p<0.01 * significant bij p<0.05. 18 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014
5 Thematische clustering van vragen De vragen in zowel de JOB- als de LAKS-monitor zijn bij de afname op zo n manier ingedeeld dat ze inhoudelijke thema s vormen. Of deze thema s ook opgevat mogen worden als een schaal is op basis van factoranalyse nagegaan. De uitkomsten van de verschillende factoranalyses voor de JOB-monitor zijn in tabel 6 weergegeven, voor de LAKS-monitor volgt de tabel een paragraaf later (tabel 7). Niet alle voorgelegde vragen konden worden ingedeeld bij een thema. Deze vragen worden afzonderlijk in het rapport besproken. In beide tabellen staan per item de communaliteit, de factorscore en de alpha if item deleted weergegeven. Een communaliteit geeft het deel van de variantie weer dat door de factor wordt bepaald. Het betreft een proportioneel deel en ligt tussen 0 en 1. Er is uitgegaan, mede op aanraden van het deskundigenpanel van de vorige JOB- en LAKS-monitor, van een minimale vereiste waarde van 0,30. De factorlading geeft de correlatie weer tussen de afzonderlijke items en de te construeren schaal. Voor een statistisch goede fit liggen deze boven de 0,40. Met behulp van betrouwbaarheidsanalyse is de Cronbach s alpha berekend voor de schalen. In de regel dienen de alpha s boven de 0,70 te liggen. 5.1 JOB-monitor Uit de onderstaande tabel blijkt dat in principe (na afronding op 1 decimaal) ieder voorgesteld cluster mag worden opgevat als een schaal. De communaliteiten alsook de factorladingen zijn hoog genoeg om te mogen spreken van afzonderlijke clusters, waaruit statistisch verantwoorde conclusies getrokken kunnen worden. Er zijn drie clusters die voor afronding op één decimaal de grenzen van de vereiste waarde opzoeken. Bij het cluster lessen heeft het item uitval onderwijsactiviteiten een iets lage factorlading, bij het cluster onderwijsfaciliteiten is de cronbach s alpha.69 en bij het cluster werkplek (bbl) is de factorlading bij het item moeite werkplek vinden aan de lage kant. Tabel 6 Communaliteiten, factorlading en cronbach s alpha JOB-monitor 2014 Cluster Communaliteit Factorlading Alpha if item deleted Informatie (correlatie: 0,46) Informatie voorafgaand aan opleiding 0,73 0,85 - Informatie over opbouw opleiding 0,73 0,85 - Lessen Afwisseling zelfstandig werken en in groepen werken 0,42 0,63 0,70 Uitval onderwijsactiviteiten 0,74 0,39 0,74 Roosterwijzigingen op tijd doorgegeven 0,53 0,55 0,71 Tevredenheid over docenten 0,66 0,78 0,67 Tevredenheid over lesmateriaal 0,59 0,75 0,67 Gebruik gekocht lesmateriaal 0,35 0,58 0,71 Goed contact met docenten 0,56 0,69 0,69 Cronbach s alpha=0,73 Toetsing Toets op tijd bekend 0,63 0,80 0,72 Inhoud toets op tijd bekend 0,69 0,83 0,70 Uitslag toets op tijd bekend 0,45 0,67 0,76 Aansluiting bij lesstof 0,56 0,75 0,73 Studenten gelijke wijze beoordeeld 0,38 0,61 0,78 Cronbach s alpha=0,78 19 Onderzoeksverantwoording JOB-monitor en LAKS-monitor 2014