JOB Monitor Opzet en kwaliteitsborging. Januari 2010 Rinske Zevering, JOB Froukje Wartenbergh, ResearchNed

Transcriptie

1 JOB Monitor 2010 Opzet en kwaliteitsborging Januari 2010 Rinske Zevering, JOB Froukje Wartenbergh, ResearchNed 1 Opzet en kwaliteitsborging JOB Monitor def.doc

2 1 Inleiding Deze notitie bevat een verantwoording van de opzet van de JOB-monitor 2010 en een overzicht van de wijze waarop de kwaliteit wordt gewaarborgd. Tijdens het overleg van 5 november 2009 bij OCW is afgesproken dat JOB en ResearchNed de besproken acties verwerken in een heldere uiteenzetting voor de instellingen om daarmee rust en vertrouwen te creëren. Inhoud 1 INLEIDING 2 2 ORGANISATIE EN COMMUNICATIE Extern projectoverleg Intern projectoverleg Gebruikersplatform Deskundigenpanel Informatiebijeenkomst Communicatie met instellingen en studenten Technische ondersteuning 4 3 OPZET VAN HET ONDERZOEK IN Inloggen met PGN of onderwijsnummer Deelname en instellingsgebonden activiteiten Gericht volgen van de respons 4 4 AGGREGATIE, BETROUWBAARHEID EN VALIDITEIT Indeling in opleidingsrichtingen Nauwkeurige eindrapportages Voorlopige instellingsrapportages en datalevering vanaf half april Analyses vinden plaats in overleg met deskundigenpanel Levering data aan derden 6 2 Organisatie en communicatie Het project wordt uitgevoerd onder verantwoordelijkheid van de JongerenOrganisatie Beroepsonderwijs (JOB) door ResearchNed uit Nijmegen en gefinancierd door OCW. In het kader van de JOB-monitor zijn verschillende overlegorganen actief die we hieronder zullen toelichten. 2.1 Extern projectoverleg Dit overleg vindt tweemaandelijks bij OCW plaats en heeft betrekking op de grote lijnen van het onderzoek. Voorzitterschap berust bij OCW Directie Beroepsonderwijs en Volwasseneneducatie. Aan het overleg participeren OCW, MBO Raad, JOB en ResearchNed. DUO-Groningen en de Onderwijsinspectie zijn agendaleden: afhankelijk van wat er besproken wordt, nemen zij op de voor hen relevante momenten deel aan dit overleg. 2 Opzet en kwaliteitsborging JOB Monitor def.doc

3 2.2 Intern projectoverleg Maandelijks overleggen JOB en ResearchNed over de voortgang van het onderzoek, binnengekomen berichten van instellingen en bespreken eventuele noodzaak tot bijsturing. Tevens worden in dit overleg acties besproken om de portal ( up to date te houden. 2.3 Gebruikersplatform Het gebruikersplatform is ervoor om tijdens de onderzoeksperiode meer rechtstreeks en structureel met de deelnemende onderwijsinstellingen te communiceren. Het fungeert als doorgeefluik voor vragen en onduidelijkheden die leven in het veld en heeft een adviserende taak. JOB en ResearchNed kunnen tijdens de bijeenkomsten met dit platform onmiddellijk inspelen op de vragen die er leven door gemaakte keuzes toe te lichten en contactpersonen daarover te informeren of zonodig de koers bij te stellen. Daarnaast is het gebruikersplatform ook nuttig om tips en good practices met elkaar te delen over bijvoorbeeld (methodes en middelen voor) het stimuleren van de respons. De notulen van de bijeenkomsten van het gebruikersplatform worden op de portal geplaatst. Zo kunnen alle geïnteresseerde contactpersonen er kennis van nemen. Gedurende de looptijd van het onderzoek komt het gebruikersplatform vijf keer bijeen. 2.4 Deskundigenpanel Een panel van drie methodologen komt gedurende de looptijd van het onderzoek twee maal bijeen. De onderzoekers overleggen samen met dit deskundigenpanel over methodologische issues waar onder betrouwbaarheid, aggregaties en weging. Het deskundigenpanel adviseert als onafhankelijke partij ResearchNed. Het deskundigenpanel is samengesteld in overleg met de begeleidingscommissie. Een verslag van de bijeenkomsten van het deskundigenpanel wordt ter informatie gestuurd aan de begeleidingscommissie. 2.5 Informatiebijeenkomst Voor alle instellingen die hebben aangegeven deel te willen nemen aan de JOB-monitor 2010 is eenmaal een informatiebijeenkomst georganiseerd. Deze bijeenkomst had een tweeledig doel. Enerzijds het informeren van kwaliteitsmedewerkers van instellingen over de opzet van de JOB-monitor 2010 en anderzijds het uitwisselen van werkwijzen, tips en zorgpunten tussen instellingen onderling en tussen instellingen en JOB/onderzoekers. Op deze informatiebijeenkomst kwamen (onder andere) de volgende aspecten aan de orde: Onderzoeksopzet en verantwoording van keuzes daarin; Stimuleren van de respons; Privacybeleid; Aanpassing vragenlijst; Validiteit en betrouwbaarheid; Communicatie en overleg; Tips en valkuilen bij organisatie afname. 2.6 Communicatie met instellingen en studenten De instellingen worden op de hoogte gehouden over de stand van zaken met betrekking tot het onderzoek via de portal ( en door middel van inhoudelijke mailings op cruciale momenten in het onderzoek (aanleveren labels, start veldwerk etc.). Op de portal vinden de instellingen een korte uiteenzetting van de opzet van het onderzoek, achtergrondinformatie bij het onderzoek, een overzicht van veelgestelde vragen en de wekelijkse responsoverzichten. Uiteraard staan JOB en ResearchNed vertegenwoordigers van instellingen tussentijds te woord en communiceren ze eveneens via het eerdergenoemde gebruikersplatform. 3 Opzet en kwaliteitsborging JOB Monitor def.doc

4 2.7 Technische ondersteuning De interview-infrastructuur waarop de enquêtes worden afgenomen staat in een beveiligd datacentrum (InterConnect). Alle mogelijke beveiligingsmaatregelen zijn genomen. Verder is er een 24/7 monitoring van het systeem en wordt binnen werktijden direct gereageerd op calamiteiten. 3 Opzet van het onderzoek in Inloggen met PGN of onderwijsnummer In overleg met DUO-Groningen en het ministerie van OCW is besloten om inloggen voor de JOB-monitor 2010 alleen mogelijk te maken via het PGN of (indien studenten niet beschikken over een PGN) via het onderwijsnummer (bijv. studenten uit het buitenland en andere studenten in het mbo zonder PGN kunnen inloggen met hun negencijferige onderwijsnummer 1 ). Inloggen gebeurt via de servers van DUO-Groningen die na authenticatie de student doorverwijst naar de interviewservers. In dit proces is de privacy van de studenten maximaal gewaarborgd. Noch ResearchNed, noch JOB hebben de beschikking over de persoons- of onderwijsnummers van de studenten. Wanneer inloggen onverhoopt niet lukt, is er op de portal een document beschikbaar met redenen daarvoor en mogelijke oplossingen. In geval van calamiteiten is er een noodnummer beschikbaar voor directe ondersteuning. Om ook docenten op de hoogte te stellen van het privacybeleid is door JOB een argumentenkaart opgesteld die naar contactpersonen is gestuurd om onder docenten te verspreiden en ook via de portal te downloaden is. 3.2 Deelname en instellingsgebonden activiteiten JOB heeft in het deelnamecontract een inspanningsvereiste aan de kant van de instelling vermeld. De verwachting is dat hierdoor de respons wordt verhoogd en daarmee de responsverschillen tussen instellingen verkleinen en evenwichtiger zijn verdeeld. In 2010 nemen 61 van de 66 instellingen deel aan de JOB-monitor. Tezamen geven deze instellingen onderwijs aan van de in totaal studenten in het mbo. In totaal 58 instellingen leverden in de periode november-december 2009 instellingsgebonden labels aan. Met deze labels komen voor instelling op een zelfgekozen (aggregatie)niveau de resultaten beschikbaar. Voorbeelden van deze labels zijn: Klas; Team; Unit; Locatie; Onderwijsafdeling. 3.3 Gericht volgen van de respons Een hoge respons verhoogt de betrouwbaarheid. Zeker wanneer resultaten op een laag niveau gewenst zijn, is een hoog deelnamepercentage van studenten noodzakelijk. Het gericht sturen van de respons op instellingen vereist een gerichte terugkoppeling van actuele responscijfers. Hiervoor worden de door instellingen aangeleverde labels gebruikt. Scholen krijgen op dat niveau inzicht in de deelnamecijfers. Voor scholen die geen labels hebben aangeleverd, wordt de deelname van bol/bbl, opleidingsrichting en niveau weergegeven. De responsoverzichten worden wekelijks ververst. Voor elk responsoverzicht maakt ResearchNed een download van het databestand en koppelt dat aan de door de instellingen aangeleverde labels en zet de overzichten per instelling online. Dit is een bewerking die tijd nodig heeft, daarom is ervoor gekozen het 1 Iedereen die in het mbo geregistreerd staat, beschikt over een zogenaamd onderwijsnummer. Het onderwijsnummer is gelijk aan het pgn. Wanneer studenten niet over een pgn beschikken, krijgen ze vanuit DUO-Groningen een nieuw nummer toegekend: het onderwijsnummer. Bij het inloggen op de portal van DUO-Groningen is het daarom voor iedereen die op 1 januari 2010 ingeschreven stond mogelijk de vragenlijst in te vullen. 4 Opzet en kwaliteitsborging JOB Monitor def.doc

5 wekelijks te verversen. Het is niet mogelijk de respons op dit gedetailleerde niveau real-time te volgen. In de responsoverzichten worden alleen respondenten die de hele vragenlijst hebben ingevuld, getoond. De gegevens die gebruikt zijn voor de overzichten zijn nog niet opgeschoond. 4 Aggregatie, betrouwbaarheid en validiteit 4.1 Indeling in opleidingsrichtingen Voor de indeling in opleidingsrichtingen maakt ResearchNed een combinatie van de indeling die is gehanteerd in ODIN1 t/m ODIN4 en de SOI-indeling 2 van het CBS. De koppeling wordt gemaakt op basis van BRON door de crebo-codes in te delen in inhoudelijke opleidingsrichtingen. Hoewel aan het indelen van opleidingen veel aandacht wordt besteed, blijft elke vorm van aggregatie arbitrair. Daarnaast zal er altijd ruis blijven bestaan vanwege crebo-veranderingen en dergelijke. Voor de JOB-monitor 2010 komt de initiële indeling tot stand in nauw overleg met het deskundigenpanel. De aldus geconstrueerde lijst wordt vervolgens voorgelegd aan het gebruikersplatform. Van de gekozen indeling wordt een tabel met alle crebo s per opleidingsrichting op de portal geplaatst. 4.2 Nauwkeurige eindrapportages Voor het ontsluiten van de onderzoeksresultaten is een nieuwe interface van KIWI ontwikkeld. Deze applicatie maakt het instellingen mogelijk zelf tabellen samen te stellen met daarin de gewenste combinaties van achtergrondkenmerken. In de applicatie zijn alle data van ODIN1 tot en met ODIN5 ingelezen. Begin februari wordt de nieuwe interface getest door leden van het gebruikersplatform en mbo-studenten, zodat de toepassing verder kan worden verfijnd en de presentatie van de onderzoeksresultaten optimaal aansluit bij de wensen van de belangrijkste gebruikers. Daarnaast komen er voor alle deelnemende instellingen vaste eindrapportages in pdf-vorm beschikbaar en verschijnt er een landelijk eindrapport met de resultaten op hoofdlijnen. De inhoud van de instellingsrapportages zal worden voorgelegd aan het gebruikersplatform. Deze openbare data komen op hetzelfde niveau als altijd beschikbaar (instelling x opleidingsrichting) en alleen voor die instellingen met voldoende respons voor betrouwbare resultaten 3 (in vorige meting waren er bijv. zes instellingen met onvoldoende respons; over deze instellingen is niet gepubliceerd). Data met instellingslabels komen alleen zichtbaar voor de betreffende instelling achter een wachtwoord beschikbaar. Wanneer te weinig studenten een vraag beantwoord hebben, worden de resultaten niet weergegeven (voor de openbare data geldt een minimale N van 20). KIWI toont op dit moment een lege cel met een voettekst waarin de reden van de lege cel wordt weergegeven. 4.3 Voorlopige instellingsrapportages en datalevering vanaf half april Op verzoek van de onderwijsinstelling is het mogelijk vanaf half april een voorlopige instellingsrapportage te ontvangen. Voorwaarde hiervoor is dat op het laagste labelniveau voldoende respons moet zijn behaald. Indien de respons onvoldoende is om hieruit betrouwbare conclusies te trekken, geeft ResearchNed dit duidelijk aan door middel van een voetnoot. De voorlopige resultaten worden uitdrukkelijk onder embargo aan de instellingen verstrekt. Voorlopige data zijn niet definitief en JOB noch ResearchNed kunnen verantwoordelijk worden gehouden voor eventuele verschillen die ontstaan zijn door correcties die daarna nog worden doorgevoerd. 4.4 Analyses vinden plaats in overleg met deskundigenpanel Het deskundigenpanel wordt nauw betrokken bij alle stappen die de onderzoekers nemen in het analyseproces. Dit betreft alle keuzes die ten grondslag liggen aan responsberekening, datacleaning, weging en 2 Standaard Onderwijsindeling (SOI) is een indeling van opleidingen naar niveau en richting. Zie 3 Binnen elke instelling is en wordt gekeken naar de betrouwbaarheid van de data op instellingsniveau. 5 Opzet en kwaliteitsborging JOB Monitor def.doc

6 datapublicaties. Ook de betrouwbaarheid en validiteit van het onderzoek komen hierin aan de orde. In overleg met het deskundigenpanel wordt bepaald of herweging van de data als gevolg van onevenwichtigheid van de respons noodzakelijk is. Alle stappen in dit proces worden zorgvuldig gedocumenteerd en na afloop van het onderzoek gepubliceerd in een onderzoeksverantwoording. 4.5 Levering data aan derden Als het gaat om het gebruik van openbare gegevens door derden, is afgesproken dat er een specifieke tekst op de website van JOB verschijnt met een pleidooi voor het zorgvuldige gebruik van de gepubliceerde gegevens waarbij de specifieke context van de desbetreffende opleiding (waaronder populatiekenmerken) in ogenschouw wordt genomen. Mits wordt voldaan aan de voorwaarden die in gebruikersovereenkomst zijn vastgelegd, worden de onderzoeksdata geleverd aan derden. Aan drie derde partijen zullen de data in beginsel worden verstrekt: MBO Raad, CFI en de Onderwijsinspectie 4. 4 Het databestand is in 2009 niet aan de makers van de Keuzegids geleverd, zij hebben gebruik gemaakt van de openbare resultaten op de website van de monitor. 6 Opzet en kwaliteitsborging JOB Monitor def.doc