NOTULEN EVALUATIE JOB- EN LAKS-MONITOR 2014

Transcriptie

1 NOTULEN EVALUATIE JOB- EN LAKS-MONITOR 2014 Onderwerp: Evaluatie JOB-monitor 2014 met Gebruikersplatform Datum: Dinsdag 9 september 2014 Tijd: tot Locatie: Aanwezig: Afwezig: Het Huis Utrecht, Boorstraat 107, Utrecht Linjo de Kruijf (Grafisch Lyceum Utrecht), Ronald Rondas (ROC Arcus), Kitty Mathijsen (ROC Koning Willem I College), Bob Leunk (ROC van Amsterdam en Flevoland), Marianne Maasland (Regio College), Hedy Beumkes (Albeda College), Karin Dekkers (Sint Lucas), Anne-Marie Gootjes (Media College), Peter Thewissen (ROC Leeuwenborgh), Clara Verblauw (Horizon College), Froukje Wartenbergh (ResearchNed), Danny Brukx(ResearchNed), Jettie Lensen (JOB) Gerda Broens (ROC Nijmegen), Lammert Folkerts (ROC van Twente), Peter van der Blom (Media College), Tessy Duncker (ROC Tilburg), Pollyan van Swigchem (Graafschap College), Marlies Kooijmans (Rijn Ijssel), Belinda de Boer (AOC de Groene Welle), Joyce Jacobs (ResearchNed) Algemeen: 1. Jettie vraagt alle deelnemers van het platform aan te geven hoe de instellingen de resultaten van de JOB-monitor hebben verwerkt. Alle leden geven aan hoe zij de resultaten op hun instelling hebben verwerkt en wat er mee wordt gedaan. Een overzicht: - Er wordt veel gebruik gemaakt van de voorlopige resultaten. Deze worden in de instellingen verspreid naar de verschillende afdelingen/teams. De resultaten worden geanalyseerd ter verbetering van de kwaliteitszorg. Ook wordt het CvB ingelicht over de resultaten. - Binnen de instelling worden de verschillende teams/locaties/afdelingen met elkaar vergeleken. Teams/afdelingen dienen (soms verplicht) de resultaten te gebruiken bij zelfevaluatie. - De meeste instellingen gaan vooral aan de slag met de voorlopige resultaten. Als de definitieve data beschikbaar zijn dienen die als controle voor de voorlopige data. Bijna altijd komen deze data overeen. De definitieve instellingsrapportage wordt in sommige gevallen nog rondgestuurd naar de verschillende afdelingen/cvb. - De voorlopige resultaten zijn in sommige gevallen gebruikt voor het bezoek van de inspectie in mei. Hierbij zijn trends aangetoond ten opzichte van eerdere metingen. - De meeste instellingen analyseren trends. De ervaring is dat de zaken die goed gaan, vaak goed blijven. Andersom geldt dit ook. Ook zien de meeste instellingen dat hun eigen resultaten redelijk overeenkomen met de landelijke resultaten. Een aantal instellingen geven aan een positieve trend te signaleren. - In de meeste gevallen worden de resultaten ook teruggekoppeld aan de studenten(raden) en in sommige gevallen ook aan de ondernemingsraad. De manier van terugkoppeling verschilt van algemene presentaties tot gesprekken binnen de teams/afdelingen. - In sommige gevallen worden de resultaten ook actief vergeleken met andere instellingen binnen de regio. Een voorbeeld hiervan zijn Albeda en Zadkine die op teamniveau resultaten hebben uitgewisseld en zo kijken wat de teams van de verschillende

2 instellingen van elkaar kunnen leren. Maar ook het Regio College kijkt bijvoorbeeld naar andere instellingen binnen de regio. - In de meeste gevallen worden er concrete doelstellingen verbonden aan de resultaten, zoals een verbeterplan op ROC Leeuwenborgh, of het terugbetalen van ongebruikte boeken op het ROC van Amsterdam (hierbij is wel nauwkeurig nagegaan of de boeken ook echt niet meer op de lijst hoeven te staan). - In sommige gevallen wordt er op instellingen intern data uitgesplitst op aanvraag binnen de instelling. Informatievoorziening: 2. Informatievoorziening was over het algemeen goed. Iedereen wist waar de informatie moest worden gevonden en hoe ze JOB en ResearchNed konden bereiken bij vragen. Alleen over de informatiebijeenkomst van 24 september 2014 zijn de instellingen minder tevreden. Jettie wijt dit aan een combinatie van het nieuwe team van medewerkers en bestuur bij JOB (die toen net aangesteld waren) in combinatie met de onrust die ontstond rondom de aankondiging van de nieuwe online tool (die op dat moment alleen nog instellingen met elkaar kon vergelijken) Communicatie en aanlevering labels: 3. Communicatie met JOB en ResearchNed was goed en positief. 4. Het aanleveren van de labels is over het algemeen goed gegaan. De enkele problemen die er waren lagen vooral intern bij de instellingen. ResearchNed heeft dit in alle gevallen op kunnen lossen. Vragenlijst: 5. Resultaten evaluatieformulieren en suggesties voor verbetering: a. Vragenlijst wordt te lang bevonden. Jettie wil weten wat er volgens het platform uit de vragenlijst kan. Alles wat gevraagd wordt blijkt toch relevant te zijn. Dat houdt dan ook in dat de vragenlijst niet echt korter kan. Jettie merkt ook op dat de vragenlijst geroute wordt, en dat dus niet alle studenten alle 70 vragen moeten beantwoorden. Froukje (RN) vraagt of het een optie is om de eigen vragen eruit te halen, maar die moeten er volgens het platform in blijven. De vragenlijst kan dus niet echt korter. b. Uit het evaluatieformulier blijkt dat sommige instellingen aan hebben gegeven dat het voor niveau 1 en 2 studenten soms lastig blijkt om de vragenlijst in te vullen. Jettie geeft aan dat de vragenlijst van 2014 is getest bij niveau-1- en 2-studenten. Daarnaast is bij de editie van 2012 de vragenlijst nog doorgenomen met het Steunpunt Taal en Rekenen MBO om te kijken of de gebruikte taal in de vragenlijst voor alle niveaus geschikt was. Men is het er over eens dat nog simpelere bewoordingen niet het verschil gaan maken. Bovendien kunnen de studenten de vragenlijst in meerdere keren invullen. Er is dus weinig te doen aan het feit dat studenten op niveau 1 en 2 wat eerder afhaken bij een dergelijke vragenlijst dan studenten met een hoger niveau. c. Jettie geeft aan de vragenlijst komend jaar voor de zomer van 2015 af te willen hebben. Bob Leunk (ROCvA) geeft aan de vragenlijst wel samen in overleg met het gebruikersplatform door te willen spreken. Hier wordt positief op gereageerd vanuit

3 Afnameperiode: de rest van het platform. Jettie zal een bijeenkomst plannen in oktober of november om de vragenlijst in zijn geheel door te nemen. Voor deze bijeenkomst zullen naast het gebruikersplatform ook andere contactpersonen van de JOB-monitor worden benaderd. Actiepunt 1 6. Omdat iedereen vooral gebruik maakt van de voorlopige resultaten vraagt Jettie of het wenselijk is om wellicht eerder met de definitieve data te komen. Dat houdt dan wel in dat de afnameperiode wat ingekort zou moeten worden, omdat er nu eenmaal een verwerkingstijd zit tussen het veldwerk en het leveren van (voorlopige) resultaten. De meningen over dit onderwerp zijn verdeeld. Enkele instellingen zijn van mening dat de afnameperiode wel wat korter kan, anderen geven aan die extra weken nodig te hebben voor het behalen van een goede respons en het bereiken van zoveel mogelijk studenten. Men is het er wel over eens dat er aan het einde van een afnameperiode altijd nog een inhaalslag wordt gemaakt, en dat het niet uitmaakt wanneer de periode van afname afloopt. Incentives: 7. Zowel uit het evaluatieformulier als binnen het gebruikersplatform wordt aangegeven dat incentives wat betreft de instellingen weinig zin hebben. Voor JOB is het echter wel een leuke manier is om JOB op de kaart te zetten. Jettie zal kijken of incentives in 2016 wenselijk zijn voor JOB. Voorwaarde is dat het de contactpersonen niet te veel werk moet kosten om de incentives bij de juiste studenten te krijgen. Inloggen met BSN: 8. Gebruik van BSN, inlogfaciliteit en verantwoording anonimiteit naar studenten toe: a. Bij veel instellingen zijn er in ieder geval enkele klachten binnengekomen over het inloggen met het BSN. Ook bij JOB hebben we het afgelopen jaar hier vragen over moeten beantwoorden. Jettie geeft aan dat er weinig alternatieven zijn voor het inloggen met BSN. Of de vragenlijst wordt nog langer omdat studenten zelf de gegevens moeten aanleveren, of instellingen moeten de data aanleveren wat veel tijd en geld zou kosten. Bovendien is in beide gevallen de kwaliteit van de data minder betrouwbaar dan wanneer de data uit BRON worden gehaald. De gegevens kunnen daarentegen makkelijk uit BRON gehaald worden en de data zijn up-to-date. Conclusie is dus dat de JOB-monitor gebruik zal blijven maken van het inloggen via BSN. Voorwaarde is wel dat de communicatie rondom het inloggen duidelijk blijft en waar mogelijk nog duidelijker wordt. Bijvoorbeeld aangeven bij de start van de enquête dat de monitor absoluut anoniem is. Ook studentenraden kunnen een actieve rol spelen bij het informeren van hun achterban over de anonimiteit van de JOB-monitor. b. Een vervelende bijkomstigheid van de inlogfaciliteit van DUO was dat als studenten tweemaal op de verder knop drukte, ze tien minuten moesten wachten. Dit kwam omdat er geen tussenpagina zichtbaar werd tussen de tijd dat de student van de inlogpagina naar de vragenlijst werd gestuurd. Voor het systeem was de student dus al actief bezig in de vragenlijst, en men kan niet twee keer de vragenlijst activeren. Daarom logde het systeem de student bij het geval van meerdere doorklik pogingen weer uit en moest de student 10 minuten wachten. Jettie gaat vragen aan DUO of

4 hiervoor een oplossing voor gevonden kan worden in de vorm van een tussenpagina of zandloper oid. Actiepunt 2 c. Jettie vraagt of in de communicatie naar studenten toe misschien niet meer gesproken moet worden van BSN-nummer maar van onderwijsnummer. In principe zijn deze nummers hetzelfde. De leden van het gebruikersplatform geven aan dat dit geen goed idee is, en dat je vooral eerlijk en duidelijk moet zijn naar de student toe. Het inloggen met het BSN zal dus blijven zoals het nu is, en de communicatie hierover zal waar mogelijk nog worden aangescherpt. Databestanden en rapportages: 9. Uit de evaluatieformulieren blijkt vooral dat gebruikers tevreden zijn over de aangeleverde databestanden. Zoals eerder aangegeven worden de definitieve instellingsrapportages en bestanden vaak ter controle van de voorlopige databestanden gebruikt. Maar de voorlopige cijfers zijn dan vaak al teruggekoppeld naar de teams en/of CvB. Ondanks dat de er vooral gebruik wordt gemaakt van de voorlopige databestanden zijn de meningen binnen het platform verdeeld over het aanleveren van één definitief databestand dat dan eerder geleverd zal worden. Zie hiervoor ook punt Online tool: a. Jettie geeft aan hoe de keuze voor OiG vorig jaar is gemaakt. Omdat er veel ontevredenheid was over KIWI wilde JOB een andere tool die ook door studenten gebruikt kon worden. Met een team van nieuwe medewerkers is in overleg met het bestuur van JOB besloten om met OiG in zee te gaan. Zij gaven aan de data op een gebruiksvriendelijke manier te kunnen weergeven. Toen bleek dat dit alleen op instellingsniveau mogelijk was en dat de gebruikers hier nauwelijks wat aan hadden is er gekeken naar een oplossing. Uiteindelijk is het ook mogelijk om opleidingsrichtingen per instelling te vergelijken. Omdat de online tool in een korte tijd enorm is ontwikkeld zijn er een aantal kinderziektes die nog verholpen moeten worden. Zo worden op dit moment nieuwe controles op de data uitgevoerd. Uit eerdere controles bleek dat zo n 10 tot 15% van de data niet goed was ingeladen. Gek genoeg waren dit geen structurele fouten, waardoor de controles extra lang duurden. Momenteel zijn de laatste controles uitgevoerd en alles moet nu kloppen. b. Grootste bezwaar dat in de evaluatieformulieren wordt meegegeven is dat de labels per school er niet in staan. Jettie legt uit dat dit een gevolg is van de keuze die JOB heeft gemaakt voor OiG. Er komen in de toekomst dus ook geen labels in. Tijdens de bijeenkomst van het gebruikersplatform op 14 januari is al duidelijk gemaakt dat het niet gaat lukken om labels in de tool toe te voegen omdat niet elke instelling de zelfde labels aanlevert. Bovendien zijn er genoeg mogelijkheden om de resultaten per label op andere manieren er uit te halen. c. Clara Verblauw (Horizon College) vraagt zich af of studenten wat hebben aan de manier waarop de online tool nu is opgebouwd. Jettie geeft aan dat het project van de online tool niet af is en dat JOB hard bezig is om het werken met de tool onder de aandacht van studenten te brengen. Inmiddels is er een mailing naar alle studentenraden verstuurd waarin met een stappenplan wordt uitgelegd hoe studenten de tool kunnen gebruiken en informatie hieruit kunnen halen ten behoeve van het samenstellen van speerpunten. Ook hebben alle studentenraden een

5 Promotie JOB-monitor inlogcode en een landelijk rapport ontvangen. Het stappenplan is ook terug te vinden op de portal. 11. Het promotiemateriaal dat JOB levert om de JOB-monitor onder de aandacht te brengen wordt wel gebruikt, maar de meeste instellingen geven aan dat de voornaamste reden van de bekendheid van de JOB-monitor onder studenten is dat de monitor klassikaal wordt ingeroosterd. Verreweg de meeste instellingen roosteren de monitor klassikaal in. De posters en het online filmpje worden wel gebruikt, maar hebben volgens de meesten weinig effect. Jettie geeft aan dat de bestuursleden van JOB wel vaak hebben teruggekregen dat studenten JOB herkennen van de JOB-monitor met die olifant. De olifant als symbool voor de JOB-monitor is erg geslaagd, vinden ook de instellingen. Gesuggereerd wordt dat de JOBmonitor olifant ook in 2016 goed gebruikt kan worden. Anne-Marie Gootjes (Mediacollege) geeft aan dat wat betreft social media er nog wel meer kan gebeuren met de JOB-monitor. Jettie is het met haar eens en geeft aan dat hier in 2016 nog meer aandacht naartoe zal gaan. 12. De landelijk rapportage is inmiddels naar alle studentenraden verstuurd. Andere geïnteresseerden hebben op de landelijke presentatie een exemplaar gekregen. Het is altijd mogelijk om rapporten op te vragen bij JOB en inmiddels is dit ook al gebeurd. Op de website van JOB staat ook hoe je een exemplaar kan aanvragen. 13. De bijeenkomsten rond de JOB-monitor: a. De kick-off was een leuke middag, maar niet meer dan dat. Voor de instelling waar de kick-off wordt georganiseerd is het leuk en voor JOB zelf ook als exposure. Maar er begint een onderzoek is niet echt nieuws en de rest van de instellingen krijgen weinig mee van de kick-off. b. Op de landelijke presentatie is alom positief gereageerd. Het was een goede bijeenkomst met veel studenten en beleidsmakers waarbij er veel aandacht ging naar de inhoud. Presentatie en locatie waren goed geregeld. 14. W.V.T.T.K.: a. Vanuit het platform wordt gevraagd of andere instellingen de vraag over toetsing gebruiken voor de examinering. Andere leden geven aan dat zij voor de beoordeling van de examinering gebruik maken van eigen vragenlijst omdat studenten bij het beantwoorden van vragen geen onderscheid maken tussen tussentijdse toetsen en examens. b. Er wordt gevraagd of er wel eens door ResearchNed is gekeken naar een verband tussen respons en tevredenheid. ResearchNed geeft aan dat dit niet het geval is. Vervolgens komt de vraag of er dan wel eens is gekeken naar regionalisering. ResearchNed geeft aan dat dit niet in de analyse zit omdat zeker de grote instellingen niet tot één regio gerekend kunnen worden. c. Jettie geeft aan dat het voor JOB en ResearchNed belangrijk en waardevol is geweest om op via het gebruikersplatform feedback te krijgen op het verloop van het project. Daarnaast is het gebruikersplatform ook bedoeld om zelf zaken aan te kaarten, elkaar vragen te stellen en zelf een agenda te maken. Omdat de agenda vaak al alle

6 onderwerpen die op dat moment relevant waren bevatte, kwamen er weinig agendapunten vanuit de leden zelf. Jettie benadrukt dat het ook belangrijk is dat iedereen op de bijeenkomst aanwezig is. De meesten aanwezigen zijn altijd aanwezig, maar voor sommige leden geldt dat er op het laatste moment werd afgezegd, hoewel de data al aan het begin van het jaar bekend waren. Jettie geeft aan dat dit voor het komende platform niet wenselijk is. d. Jettie bedankt tot slot iedereen voor de komst naar het gebruikersplatform het afgelopen jaar. Actiepunten: 1. JOB organiseert een bijeenkomst waarin de vragenlijst besproken en herzien wordt (gepland op eind okt/begin nov). 2. Met DUO wordt een oplossing besproken voor het 10 minuten wachten als je te snel doorklikt. Wie? JOB JOB