Wat doet C.H.O.I. met de resultaten van de NSE? Slotbijeenkomst Nat Stud Enquête (NSE) 2013 Utrecht, 6 juni 2013 Frank Steenkamp

Maat: px

Weergave met pagina beginnen:

Download "Wat doet C.H.O.I. met de resultaten van de NSE? Slotbijeenkomst Nat Stud Enquête (NSE) 2013 Utrecht, 6 juni 2013 Frank Steenkamp"

Gerrit van der Meer
8 jaren geleden
Aantal bezoeken:

1 Wat doet C.H.O.I. met de resultaten van de NSE? Slotbijeenkomst Nat Stud Enquête (NSE) 2013 Utrecht, 6 juni 2013 Frank Steenkamp

2 Outline: 1. Historie 2. Onze principes m.b.t. NSE 3. Toepassing in. KEUZEGIDS 4. Toepassing in. BENCHMARKING 5. Actuele highlights 6. Discussie

3 1. Historie 1991: Start Keuzegids - embryonale NSE - schriftelijk 1995: Keuzegidsenquête - met rapportcijfers - telefonisch 2003 : CHOICE: officiële start NSE. Disciplinecyclus 2007 : 30 oordeelsvragen. Voor het eerst deels webbased 2009 : NSE onder regie Studiekeuze123. => 100 vragen 2010 : NSE vernieuwd: landelijk dekkend. 5-puntsschaal 2013: Nog nieuwer!

4 2. Principes MISSIE: Onafhankelijk BESCHRIJVEN VERGELIJKEN BEOORDELEN voor breed publiek Rapportcijfers studiesteden 9 Uitgaansleven Kameraanbod Ensch. Maastr. Gron. A'dam Dit betreft: ARBEIDSMARKT TOELATING KOSTEN INHOUD PRESTATIES KWALITEIT

5 (2. Principes) EERLIJK vergelijken / beoordelen: Criteria relevant en evenwichtig Betrouwbaar Actueel Uniform HELDER presenteren: Begrijpelijke dimensies Eenvoudig, beknopt, overzichtelijk Herkenbare indeling (verwante groepen) Maar wat betekent dat allemaal in praktijk?

6 3. Toepassen op NSE en Keuzegids >Thema s 15 thema s = overkill Leuk voor onderzoek en kwaliteitszorg Niet nodig voor eerlijk meten van verschillen Te veel voor heldere presentatie Dus: reductie tot hoofdzaken

7 3. Toepassen KG: THEMA s 2007 : Opleidingen vergeleken in 3-voud: Grafiek Studiesucces Tab. Deskundigenoordeel (10 criteria) Tab. Studentenoordeel (10 criteria) Keuzegids studentenoordeel 2007: 10 criteria, 10-puntsschaal, 1 dec. 600 miljard combinaties mogelijk..

8 2009 : Enorme datareductie Alles in één geïntegreerde ranking 40% prestaties: 3. Toepassen KG: THEMA s Uitval, succes, contacturen, groepsgrootte 10% deskundigenoordelen Want grillig, weinig actueel 50% studentenoordelen 5 kolom, 7-pts Nog maar combinaties mogelijk!

9 3. Toepassen KG: THEMA s 50% studentenoordelen: mooie balans. Actueel en veelzijdig, maar 5 thema s was genoeg Helaas : Weg NSE-vragen contacturen, groepsgrootte tijdelijk 70% studentenoordelen, 7 thema s ( bij masters 10 vd 15) De KERN: kwaliteit vd opleiding NIET: kamers, sport, infopunt, sfeer, roosters WEL: 30% Inhoud, 20% Praktijk, 20% Organ/Facil. 33 vd 100 NSE oordeelsvragen benut

10 3. Toepassen KG: BETROUWBAARHEID >Wanneer is oordeel betrouwbaar? Serieuze respondenten: Extra cleaning: 85% v onze vragen beantwoord. (doet 90%) Strenge eisen betrouwbaarheidsmarge: < 0,25 (sk123 zegt < 0,50) Vereist MEESTAL steekproef > 25 (sk123 soms 10) Dit is NOODZAAK, voor eerlijk vergelijken!

11 3. Toepassen KG: BETROUWBAARHEID En vervolgens tonen wij de oordelen zo: Scores staan voor verschil met het landelijke hbo-gemiddelde Klassenbreedte ~ 0,25 = onze max betrouwbaarheidsmarge. We presenteren met dezelfde grofheid / precisie als we meten.

12 3. Toepassen KG: BETROUWBAARHEID Maar als de steekproef te klein is? Dan worden oordelen gebundeld: - 2-jarig gemiddelde - verwante opleidingen (bv leraren talen) Nog niet betrouwbaar? Dan ook geen oordeel.. en dan mailt een masteropleiding: JAMMER dat wij niet met een oordeel in uw gids staan. Terwijl wij als beste van Nederland uit de NSE komen! Steekproef? 7 studenten, waarvan 1 onvolledig.

13 3. Toepassen KG: BETROUWBAARHEID (on-)betrouwbaarheid betekent (in-)stabiliteit Je wilt geen rare toevals-fluctuaties. Niet voor Keuzegids, niet voor kwaliteitszorg.

14 3. Toepassen KG: BETROUWBAARHEID

15 3. Toepassen KG: VERGELIJKBAARHEID Voor de Keuzegids zijn alle oordelen RELATIEF! a. Door INDELING vergeleken met vakgenoten Eerlijker, want geen appels met peren b. Verschilscores dempen wijzigingen in vraagstelling e.d. Zoals: Wetenschappelijke vorming in 2011 HBO-breed verbeterd, door aangepaste vraagstelling. Wij meten score t.o.v. landelijke gemiddelde

16 3. Toepassen KG: VERGELIJKBAARHEID Complicatie (1): als enkele grote instellingen een jaar niet meedoen, raakt het landelijke gemiddelde uit balans Dit in 2011 opgelost: lege plekken HvA en Haagse Hs opgevuld met scores uit 2010 (maar.. wetenschappelijke vorming aangepast!) Complicatie (2): Door NAAMSWIJZIGING soms oordelen uit het verleden gewist. Terwijl ze nog zeker relevant zijn. Wij repareren die koppelingen, vrij fanatiek. Bv: VU bedrijfswiskunde & informatica <=> business analytics

17 3. Toepassen KG: CONCLUSIE Uit al deze kunstgrepen komt instellingsranking zonder woeste schommelingen, maar wel met interessante meerjarige trends.

18 4. Toepassingen in BENCHMARKING C.H.O.I. houdt zo ook geregeld opleidingen / instellingen een spiegel voor = BENCHMARKING - Vergelijkend met groep verwanten - Op handzame set thema s (9-10) - Met oog voor betrouwbaarheid, significantie een spiegel Zelfde knelpunten, zelfde oplossingen Alleen: - Veel meer detail - Meer visualisatie - Meer analyse

19 4. Toepassingen in BENCHMARKING

20 5. Toepassingen in BENCHMARKING Trend Totaaloordeel opleiding (vgl met verwante studies) 3,9 3,8 3,7 BE XX BE Land HBO totaal 3,6 3,5 3,4 3,3 3, Maar natuurlijk laat niet elke opleiding een zo mooie trend zien!

21 5. Toepassingen in BENCHMARKING Er zijn hele instellingen die je in 10 jaar ziet wegzakken als je maar goed de data combineert

22 5. Actuele HIGHLIGHTS NSE 2013 BENCHMARKING Goed nieuws: gestegen respons (40%) Hogere betrouwbaarheid Minder bundels nodig Minder lege plekken Ook goed nieuws: Alg. tevredenheid hbo stijgt (weer) licht WO blijft constant.

23 5. Actuele HIGHLIGHTS NSE Verrassend detail: HBO positiever wetensch. vorming (!) en kritischer over beroepsvoorbereiding. WO precies andersom! Straks is er geen verschil meer tussen die twee. Einde binair stelsel ;-)

24 5. Actuele HIGHLIGHTS NSE PRETTIG: terugkeer van vragen over contacturen en groepsgrootte. Wij vergeleken de resultaten met die uit Komt er iets vergelijkbaars uit? Nee, of toch. JA!

25 5. Actuele HIGHLIGHTS NSE Nee: gewijzigde vraagstelling geeft ruim hogere schattingen contacturen Maar is er wel een verband tussen laag-hoog TOEN en laag-hoog nu?

26 5. Actuele HIGHLIGHTS NSE JA, dat verband is verrassend sterk:

27 5. Actuele HIGHLIGHTS NSE Dit is veelzeggend. In 2009 konden we met 90% zekerheid de verschillen in contacturen 2013 voorspellen! Bewijst ook stabiliteit NSE-uitslagen algemeen. Toch een enkel knelpunt: Thema studiebegeleiding daalt, door meetellen afwijkende nieuwe vraag Thema informatievoorziening ook.

28 6. DISCUSSIE 1. Cijfers presenteren is politiek Doe t eerlijk, zorgvuldig, transparant Dus: - Selectie van vragen, schalen/thema s - Grafiek: keuze van assen en eenheden - Keuze van context (verwante studies) - Norm voor betrouwbaarheid Ga hierover discussie aan!

29 Vragen?

Vergelijkbare documenten

Revisie Keuzegids Universiteiten 2015

Revisie Keuzegids Universiteiten 2015 Voor u ligt een nieuwe analyse Keuzegids 2015 d.d. 5-11-2014. Deze vernieuwde analyse is tot stand gekomen wegens een grote rectificatie op de Keuzegids 2015 d.d.