Selectie aan de poort

Maat: px

Weergave met pagina beginnen:

Download "Selectie aan de poort"

Nele van der Ven
9 jaren geleden
Aantal bezoeken:

1 Selectie aan de poort Nonsens of een goed idee? Cor Sluijter Directeur Psychometrie en Onderzoek Cito

2 Overzicht Een persoonlijke noot Wat geschiedenis Wetenschappelijke en technische achtergronden Enkele kanttekeningen Conclusies

3 Persoonlijke noot Mijn Citotoets Mijn studiekeuze

4 Geschiedenis

5 Het Chinese examensysteem (1046 v.chr ) Boogschieten Niets nieuws onder de zon Paardrijden Muziek Ceremoniële kennis Rekenen Taal Honderden examenhokjes Examenterrein met 7500 Nanking, China. cellen,guangdong , National Geographic Society.

6 China s examenhel

7 Wetenschappelijke en technische achtergronden

8 Het probleem Ah, ik zie het al, directeur psychometrie en onderzoek bij Cito

9 Anders gezegd Oud Deens spreekwoord: Voorspellen is moeilijk, vooral als het de toekomst betreft (ook toegekend aan Mark Twain, Niels Bohr, Wim Kan en anderen)

10 Een oplossing Objectieve informatie & en een actuariële benadering

11 Het recept - Selecteer in jaar x-1 gegevens (predictoren) die succes van kandidaten in een opleiding voorspellen - Kies een criterium dat dit succes operationaliseert - Onderzoek de empirische samenhang tussen de predictoren en dit criterium door de kandidaten te volgen - Stel een selectieregel vast en pas deze toe in jaar x; maximaliseer daarbij de utiliteit van de beslissingen (Neem daarbij aan dat de situatie stabiel is)

12 1. Selecteer gegevens Wat voor gegevens? Motivatie? Intelligentie? Schoolcijfers? Resultaten op het eindexamen?

13 2. Kies een criterium Score? (aantal ECTS) Dichotoom? (behaald vs niet behaald) Polytoom? (onvoldoende/voldoende/goed)

14 3. Bepaal de samenhang Via lineaire regressie-analyse: C = a + i=1 n b i x i Via logistische regressie-analyse: n C = e(a+ i=1 bi x i ) 1+e (a+ n i=1 bi x i )

15 4. Stel de selectieregel vast Normaal gesproken compensatorisch: Grensscore bepalen: RA: LRA:

16 5. Maximaliseer de utiliteit Wat is erger; I afwijzen van studenten die het zouden redden, of II selecteren van studenten die het niet redden? Als I: relatief lage grensscore; milde selectieregel Als II: relatief hoge grensscore; strenge selectieregel

17 Studiesucces Falen Slagen Valse negatieven Ware positieven Ware negatieven Afwijzen Aannemen Selectieregel Valse positieven

18 Mild versus streng Mild/Sociaal Streng/Egocentrisch

19 Dus is het eenvoudig om het rendement van een opleiding te verhogen Selectieratio: 0,05: 5 van de 100 kandidaten geselecteerd: (bijna) geen valse positieven, maar veel valse negatieven Echter

20 Kanttekeningen (niet uitputtend )

21 Kanttekeningen bij predictoren Beperkte voorspellende waarde Backwash Ontwikkelkosten van instrumenten

22 Studiesucces Falen Slagen Beperkte voorspellende waarde Valse negatieven Ware positieven Ware negatieven Valse positieven Afwijzen Aannemen Selectieregel

23 Backwash Predictoren raken bekend en er kan voor getraind (intakegesprek) of betaald (motivatiebrief) worden

24 Ontwikkelkosten Het ontwikkelen van nieuwe selectie-instrumenten is een kostbare aangelegenheid

25 En het criterium? Hoe ver in de toekomst? Stabiliteit Dit is wat de opleiding mist ziet

26 Wat werkt en wat werkt niet als predictor? Wat werkt? Prestaties op het eindexamen Work-sample -tests (college/boek tentamen) Wat werkt (waarschijnlijk) niet? Motivatiebrieven Intakegesprekken

27 Base rate en selectieratio Niessen & Meijer (2015; TvHO, 33 (4) 4-19) Naast voorspellende waarde zijn bij selectie ook de base rate en de selectieratio van belang: r 0,3; BR 0,8; SR 0,3 0,8 (streng): (mild): rendement 0,92 0,85 (28/30) (68/80) 12% 68% BR=0,8 52% 28% 8% 12% 18% 2% SR=0,8 SR=0,3

28 Extra probleem

29 Conclusies

30 Twee noodzakelijke voorwaarden + Valide selectieprocedure

31 Overwegingen (Transparantie) (Fraude) Valide Selectieprocedure Multicollineariteit Uitvoerbaarheid Base rate Backwash Beperkte voorspellende waarde Selectieratio Stabiliteit v.h. criterium (Ethische overwegingen)

32 Het ontwikkelen van een goede selectieprocedure is lastig en tijdrovend. Bovendien moet de procedure gevalideerd worden. Het is de vraag of de kosten van dit alles wel opwegen tegen de baten, zeker bij een hoge base rate en/of lage selectieratio. Mogelijk zijn er meer kostenefficiënte manieren om het rendement te verhogen: Het geven van betere voorlichting over de inhoud van een opleiding Selectie ná de poort (via BSA s) Het instellen van (nog meer) brede, generieke bachelorstudies

33 Dank voor uw aandacht!

Vergelijkbare documenten

Selectie aan de poort: zinvol of onzin?

Onderwijs Selectie aan de poort: zinvol of onzin? De afgelopen tijd staat het rendement van het hoger onderwijs weer volop in de belangstelling. De feiten lijken voor zich te spreken: een fors percentage