Onderzoeksvaardigheden onderzocht Kanttekeningen bij onderzoeksvaardigheden in het hbo Cor Sluijter Directeur Psychometrie en Onderzoek Cito 6 april 2017
Vraag BKE? SKE?
Opzet en introductie Opzet vanuit de vraag: Wat zou relevante informatie over onderzoeksvaardigheden kunnen zijn vanuit mijn invalshoek? Over mij Over het construct Over assessment van onderzoeksvaardigheden Kanttekeningen Vragen/discussie
Over mij Methodoloog (UvA) 32 jaar Cito Laatste 3 jaar Psychometrie & Onderzoek Daarvoor 10 jaar mbo, ho, bedrijfsleven Voorzitter NVE 2009-2014 Commissie Bruijn (Sluijter & Straetmans 2012), Examens in het hbo; kwaliteitseisen en kwaliteitsborging
Expertgroepen Expertgroep BKE/SKE ( Verantwoord toetsen en beslissen ): Vergroten toetsdeskundigheid in het hbo Wat moeten examinatoren kennen en kunnen? Kunnen opleidingen dat borgen in termen van leeruitkomsten en bijbehorende indicatoren? Welke beoordelingscriteria voor bewijslast deskundigheid? Expertgroep Protocol ( Beoordelen is mensenwerk ): Protocol(len) voor (kern)werkstukken mogelijk? Kwaliteitseisen
Het construct Praktijkgericht onderzoek (Andriessen (2014): Ingegeven door beroepspraktijk Uitkomst draagt bij aan beroepspraktijk Geen hbo-onderzoek, maar onderzoek in het hbo
Het construct (II) Onderzoekend vermogen (HBO-raad 2009): Onderzoekende houding Toepassen bestaande kennis Zelf onderzoek doen Moet leiden tot: Reflectie Evidence based practice Innovatie
Het construct (III) Methodische grondigheid Praktische relevantie Goed versus slecht onderzoek? Consequenties van de uitkomsten! Extraordinary claims require extraordinary proof Uit: Andriessen (2014) p. 41
Het construct (III) Methodische grondigheid Praktische relevantie Uit: Andriessen (2014) p. 41
Het construct? Geen enkelvoudige vaardigheid Het gaat eigenlijk om: Kennis Vaardigheden Attitudes/persoonlijke eigenschappen Hoe valt dat het best te meten?
Is beoordelen mensenwerk? of namaak?
Titel
Operationaliseren en trainen Onbewust: Mondhoeken omhoog Ogen worden kleiner Wenkbrauwen zakken! Ruimte tussen wenkbrauw en ooglid kleiner! Uiteinden wenkbrauwen zakken extra Facial Action Coding System (FACS) (Ekman, Friesen & Davidson, 1978)
Beoordelen is niet altijd mensenwerk Sebe, (UvA, 2005): FACS software: 2 % Boosheid 6 % Angst 9 % Afkeer 83 % Blijdschap
Beoordelen is niet altijd mensenwerk
Daarom! Maar ook, vanwege Backwash-effect/Pre-assessment effect: Studenten anticiperen in hun leergedrag op de verwachte inhoud van assessments Post-assessment effect: Studenten kunnen gericht leren naar aanleiding van feedback op basis van een assessment True-assessment effect: Studenten leren tijdens een assessment
Afstudeerprogramma s Xxx Yyy Zzz Uit: Sluijsmans e.a. (2014) p. 18
Assessment onderzoeksvaardigheden Expertgroep Protocol: Beoordelen is mensenwerk (o.m.): Afstudeerprogramma s zeer divers Assessment beroepsbekwaamheid via scala aan methoden Kwaliteit beoordeling: kwaliteit examinator
Scala aan methoden Met dank aan Gerard Straetmans
Kwaliteit examinator Kwaliteit assessor: Bekendheid met beoordelaarseffecten Training/Kalibratiesessies/Ankers Docent Assessor? Méér dan 1 assessor Kwaliteit Examinator: BKE/SKE
Assessment onderzoeksvaardigheden Kennis (BoK): Klassiek toetsen en voorwaardelijk Vaardigheden: Formatief: learning by doing Standaard onderzoeksopdrachten Eindscriptie: helemaal summatief? Houding: leerbaar?
Als iedereen het eens is? Welke tegel is donkerder, A of B? A B A = B
Kanttekeningen Deskundigheid assessoren en examinatoren is essentieel BKE/SKE Nederlandse Vereniging voor Examens www.nvexamens.nl Masteropleiding Toetsdeskundige Fontys (vanaf 2016) Methodenmix is noodzakelijk! Cijfers geven Scripties Het eindwerkstuk
Cijfers geven Meetschalen: Nominaal Ordinaal Interval Ratio Het middelen van cijfers ihkv beoordeling is raar Beter: zwak; onvoldoende; voldoende; goed
Scripties Advalvas magazine 2016: Herbeoordeling scripties bij Geesteswetenschappen 3 Hoogleraren; 3 sets van 9 topscripties ( 9) Afkomstig uit 1998-2003; 2004-2008; 2009-2014 Geanonimiseerd en tijdloos gemaakt Oorspronkelijk 9,1; herbeoordeling 7,5 Een 9 is geen 9 meer
Het eindwerkstuk Het afstudeerprogramma zou zodanig moeten worden vorm gegeven dat eerder verzamelde bewijsstukken (bijna) een geslaagd eindwerkstuk garanderen. Dat is zo bij het afzwemmen en bij promoties
Résumerend Essentieel: Deskundigheid assessoren Deskundigheid examenontwikkelaars Expertgroepen geven richting; Scholen aan zet Mix van methoden Niet te fijnmazig beoordelen Eindwerkstuk Behalen zwemdiploma
Literatuur Bal, F (2016). Het grote Advalvas scriptieonderzoek. Advalvas Magazine 2. Geraadpleegd op www.advalvas.vu.nl/nieuws/het-grote-advalvas-scriptieonderzoek Andriessen, D. (2014) Praktisch, relevant én methodische grondig? Dimensies van onderzoek in het hbo. Openbare les 10 April 2014. Geraadpleegd op www.onderzoek.hu.nl) Commissie externe validering examenkwaliteit hoger beroepsonderwijs (2012). Vreemde ogen dwingen. Den Haag: HBO-raad. Expertgroep BKE/SKE (2013) Verantwoord toetsen en beslissen in het hoger beroepsonderwijs - een voorstel voor een programma van eisen voor een basis- en seniorkwalificatie examinering (BKE/SKE). Den Haag: Vereniging Hogescholen. Expertgroep Protocol (2014). Beoordelen is mensenwerk. Bevindingen over de wenselijkheid en mogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern)werkstukken. Den Haag: Vereniging Hogescholen. HBO- raad. (2009). Kwaliteit als opdracht. Geraadpleegd op www.vereniginghogescholen.nl Sluijsmans, D., Andriessen, D., Sporken, S., Dijkstra, A &Vonk, F. (2014) Goed beslissen over beroepsbekwaamheid in het hbo. Tijdschrift voor Onderwijsinnovatie, 3, 17-26. Sluijter, C & G.J.J.M. Straetmans (2012). Examens in het hbo; kwaliteitseisen en kwaliteitsborging. Geraadpleegd op www.vereniginghogescholen.nl