Onderzoeksvaardigheden onderzocht Kanttekeningen bij onderzoeksvaardigheden in het hbo

Maat: px

Weergave met pagina beginnen:

Download "Onderzoeksvaardigheden onderzocht Kanttekeningen bij onderzoeksvaardigheden in het hbo"

Geert Beckers
6 jaren geleden
Aantal bezoeken:

1 Onderzoeksvaardigheden onderzocht Kanttekeningen bij onderzoeksvaardigheden in het hbo Cor Sluijter Directeur Psychometrie en Onderzoek Cito 6 april 2017

2 Vraag BKE? SKE?

3 Opzet en introductie Opzet vanuit de vraag: Wat zou relevante informatie over onderzoeksvaardigheden kunnen zijn vanuit mijn invalshoek? Over mij Over het construct Over assessment van onderzoeksvaardigheden Kanttekeningen Vragen/discussie

4 Over mij Methodoloog (UvA) 32 jaar Cito Laatste 3 jaar Psychometrie & Onderzoek Daarvoor 10 jaar mbo, ho, bedrijfsleven Voorzitter NVE Commissie Bruijn (Sluijter & Straetmans 2012), Examens in het hbo; kwaliteitseisen en kwaliteitsborging

5 Expertgroepen Expertgroep BKE/SKE ( Verantwoord toetsen en beslissen ): Vergroten toetsdeskundigheid in het hbo Wat moeten examinatoren kennen en kunnen? Kunnen opleidingen dat borgen in termen van leeruitkomsten en bijbehorende indicatoren? Welke beoordelingscriteria voor bewijslast deskundigheid? Expertgroep Protocol ( Beoordelen is mensenwerk ): Protocol(len) voor (kern)werkstukken mogelijk? Kwaliteitseisen

6 Het construct Praktijkgericht onderzoek (Andriessen (2014): Ingegeven door beroepspraktijk Uitkomst draagt bij aan beroepspraktijk Geen hbo-onderzoek, maar onderzoek in het hbo

7 Het construct (II) Onderzoekend vermogen (HBO-raad 2009): Onderzoekende houding Toepassen bestaande kennis Zelf onderzoek doen Moet leiden tot: Reflectie Evidence based practice Innovatie

8 Het construct (III) Methodische grondigheid Praktische relevantie Goed versus slecht onderzoek? Consequenties van de uitkomsten! Extraordinary claims require extraordinary proof Uit: Andriessen (2014) p. 41

9 Het construct (III) Methodische grondigheid Praktische relevantie Uit: Andriessen (2014) p. 41

10 Het construct? Geen enkelvoudige vaardigheid Het gaat eigenlijk om: Kennis Vaardigheden Attitudes/persoonlijke eigenschappen Hoe valt dat het best te meten?

11 Is beoordelen mensenwerk? of namaak?

12 Titel

13 Operationaliseren en trainen Onbewust: Mondhoeken omhoog Ogen worden kleiner Wenkbrauwen zakken! Ruimte tussen wenkbrauw en ooglid kleiner! Uiteinden wenkbrauwen zakken extra Facial Action Coding System (FACS) (Ekman, Friesen & Davidson, 1978)

14 Beoordelen is niet altijd mensenwerk Sebe, (UvA, 2005): FACS software: 2 % Boosheid 6 % Angst 9 % Afkeer 83 % Blijdschap

15 Beoordelen is niet altijd mensenwerk

16 Daarom! Maar ook, vanwege Backwash-effect/Pre-assessment effect: Studenten anticiperen in hun leergedrag op de verwachte inhoud van assessments Post-assessment effect: Studenten kunnen gericht leren naar aanleiding van feedback op basis van een assessment True-assessment effect: Studenten leren tijdens een assessment

17 Afstudeerprogramma s Xxx Yyy Zzz Uit: Sluijsmans e.a. (2014) p. 18

18 Assessment onderzoeksvaardigheden Expertgroep Protocol: Beoordelen is mensenwerk (o.m.): Afstudeerprogramma s zeer divers Assessment beroepsbekwaamheid via scala aan methoden Kwaliteit beoordeling: kwaliteit examinator

19 Scala aan methoden Met dank aan Gerard Straetmans

20 Kwaliteit examinator Kwaliteit assessor: Bekendheid met beoordelaarseffecten Training/Kalibratiesessies/Ankers Docent Assessor? Méér dan 1 assessor Kwaliteit Examinator: BKE/SKE

21 Assessment onderzoeksvaardigheden Kennis (BoK): Klassiek toetsen en voorwaardelijk Vaardigheden: Formatief: learning by doing Standaard onderzoeksopdrachten Eindscriptie: helemaal summatief? Houding: leerbaar?

22 Als iedereen het eens is? Welke tegel is donkerder, A of B? A B A = B

23 Kanttekeningen Deskundigheid assessoren en examinatoren is essentieel BKE/SKE Nederlandse Vereniging voor Examens Masteropleiding Toetsdeskundige Fontys (vanaf 2016) Methodenmix is noodzakelijk! Cijfers geven Scripties Het eindwerkstuk

24 Cijfers geven Meetschalen: Nominaal Ordinaal Interval Ratio Het middelen van cijfers ihkv beoordeling is raar Beter: zwak; onvoldoende; voldoende; goed

25 Scripties Advalvas magazine 2016: Herbeoordeling scripties bij Geesteswetenschappen 3 Hoogleraren; 3 sets van 9 topscripties ( 9) Afkomstig uit ; ; Geanonimiseerd en tijdloos gemaakt Oorspronkelijk 9,1; herbeoordeling 7,5 Een 9 is geen 9 meer

bewijsstukken (bijna) een geslaagd eindwerkstuk

26 Het eindwerkstuk Het afstudeerprogramma zou zodanig moeten worden vorm gegeven dat eerder verzamelde bewijsstukken (bijna) een geslaagd eindwerkstuk garanderen. Dat is zo bij het afzwemmen en bij promoties

27 Résumerend Essentieel: Deskundigheid assessoren Deskundigheid examenontwikkelaars Expertgroepen geven richting; Scholen aan zet Mix van methoden Niet te fijnmazig beoordelen Eindwerkstuk Behalen zwemdiploma

28 Literatuur Bal, F (2016). Het grote Advalvas scriptieonderzoek. Advalvas Magazine 2. Geraadpleegd op Andriessen, D. (2014) Praktisch, relevant én methodische grondig? Dimensies van onderzoek in het hbo. Openbare les 10 April Geraadpleegd op Commissie externe validering examenkwaliteit hoger beroepsonderwijs (2012). Vreemde ogen dwingen. Den Haag: HBO-raad. Expertgroep BKE/SKE (2013) Verantwoord toetsen en beslissen in het hoger beroepsonderwijs - een voorstel voor een programma van eisen voor een basis- en seniorkwalificatie examinering (BKE/SKE). Den Haag: Vereniging Hogescholen. Expertgroep Protocol (2014). Beoordelen is mensenwerk. Bevindingen over de wenselijkheid en mogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern)werkstukken. Den Haag: Vereniging Hogescholen. HBO- raad. (2009). Kwaliteit als opdracht. Geraadpleegd op Sluijsmans, D., Andriessen, D., Sporken, S., Dijkstra, A &Vonk, F. (2014) Goed beslissen over beroepsbekwaamheid in het hbo. Tijdschrift voor Onderwijsinnovatie, 3, Sluijter, C & G.J.J.M. Straetmans (2012). Examens in het hbo; kwaliteitseisen en kwaliteitsborging. Geraadpleegd op

Vergelijkbare documenten

Delen aanpak en lessons learned

Delen aanpak en lessons learned Proces: team en aanpak om dit te realiseren Conceptueel model: beoordeling beroepsbekwaamheid a.h.v. authentieke beroepsproducten en prestaties Positioneren en proportioneren