Onderwijsevaluaties UHasselt 2013-2014
Agenda Context Methodologie & instrumenten Vragenlijst opleidingsonderdelen Tijdspad Rapportage Volgende stappen 2
Nood aan optimalisatie van onderwijsevaluatie Nakende instellingsreview analyse bestaande instrumenten Vaststellingen Kwantitatieve instrumenten (enquêtes) veelheid aan vragen en templates analyses en conclusies op instellingsniveau niet mogelijk geen opvolging van evoluties in de tijd geen vergelijking van percepties van de verschillende stakeholders geen overzichtelijke rapporten met alarmfuncties Kwalitatieve instrumenten Vooral (enkel) op OPO niveau Nood aan verbetering Coherent enquêteringssysteem om kwaliteit van onderwijs op verschillende niveaus op te volgen: Instelling Opleiding Opleidingsonderdeel Lesgever Mening bij de verschillende stakeholders Studenten Personeel Afgestudeerden/alumni Werkveld (o.m. stage bedrijven) Uitbreiden van instrumenten, o.a. ontwikkelen van generieke vragenlijsten met signaalfunctie naar 3 verschillende actoren
Methodologie Uitbreiden van vragenlijsten & ontwikkelen van generieke vragen met signaalfunctie naar verschillende actoren Gestandaardiseerde vragenlijsten Vaste antwoordcategorieën Onderwijs- en internationaliseringsbeleid als kader Koppeling met databank en studiegids Aparte systeem voor doceergedrag Matrix rubrieken / soorten! Gepaste rapportering naar actoren 6-puntenschaal & geen mening/nvt grenswaarden gedefinieerd met stat uniforme vergelijking tussen verschillende rubrieken en vragenlijsten Speerpunten beleidsplannnen (academische, professionele & internationale gerichtheid) Signaalfunctie: opvolgen van evolutie in de loop van modeltraject Negatieve antwoorden neg. betekenis Koppeling met: de te bereiken eindcompetenties de vooropleiding van de student de begrote studietijd van OPO Mogelijkheid tot verdere analyses Geen beoordeling van lesgevers in vragenlijst OPO aparte systeem voor doceergedrag vormt een luik van de beoordeling van de docenten 4
Aanmerkingen Ontsluiten van resultaten naar bevraagde doelgroep Signaalfunctie Algemene opstelling vragenlijsten Verder kwalitatief of kwantitatief onderzoek Opleidings-(onderdeel)specifieke vragen 5
TRIAL 2 3 4 5 Nog te bepalen OPO STUDENT OPLEIDING STUDENT OPLEIDING DOCENT OPLEIDING ALUMNI OPLEIDING WERKVELD OPO DOCENT DOCEER- GEDRAG RUBRIEK A. Doelstellingen & voorkennis x x x x x x B. Studeerbaarheid x x x x x C. Digitale leeromgeving x x x x x D. Studiemateriaal x x x x x E. Werkvormen x x x x x x F. Evaluatie x x x x x x G. Samenhang x x x H. Academische gerichtheid x x x x x x I. Professionele gerichtheid x x x x x x J. Internationale gerichtheid x x x x x x K. Studie- en trajectbegeleiding x x L. Kwaliteitszorg x x x M. Onderwijsorganisatie x x x x N. Infrastructuur x x x x O. Doceergedrag x P. Alumniwerking x Q. Keuze opleiding/instelling x R. Aanwerving / Tewerkstelling x x S. Betrokkenheid werkveld x Y. Algemene tevredenheid x x x x x x Y. Open invulvak x x x x x x x Z. Opleidingsspecifieke vragen x x x x x 6 x
Vragenlijst: OPO studenten RUBRIEK VRAAG A. Doelstellingen & A1 In de loop van de onderwijsperiode werd me duidelijk welke voorkennis eindcompetenties (d.i. kennis, inzicht, vaardigheden en attitudes) ik in dit opleidingsonderdeel moest verwerven. A2 Ik had voldoende voorkennis om dit opleidingsonderdeel te kunnen verwerken. B. Studeerbaarheid B1 De feitelijke studietijd (d.i. contacturen, zelfstudie ) was in verhouding met de begrote studietijd (zie info bovenaan). C. Digitale leeromgeving C1 Het gebruik van de digitale leeromgeving verhoogde de mate van interactie (discussieforum, feedback ) tussen studenten en docenten. D. Studiemateriaal D1 Het studiemateriaal (d.i. studieleidraad, blokboek, handboek, reader, cursustekst, syllabus, oefeningenbundel, info op digitaal leerplatform ) bood voldoende ondersteuning bij het studeren. E. Werkvormen E1 Er was voldoende variatie in werkvormen (hoorcolleges, werkzittingen, responsiecolleges, practica, begeleide zelfstudie alleen of in groep, projecten ). E2 De gebruikte werkvormen hebben mij geholpen om de beoogde eindcompetenties te verwerken. E3 Er werden voldoende werkvormen gebruikt die aanleiding gaven tot interactie. F. Evaluatie F1 Bij dit opleidingsonderdeel was duidelijk hoe de evaluatie zou gebeuren. F2 De beoordelingscriteria van het examen toetsten de beoogde competenties (d.i. kennis, inzicht, attitudes en vaardigheden) opgedaan tijdens dit opleidingsonderdeel. 7
F. Evaluatie F3 Er werd mij tijdens dit opleidingsonderdeel de mogelijkheid aangeboden om mijn vorderingen na te gaan (via vraagstelling aan de docent, oefeningen, discussiefora, tussentijdse (zelf)toetsen...). F4 Tijdens de onderwijsperiode kreeg ik voldoende feedback over mijn vorderingen. H. Academische gerichtheid H1 In dit opleidingsonderdeel heb ik kunnen kennismaken met recente ontwikkelingen in het vakdomein. H2 In dit opleidingsonderdeel heb ik kunnen kennismaken met onderzoeksmethoden. H3 In dit opleidingsonderdeel kreeg ik de gelegenheid om onderzoeksmethoden toe te passen. I. Professionele gerichtheid I1 Dit opleidingsonderdeel besteedde aandacht aan vaardigheden relevant voor het functioneren op de arbeidsmarkt of de uitoefening van het beroep. J. Internationale gerichtheid J1 In dit opleidingsonderdeel werd ik gestimuleerd tot het opdoen van buitenlandse ervaringen. J2 In dit opleidingsonderdeel werd ik gestimuleerd om in contact te komen met buitenlandse studenten. M. Onderwijsorganisatie M1 Dit opleidingsonderdeel was goed georganiseerd. N. Infrastructuur N1 De kwaliteit van de infrastructuur (leslokalen, ICT, labo s ) was goed. Y. Algemene tevredenheid Y1 Globaal genomen ben ik tevreden over dit opleidingsonderdeel. Y. Open invulvak Y2 Heb je nog bemerkingen bij dit opleidingsonderdeel? Z. Opleidingsspecifieke vragen Z1 Maximum 5 vragen toe te voegen door onderwijsteam Z2 Z3 Z4 Z5 Eindcompetenties Vragen: eindcompetenties Opleiding 8
Overzicht bevragingscyclus en momenten Doelgroep Onderwerp Bevragingscyclus Moment Student Tweejaarlijkse cyclus Student Opleiding Jaarlijks bij diplomastudenten Mei/juni Aan het einde van de onderwijsperiode Docent Opleiding Minimum om de 3 jaar: Mei/juni Midreview - ZER Alumni Opleiding Afstuderen + 3 jaar / + 6 jaar Door de opleiding te bepalen Werkveld Opleiding Om de 6 jaar Door de opleiding te bepalen Docent Opleidingsonderdeel Opleidingsonderdeel Tweejaarlijkse cyclus Student Doceergedrag Jaarlijks over alle docenten van betreffende opleidingsonderdelen Parallel met studentenbevraging opleidingsonderdeel Januari + juni 9
Voorlopige Rapporten 3 verschillende rapporten: 1. Detailrapport: weergave van proporties, gemiddelde, mediaan, standaarddeviatie, responsgraad en aanduiding kritische waarde in staafdiagram 2. Profiellijnrapport: weergave van proporties, gemiddelde, mediaan, standaarddeviatie, responsgraad en aanduiding kritische waarde per rubriek d.m.v. profiellijnen 3. Dashboard: highlevel weergave van proporties per rubriek per vragenlijst in taartdiagram 10
Voorbeeld: detail rapport (1) 11
Voorbeeld: profiellijn rapport (2) 12
Voorbeeld: dashboard rapport (3) Naam opleidingsonderdeel 13
OPO STUDENT OPLEIDING STUDENT OPLEIDING DOCENT OPLEIDING ALUMNI OPLEIDING WERKVELD OPO DOCENT DOCEER- GEDRAG Matrix: rapportage van resultaten aan actoren 1 2 3 4 5 Nog te bepalen Voor wie is de vragenlijst bestemd? Studenten Studenten Docenten Alumni Werkveld Docenten Studenten Wie krijgt de resultaten van de bevraging? Studenten x x Docenten van opo/opl. x x x x x Co-titularis x x x Coördinerend verantwoordelijke x x x OMT leden x x x x x x OMT- voorzitter x x x x x x x Docentenevaluatiecommissie x Decaan faculteit x x x x x x Werkveld x Alumni x Instelling x x x x x x x
Ondersteuning bij implementatie Toelichting van nieuwe onderwijsevaluatiesysteem in faculteiten Handleiding voor SLB: opzetten onderwijsevaluatie Handleiding voor OMT/Coördinerend verantwoordelijke: onderwijsevaluatie opleidingsonderdeel voor studenten 15
Volgende stappen Trial Validatie Implementatie IMPLEMENTATIE VRAGENLIJSTEN 2013 2014 Q4 Q1 Q2 Q3 Q4 Student OPO T V I Alumni Opleiding T V I Werkveld Opleiding T V I Student Opleiding T V I Docent Opleiding T V I Docent OPO Student Doceergedrag 16