EFFECTMETING TAALBELEID. Matthijs Eijgelshoven Projectmanager taalbeleid Dienst Studentenzaken

Transcriptie

1 EFFECTMETING TAALBELEID Matthijs Eijgelshoven Projectmanager taalbeleid Dienst Studentenzaken 1

2 STELLING 1 Als iets geen effect heeft, moet je ermee stoppen. 2

3 STELLING 2 Als een taalinterventie (coaching, bijles, digitale ondersteuning, taalontwikkelend lesgeven) geen meetbaar effect heeft, moet je ermee stoppen. 3

4 WIE BEN IK? Projectmanager taalbeleid Hogeschool van Amsterdam Lid Nederlands/Vlaams Platform Taalbeleid Hoger Onderwijs 10 jaar hbo-docent (Engels, communicatie, taalbeheersing, NT2) Visie: ontwikkelings- en beroepsgericht taalbeleid 4

5 EFFECTMETING Effectmeting veronderstelt: twee identieke groepen een maakt deel uit van de taalinterventie de ander maakt geen deel uit van de taalinterventie Dit is in de onderwijspraktijk zelden mogelijk. 5

6 WAT GA IK VERTELLEN? Drie ervaringen met onderzoek naar effecten taalactiviteiten Wat wil je meten? Op welke niveau wil je meten? Bij wie wil je meten? Wanneer wil je meten? Tips Vragen welkom, ook tussendoor 6

7 DRIE ERVARINGEN 1 Taalspreekuur Rapport problemen en oplossingen Enquête achteraf Vragen gericht op onze doelen: Weet je welke fouten je maakt? Weet je hoe je die kunt voorkomen/ corrigeren? 7

8 DRIE ERVARINGEN 2 Taalontwikkelende projectlessen Docenten geënquêteerd Wandelgangenevaluaties Studenten via reguliere kwartaalonderzoeken Opdrachten en beoordelingen twee jaren vergeleken (nooit uitgevoerd) 8

9 DRIE ERVARINGEN 3 Beleidsnota, trainingen en instrumenten voor heel domein/hogeschool Studenten en docenten herhaaldelijk enquêteren Managers interviewen Resultaten verschillende jaren vergelijken 9

10 WERKGROEP EFFECTMETING NVPTHO Tine Van Houtven Hilde Rombouts Veerle Schuyten Radha Gangaram Panday Matthijs Eijgelshoven Met dank aan: Luk Indesteege Stafmedewerker Dienst Kwaliteit Katholieke Hogeschool Limburg 10

11 WAT WIL JE METEN? Doelen bereikt? Formuleer doelen SMART: Specifiek (concreet) Meetbaar (met een duidelijke meetschaal) Aanvaard (door studenten, docenten, managers) Relevant (van toepassing op opleiding en beroep) Tijdsgebonden (snel aansluitend bij het leerpoces) 11

12 WAT WIL JE METEN? 1. Een goede taalbeheersing is noodzakelijk om (later) mijn beroep goed te kunnen beoefenen. Helemaal niet mee eens Helemaal mee eens 3. Mijn docenten benadrukken het belang van een goede taalvaardigheid. Nee, nooit Ja, altijd 4. Ik krijg feedback op mijn taalgebruik bij de teksten die ik bij docenten inlever. Nee, nooit Ja, altijd 12

13 OP WELK NIVEAU WIL JE METEN? Niveau Wat meet je? Waarmee meet je? 1 Reactie Reactie/tevredenheid deelnemers 2 Leerresultaat Kennis/vaardigheden deelnemers Vragenlijst (happy sheet) Praktijkproef, toets 3 Gedrag Toepassing van het geleerde Observatie, producten verzamelen 4 Werkomgeving Consequenties voor beroep 360 -beoordeling, reviewgroep, interview 13

14 OP WELK NIVEAU WIL JE METEN? 5: rendement/imago 4: taalgebruik 3: taalcompetentie in vak 2: slaag% op testen 1: gewaardeerde acties 5: organisatieresultaten 4 : effect op de werkplek 3: groei competenties 2: testresultaten 1: happy sheets 14

15 BIJ WIE WIL JE METEN? Doelgroep van de interventie: docenten, studenten Gebruikers: docenten, studenten, stagebegeleiders, werkveld Leidinggevenden: management, coördinatoren Begeleiders van de interventie: trainers, coaches, projectteam 15

16 WANNEER WIL JE METEN? Aan het einde van een interventie Gedurende een interventie +/- 3 maanden na de interventie Voor de interventie begint 16

17 TIPS SUCCESVOLLE EVALUATIE Weet wat je meet: omschrijf je doelen SMART. Evalueer op verschillende momenten: voorafgaand, tijdens en achteraf. Evalueer op verschillende niveaus: 1. reactie, 2. leerresultaat, 3. gedrag, 4. werkomgeving. 17

18 TIPS SUCCESVOLLE EVALUATIE Evalueer bij verschillende personen: doelgroep, leidinggevenden, omgeving, trainer/uitvoerder. Maak een stappenplan voorafgaand aan de eerste evaluatie/meting. 18

19 TIPS SUCCESVOLLE INTERVENTIE Betrek de omgeving bij de interventie (docenten van de vakken waar studenten resultaten moeten laten zien, begeleiders op stageplaatsen, enz.) Zorg dat doelgroep en omgeving weten wat het doel van je interventie is, en dat je dat meet. Dit motiveert en laat mensen bewust handelen. 19

20 20