Methodologie voor Evaluatie en Certificatie

Transcriptie

1 Methodologie voor Evaluatie en Certificatie Augustus 2011 This project has been funded with support from the European Commission. This publication [communication] reflects the views only of the author, and the Commission cannot be held responsible for any use which may be made of the information contained therein LLP PT-GRUNDTVIG-GMP i

2 STRESSLESS Partners: Sociedade Portuguesa de Inovação Sara Brenão URL: Health Education Milada Krejčí URL: University of Nottingham Stavroula Leka URL: University of Patras Konstantinos Poulas URL: Letlandn Adult Education Association Sarmite Pilate URL: Association Européenne des Enseignants Jean-Claude Gonon URL: MBO Raad Manfred Polzin URL: Vedoma Olga Pregl URL: ASSOCIATED PARTNER: European Trade Union Committee for Education Susan Flocken URL: ETUCE_en.html Haute École d'ingénierie et de Gestion du Canton de Vaud Ariane Dumont URL: Vind meer over het project bij: ii

3 Inhoudsopgave 1. Executive Summary STRESSLESS Project Workshops Evaluation Procedure Reactie/Tevredenheid Leerproces Transfer Impact Certification Procedure Annexes Bijlage 1: Vragenlijst reacties en tevredenheid over het leerproces Deelnemers Bijlage 2: Reactie/Tevredenheid Trainers Bijlage 3: Kennisvel Bijlage 4: Vragenlijst transfer/impact iii

4 1. Samenvatting 1. Executive Summary 1

5 Het volgende document maakt deel uit van het STRESSLESS Project Verbetering van de stressbestendigheid van onderwijsgevenden. STRESSLESS streeft ernaar onderwijsgevenden en onderwijs- en opleidingsinstituten te voorzien van een nuttig, praktisch en gevalideerd middel (gids) om hun stressbestendigheid te verhogen en hun vaardigheden te versterken zodat ze op de juiste manier om kunnen gaan met de psychosociale risico's die in de onderwijssector voorkomen. Dit document, dat deel uitmaakt van het project, heeft als doel richtlijnen te presenteren betreffende de evaluatie- en de certificatieprocedures die toegepast worden tijdens de pilot-workshops van de gids. Structuur van het rapport De structuur van dit rapport is als volgt: hoofdstuk 1 is gewijd aan het presenteren van het project, Hoofdstuk 2 gaat over de presentatie van de workshops, hoofdstuk 3 legt de evaluatieprocedure uit en hoofdstuk 4 verklaart de certificatieprocedure. 2

6 2. STRESSLESS Project 2. STRESSLESS Project 3

7 Het verbeteren van het onderwijs en de scholing van onderwijsgevenden is als prioriteit vastgesteld in "Education and Training 2010 een werkprogramma van de Europese Commissie. Dit programma onderstreept het belang van het aantrekken en vasthouden van gekwalificeerde en gemotiveerde mensen in het onderwijsveld. De kwaliteit van het onderwijs en de scholing van onderwijzenden wordt gezien als een sleutelfactor om de te bereiken onderwijsniveaus te verhogen en de doelstellingen van Lissabon te bereiken 1. Gezien de nieuwe eisen die gesteld worden aan de beroepen in de onderwijs- en opleidingssectoren, zijn er nieuwe oplossingen nodig voor de toegenomen maatschappelijke druk op het onderwijssysteem in zijn geheel en voor de toename van werkgerelateerde stress onder onderwijsgevenden (beiden hebben een negatief effect op het onderwijsproces en de resultaten daarvan). Stress, wat volgens het Europese Agentschap voor de veiligheid en de gezondheid op het werk het op één na meest gerapporteerde werkgerelateerde gezondheidsprobleem is, is het grootste probleem in de onderwijssector. Dit probleem vereist een multifacetaire aanpak: adequate risicoanalyses enerzijds en een combinatie van werkgeoriënteerde en werknemersgeoriënteerde maatregelen, het gebruik maken van de juiste externe expertise en betrokkenheid van de werknemers en voortdurende preventieve maatregelen anderzijds. Het is onmogelijk de conclusies te negeren uit het "European Risk Observatory Report" (2009), die aantonen dat meer dan 22% van de werknemers in de Europese Unie last hebben van stress en dat het aantal mensen met stressgerelateerde aandoeningen waarschijnlijk nog zal toenemen. Stress wordt ondervonden als de eisen van de werkomgeving het vermogen van de werknemer om aan deze eisen te voldoen of ze onder controle te houden te boven gaan. Werkgerelateerde stress wordt in verband gebracht met talrijke risicofactoren en ontketent een stressreactie op lichamelijk, psychologisch en gedragsniveau. Werkgerelateerde stress kan ook negatieve langetermijneffecten hebben voor werknemers (het veroorzaakt gezondheidsproblemen zoals hart- en vaatziekten, aandoeningen van het bewegingsapparaat en aantasting van de geestelijke gezondheid) en op instellingen (zoals toegenomen werkverzuim en onderpresteren). 1 Tijdens de bijeenkomst van de Staatshoofden gedurende de top van Lissabon in maart 2000, stippelden de Europese leiders een nieuwe strategie uit, gebaseerd op consensus tussen de lidstaten, om Europa dynamischer en competitiever te maken. Dit initiatief kreeg bekendheid als de Lissabon Strategie en had betrekking op een brede groep beleidsmaatregelen. De Strategie is na aanvankelijk bescheiden resultaten opnieuw gelanceerd in de lente van 2005, waarbij de focus meer op groei en werkgelegenheid kwam te liggen. 4

8 Gezien de complexiteit van werkgerelateerde stress streeft het "STRESSLESS project Verbetering van de stressbestendigheid van onderwijsgevenden" ernaar een integrale aanpak te hanteren die de onderwijsgevenden handvatten kan bieden om hun kennis en competenties te verbeteren. Daarnaast streeft het ernaar vernieuwende oplossingen te bedenken voor bekende en toenemende problemen en een positief effect te sorteren op de kwaliteit en effectiviteit van het onderwijs door stress op scholen aan te pakken en de gezondheid van de onderwijsgevenden op te krikken (door hun competenties om met stress om te gaan te verbeteren). Concluderend: het STRESSLESS project, een twee jaar durend initiatief dat begon in November 2010, erkent de noodzaak om doeltreffende oplossingen te ontwikkelen voor werkgerelateerde stress, met name in het onderwijsveld. Het project probeert een praktische gids te ontwikkelen die zowel onderwijsgevenden en als onderwijsinstellingen zal helpen veerkrachtig om te gaan met psychosociale risico's, met als doel resultaten te behalen op drie belangrijke punten, namelijk: Het welzijn van personen en instellingen te bevorderen; De stress bij werknemers en organisaties te verminderen; De kwaliteit van de onderwijsscenario's te verbeteren. 5

9 3. Workshops 3. Workshops 6

10 Tijdens de looptijd van het project zullen verschillende workshops worden geïmplementeerd in landen die verschillende posities innemen op de ranglijst van werkgerelateerde stress in de onderwijssector, namelijk: In Slovenië en Griekenland waar de cijfers van waargenomen werkgerelateerde stress boven het gemiddelde van de Europese landen lagen; In de Tsjechische Republiek, waar de cijfers van waargenomen werkgerelateerde stress onder het gemiddelde van de Europese landen lagen; In Portugal, waar de cijfers van waargenomen werkgerelateerde stress gelijk waren aan het gemiddelde van de Europese landen; In aanvulling op de bovengenoemde pilot-workshops zullen er nog twee workshops geïmplementeerd worden in Zwitserland en Brazilië, daarnaast wordt er nog een tweede workshop ontwikkeld in Portugal (in de Autonome Regio Madeira). De workshops, die georganiseerd worden door verschillende organisaties en in verschillende landen (en regio's) zijn van onbetwistbaar belang voor het project, aangezien ze ons in staat zullen stellen om: De structuur van de gids te testen en te valideren. De verschillende uitgewerkte resultaten te testen, zoals het rooster en de structuur van de workshops, de methodologie voor de evaluatie/certificatie van de deelnemers aan de cursus en de tools en marketinginstrumenten. Feedback te verzamelen van de doelgroep over de mate van tevredenheid over de pilot workshops en de methodologie van het leerproces. De noodzakelijke veranderingen te bepalen die zullen worden geïmplementeerd in de gids en tijdens het afsluitende internationale evenement dat gesubsidieerd zal worden door Grundtvig fondsen (Grundtvig nascholingscursussen). Elke workshop, met als doelgroep leraren, opleiders en werknemers van onderwijsinstellingen (inclusief de managers), zal bestaan uit 12 tot 15 deelnemers en zal geleid worden door een gespecialiseerde trainer die pedagogische vaardigheden, ervaring met bijscholen en kennis van arbeidspsychologie moet hebben. 7

11 De implementatie van de workshops, elk bestaande uit 32 uur training in totaal, zal plaatsvinden tussen Oktober 2011 en Januari

12 4. Evaluation 4. Evaluatie 9

13 4.1. Procedure De evaluatieprocedure waartoe besloten is door de partners is gebaseerd op het evaluatiemodel van Donald Kirkpatrick 2 dat 4 niveaus bevat die het volgende meten: 1. Reactie/tevredenheid: wat vonden de deelnemers en de trainers van en voelden ze bij de scholing? 2. Leerproces: veroorzaakte de scholing een toename in kennis of vaardigheid? 3. Transfer: werd de versterkte kennis of vaardigheid geïmplementeerd of toegepast? 4. Impact: veroorzaakten de resultaten van de scholing veranderingen? Figuur 1 laat zowel de onderlinge afhankelijkheid tussen de niveaus zien als het feit dat het steeds lastiger wordt om gegevens te verkrijgen die tot ondersteunende conclusies over de resultaten van de scholing kunnen dienen. Figuur 1 Model van Kirkpatrick Reactie/Tevredenheid Na afloop van de workshop zal de trainer de deelnemers een evaluatieformulier verstrekken over de kwaliteit van de scholing, de inhoud van de scholing, de gebruikte methodologie, de gebruikte didactische en technische middelen, de organisatie van de cursus, etc. De resultaten van deze vragenlijst zullen ons in staat stellen de doeltreffendheid en de kwaliteit vast te stellen van alle hierboven genoemde aspecten die het scholingsproces definiëren (d.w.z.: de workshop)

14 Tegelijkertijd zal iedere organisatie die de workshop implementeert een evaluatieformulier geven aan de trainer dat door hem ingevuld zal worden om te weten te komen hoe hij het scholingsproces heeft uitgevoerd. Bovendien zal gevraagd worden naar suggesties voor een mogelijke verbetering van de inhoud. Deze vragenlijst zal diverse aspecten van het scholingsproces beoordelen vanuit het gezichtspunt van de trainer, zoals de gebruikte didactische en technische middelen, het al dan niet zinnig zijn van de uitgevoerde activiteiten, of het aantal studenten past bij deze scholingscursus, de houding van de studenten, de faciliteiten, het aantal uren, etc. Met al deze informatie zal rekening gehouden worden bij het ontwikkelen van de Grundtvig bijscholingscursus. Tabel 2 Samenvatting van niveau 1: Reactie/Tevredenheid Wat vonden de deelnemers en de trainers van en wat voelden ze bij de scholing? Wanneer? Wie? Wat? Aan het eind van de workshop. Trainers, deelnemer s Inhoud scholing, structuur, rooster, activiteiten; installaties, uitrusting, pedagogische hulpbronnen, logistieke ondersteuning, uitvoering (trainer en deelnemers)... Hoe? Vragenlijst (bijlage 1 en bijlage 2) Leerproces De evaluatie van het leerproces wordt beschouwd als een vitaal onderdeel van het onderwijsleerproces. Afhankelijk van de referentieparameters, worden één of meer karakteristieken gemeten en gevalideerd. De trainer(s) zal/zullen verantwoordelijk zijn voor de evaluatie van het leerproces, door oefeningen en casussen te bedenken die praktisch toegepast kunnen worden tijdens de workshop. Tijdens het scholingsproces zou(den) de trainer(s) de deelnemers ook voortdurend moeten evalueren met het doel de mate van voortgang van iedere deelnemer op elk moment vast te stellen (aan het begin, tijdens en aan het eind van de workshop) om te weten te komen of de leerresultaten realistisch zijn en om in staat te zijn om geleidelijk en bekwaam de problemen op te lossen die de deelnemers individueel of als een groep ondervinden. Als gevolg hiervan kunnen de deelnemers ook hun academische prestaties op een willekeurig moment te weten komen. Het gaat er niet alleen om de theoretische concepten van het leerproces te beoordelen, maar ook de beoordeling van het leerproces van de vaardigheden en attitudes. De evaluatie wordt gebaseerd op een realistische context en vergemakkelijkt de terugkoppeling tussen degenen die deelnemen aan het proces. Om deze kennis te verkrijgen, zal/zullen de trainer(s) verschillende evaluatietechnieken gebruiken zoals directe waarneming, de resultaten van individuele- en groepsoefeningen, het oplossen van praktische casussen, etc. 11

15 Aan het einde van de workshop, zal de evaluatievragenlijst die gebruikt is om de tevredenheidcijfers vast te stellen ook worden gebruikt om de succesbeleving van de deelnemers tijdens het leerproces te meten. Een aanvullend instrument zal worden ontwikkeld om ook de verkregen/ versterkte kennis te evalueren. Tabel 2 Samenvatting van niveau 2: Leerproces Heeft de scholing e en toename in kennis of vaardigheden veroorzaakt? Wanneer? Aan het eind van de workshop Wie? Trainer, deelnemers (zelfevaluatie) Wat? Kennis, vaardigheden Hoe? Vragenlijst (bijlage 1) en Kennisvel (bijlage3) Transfer Aangezien het hoofddoel van de workshop complex is en er veel variabelen zijn, zal het moeilijk zijn om op korte termijn de gevolgen van het leerproces in termen van gedragsverandering te meten. De partners waren echter van mening dat de deelnemers na een periode van 3 maanden in staat zouden zijn enkele voorbeelden te geven van implementatie/toepassing van kennis of vaardighedendie verworven of versterkt waren tijdens de workshops. Men verwacht ook dat de trainers enkele factoren kunnen aangeven die het transferproces vergemakkelijken of belemmeren. Deze zelfevaluatie zal ondersteund worden door gebruik te maken van een vragenlijst. Tabel 3 Samenvatting van niveau 3: Transfer Heeft de scholing e en toename in kennis of vaardigheden veroorzaakt? Wanneer? Wie? Wat? 3 maanden na afloop van de workshop Deelnemers Veranderingen in overtuiging, houding en gedrag; praktische voorbeelden van de implementatie/toepassing van de geleerde kennis/vaardigheden. Hoe? Vragenlijst (bijlage 4) Impact Als we het evaluatiemodel van Kirkpatrick bekijken, dan bevinden de scholingsresultaten zich op het laatste niveau dat gemeten moet worden, wat tegelijkertijd het meest diepliggende en moeilijkste is. In de context van het STRESSLESS project, namen de partners aan dat de impact correspondeert met de mate waarin de scholing helpt nieuwe oplossingen te vinden voor van tevoren bestaande behoeftes, door de waargenomen veranderingen te evalueren in het licht van de doelstellingen die oorspronkelijk 12

16 waren gedefinieerd. Hoewel ze de beperkingen kenden van een op korte termijn uitgevoerde evaluatie van de impact, hebben de partners besloten dit niveau op te nemen in dezelfde vragenlijst die gebruikt wordt om de transfer te beoordelen. Daarom zullen de deelnemers, 3 maanden na het einde van de scholing, enige informatie kunnen verstrekken over de veranderingen op individueel of organisatorisch niveau die hebben plaatsgevonden dankzij hun deelname aan de workshop. Tabel 4 Samenvatting van niveau 4: Impact Heeft de scholing e en toename in kennis of vaardigheden veroorzaakt? Wanneer? 3 maanden na afloop van de workshop Wie? Deelnemers Wat? Veranderingen op individueel en organisatorisch niveau met betrekking tot van te voren bestaande behoeftes Hoe? Vragenlijst (bijlage 4) 13

17 5. Certification 5. Certificatie 14

18 5.1. Procedure De studenten die minstens 75% van de scholingsuren hebben bijgewoond zullen een certificaat van aanwezigheid ontvangen van het coördinatieteam. 15

19 6. Annexes 6. Bijlagen 16

20 Erg ontevreden ontevreden Niet tevreden en niet ontevreden Tevreden Erg tevreden 6.1. Bijlage 1: Vragenlijst reacties en tevredenheid over het leerproces Deelnemers 1. Geef a.u.b. met een X de keuze aan die het beste past bij uw mate van tevredenheid wat betreft: Het scholingsproces in het algemeen: Doelstellingen van de workshop Interessant zijn van de inhoud Nut van de inhoud Volgorde van de inhoud tijdens de workshop Evenwicht tussen theorie en praktijk De mate van complexiteit (inhoud) Duur van de workshop De prestatie van de trainer: Op het gebied van de inhoud Helderheid wat betreft de presentatie van de inhoud en de activiteiten Interpersoonlijke relatie met de deelnemers Vaardigheden om de groep te motiveren Gebruikte methoden en technieken tijdens de sessies Uitgedeeld ondersteunend materiaal Tijdens de sessies gebruikte pedagogische en interactieve hulpbronnen Punctualiteit De groep deelnemers: Interactie Respect voor de afgesproken basisregels Participatie De organisatie van de workshop : Faciliteiten Uitrusting Technische ondersteuning 17

21 2. Vul a.u.b. uw commentaar over het volgende in: De meest positieve aspecten van de workshop De meest negatieve aspecten van de workshop Suggesties en commentaar 3. Wat betreft het leerproces, in hoeverre heeft het uw kennis en vaardigheden vergroot (geef de meest toepasselijke keuze aan met een X ): Ik heb niets geleerd Ik heb veel geleerd. Dank u voor uw medewerking! 18

22 Erg ontevreden ontevreden Niet tevreden en niet ontevreden Tevreden Erg tevreden 6.2. Bijlage 2: Reactie/Tevredenheid Trainers 1. Geef a.u.b. met een X de keuze aan die het beste past bij uw mate van tevredenheid wat betreft: Het trainingsproces in het algemeen: Doelstellingen van de workshop Interessant zijn van de inhoud Nut van de inhoud Volgorde van de inhoud tijdens de workshop Evenwicht tussen theorie en praktijk Duur van de workshop De groep deelnemers: Interactie Respect voor de afgesproken basisregels Participatie De organisatie van de workshop : Faciliteiten Uitrusting Technische ondersteuning 2. Gelieve uw prestatie te evalueren: 19

23 3. Gelieve uw commentaar over het volgende toe te voegen: De meest positieve aspecten van de workshop De meest negatieve aspecten van de workshop Suggesties en commentaar Dank u voor uw medewerking! 20

24 6.3. Bijlage 3: Kennisvel 1. Geef drie voorbeelden van psychosociale risico's. 2. Wat is een psychosociaal risico? Geef een voorbeeld. 3. Noem drie kenmerken van de veranderingen op werkgebied. 4. Noem drie soorten werkgerelateerde stress die gewoonlijk ondervonden wordt door docenten. 5. Wie is uiteindelijk verantwoordelijk voor de toepassing van de wet met betrekking tot werkgerelateerde stress, volgens de "European Framework Directive 89/391/EEC? a. De werknemer b. De werkgever c. De vertegenwoordiger(s) van de werknemer 6. Welke organisatie geeft advies over gezondheid en veiligheid op het werk in Europa? 7. Wat is de ETUCE? 8. Het management van psychosociale risisico's houdt in (kruis alles aan wat van toepassing is) a. Gevaren herkennen en risico's beoordelen b. Interventies ontwikkelen om risico's het hoofd te bieden c. Interventies implementeren om risico's het hoofd te bieden d. De effectiviteit evalueren van de geimplementeerde interventies om risico's het hoofd te bieden e. Relevante organisatorische veranderingen doorvoeren 9. Wat is het P-E Fit model met betrekking tot werkgerelateerde stress? 10. Welk soort werk zou als het meest risicovol beschouwd worden In het "Demand-Control" model van werkgerelateerde stress? a. hoge eisen met weinig taakautonomie hoge werkbelasting b. hoge eisen met veel taakautonomie actief werk c. lage eisen met veel taakautonomie lage werkbelasting d. lage eisen met weinig taakautonomie passief werk 11. Leg de principes uit van het "Effort-Reward Imbalance" model van werkgerelateerde stress 12. Effectieve preventie en management van werkgerelateerde stress houdt in (kruis alles aan wat van toepassing is) a. Primaire interventies b. Secondaire interventies c. Tertiaire interventies 13. Geef drie voorbeelden van primaire interventies voor werkgerelateerde stress 14. Wat is veerkracht? 15. What is het A, B, C of self-talk? 16. Hoe zou u negatieve gedachten kunnen bestrijden? 17. Herken en geef voorbeelden van drie vaak voorkomende denkfouten 18. Mensen met een interne "locus of control" hebben minder veerkracht dan de mensen met een externe "locus of control". Waar of onwaar? 19. Vul de gaten in de volgende tekst in:: geloven dat minstens een deel van de verantwoordelijkheid voor negatieve gebeurtenissen in omstandigheden buiten hun controle liggen, dat de oorzaak van de gebeurtenis is, en het negatieve resultaat van de gebeurtenis beperkt wordt tot bepaalde specifieke omstandigeheden. 21

25 20. Hoe kunnen werknemers betrokken worden bij het helpen terugdringen of vermijden van werkgerelateerde stress? Geef twee voorbeelden. 22

26 6.4. Bijlage 4: Vragenlijst transfer/impact 1. Wat betreft het transferproces, in welke mate heeft u de kennis/vaardigheden die u tijdens de workshop verkregen heeft, ingepast in uw dagelijkse werk en in uw privéleven? (geef met een X de keuze aan die u het meest toepasselijk vindt): Ik heb niets ingepast Ik heb veel ingepast. 2. Wat waren, naar uw mening, de belangrijkste factoren die het transferproces bevorderden (als uw antwoord op de vorige vraag hoger dan 1 was) of blokkeerden (als uw antwoord gelijk aan 1 was) (voorbeelden: beschikbare middelen en hulpbronnen, persoonlijke motivatie, ontvankelijkheid voor het gebodene...). 3. Als uw antwoord op de eerste vraag hoger dan 1 was, geef dan a.u.b. enkele voorbeelden van de invoering van tijdens de workshop versterkte kennis of vaardigheden. 4. Wat betreft de impact van het scholingsproces, in welke mate vindt u dat veranderingen op het persoonlijke vlak zijn opgetreden? Geen veranderingen geconstateerd. Veel veranderingen geconstateerd. 5. Wat betreft de impact van het scholingsproces, in welke mate vindt u dat veranderingen op het organisatorische vlak zijn opgetreden? Geen veranderingen geconstateerd Veel veranderingen geconstateerd. 23

27 6. Als uw antwoord op minstens één van de laatste vragen hoger was dan 1, wilt u dan a.u.b. enkele voorbeelden beschrijven van de geconstateerde veranderingen die op een of andere wijze te maken hebben met: verhoogd welzijn voor individuele personen en de instelling, verminderde werkgerelateerde stressniveaus voor werknemers en voor de organisaties, verbeterde kwaliteit van het instituut. 7. Als u nog ander commentaar heeft, wilt u dat dan a.u.b. hier invullen: Dank u voor uw medewerking! 24