HET RENDEMENT VAN OPLEIDINGEN IN HET BELEIDSDOMEIN WERK

Transcriptie

1 HET RENDEMENT VAN OPLEIDINGEN IN HET BELEIDSDOMEIN WERK Vormingsdag Viona Leerrendement 11 oktober 2016

2 Focus van deze vormingsdag Meten van effectiviteit en efficiëntie van opleidingen in het beleidsdomein Werk Ex-post evaluatie, beschrijvend Centraal staat de attributievraag: Zijn de effecten het gevolg van de (beleids)interventie? Kwantitatieve designs Bedoeld voor medewerkers van Departement WSE, Syntra Vlaanderen en VDAB

3 Op het programma Het meten van het rendement: waarom? Welke vormen van rendement kunnen we meten? Welke data gebruiken we? Welke statistische methoden? Toepassingen

4 HET RENDEMENT VAN OPLEIDINGEN IN HET BELEIDSDOMEIN WERK Het meten van leerrendement: waarom en wat? HIVA KU Leuven Vormingsdag Viona Leerrendement 11 oktober 2016

5 HET METEN VAN RENDEMENT EN EFFICIËNTIE

6 Waarom leerrendement meten? Verantwoording afleggen (intern of t.a.v. financierende instanties) Worden de beoogde resultaten behaald? Gebeurt dit op een efficiënte manier? (Beleids)planning ondersteunen Prioriteiten bepalen, keuzes maken, Een interventie verderzetten of stopzetten Interventies vernieuwen Uitvoering van de interventie verbeteren

7 Meten van rendement in de beleidscyclus

8 Aanleiding Verplichting door de overheid Nieuw overheidsbeleid, nieuwe afspraken met de overheid Introductie van een vernieuwing, een specifieke investering Herziening van budgetten Voor opleidingen in het beleidsdomein Werk doorgaans een utilization-focused evaluation

9 DE EFFECTIVITEITS- OF EFFICIËNTIEVRAAG

10 Waarin zijn we geïnteresseerd? Interesse voor een bepaald type van opleidingen? Opleidingen van een bepaalde organisatie Opleidingen voor een bepaald beroep / ondernemerschap Opleidingen met een specifieke didactische benadering Opleidingen met een bepaalde organisatorische vorm Opleidingen in eigen beheer / uitbesteding Opleidingen in samenwerking met Interesse voor een bepaalde partij? De lerenden (werkzoekenden, werknemers, ondernemers, leerplichtigen, ) De werkgever De overheid De samenleving

11 Interesse in een afgebakend gebied? Opleidingen van een of meerdere centra Opleidingen in een provincie, socio-economische regio, stad, Interesse in een bepaalde periode, een bepaald moment? Effecten op korte termijn, middellange termijn, lange termijn

12 Vele vormen van rendement Individu Bedrijf Overheid Samenleving HUMAN CAPITAL Competenties Kwalificaties Levenslang leren ECONOMISCH KAPITAAL Tewerkstelling Match Arbeidsvoorwaarden LOOPBAANKAPITAAL Loopbaancompetenties Aanpassingsvermogen JOBS Invullen vacatures Jobcreatie BEDRIJFSPRESTATIES Innovatief vermogen Productiviteit Winstgevendheid Concurrentiekracht ADDITIONELE INKOMSTEN Belastinginkomsten Sociale zekerheid VERMINDERING UITGAVEN Uitkeringen Kosten gezondheidszorg Kosten onwenselijk gedrag MARKTEFFECTEN Arbeidsaanbod Werkzaamheidsgraad Werkloosheid Evenredige arbeidsdeelname Openstaande vraag naar arbeidskrachten Totale werkgelegenheid Loonvorming Macro-economische productie Economische groei NIET-MARKTEFFECTEN Gezondheid Welbevinden Kwaliteit van leven Burgerschap Sociaal gedrag

13 Oefening: formuleren van een goede evaluatievraag Oefening: Formuleer een goede evaluatievraag bruikbaar in uw organisatie 1) Met de overheid als primaire gebruiker (bv. om prioriteiten te stellen voor de komende regeerperiode) 2) Met uw eigen organisatie als primaire gebruiker (bv. om te weten in welk type opleiding men verder zal investeren) Expliciteer: Wie zal de resultaten gebruiken en met welk doel? Rendement voor wie? Welke vorm van rendement? Rendement op welke termijn? Welke opleidingen? Welke cursisten?

14 Pragmatische overwegingen Welke data zijn beschikbaar? Welke niet? Mogelijkheid om bijkomende data te verzamelen? Welke middelen/competenties zijn aanwezig om de data te analyseren? Kunnen ze ingehuurd worden? Welke kwaliteit streeft men na? Hoeveel tijd is er? Hoe snel moeten de resultaten bekend zijn? (Rekening houden met timing van beslissingsprocessen!) Wie zal de resultaten gebruiken en met welke bedoeling? (opgelet: verschil tussen primaire gebruikers en stakeholders) Ook rekening houden politieke gevoeligheden, stand van zaken in het beleid, Dit bepaalt voor een groot deel de complexiteit van de evaluatievraag Trade-off tussen snelheid, kwaliteit en kost

15 Bijzondere aspecten van de vraag naar effectiviteit Effect toeschrijven aan de interventie Deadweight-effecten Netto-effecten onderscheiden van bruto-effecten Bepalen van criteria (referentiekader om resultaten te interpreteren)

16 DATA

17 Geen meting zonder data Data komen uit verschillende bronnen Interne doorlopend geregistreerde gegevens Administratieve databanken (bv. KSZ) Met specifieke doeleinden verzamelde data (bv. survey, telefonische bevraging, ) Datakwaliteit is van cruciaal belang

18 Weinig data beschikbaar/benut Individu Bedrijf Overheid Samenleving HUMAN CAPITAL Competenties Kwalificaties Levenslang leren ECONOMISCH KAPITAAL Tewerkstelling Match Arbeidsvoorwaarden LOOPBAANKAPITAAL Loopbaancompetenties Aanpassingsvermogen JOBS Invullen vacatures Jobcreatie BEDRIJFSPRESTATIES Innovatief vermogen Productiviteit Winstgevendheid Concurrentiekracht ADDITIONELE INKOMSTEN Belastinginkomsten Sociale zekerheid VERMINDERING UITGAVEN Uitkeringen Kosten gezondheidszorg Kosten onwenselijk gedrag MARKTEFFECTEN Arbeidsaanbod Werkzaamheidsgraad Werkloosheid Evenredige arbeidsdeelname Openstaande vraag naar arbeidskrachten Totale werkgelegenheid Loonvorming Macro-economische productie Economische groei NIET-MARKTEFFECTEN Gezondheid Welbevinden Kwaliteit van leven Burgerschap Sociaal gedrag

19 Hoe datakwaliteit beoordelen? 1) Zijn de gegevens betrouwbaar? Bij elke meting zelfde resultaat (bij onveranderd kenmerk) 2) Zijn de gegevens nauwkeurig? Meetfouten zijn onvermijdbaar Vereist: Meetfouten zijn toevallig, gaan alle richtingen uit Niet systematisch ontbrekende data 2) Meten de gegevens wat ze verondersteld worden te meten? validiteit

20 3) Werden ze op het juiste moment verzameld? Ongoing/momentmetingen/nulmeting Mogelijk om effect toe te schrijven aan de interventie? 4) Zijn ze geschikt voor de beoogde analyse? Zo hoog mogelijk meetniveau (vuistregel: metrisch > ordinaal > categorisch)

21 Eenvoudige indicatoren versus complexe concepten Eenvoudige indicatoren: leeftijd, geslacht, certificaat behaald of niet, loon, Cruciale concepten zijn vaak multidimensioneel: bijvoorbeeld: verworven vaardigheden, loopbaancompetenties Aangewezen: Gevalideerde instrumenten Vergelijking mogelijk met Vlaams of internationaal onderzoek In de praktijk: Niet altijd beschikbaar Niet altijd vertaald naar het Nederlands Instrumenten zijn vaak zeer uitgebreid Voor andere doeleinden ontwikkeld Dus: weloverwogen keuzes nodig rekening houdend met beschikbare tijd, budget,... Er is niet zoiets als hét meetinstrument

22 Bijkomende data nodig voor de metingen Kenmerken van de cursist Socio-demografische kenmerken Leeftijd, geslacht, etniciteit, arbeidshandicap, opleidingsniveau Afstand tot de arbeidsmarkt Bereidheid om inspanningen te leveren Houding tegenover leren en werken Bereidheid om te investeren,... Fundamentele zelfevaluatie Locus of control Self-efficacy Pro-actieve persoonlijkheid

23 Kenmerken van de opleiding Inhoud van de opleiding Finaliteit, niveau en richting Mate van afstemming op de arbeidsmarkt Specificiteit van de opleiding Kwaliteit van de opleiding Aansluiting bij de behoefte om te leren Mate waarin de lerende controle heeft over zijn eigen leerproces Coaching in de omgeving waar competenties toegepast worden Leren via verschillende methodes en dragers Leren met peers, in teams, in de praktijk zelf Ruimte voor spontane interactie en ervaringen Feedback op een motiverende manier Intensiteit van de opleiding Duur van de opleiding / aantal contacturen

24 Oefening: Eenvoudig of complex? Individu Bedrijf Overheid Samenleving HUMAN CAPITAL Competenties Kwalificaties Levenslang leren ECONOMISCH KAPITAAL Tewerkstelling Match Arbeidsvoorwaarden LOOPBAANKAPITAAL Loopbaancompetenties Aanpassingsvermogen JOBS Invullen vacatures Jobcreatie BEDRIJFSPRESTATIES Innovatief vermogen Productiviteit Winstgevendheid Concurrentiekracht ADDITIONELE INKOMSTEN Belastinginkomsten Sociale zekerheid VERMINDERING UITGAVEN Uitkeringen Kosten gezondheidszorg Kosten onwenselijk gedrag MARKTEFFECTEN Arbeidsaanbod Werkzaamheidsgraad Werkloosheid Evenredige arbeidsdeelname Openstaande vraag naar arbeidskrachten Totale werkgelegenheid Loonvorming Macro-economische productie Economische groei NIET-MARKTEFFECTEN Gezondheid Welbevinden Kwaliteit van leven Burgerschap Sociaal gedrag

25 Lijkt eenvoudig, maar is het niet! Deelname aan levenslang leren Een job hebben Een job hebben die aansluit op de opleiding Leeftijd Behoren tot een kansengroep

26 Loopbaancompetenties (Ackermans e.a., 2013 vs. Raemdonck, 2006) Items Reflectie op motivatie 1. Ik weet wat ik leuk vind in mijn werk 2. Ik weet wat voor mij belangrijk is in mijn loopbaan 3. Ik heb duidelijk voor ogen wat mijn passies zijn Reflectie op kwaliteiten 4. Ik weet wat mijn sterke punten zijn in mijn werk 5. Ik ken mijn eigen beperkingen in mijn werk 6. Ik ben me bewust van mijn talenten in mijn werk 7. Ik weet over welke vaardigheden ik beschik Netwerken 8. Ik ken veel mensen binnen mijn werk die mij kunnen helpen met mijn loopbaan 9. Ik ken veel mensen buiten mijn werk die mij kunnen helpen met mijn loopbaan 10. Ik weet hoe ik mensen in mijn netwerk om hulp kan vragen 11. Ik kan de juiste mensen benaderen om mij te helpen met mijn loopbaan Zelfprofilering 12. Ik kan duidelijk aan anderen laten merken waar ik goed in ben in mijn werk 13. Ik ben in staat aan mensen duidelijk te maken wat ik wil bereiken in mijn loopbaan 14. Ik kan aan mijn omgeving laten zien wat ik belangrijk vind in mijn werk Werkexploratie 15. Ik kan te weten komen wat de mogelijkheden zijn om mij verder op te laten leiden 16. Ik weet hoe ik zoeken naar de ontwikkelingen binnen mijn vakgebied 17. Ik verken wat de mogelijkheden voor mij zijn op de arbeidsmarkt Loopbaansturing 18. Ik maak voor mezelf duidelijke plannen voor mijn loopbaan 19. Ik weet wat ik over een jaar bereikt wil hebben in mijn loopbaan 20. Ik maak een planning voor wat ik wil bereiken in mijn loopbaan 21. Ik ben in staat voor mezelf doelen te stellen die ik wil bereiken in mijn loopbaan Items 1. Ik vind het belangrijk om na te denken over wat ik wil verwezenlijken in mijn loopbaan gedurende de volgende jaren 2. Als ik een andere job wil, weet ik waar ik informatie kan vinden over werk 3. Ik denk regelmatig na over het soort werk waarvoor ik het meest geschikt ben 4. Ik vraag mensen om advies om mijn werkkansen te verbeteren 5. Ik vind het belangrijk om na te gaan of mijn huidige plaats in de afdeling en de organisatie de juiste is 6. Ik weet waar ik naartoe wil in mijn loopbaan 7. Ik vind het belangrijk na te denken over het verloop van mijn loopbaan 8. Ik houd me op de hoogte van nieuwe mogelijkheden om mijn loopbaan uit te bouwen 9. Ik maak mijn loopbaaninteresses regelmatig duidelijk aan personen die van belang kunnen zijn voor mijn loopbaan 10. Ik vind het belangrijk om na te gaan wat mij motiveert in mijn werk 11. Ik denk vooraf altijd goed na over de stappen die ik moet zetten om te bereiken wat ik wil in mijn loopbaan 12. Ik zal zeker proberen een volgende job aan te passen aan mijn eigen sterke punten 13. Ik vind het belangrijk zo veel mogelijk in contact te komen met personen die van belang kunnen zijn voor mijn verdere loopbaan 14. Ik vind het belangrijk met mijn chef te onderhandelen over nieuwe stappen in mijn loopbaan

27 Belang van goede documentatie Codeboeken bijhouden, met naam van de variabelen, definities, categorieën, labels, Originele vragenlijsten bewaren Tijdstip van dataverzameling Bij wie werden deze data verzameld? Wie bewaart de data?

28 Viona studiedag