Instituut voor Onderwijs- en Informatiewetenschappen. RETURN ON INVESTMENT VAN OPLEIDINGEN Hoe krijgen bedrijven zicht op de effecten van opleidingen?

Transcriptie

1 Universiteit Antwerpen Instituut voor Onderwijs- en Informatiewetenschappen Academiejaar RETURN ON INVESTMENT VAN OPLEIDINGEN Hoe krijgen bedrijven zicht op de effecten van opleidingen? Eindverslag Interdisciplinair Project Opleidings- en onderwijswetenschappen mei 2008 B. Coopman, M. Coopman, L. De Lee, I. De Volder, S. Sanders, N. Van Hecken Opdrachtgever: Bedrijfsopleidingen.be Procesbegeleider: prof. dr. David Gijbels

2 IP-BObe 2 Inhoudstafel 1 Samenvatting Inleiding Situering van het interdisciplinair project De opdrachtgever Structuur van het onderzoeksrapport Probleemstelling Blikveld van de opdrachtgever Focus van de IP-groep Onderzoeksvragen Literatuurstudie Inleiding Situering Definitie van evalueren Functies van evaluatie Proces- en productevaluatie De productmodellen van Kirkpatrick en Phillips Reactieniveau Leerniveau Gedragsniveau Organisatieniveau ROI-niveau Kritiek op de modellen van Kirkpatrick en Phillips Andere evaluatiemodellen Het model van Holton Het achtveldenmodel van Kessels, Smit en Keursten Conclusie Methodologie Opzet van het kwalitatieve onderzoek Verantwoording en werkwijze Samenstelling van de onderzoeksgroep Opzet van het kwantitatieve onderzoek Het referentiekader van de enquête Opzet, afname en verwerking van de enquête Steekproefsamenstelling De onderzoeksvragen Onderzoeksresultaten Kwalitatief onderzoek Gegevens over de opleidingen Hoe krijgen bedrijven zicht op de effecten van opleidingen? Hoe meten bedrijven momenteel de effecten van opleidingen? Evaluatie-instrumenten als illustratie Conclusie Kwantitatief onderzoek De opleidingscultuur in Vlaanderen Opleidingseffecten meten: een stand van zaken Algemeen Reactieniveau Leerniveau Kennisniveau Gedragsniveau Organisatie- en ROI-niveau Opleidingseffecten meten in de toekomst

3 IP-BObe Reactieniveau Leerniveau Gedragsniveau Organisatieniveau ROI-niveau Conclusie Reactieniveau Leerniveau Gedragsniveau Organisatieniveau ROIniveau Tendensen Tendensen vanuit het perspectief van de bedrijfsgrootte Tendensen vanuit het perspectief van de bedrijfssectoren Besluit Bijkomende informatie uit de bedrijfswereld Situering van de informatie Het evalueren van de competentieontwikkeling als proces Vastleggen van leerdoelen Conclusie Conclusies en discussie Inleiding Hoe meten bedrijven momenteel de effecten van opleidingen? Wat verwachten bedrijven van een toekomstig instrument dat de effecten van opleidingen meet? De groei naar een dynamisch oriëntatiemodel als middel om bedrijven zicht te geven op de effecten van opleidingen Referenties Bijlagen

4 IP-BObe 4 1 SAMENVATTING Het interdisciplinair project Bedrijfsopleidingen.be (IP-BObe) zoekt naar de effecten van de productevaluatie van opleidingen in bedrijven in Vlaanderen. Het onderzoek gaat na op welke wijze bedrijven momenteel de effecten van opleidingen meten en peilt naar wat bedrijven verwachten van een toekomstig instrument dat de effecten van opleidingen meet. Op basis van een mixed method onderzoeksdesign verklaren we het beschrijvingsprobleem en gaan we explorerend op zoek naar de verwachtingen van bedrijven. Vanuit de literatuurstudie kiezen we resoluut voor het referentiekader van Kirkpatrick en Phillips en om een antwoord te vinden op het beschrijvingsprobleem doen we een kwalitatief onderzoek bij opleidingsinkopers en -aanbieders. Beide invalshoeken (literatuurstudie en kwalitatief onderzoek) leggen de basis voor een uitgebreid kwantitatief onderzoek dat steunt op een zelfontwikkelde vragenlijst die we aan opleidingsinkopers voorleggen. Op onze uitgewerkte online enquête reageren 339 Vlaamse bedrijven. De resultaten van het mixed method onderzoek tonen aan dat er een grote diversiteit bestaat tussen de bedrijven op het vlak van opleidingsevaluaties. Zo blijken opleidingsinkopers momenteel ruim te investeren in opleidingen, maar de effecten van die opleidingen slechts op reactie- en leerniveau te evalueren. Opleidingsaanbieders daarentegen bezitten blijkbaar wel al meer traditie in het organiseren van effectevaluaties en zetten bedrijven dan ook aan om hun opleidingen te evalueren op gedrags- en organisatieniveau. Zij reiken bedrijven daarbij verschillende instrumenten aan. Enkelen onder hen baseren zich op andere of ruimere theoretische evaluatieve invalshoeken dan louter het referentiekader van Kirkpatrick en Phillips. Uit het explorerend kwantitatieve onderzoek komt naar voor dat bedrijven geïnteresseerd zijn in specifieke evaluatie-instrumenten die de effecten van opleidingen weergeven op organisatieniveau, maar ook dat deze instrumenten de return on investment (ROI) kunnen bepalen voor harde en vooral zachte data. De grote diversiteit in effect- en evaluatiecultuur van bedrijven maakt het quasi onmogelijk om een universeel instrument te ontwikkelen dat beantwoordt aan de vraag vanuit de bedrijfswereld. Als onderzoeksteam (verder IP-BObe.team genoemd) concluderen we dat de ontwikkeling van een goed oriënteringsinstrument in de toekomst een belangrijke wegwijzer kan aanreiken aan bedrijven in hun zoektocht naar de meting van effecten van opleidingen. Vanuit de verschillende invalshoeken presenteren we dan ook als resultaat van onze studie een conceptueel referentiekader en oriënteringsmodel dat daarbij inspirerend kan zijn.

5 IP-BObe 5 2 INLEIDING 2.1 Situering van het interdisciplinair project Wat Doel Multidisciplinair Stakeholders Het Interdisciplinair Project (IP) omvat de uitwerking van een project door een groep studenten van de universiteit van Antwerpen. Als zelfsturende onderzoeksgroep werken de studenten gedurende één academiejaar op een projectmatige manier samen aan een taak die zich situeert in het brede veld van het organiseren van leren in opleidings- en in onderwijssetting. Het project is een onderzoeksopdracht die een externe opdrachtgever aanreikt. Aangezien in het IP leren centraal staat, is er ten opzichte van de opdrachtgever geen resultaatsverbintenis. Uiteraard streeft de onderzoeksgroep er zoveel als mogelijk naar om een afgewerkt product van het project af te leveren. Het doel van het IP is de integratie van kennis en vaardigheden uit diverse opleidingsonderdelen van de masteropleiding Onderwijs- en opleidingswetenschappen (OOW), maar ook het opdoen van concrete ervaringen met professionele competenties, zoals projectmanagement, sociale competenties en communicatieve vaardigheden. Elk IP is multidisciplinair en beschikt zowel over een empirische als een theoretische component. De theoretische en onderzoeksmatige componenten sluiten multidisciplinair aan op de verschillende aandachtsvelden uit de opleidingsstructuur van de studenten. In deze structuur staan o.a. organisatie, methodologie, beleid en statistiek centraal. Er zijn zes verschillende stakeholders betrokken bij het IP die elk hun specifieke takenpakket hebben. Deze betrokkenen zijn (a) de studenten, (b) de externe opdrachtgever, (c) de procesbegeleider, (d) het docententeam van OOW, (e) de onderwijscommissie van OOW en (f) het secretariaat van OOW. 2.2 De opdrachtgever Bedrijfsopleidingen.be Website De opdrachtgever van dit IP is Bedrijfsopleidingen.be (BObe), een mediair op het gebied van bedrijfsopleidingen en cursussen in Vlaanderen. De firma stelt zich tot doel om aanbieders en inkopers van opleidingen dichter bij elkaar Figuur 1: Logo van de opdrachtgever te brengen. De schakel tussen beide doelgroepen is een online inventaris van bijna bedrijfstrainingen. De website is opgebouwd rond een databank die bestaat uit de meest uiteenlopende bedrijfsopleidingen, actueel opleidingsnieuws en opleidingsgerelateerde links. De databank bevat uitsluitend bedrijfsopleidingen geordend in de hoofdcategorieën (a) management, (b) managementvaardigheden, (c) interne bedrijfsorganisatie, (d) aankoop, verkoop, marketing en externe communicatie, (e) milieu, veiligheid en kwaliteit, (f) economie, administratie, fiscaliteit en

6 IP-BObe 6 wetgeving, (g) computer en automatisering, (h) taalopleidingen en (i) techniek en technologie. De verdere opdeling van elke hoofdcategorie in subcategorieën (bijlage 11) maakt de website toegankelijk en biedt elke bezoeker (vaak opleidingsverantwoordelijken) en elk bedrijf dat op zoek is naar een opleiding voor haar management of werknemers kosteloos inzage in een waaier van bedrijfsopleidingen en opleidingbedrijven. Met behulp van een intelligente zoekmachine zijn cursussen en opleidingsbedrijven op te zoeken, te selecteren op trefwoord, opleidingscategorie, regio, werkvorm, enz. Daarnaast kunnen opleidingsbedrijven op de website last minute opleidingen in de kijker plaatsen en/of boekingskortingen aanbieden en voorziet Bedrijfsopleidingen.be ook in persoonlijk opleidingsadvies. Werkwijze Een opleidingsbedrijf kan, tegen betaling, haar opleidingsaanbod laten invoeren in de databank of ervoor opteren om zelf de gegevens van haar opleiding(en) in te geven en deze zelf actueel te houden. Wanneer het opleidingsbedrijf haar gegevens zelf invoert en actualiseert, is het gebruik van de website gratis. Op de website is een flowchart als handleiding beschikbaar om het invoeren van gegevens te vergemakkelijken (bijlage 12). Het bedrijf kan daarbij kiezen voor een kosteloze of een betaalde vermelding. In tegenstelling tot een gratis vermelding beschikt een betalend opleidingsbedrijf over meer ruimte dan uitsluitend de opgave van de opleidings- en bedrijfsgegevens. Het heeft de mogelijkheid om meer uitgebreide gegevens op te nemen en kan hyperlinks aanbrengen naar de eigen bedrijfssite en het adres. Het extra voordeel voor een betaalde vermelding bestaat erin dat het bedrijf in kwestie een hogere plaats krijgt toegewezen in de zoekresultaten van potentiële klanten. Een opleidingsbedrijf kan deze hogere plaats verder zelf nog in de hand werken door (a) opleidingen aan te bieden waarop een korting wordt gegeven, (b) de gegevens van de opleiding geregeld te actualiseren zodat ze volledig en correct zijn en (c) het logo van Bedrijfsopleidingen.be of een hyperlink ernaar toe op de homepage van de bedrijfswebsite te plaatsen. 2.3 Structuur van het onderzoeksrapport Probleemstelling Literatuur Methodologie Resultaten Bij aanvang van het onderzoek stoten we op een probleem met betrekking tot de afbakening van ons onderzoek. We lichten dit concreet toe zowel vanuit het blikveld van de opdrachtgever (zie p. 8, punt 3.1) als vanuit ons standpunt of de focus van de IP-groep (zie p. 8, punt 3.2). Overleg met de opdrachtgever was noodzakelijk om te komen tot een scherp afbakenen van de opdracht. Die leidt ons uiteindelijk tot twee onderzoeksvragen waarop we met dit onderzoek een antwoord willen formuleren (zie p. 9, punt 3.3). We vertrekken van een grondige literatuurstudie (zie p. 10, hoofdstuk 4) als verkenning van wat er zich in de bedrijfswereld afspeelt op het terrein van opleidingsevaluatie. Naast definities, functies en soorten van evaluaties gaan we uitgebreid in op het kader van Kirkpatrick en Phillips (zie p. 14, De productmodellen van Kirkpatrick en Phillips) en ook de kritieken die er binnen de literatuur op dit kader zijn te vinden. We verruimen ons blikveld door ook op zoek te gaan naar andere evaluatiemodellen. Nadat we de methodologie (zie p. 26, hoofdstuk 5) hebben geduid die we in dit mixed method onderzoek toepassen, presenteren we de onderzoeksresultaten (zie p. 34, hoofdstuk 5.2.4).

7 IP-BObe 7 In onze voortdurende zoektocht naar informatie, verduidelijking, transparantie en wetenschappelijke onderbouwing, rapporteren we als toemaatje over een aantal gesprekken die we hadden met enkele interessante personen uit de bedrijfs- en opleidingswereld. De informatie die deze gesprekken opleverden, willen we zeker niet onthouden. We achten ze belangrijk voor de toekomst van opleidingsevaluaties. Conclusie We ronden dit onderzoeksrapport af met een aantal conclusies die we op basis van ons onderzoek trekken en geven tegelijkertijd stof tot discussie voor verder onderzoek naar het evalueren van bedrijfsopleidingen.

8 IP-BObe 8 3 PROBLEEMSTELLING 3.1 Blikveld van de opdrachtgever Opdracht Algemene doelen Specifieke activiteiten De titel van het projectvoorstel dat BObe indiende, luidde: ROI (return on investment) van bedrijfsopleidingen. Zelf situeert de opdrachtgever het project als volgt. De overheden besteden veel aandacht en geld aan permanente vorming. Er zijn heel wat subsidiemogelijkheden voor werknemers van bedrijven ( ). Uit een zelf gevoerd onderzoek weten we dat de realisatie van de eigen ondernemingsdoelstellingen de belangrijkste reden vormen voor bedrijven om te investeren in opleiding. Toch blijven heel wat bedrijven sceptisch tegenover het op cursus sturen van een werknemer. De redenen hiertoe zijn variabel. De onzekerheid over de effectiviteit van een opleiding lijkt een erg belangrijke reden te zijn. Graag krijgen we inzage op de manier waarop bedrijven dit gegeven aanpakken. Naast deze globale projectomschrijving formuleert de opdrachtgever zelf een aantal algemene doelen en meer specifiek een aantal activiteiten. Het algemene doel Hoe krijgen bedrijven een zicht op de ROI van hun opleidingen? verduidelijkt de opdrachtgever als: 1. Hoe evalueren bedrijven hun opleidingen op korte en lange termijn? 2. Hoe stellen bedrijven resultaten vast? 3. Hoe houden bedrijven resultaten bij? 4. Hoe leveren bedrijven feedback aan de opleidingsaanbieder? 5. Hoe verbeteren bedrijven hun opleidingsmanagement? De opdrachtgever wil in de ontplooiing van het project ook specifiek volgende activiteiten zien: (a) het opstellen van vragenlijsten, (b) het afnemen van vragenlijsten (online), (c) het verwerken van de verzamelde gegevens en (d) het voorstellen van verbetering. BObe voorziet ook nog een optionele activiteit in de vorm van een casestudy die moet resulteren in een online evaluatiemodule. Gezien de omvang van het totale project ziet de projectgroep, in samenspraak met de opdrachtgever en de procesbegeleider, van deze optionele activiteit af. Mogelijk kan dit wel als nieuw IP worden ingediend en worden uitgewerkt op basis van de resulaten van dit onderzoek. 3.2 Focus van de IP-groep Situering Probleem Dit IP richt zich in aanvang op ROI na een opleiding, zoals de opdrachtgever dit ook vroeg. Het ontbreken van een duidelijke afbakening van het onderzoeksprobleem brengt, rekening houdend met de vooropgestelde termijn van het IP, de haalbaarheid van het onderzoek evenwel in het gedrang. Tegelijkertijd zoeken wij, het IP- BObe.team, het evenwicht tussen de wetenschappelijke benadering van de onderzoeksopdracht vanuit UA en de veeleer commerciële en praktijkgerichte benadering zoals de opdrachtgever die ons aanreikt vanuit de bedrijfscontext. Het probleem waarvoor we een oplossing dienen te vinden, is een ontwerpprobleem, namelijk het ontwikkelen van een online evaluatie-instrument om opleidingen te evalueren. Om voldoende greep te krijgen op wat er al bestaat aan evaluatie-instrumenten voor opleidingen binnen de bedrijfswereld, benaderen we het on-

9 IP-BObe 9 derzoeksproject als een beschrijvingsprobleem. Als IP-groep van het academiejaar brengen we de huidige stand van zaken van de opleidingsinkopers en - aanbieders in kaart op basis van de website van BObe. In een volgende fase kan een nieuwe IP-groep tijdens het academiejaar eventueel een online tool ontwikkelen om een antwoord te formuleren op het hoger aangehaalde ontwerpprobleem. Opdracht Het onderzoek spitst zich niet toe op een bepaalde categorie van opleidingen. Wij kiezen doelbewust voor een ruim kader om de voorwaarden, waaraan een instrument voor het vastleggen van het opleidingsrendement moet voldoen, te detecteren. Na overleg met de opdrachtgever komen we in onderlinge overeenstemming tot volgende heldere en duidelijk geformuleerde opdracht: Hoe krijgen bedrijven zicht op de effecten van opleidingen? 3.3 Onderzoeksvragen Opdracht Onderzoeksdesign De concretisering van de opdracht Hoe krijgen bedrijven zicht op de effecten van opleidingen? vertalen we in twee onderzoeksvragen: 1. Hoe meten bedrijven momenteel de effecten van opleidingen? (beschrijvende onderzoeksvraag) 2. Wat verwachten bedrijven van een toekomstig instrument dat de effecten van opleidingen meet? (explorerende onderzoeksvraag) Deze twee onderzoeksvragen beantwoorden we aan de hand van een mixed method onderzoeksdesign. Concreet komt dit neer op zowel een kwalitatieve als een kwantitatieve benadering van de probleemstelling om zo een antwoord te vinden op onze onderzoeksvragen.

10 IP-BObe 10 4 LITERATUURSTUDIE 4.1 Inleiding Doelstellingen Methode Inhoud De doelstellingen van deze literatuurstudie zijn zowel explorerend als beschrijvend. De studie verkent hoe er met evaluatie omgegaan kan worden en beschrijft enkele relevante modellen. De doelstelling van de opdracht is het exploreren van productevaluatie en het afleiden van de bijhorende voorwaarden om het resultaat van de opleidingen te kennen. Voor het selecteren en het verzamelen van de literatuur maakten we gebruik van de UA-catalogus, de database Education Resources Information Center (ERIC), SwetsWise en Ebsco Academic Search Elite. We hanteerden volgende sleutelwoorden: return on investment, ROI, evaluation of training, assessment, training results, rendement, ROI-meting, effectmeting, Daarnaast pasten we de sneeuwbalmethode toe en keken we naar interessant studiemateriaal vanuit aansluitende aandachtsvelden uit de opleidingsstructuur van OOW, namelijk Leren & Instructie en Organisatie & Beleid. De technische criteria voor inclusie waren (a) de toegankelijkheid tot volledige teksten en (b) de publiceerdatum van de onderzoekspublicaties. Onze voorkeur ging uit naar materiaal van na We maakten gebruik van beschrijvend materiaal met een hoge wetenschappelijke kwaliteit, aangevuld met explorerend materiaal relevant voor de bedrijfswereld. We zoeken naar evaluatiemodellen die hoofdzakelijk gericht zijn op het meten van het rendement van de opleidingen. Modellen met de focus op het beter ontwerpen van opleidingen of designs van evaluatie hebben we niet weerhouden. De uitwerking van de literatuurstudie gebeurde in twee fasen. De eerste fase verliep explorerend en diende als basis voor de interviewleidraad van het kwalitatieve onderzoek en als achtergrondinformatie voor het opstellen van de vragen voor het kwantitatieve onderzoek. Vertrekkend vanuit de input van de respondenten uit het kwalitatieve onderzoek startte een tweede literatuurfase. De definitieve literatuurstudie is het resultaat van beide fasen. De literatuurstudie bestaat uit drie delen. 1. Het eerste deel geeft een definitie van evalueren, situeert kort de redenen waarom organisaties opleidingen evalueren en duidt het verschil tussen procesen productevaluatie; 2. Het tweede deel zoomt uitgebreider in op het productmodel van Kirkpatrick met vier niveaus van effectevaluatie. Daarbij aansluitend bespreken we grondig het vijfde effectevaluatieniveau of het niveau van ROI volgens Phillips. Afsluitend geven we de kritieken op beide twee modellen weer; 3. In het derde deel bespreken we twee andere relevante modellen: het model van Holton en het achtveldenmodel van Kessels, Smit en Keursten.

11 IP-BObe Situering DEFINITIE VAN EVALUEREN Doelen meten Effectiviteit Gewenst gedrag Probleem Blanchard en Thacker (2003) omschrijven evalueren kortweg als het meten in welke mate de doelen zijn bereikt. Om opleidingen te kunnen evalueren, zijn er volgens hen in de eerste plaats goed geformuleerde opleidingsdoelstellingen nodig. Daarnaast moet bij het evalueren rekening worden gehouden met de organisatorische beperkingen (tijd, geld, personeel, ) en de beslissingen qua evaluatieontwerp. Kirkpatrick (1994, 2005, 2006) stelt dat evalueren het bepalen van de doeltreffendheid of de effectiviteit is van het trainingsprogramma. Wanneer de evaluatie is afgelopen, kunnen de verantwoordelijken voor het opleidingsprogramma en de managers enkel hopen dat de resultaten positief en voldoende zijn. Zij moeten ervoor zorgen dat opleidingsprogramma s veel aandacht krijgen, goed worden gepland en geïmplementeerd om te verzekeren dat ze effectief zijn. Bergenhenegouwen, Mooijman en Tillema (2002) omschrijven het evalueren als het zo objectief mogelijk determineren van het opleidingseffect voor het gewenste functioneren binnen de werkplek in het kader van de bedrijfsdoelstellingen. Het grote probleem bij het evalueren is dat die opleidingsdoelen zelden vooraf worden geëxpliciteerd, waardoor het evalueren van de effectiviteit van opleidingen een moeilijke opdracht wordt. Een professioneel opleidingsbeleid vertrekt vanuit een voortraject, waarbij het bedrijf de opleidingsbehoeften verkent en een opleiding ontwerpt. Daarna volgt het opleidingstraject en vervolgens kan het natraject starten, waarin de transfer naar de werkplek en het evalueren gebeurt. Een bedrijf kan dus pas met evalueren starten als er een voortraject is afgelegd en als de doelstellingen van een opleiding duidelijk zijn. Een goed opleidingsbeleid zit bovendien geintegreerd in een aanwervings- en loopbaanbeleid. Vaak heeft het opleidingsbeleid van een bedrijf een ad-hockarakter en voorziet het management voornamelijk in opleidingen wanneer het een dringende bedrijfsbehoefte vaststelt. Het adhockarakter leidt tot overhaaste beslissingen zonder voldoende stil te staan bij de prijs, de kwaliteit en de doelstellingen van een opleiding (Maes & Sels, 1999) FUNCTIES VAN EVALUATIE Functies Bergenhenegouwen, Mooijman en Tillema (2002) en Kirkpatrick (1994, 2005, 2006) onderscheiden drie belangrijke functies van evalueren, die niet altijd van elkaar te onderscheiden zijn. 1. Het verantwoorden van de opleiding in het kader van vooraf gemaakte afspraken en overeenkomsten; 2. Het verbeteren van de opleidingsactiviteit; 3. De beleidsontwikkeling op lange termijn en het belang van leren en opleiden. Waarde bewijzen Volgens Blanchard en Thacker (2003) is evalueren nodig (a) voor het opleidingsdepartement om zijn waarde te bewijzen aan het bedrijf, (b) voor de winst, (c) voor een constante kwaliteitsverbetering en verandering en (d) voor een vermindering van kosten. Soms is echter de evaluatiekost te hoog. Sinds 1980 is er een duidelij-

12 IP-BObe 12 ke stijging van evaluatie-inspanningen in de bedrijven. Een belangrijke reden is de stijging van ieders verantwoordelijkheid in de organisatie. Zo moeten de trainingsdepartementen meer en meer bewijzen aan het topmanagement dat opleidingen renderen en positief bijdragen tot aan het laagste niveau van het bedrijf. Ieder jaar stellen er zich ook nieuwe uitdagingen in het trainingsveld: competentieontwikkeling, e-learning, outsourcing, kennismanagement, Het gemeenschappelijk punt bij deze complexe uitdagingen is het rendement van de investeringen (Kirkpatrick, 2006). Weerstanden Doelstellingen Ondanks de toename van het evalueren, bestaat er nog altijd weerstand. Een vaak herhaald argument is dat opleidingen evalueren te duur is, te veel tijd vergt en dat er geen expliciete vraag is om het rendement te meten. Maar departementen die kunnen documenteren dat ze effectief bijdragen tot het bedrijf en tot het rendement, kunnen rekenen op nieuwe investeringen van het management. De vraag is dan niet Moet een opleiding worden geëvalueerd?. Wel belangrijk zijn vragen als Wie zal evalueren? ; Op welke wijze wordt er geëvalueerd? en Welke gegevens zullen er worden gebruikt?. Daarnaast ervaren veel trainingmanagers evaluaties van opleidingen kortweg als een rapport met geslaagd of niet geslaagd en zijn ze vooral bezorgd in welke mate een niet-geslaagde opleiding een bedreiging is voor hun carrière. Trainingsmanagers zouden evalueren niet alleen moeten bekijken als een schatting van hun opleidingsprogramma (summatieve evaluatie), maar ook als het evalueren en verbeteren van het leer- en vorderingsproces van de deelnemers (formatieve evaluatie). Minder bedreigend voor de trainingsmanagers zijn woorden zoals data verzamelen voor het verbeteren en het aanpassen van de opleiding in plaats van evalueren van de opleiding. Een ander argument om niet te evalueren is dat er niets is om te evalueren. Het management verwacht niet dat een opleiding iets positiefs kan opleveren. Managers beschouwen opleiding dan enkel als een beloning voor de medewerkers voor de goede geleverde prestaties. Ook al wordt opleiding enkel bekeken als beloning, elke opleiding is ontworpen met bepaalde doelstellingen. Soms is de doelstelling beperkt tot het teweeg brengen van een positievere ingesteldheid ten opzichte van de huidige baan en het bedrijf. Eenmaal het doel van de opleiding is geïdentificeerd, kan deze reeds worden geëvalueerd (Blanchard & Thacker, 2003). Een uitgebreide en omvattende evaluatie is volgens Blanchard en Thacker (2003) wel belangrijk, maar niet altijd noodzakelijk op alle niveaus en op elk tijdstip. Belangrijk is dat de evaluatie-instrumenten worden ontwikkeld bij het opstellen van de opleiding en niet na het beëindigen van de opleiding! PROCES- EN PRODUCTEVALUATIE Twee types Blanchard en Thacker (2003) onderscheiden twee types van evaluatie, namelijk procesevaluatie en productevaluatie. De procesevaluatie evalueert het ontwerp, de ontwikkeling en de uitvoering van de opleiding. De productevaluatie gaat na hoe goed de opleiding de objectieven bereikt op reactie-, leer-, gedrags- en or- Figuur 2: Taxonomie van Kirkpatrick

13 IP-BObe 13 ganisatieniveau. Deze niveaus (Figuur 2) komen overeen met de niveaus van effectevaluatie volgens Kirkpatrick (1975, in Bergenhenegouwen, Mooijman & Tillema 2002; Kirkpatrick, 1994, 2005, 2006). Procesevaluatie Voordelen Productevaluatie Modellen Procesevaluatie is goed voor het verwijderen van de negatieve connotatie van het kortzichtige slagen of falen van een opleiding en het vergemakkelijkt het constante verbeteren van opleidingen. Dit is een belangrijk doel, ook al is de opleiding reeds als succesvol beoordeeld. Bij de procesevaluatie wordt vóór en tijdens de opleiding geëvalueerd. Vooraf leidt deze evaluatie tot een beoordeling van de effectiviteit van de behoefteanalyse, de opleidingsobjectieven en het design van de opleiding. De verwachte opleiding wordt met de actuele opleiding. Informatiebronnen van de verwachte opleiding kunnen rapporten en handleidingen van de opleiding zijn. Informatiebronnen over de actuele opleiding kunnen evaluatieverslagen, interviews van de deelnemers, video s, rapporten van een externe die de opleiding evalueert of notities van de opleider zijn. Hoe meer informatiebronnen er zijn, hoe beter. Tijdens de opleiding wordt de implementatie van de opleiding geëvalueerd. Men gaat na of alle ontworpen opleidingstechnieken echt plaats vinden, hoeveel tijd de opleiding in beslag neemt, hoe betrokken de deelnemers zijn, De gegevens van de procesevaluatie zijn interessant voor het opleidingsdepartement, maar niet voor de klanten. Zij zijn veeleer geïnteresseerd in resultaten. Procesevaluatie is nuttig voor veel gebruikte opleidingen of voor opleidingen die een grote impact zullen hebben op het bedrijf. Als de opleider en de opleiding al verschillende keren zijn geëvalueerd, dan is procesevaluatie niet meer interessant; wel indien de opleider of de opleiding nieuw zijn voor het bedrijf (Blanchard & Thacker, 2003). Productevaluatie is nodig om te determineren hoe goed de opleiding overeenstemt met de vooropgestelde doelen (Blanchard & Thacker, 2003). Deze evaluatie moet men op de verschillende niveaus (reactie-, leer-, gedrag- en organisatieniveau) meten om te kunnen concluderen dat de effecten van het opleidingsprogramma de behaalde resultaten veroorzaken. De niveaus vertegenwoordigen een opeenvolging van manieren om individuele programma s te evalueren. Daarbij is elk niveau belangrijk en heeft elk niveau een invloed op het volgend niveau. Hoe hoger het niveau, hoe ingewikkelder en tijdrovender het evaluatieproces, maar ook hoe waardevoller de verkregen informatie. Het model van Kirkpatrick is samenvattend een kader om te kijken of een bepaalde training effectief is geweest in het veranderen van de kennis, de houding, het gedrag en de uiteindelijke prestatie in de organisatie van de deelnemer. Het uiteindelijke beoogde effect van een bedrijfsopleiding is volgens Kirkpatrick dat de organisatie beter functioneert en produceert. Kirkpatrick is ervan overtuigd Figuur 3: Evaluatieniveaus van leerprocessen dat zijn kader nu re-

14 IP-BObe 14 levanter is dan de decennia ervoor. De druk op trainingprofessionals om concrete resultaten te boeken in plaats van enkel positieve smile sheets te verzamelen, stijgt immers nog elk jaar (Kirkpatrick, 1994, 2005, 2006). Ook Phillips (1997, in Bergenhenegouwen, Mooijman & Tillema, 2002; Phillips, 2002, 2003, 2007) onderscheidt verschillende evaluatieniveaus, die overeenstemmen met Kirkpatrick s effectevaluatieniveaus (Figuur 3), maar voegt nog een vijfde niveau toe, namelijk het niveau van ROI 4.3 De productmodellen van Kirkpatrick en Phillips Kirkpatrick Kirkpatrick onderscheidt vier effectevaluatieniveaus (Figuur 3): 1. het reactieniveau 2. het leerniveau 3. het gedragsniveau 4. het organisatieniveau Phillips Phillips onderscheidt daarbij nog een vijfde niveau (Figuur 3): 5. het ROI-niveau (niveau van de Return On Investment) REACTIENIVEAU Directe reactie Vragenlijsten Kritiek Op reactieniveau evalueert men de percepties, de emoties en de subjectieve opleidingservaringen van de deelnemers (Blanchard & Thacker, 2003). De evaluatie informeert dus naar de directe reactie van de deelnemers op de gevolgde opleiding. Naast het peilen naar de ervaringen van de deelnemers over de docenten, het materiaal en de accommodatie, vergaart de evaluatie ook essentiële informatie over de vorm en de inhoud van het opleidingsprogramma. Kortweg: het evalueren op reactieniveau is hetzelfde als het meten naar klantentevredenheid (Kirkpatrick, 1994, 2005, 2006). De kwaliteit van het programma en de acceptatie van de opleiding door de deelnemers hebben een belangrijke invloed op het effect (Kirkpatrick, 1975, in Bergenhenegouwen, Mooijman & Tillema, 2002). Hoe hoger de reactiescore, hoe beter. Een hoge reactiescore van de deelnemers duidt immers op de interesse, motivatie en aandacht die is bekomen tijdens de opleiding. Deze elementen zijn de eerste bouwsteen van leren! Om gegevens te verzamelen op dit reactieniveau gebruikt men twee soorten vraagstellingen: (a) de affectieve vraagstelling naar het gevoel over de opleiding en (b) de bruikbaarheidsvraagstelling naar de waarde van de opleiding. Categorieën waarover dan vragen kunnen worden gesteld, zijn: (a) de relevantie van de opleiding, (b) het materiaal en de oefeningen, (c) de reacties ten aanzien van de opleider, (d) de opleidingsfaciliteiten en (e) de procedures. Sommige opleiders noemen dit soort vragenlijsten ook wel happiness sheets of smile sheets. Ondanks het cynisme hierover, zijn deze sheets correct en niet waardeloos. Ze helpen bij het determineren van de effectiviteit van opleidingsprogramma s en geven aan hoe deze kunnen worden verbeterd. Informatie op reactieniveau moet dus niet alleen worden verzameld, maar ook worden geanalyseerd. (Kirkpatrick, 1994, 2005, 2006) Er is ook kritiek over het gebruik van de reactieformulieren. Boverie, Mulcahy & Zondlo (1995, in Brakel 2000) duiden op het gevaar dat deelnemers de neiging kunnen hebben om op te schrijven vanuit sociaal wenselijkheid. Dixon (1987, in

15 IP-BObe 15 Brakel 2000) gaat nog verder in zijn kritiek en stelt dat wanneer men enkel reactieevaluatieformulieren gebruikt, dit eerder problemen veroorzaakt dan het iets oplevert. Reactieformulieren meten immers een soort emotie (attitude, gevoelens), waardoor het gevaar ontstaat dat de opleider vooral de plezierbeleving bij de deelnemers aan de opleiding zal benadrukken. Zeker als de trainer afhankelijk is van positieve evaluaties kan dit een probleem zijn. Een ander probleem volgens Dixon (1987, in Brakel 2000) is dat de deelnemers de indruk krijgen dat het resultaat van de opleiding afhankelijk is van factoren die buiten de deelnemer zelf liggen. Zo wordt er vaak geïnformeerd naar wat de deelnemer vond van de trainer en het materiaal. De deelnemer zal dan snel aangeven dat een opleiding vlot is verlopen, omdat hij er zelf genoeg in heeft geïnvesteerd. Enkel peilen naar de reacties van de deelnemers belicht dus slechts één aspect van evaluatie en kan daarom onvoldoende zijn. Timing Conclusie De timing om op het reactieniveau gegevens te verzamelen, is cruciaal. Het is beter op reactieniveau te evalueren tussen de verschillende segmenten van de opleiding, dan op het einde van de opleiding. Het merendeel van de deelnemers wil aan het einde van de opleiding naar huis en is dan ook niet meer geïnteresseerd in het invullen van vragenlijsten. De opsteller van dergelijke vragenlijsten moet rekening houden met verschillende elementen, zoals het gebruik van een goede schaal. Het is ook aan te raden niet te veel te vragen naar persoonlijke gegevens van de deelnemers om het gevoel van anonimiteit te waarborgen (Blanchard & Thacker, 2003; Kirkpatrick, 1994, 2005, 2006). Meten op reactieniveau is een eerste, eenvoudige en belangrijke stap. Beslissingen op het topmanagementniveau kunnen al gebaseerd zijn op datgene wat ze hebben gehoord over de opleiding. Een opleider gaat er best vanuit dat de trainees de klanten zijn en tevreden klanten betekent goed draaiende zaken (Kirkpatrick, 1994, 2005, 2006) LEERNIVEAU Weten en kunnen Hoe controleren Het leerniveau peilt naar het individuele weten en kunnen van de deelnemers en gaat na of de deelnemers de doelstellingen bereiken. De opleiding stemt persoonlijke doelstellingen van de trainees af op hun kennis, vaardigheden en attitudes van de deelnemers die de opleider afleidt uit taak- en functieanalyses. Het peilen naar het weten en kunnen is het startpunt voor de toepassing van het geleerde op de werkplek (Kirkpatrick 1975, in Bergenhenegouwen, Mooijman & Tillema 2002; Kirkpatrick 1994, 2005, 2006). Een opleider kan de verworven verklarende kennis nagegaan aan de hand van meerkeuzevraagtesten en testen met open vragen. De verworven procedure kennis kan hij nagaan met testen waarbij de deelnemers onderwerpen moeten vergelijken of concepten moeten zoeken die met elkaar in verband staan. De verworven strategische kennis is het hoogste niveau van kennis en na te gaan door protocollen te testen en speed of power tests. Evalueren van de geleerde vaardigheden, is niet hetzelfde als nagaan of een trainee de vaardigheden op de werkplek toepast. De verworven vaardigheden kunnen getoetst worden via gestandaardiseerde testen of gestructureerde scenario s. Snelheid kan getest worden met een speedtest. Attitudes kan men dan weer meten met pre- en postvragenlijsten aan de hand van attitudeschalen. In wetenschappelijke tijdschriften zijn er verschillende attitudeschalen

16 IP-BObe 16 beschikbaar die men voor eigen gebruik kan aanpassen. Dit is beter dan zelf een attitudevragenlijst op te stellen. De anonimiteit van de deelnemers moet opnieuw gewaarborgd worden, zoniet hebben de deelnemers de intentie om niet eerlijk de vragenlijst te beantwoorden. Timing De timing om op het leerniveau te evalueren kan aan het einde van de opleiding of periodiek tussen de verschillende segmenten van de opleiding. Dit laatste laat toe dat de opleiders de opleiding kunnen aanpassen, indien er geen leerprogressie bij de deelnemers zichtbaar is (Blanchard & Thacker, 2003). Om de leerresultaten te verhogen volstaat het soms om te voorzien in een betere voorbereiding; soms helpt het gebruik van hulpmiddelen om de interesse van de deelnemers te behouden of om de communicatie effectiever te maken. In bepaalde situaties is het zelfs nodig om de instructiegever te vervangen. Evalueren op leerniveau is niet enkel kijken naar de deelnemers, maar ook de effectiviteit evalueren van de instructiegevers (Kirkpatrick, 1994, 2005, 2006) GEDRAGSNIVEAU Transfer Werkplekklimaat Controleren Evaluatie op het gedragsniveau gaat na of een trainee de nieuwe kennis en vaardigheden uit de opleiding transfereert naar de werkplek. Op dit niveau spelen de context, de collega s en het doe-maar-terug-normaal -effect een belangrijk rol (Kirkpatrick 1975, in Bergenhenegouwen, Mooijman & Tillema 2002). Dit niveau beoordelen is vrij complex en daardoor vaak genegeerd. Soms negeert men ook bewust de eerste twee niveaus (het reactie- en het leerniveau) om meteen te evalueren op het gedragsniveau. Dit is een verkeerde strategie, want het is niet omdat er geen verandering optreedt op gedrags- en op organisatieniveau dat de opleiding ineffectief is en noodzakelijkerwijs daarom moet worden stopgezet. De reden waarom er geen gedragsverandering wordt geobserveerd, kan het gevolg zijn van het heersend werkplekklimaat. Deelnemers aan een trainingsprogramma kunnen naar de werkplek terugkomen met de nodige kennis, vaardigheden en attitudes, maar hun baas laat geen verandering op de werkplek toe. Het is daarom nodig om ook te evalueren op het reactie- en het leerniveau en niet enkel op het gedragsniveau om te kunnen vaststellen of de reden voor de afwezige gedragsverandering een gevolg is van een gebrek aan leren of een negatief werkplekklimaat. Er kan immers een gunstig reactie geweest zijn bij de deelnemers waardoor de leerdoelstellingen verwezenlijkt kunnen zijn (Kirkpatrick, 1994, 2005, 2006). Een belangrijke informatiebron bij het evalueren op gedragsniveau zijn interviews met de deelnemers, hun ondergeschikten en onmiddellijke oversten en anderen die veranderingen kunnen opmerken in het gedrag (Kirkpatrick, 1994, 2005, 2006). Andere informatiebronnen zijn directe observaties, archiefresultaten van prestaties, vragenlijsten, Vragenlijsten worden geprefereerd omdat ze opinies leveren van een groot aantal werknemers. Bij numerieke antwoordkeuzen gebeurt de weergaven van de informatie in tabellen. Het invullen kan anoniem gebeuren, wat de oprechtheid bevordert. Bovendien neemt het invullen van dat soort vragenlijsten niet te veel tijd in beslag. Daarnaast gebruiken bedrijven zogenaamde scripted situations om te evalueren, waarbij een specifiek gedrag wordt opgeroepen met een context. De opleider kan dan als coach observeren op de werkplek. Attitudes kunnen opnieuw worden gemeten met attitudeschalen.

17 IP-BObe 17 Timing De timing om op het gedragsniveau te evalueren gebeurt kort of lange tijd na de opleiding. Vaak hangt dit samen met de keuze van de leerdoelen. Hoe complexer de doelen, hoe meer tijd de deelnemers nodig hebben om zich comfortabel te voelen in het nieuwe aangeleerde gedrag én dit gedrag op een regelmatige basis te tonen. Door op de werkplek rond te vragen of het gedrag is veranderd, maakt men de mensen in de omgeving attent en merken ze de verandering bij de deelnemers van de afgelopen opleiding op (Blanchard & Thacker, 2003). Kirkpatrick (1994, 2005, 2006) adviseert, indien dit mogelijk is, een pre- en een posttest te gebruiken. Op deze wijze kan een bedrijf beter bepalen of er gedragsverandering optreedt. Daarnaast is het volgens Kirkpatrick (1994, 2005, 2006) van belang dat evaluatie enige tijd na de opleiding wordt herhaald. Sommige deelnemers, die hun gedrag onmiddellijk na de opleiding aanpasten, hervallen later wel al eens terug in hun oude gedragspatronen ORGANISATIENIVEAU Organisatiedoelen Moeilijkheden Timing Opmerking Ten slotte besteedt het organisatieniveau aandacht aan de vraag of het geleerde gedrag positief bijdraagt aan het realiseren van de organisatiedoelen. Dit niveau verwijst terug naar de vastgestelde opleidingsnoodzaak in het voortraject en naar datgene dat de aanleiding of noodzaak was tot het investeren in opleiding. Belangrijke factoren die meebepalen of het geleerde inderdaad bijdraagt, is de juistheid van de uitgevoerde probleemanalyse en de andere organisatieaspecten die noodzakelijk zijn om dezelfde organisatiedoelen te realiseren (Kirkpatrick, 1975; in Bergenhenegouwen, Mooijman & Tillema, 2002). Op organisatieniveau evalueren is het moeilijkste. De ontwikkeling van de opleidingsdoelen (proactief of reactief) gebeurt om een organisatieprobleem op te lossen en de probleemdefiniëring gebeurt op basis van het vastleggen van bepaalden organisatieresultaten. Deze aanvangsmeting kan opnieuw worden aangewend om vast te stellen of er verandering of verbetering optreedt na de opleiding. De moeilijkste vraag hierbij is of het resultaat (het opgeloste probleem) bekomen is door de opleiding. Het is daarom raadzaam om de organisatieresultaten te meten zo dicht mogelijk bij de werkunit van de deelnemers van de opleiding. De timing om op het organisatieniveau te meten kan periodiek tussen de verschillende segmenten van de opleiding. Door constant te meten in de organisatie kan men determineren wanneer verbetering plaatsvindt, of de verbetering wel voorkomt en of dit het resultaat is van de opleiding. Men kan ook na de opleiding meten, wanneer het gedrag is getransfereerd. Organisatorische resultaten zijn meestal het resultaat van verschillende oorzaken en niet alleen door opleiding gerealiseerd (Blanchard & Thacker, 2003; Kirkpatrick, 1994, 2005, 2006). Maes en Sels (1999) geven in hun artikel De evaluatie van opleidingseffecten: een vergelijking van evaluatiemethoden een overzicht van methoden per effectniveau van Kirkpatrick (bijlage 18). Dit is een waardevolle informatiebron voor wie wil evalueren volgens de niveaus van Kirkpatrick ROI-NIVEAU Vijfde niveau In tegenstelling tot Kirkpatrick onderscheidt Phillips nog een vijfde extra niveau ROI. Dit niveau vergelijkt de economische waarde van de resultaten met de kosten

18 IP-BObe 18 van het opleidingsprogramma, meestal uitgedrukt in een percentage. Het bedrijfsmanagement wil immers ook cijfermatige informatie over de economische meerwaarde van opleidingsprogramma s. Het wil weten in hoeverre de investeringen in opleidingen lonen; wat het opleidingsrendement is en wat de toegevoegde waarde is voor de organisatie. Kortweg gesteld: Is het opleidingsprogramma de kosten waard? Maar het cijfermatig berekenen van de opleidingsinspanning is al een moeilijke opdracht op zich, omdat het een geheel is van verschillende kosten zoals (a) variabele en vaste kosten, (b) kosten van ontwikkeling en voorbereiding, (c) directe en indirecte personeelskosten, Situering Kloof Doelen stellen Cruciaal De Amerikaan Phillips ontwikkelde het ROI-concept ROI in de jaren zeventig van de vorige eeuw (Phillips, 2002, 2003, 2007). Gebruikers verfijnden het in de jaren tachtig in de praktijk, waardoor het langzaam begon aan te slaan. In de jaren negentig kreeg het internationale erkenning en volgens Phillip is het nu geëvolueerd van hot topic naar een meer routineactiviteit in organisaties. Niet alleen organisaties hebben baat bij ROI, maar ook mensen hebben er persoonlijk succes bij behaald. Veel mensen hebben dankzij hun expertise in de ROI-methodologie hun baan veilig weten stellen, promoties kunnen bewerkstelligen, het imago van hun functie kunnen veranderen, het budget voor hun opleidingsafdeling zien verhogen, meer zeggingskracht in hun organisatie verworven, De belangstelling voor de ROI-methodologie is vanuit de bedrijfswereld groot en het gebruik ervan is toegenomen, maar er is nog steeds een kloof tussen daadwerkelijk en gewenst gebruik. Vaak ondervindt een gebruiker de ROI-methodologie als niet eenvoudig. Hiervoor moet hij inderdaad inzicht hebben in inkomsten, winst en kosten. Meestal beperkt een ROI-onderzoek zich echter tot eenvoudige statistische berekeningen. Toch zijn veel cijfers voor een ROI-berekening al beschikbaar in de organisatie en moeten ze enkel worden opgevraagd. Daarbij is het evenwel belangrijk dat iedereen de cijfers begrijpt en ook akkoord gaat met de te gebruiken cijfers. Veel trainingsprofessionals hebben een liefdehaatrelatie met ROI. Weinig trainers evalueren niet tot het vierde niveau van Kirkpatrick en nog minder tot het niveau van ROI. Het is belangrijk dat men bij een eerste keer klein start, het ineens juist doet en zo vertrouwen creëert. (Purcell, 2000) Het bereiken van effecten op het organisatieniveau en voor het berekenen van de ROI, impliceert dat er voorafgaand al effecten zijn op het reactie-, leer- en gedragsniveau. Zo is de kans groot dat, indien het gedragsniveau geen expliciete doelen stelt, het geleerde van de opleiding niet wordt toegepast op de werkplek en dat er waarschijnlijk geen effecten observeerbaar zijn op het organisatieniveau. Het berekenen van de ROI is dan ook niet zinvol. De meest ideale uitgangssituatie is een opleiding uitgaat van vooraf gestelde doelen voor elk niveau, in termen van opbrengst voor de organisatie. Er moet daarbij voldoende overeenstemming zijn tussen de doelen van de opleider, de opdrachtgever en de werknemer die deelneemt (Phillips, 1997, in Bergenhenegouwen, Mooijman & Tillema, 2002; Purcell, 2000). Cruciaal bij het berekenen van het rendement van de opleiding is het isoleren van de effecten van de opleiding van andere mogelijke invloeden op het rendement (Phillips, 1997, in Bergenhenegouwen, Mooijman & Tillema, 2002; Phillips, 2002, 2003, 2007; Purcell, 2000). Dit kan door middel van (a) het opzetten van controlegroepen, (b) door schattingen van werknemers over de hoeveelheid verbetering opgetreden door de opleiding, (c) door schattingen van de supervisors van de werknemers en door senior managers, (d) door schattingen van experts, (e) door

19 IP-BObe 19 schattingen van klanten van het getrainde bedrijf en (f) door het berekenen van waarden van specifieke outputvariabelen indien de opleiding niet zou hebben plaatsgevonden. Daarnaast is er ook een schatting van de invloed van andere beïnvloedende factoren nodig om de effecten van de opleiding nog beter te kunnen isoleren (Phillips, 1997, in Bergenhenegouwen, Mooijman & Tillema, 2002). ROI is niet puur gebaseerd op subjectieve schattingen. Schattingen worden gebruikt om de geloofwaardigheid te vergroten en wanneer andere methodes niet beschikbaar, te duur of te tijdrovend zijn (Phillips, 2007). Harde en zachte data Timing Om de uiteindelijke ROI te berekenen, is het omrekenen van zowel harde als zachte opbrengsten nodig. Voorbeelden van zachte data zijn: (a) toename in job satisfaction, (b) toename in commitment in de organisatie, (c) verbetering in teamwork, (d) verbetering in dienstverlening aan de klant, (e) vermindering van klachten en conflicten. Voorbeelden van harde data (bijdrage aan de winst of het besparen van kosten) zijn: (a) toename in kwaliteit omgerekend in kostenbesparingen, (b) de uitgespaarde tijd bij werknemers omgerekend in het loon, (c) een vermindering van het ziekteverzuim, (d) verhoging van de verkoopcijfers. Ten slotte kan de ROI worden berekend door de Netto Opleidingsprogramma Opbrengsten (opleidingsprogrammaopbrengsten min de kosten) te delen door de Opleidingsprogramma Kosten en die uitkomst te vermenigvuldigen met 100. Het beste tijdstip om op organisatie- en ROI-niveau de effecten te meten is volgens Phillips drie maanden na de opleiding. (Phillips, 1997, in Bergenhenegouwen, Mooijman & Tillema 2002; Phillips, 2002, 2003, 2007) Zeven stappen Samenvattend omvat het ROI-meetmodel van Phillips zeven stappen (bijlage 13): 1. Een projectplan opzetten; 2. Verzamelen van data over de opleiding(en); 3. Analyse van data; 4. Bepaling van de financiële opbrengsten; 5. Berekening van de kosten van het programma (de gedane investering); 6. Berekening van de ROI; 7. Rapportering van de resultaten. Voorwaarden Leerproces Dit stappenproces moet volgens Phillips voldoen aan de volgende voorwaarden: 1. Het proces moet eenvoudig blijven en geen complexe formules omvatten; 2. Het proces moet geloofwaardig zijn; 3. Het proces moet betaalbaar zijn en eenvoudig toepasbaar voor allerlei opleidingen; 4. Het proces moet rekening houden met andere beïnvloedende factoren op de gerealiseerde resultaten; 5. Het proces moet rekening houden met alle kosten samenhangend aan de opleiding: kosten van de behoefteanalyse, de ontwikkelings-, uitvoerings- en evaluatiekosten. Een ROI-meting is niet geschikt voor alle organisaties. Een ROI-meting vergt een vertrouwelijk en ondersteunend klimaat in de organisatie en specifieke vaardigheden. Daarnaast kost een ROI-meting tijd en geld, is er als basis een goede initiële analyse van de opleidingsbehoeften nodig en vergt het discipline en een sterke planning. Vaak hebben organisaties ook angst om aan een ROI-meting te beginnen. Een ROI-meting is interessant als de organisatie vanuit dit proces bereid is om te leren, te veranderen en nieuwe dingen uit te proberen (Gielen & Indesteege, 2004).

20 IP-BObe 20 Het is niet interessant om voor alle opleidingsprogramma s op ROI-niveau te evalueren. Evalueren op ROI-niveau is nuttig bij opleidingsprogramma s die (1) heel duur zijn, (2) strategisch belangrijk zijn, (3) grote doelgroepen hebben, (4) operationeel gericht zijn en (5) waarvoor het management graag verantwoording heeft (Phillips, 2002, 2003, 2007). Voordelen De voordelen van het meten van het ROI zijn volgens Phillips (Purcell, 2000; Phillips, 2007): 1. Aantonen van bijdragen van specifieke programma s; 2. Aantonen van de waarde van een programma op pilootbasis; 3. Helpt om dezelfde financiële taal te spreken zoals het managementteam; 4. Rechtvaardigen of in stand houden van budgetten; 5. Schrappen van programma s die geen waarde toevoegen; 6. Hervormen of verbeteren van programma s; 7. Opbouwen van relaties met belangrijke managers; 8. Genereren van steun van het managementteam; 9. Verbeteren van de tevredenheid van het opleidings- en ontwikkelingsteam KRITIEK OP DE MODELLEN VAN KIRKPATRICK EN PHILLIPS Hiërarchie Timing Holton Brakel (2000) beschrijft in het Handboek Effectief Opleiden (2003) de vier opleidingsniveaus van Kirkpatrick. Hij beperkt zich niet enkel tot uitleg van de vier niveaus, maar geeft ook de kritiek weer die over het model bestaat. Het model is populair bij onderzoekers en organisaties door zijn eenvoud en het veelbelovend karakter dat opleidingen uiteindelijk invloed hebben op de resultaten van de organisatie. Het model van Kirkpatrick is een taxonomie en kenmerkt zich door een hiërarchische opbouw in de opleidingseffecten (Kirkpatrick, 1994). Effecten op de hogere niveaus (vb. organisatieniveau) worden voorafgegaan door effecten op lagere niveaus (reactie-, leer- en gedragsniveau). Het is een keten van doelen en een keten van oorzaak en gevolg. Op deze keten is er kritiek (Schramade, 1984; Holton, 1996; Van Dellen, 1994 in Brakel 2000). Positieve effecten op lagere niveaus gaan niet altijd samen met positieve effecten op hogere niveaus. De effecten op lagere niveaus zijn niet voorwaardelijk en niet noodzakelijk voor effecten op hogere niveaus. Brakel (2000) schetst een voorbeeld vanuit de bankwereld. Een bank wou zijn adviseurs klantvriendelijker krijgen en liet hiervoor een trainingsprogramma doorlopen. Eén van de doelstellingen was vaker glimlachen naar de klanten. Nadien bleek inderdaad dat de adviseurs vaker glimlachten naar de klanten. Deze gedragsverandering had echter geen positief effect op organisatieniveau. De klanten vonden dit gedrag raar en verkozen liever in gesprek te gaan met normale adviseurs. Een ander kritiek vanuit de bedrijfswereld op het model van Kirkpatrick is dat evalueren aan de hand van dit model altijd na de opleiding plaatsvindt (Swanson & Gradous 1990, in Brakel 2000). Een goede evaluatie start voor de uitvoering van een opleiding. Vooraf worden meestal al inschattingen gemaakt van de (financiële) effecten van een opleiding. Vanuit wetenschappelijke kring is er o.a. kritiek geformuleerd door Holton (Holton 1996, in Brakel 2000; Swanson & Holton, 1999 in Donovan, Hannigan & Crowe, 2001). Het model van Kirkpatrick is volgens Holton een classificatie van verschijnselen, waardoor het niet mogelijk is causale verbanden tussen de vier verschillende niveaus aan te tonen. Daarnaast omvat het model alleen uitkomsten van een oplei-