EVALUATIE- EN ADVIESRAPPORT

EVALUATIE- EN ADVIESRAPPORT INTERSTUDIE Opdracht : Opdracht 2 en 3 Inleverdatum : 09-01-2006 Stellers : Andries Flart Peter van de Smissen Remko Heijnen Gerard Schoonhoven Bijlage : 1 (evaluatieformulier) 1

SAMENVATTING In opdracht van Interstudie is een evaluatieonderzoek verricht om de kwaliteit van de training Leidinggeven aan individuen in kaart te brengen en de kwaliteit te waarborgen. Aan de hand van de te houden kwaliteitscontroles is gekeken of de huidige opleiding voldoet aan de gewenste kwaliteit en/of wensen van de cursisten. Het evaluatieonderzoek is uitgevoerd aan de hand van de 30 evaluatieformulieren die ons zijn toegestuurd. Het ontbreken van expertise op het gebied van dergelijke kwaliteitscontroles, binnen Interstudie, heeft geresulteerd in het verzoek aan ons adviesbureau Partners in Kennis een adviesrapport te maken op het gebied van kwaliteitsonderzoek en adviezen te geven in het mogelijk verder ontwikkelen en uitvoeren van dergelijke kwaliteitscontroles. 2

INHOUDSOPGAVE SAMENVATTING 2 INHOUDSOPGAVE 3 VOORWOORD 6 INLEIDING 7 1 PROBLEEMSTELLING 8 1.1 De opdracht 8 1.2 Probleemanalyse 8 1.3 Doelstelling 9 1.4 De onderzoeksvraag 9 2 METHODE VAN ONDERZOEK 10 2.1 Inleiding 10 2.2 Opzet 10 2.3 Onderzoeksfasen 10 2.4 Documenten 10 2.5 Cursusgegevens 11 2.6 Voorwaarden evaluatieformulier 11 2.7 Uitvoerbaarheid 11 2.8 Tijdstip 11 2.9 Evaluatieniveau 11 2.10 Doelstellingen 12 2.11 Open en gesloten vragen 12 3

2.12 Formuleren van vragen 12 2.13 Antwoordschaal 12 3 RESULTATEN 13 3.1 inleiding 13 3.2 De resultaten 13 3.2.1 Vraag 1 13 3.2.2 Vraag 2 14 3.2.3 Vraag 3 14 3.2.4 Vraag 4 15 3.2.5 Vraag 5 15 3.2.6 Vraag 6 16 3.2.7 Vraag 7 16 3.2.8 Vraag 8 17 4 TRANSFER 18 4.1 Inleiding 18 4.2 Kennis 18 4.3 Het leerproces 19 4.3.1 Kolb 19 4.3.2 Nonaka en Takeuchi 20 4.4 Transfer 21 4.4.1 Vormen van transfer 21 4.4.2 Near-transfer en far-transfer 21 4.5 Transferbevorderende maatregelen 22 5 CONCLUSIES 23 5.1 Inleiding 23 4

5.2 Conclusies 23 6 AANBEVELINGEN TRAINING 24 6.1 Inleiding 24 6.2 Aanbevelingen 24 6.2.1 Ideaalplanning evaluatie 25 6.2.2 Schematisch gedacht verloop totale evaluatietraject 27 7 AANBEVELINGEN TRANSFER 28 7.1 Inleiding 28 7.2 Transfer bevorderende maatregelen 28 7.3 Samenvatting transfer 29 LITERATUURLIJST 30 BIJLAGE 1: HET VERBETERDE EVALUATIEFORMULIER 5

VOORWOORD Interstudie is onder andere verantwoordelijk voor de leergang Adjunct-directeur PO, zoals de opleiding Leidinggeven aan individuen. Om de gewenste kwaliteit van de opleidingen te kunnen waarborgen dienen er kwaliteitscontroles plaats te vinden. Interstudie is verantwoordelijk voor de kwaliteitscontroles m.b.t. de eerder genoemde opleiding. Aan de hand van te houden kwaliteitscontroles zal worden gekeken of de huidige opleidingen voldoen aan de gewenste kwaliteit. Het ontbreken van expertise op het gebied van kwaliteitscontroles, binnen Interstudie, heeft geresulteerd in het verzoek aan ons adviesbureau Partners in Kennis een adviesrapport te maken op het gebied van kwaliteitsonderzoek en adviezen te geven in het mogelijk verder ontwikkelen en uitvoeren van dergelijke kwaliteitscontroles. Dit adviesrapport bevat tevens mogelijke procedurevoorstellen en adviezen voor de uitvoering, verbetering en verwerking van enquêtes en bevat informatie en adviezen t.a.v. het verbeteren van de transfer van kennis. 6

INLEIDING In de periode voorafgaande aan deze (tentamen)opdracht zijn er een aantal inleidende opdrachten verstrekt. Naar aanleiding van deze voorgaande opdrachten is er een keuze gemaakt om de geïnventariseerde resultaten en adviezen te bundelen in één document, het evaluatie- en adviesrapport. Bij de introductie van het evaluatie- en adviesrapport zal door ons een presentatie worden verzorgd. In de presentatie zullen zo onze bevindingen en adviezen worden gepresenteerd en kunnen eventuele nog openstaande vragen dor ons worden beantwoord. Door het maken van de opdracht is onder andere duidelijk geworden wat de aandachtspunten zijn van het evaluatieformulier en wat de respondenten van de gehouden training vinden. De opbouw van het evaluatie- en adviesrapport is als volgt. In hoofdstuk 1 wordt besproken hoe we tot de onderzoeksvraag zijn gekomen. In hoofdstuk 2 komt aan de orde volgens welke methode is onderzocht hoe de kwaliteit van de opleiding en het evaluatieformulier verbeterd kan worden. De resultaten van het evaluatieformulier vindt u in hoofdstuk 3 terug, waarna in hoofdstuk 4 enkele bevindingen van het evaluatieformulier worden uiteengezet. In hoofdstuk 5 vindt u een literatuurverkenning over transfer. In hoofdstuk 6 worden enkele conclusies getrokken, waarna in hoofdstuk 8 tot slot enkele aanbevelingen gedaan worden. De eerder genoemde presentatie zal plaatsvinden op maandag 09 jan 2006 tussen 10.00 en 12.00 uur op de HAN te Nijmegen. 7

1 PROBLEEMSTELLING In dit hoofdstuk staat de formulering van de onderzoeksvraag centraal. Het onderzoek moet immers antwoord geven op de gestelde onderzoeksvraag. In de volgende paragrafen wordt weergegeven hoe tot de onderzoeksvraag is gekomen. Allereerst wordt in paragraaf 1.1 de opdracht besproken zoals die door de opdrachtgever is verstrekt. In paragraaf 1.2 wordt vervolgens de probleemanalyse besproken die is uitgevoerd voorafgaand aan het onderzoek. Vervolgens wordt in paragraaf 1.3 de doelstelling besproken die van de probleemanalyse is afgeleid. In paragraaf 1.4 wordt de definitieve onderzoeksvraag geformuleerd. 1.1 DE OPDRACHT Naar aanleiding van de onderzoeksvraag heeft Interstudie geconstateerd dat er behoefte is aan een advies op het gebied van het evaluatieformulier voor het kunnen uitvoeren van een kwaliteitscontrole. Uit de analyse van de opdracht zijn, door Interstudie, de volgende opdrachten en doelstellingen geformuleerd ten aanzien van de kwaliteitscontrole: 1. Er dient onderzocht te worden hoe een kwaliteitscontrole effectief uitgevoerd kan worden. 2. Er dient een verbeterd evaluatieformulier gemaakt te worden. 3. Het resultaat van de kwaliteitscontrole moet inzicht geven of het resultaat van de opleiding in overeenstemming is met de cursusdoelstellingen (Return of Investments) en aan de leerwens van de klant voldoet. 4. Het eerste onderzoek dient plaats te vinden onder de geslaagde cursisten van de training Leidinggeven aan individuen. 5. De adviezen uit het onderzoek dienen verwerkt te worden in de bestaande cursus. 1.2 PROBLEEMANALYSE Het gaat om een tweedaagse training met één overnachting. De training start meestal om 10:00 uur tot 's avonds 20:00 uur. Daarna volgt een diner. De volgende dag is de start om 9:00 uur en de tweedaagse eindigt om 16:00 uur. De evaluaties worden aan het eind van de tweedaagse training uitgevoerd door het uitdelen van het evaluatieformulier. Het doel is om de cursus te evalueren en dit vast te kunnen leggen om eventuele structurele verbeterpunten te kunnen destilleren. In de training gaat het om het coachen van individuele medewerkers, het geven van (eventueel corrigerende) feedback en het voeren van verschillende soorten gesprekk en met medewerkers. Het gaat dus om individueel gericht leidinggeven en het duidelijk geven van waardering en kritiek. Coachen van de medewerkers richt zich op het zoeken naar mogelijkheden en kwaliteiten van mensen. De eigen houding van de leidinggevende speelt ook een belangrijke rol: de leidinggevende leert om voldoende afstand te kunnen houden, vriendelijke zijn en het eigen gedrag ter discussie kunnen stellen/ongelijk kunnen bekennen. Belangrijk is dat de deelnemers leren waar zij individuen hulp moeten bieden, wanneer ze samen naar een oplossing kunnen zoeken en wanneer ze dingen kunnen overlaten aan de medewerker als het probleem daar thuishoort. 8

Naar aanleiding van de opdracht is de volgende probleemstelling geformuleerd. Er zijn binnen Interstudie geen experts en/of opleidingskundigen die een dergelijk kwaliteitscontrole kunnen uitvoeren. Het gevolg van het hiervoor beschreven probleemstelling is dat Interstudie advies vraagt over het evalueren van cursussen en voorstellen voor het verbeteren van de transfer. 1.3 DOELSTELLING De gegeven opdracht is geanalyseerd en uit deze analyse is naar voren gekomen dat de opdracht een aantal doelstellingen bevat. Concreet houden deze doelstellingen in: 1. Verwerk 30 ingevulde evaluatie formulieren in Excel. 2. Draag verbeterpunten aan voor de gegeven cursus. 3. Bekijk of huidig evaluatieformulier voor verbetering vatbaar is. 4. Ontwikkel indien nodig een verbeterd evaluatie formulier. 5. Geef aanbevelingen op het gebied van transfer bevorderende maatregelen. 1.4 DE ONDERZOEKSVRAAG Bij het formuleren van de onderzoeksvraag is de voorlopige vraagstelling van de opdrachtgever het uitgangspunt geweest. De onderzoeksvraag luidt nu: Evalueer de training aan de hand van de ingevulde evaluatieformulieren. Schrijf aan de hand van de resultaten een evaluatierapport met daarin conclusies en adviezen en een advies over de wijze waarop de transfer van de cursus verbeterd kan worden. Verwerk daarnaast de tips in een verbeterd evaluatieformulier. 9

2 METHODE VAN ONDERZOEK 2.1 INLEIDING In het vorige hoofdstuk is verduidelijkt wat precies is onderzocht. In dit hoofdstuk wordt besproken via welke methode antwoordt is verkregen op de gestelde onderzoeksvraag. In paragraaf 2.2 en 2.3 worden achtereenvolgens de opzet van het onderzoek en de onderzoeksvragen weergegeven. Paragraaf 2.4 tot en met 2.13 geeft vervolgens een relevante literatuurstudie weer over het evaluatieformulier en evalueren. 2.2 OPZET Er is gestart met een literatuurstudie om te kijken waaraan een evaluatierapport moet voldoen. Dit om met gedegen en onderbouwde aanbevelingen te komen. Uitgangspunten daarbij zijn: 1. Waaruit bestaat de gegeven cursus? 2. Wat zijn de voorwaarden waaraan een evaluatieformulier aan voldoen? 3. Welke factoren bepalen de uitvoerbaarheid? 4. Wanneer is een onderzoek ethisch verantwoord? 5. Op welk moment moet men evalueren? 6. Wat is het niveau van het evalueren? 7. Wat is de doelstelling van een evaluatie? 8. Wat voor soort vragen zijn het beste? 9. Wat is het belang van de antwoordenschaal? 2.3 ONDERZOEKSFASEN Tijdens het onderzoek zijn de volgende fasen doorlopen: 1. Voorbereiden, het verzamelen van de stukken (literatuurstudie); 2. Het analyseren van de aangereikte stukken om huidige situatie aan te geven; 3. Het verwerken van de evaluatieformulieren; 4. Conclusies verwerken; 5. Het doen van aanbevelingen. 2.4 DOCUMENTEN Het verzamelen van de stukken hield voor ons in het verwerken van de evaluatieformulieren. De stukken voor wat betreft de gegeven opleiding zijn ons niet ter beschikking gesteld en kunnen daarom niet worden meegenomen in het onderzoek. Het verwerken van de evaluatieformulieren heeft door middel van het verwerkingsprogramma Excel plaatsgevonden (bijlage 1) en zal worden verwerkt in de resultaten. 10

2.5 CURSUSGEGEVENS Om verbeterpunten aan te geven voor de cursus moet eerst een analyse gewenst gedrag plaatsvinden. Hierbij dienen de volgende vragen beantwoord te worden (Hoobroeckx & Haak, 2002). Wat is het gewenste gedrag? Welke factoren hebben invloed op het al dan niet vertonen van dit gedrag? Hoe kun je dit gedrag leren? Welk gedrag kun je/wil je met het leermiddel bereiken? 2.6 VOORWAARDEN EVALUATIEFORMULIER Volgens Baarda & De Goede (2001) moet een evaluatieformulier aan de volgende voorwaarden voldoen: Goede introductie van jezelf, het onderwerp, het onderzoek en de soort vragen. Beginnen met een makkelijk onderwerp. Een logische opbouw. Nieuw onderwerp altijd aankondigen. Als vragen elkaar opvolgen waarvan de antwoorden elkaar kunnen beïnvloeden, moet de volgorde veranderd worden. 2.7 UITVOERBAARHEID Factoren die de uitvoerbaarheid van een onderzoek bepalen (Baarda & De Goede, 2001) zijn: tijd; geld; bereidbaarheid en bereikbaarheid van respondenten. Een onderzoek is ethisch verantwoord (Baarda & De Goede, 2001) wanneer: de respondent vrijwillig meewerkt; geen valse voorstelling van zaken wordt gegeven; gegevens anoniem worden verwerkt; de uitkomsten van het onderzoek geen nadelig effect hebben. 2.8 TIJDSTIP Evaluatie dient op bewust gekozen tijdstippen uitgevoerd te worden. Wanneer er geëvalueerd dient te worden hangt volgens Schramade (1989) af van een aantal aspecten. Er is een globale indeling gemaakt om evaluatieniveaus te verduidelijken, namelijk: voorafgaande aan de cursusuitvoering, tijdens de cursusuitvoering en na afloop van de cursus uitvoering. 2.9 EVALUATIENIVEAU Volgens Hoobroeckx & Haak (2002) hangt het evaluatieniveau samen met de beslissingen die genomen moeten worden aan de hand van de evaluatie. Kirkpatrick (1994) heeft de evaluatie opgesplitst in vier verschillende niveaus waarbij ieder niveau een andere evaluatiedoelstelling heeft. Het is van belang bewust om te gaan met die verschillende niveaus. 11

2.10 DOELSTELLINGEN De doelstellingen van de evaluatie moeten van tevoren expliciet zijn gemaakt: Interstudie moet weten wat het met de uitkomsten ervan gaan doen. Op basis van uitkomsten van evaluaties kunnen gerichte beslissingen worden genomen. Thijssen (1995) onderscheidt twee soorten (evaluatie) beslissingen die op grond van evaluatie kunnen worden genomen, namelijk bijstellings- en voortgangsbeslissingen. 2.11 OPEN EN GESLOTEN VRAGEN Gesloten vragen bieden in dit evaluatieonderzoek ons de volgende voordelen (Baarda & De Goede, 2001): Betrouwbaarheid is beter dan bij open vragen; Gesloten vraagstelling vraagt weinig verwerkingstijd; Verwerkingsmethode is makkelijker te ontwerpen; Toeval speelt een minder belangrijke rol; Eenvoudige antwoorden zijn mogelijk. Nadelen voor dit specifieke evaluatieonderzoek zijn echter: Bij gesloten vragen moeten de antwoordmogelijkheden aangegeven worden (geprocedeerde antwoorden); Respondenten kunnen maar beperkt antwoord geven; Vragen en antwoorden mogen slechts voor één uitleg vatbaar zijn; Vragen moeten in de taal van de respondent geschreven zijn; Vragenlijst mag niet te lang zijn. 2.12 FORMULEREN VAN VRAGEN Bij het formuleren van vragen is het van belang dat de cursist inlevingsvermogen en helderheid voor ogen moet staan. Bij het samenstellen van vragen moeten de onderstaande elementen beantwoord worden (Baarda, de Goede & Kalmijn, 2001): Is de vraag wel door de cursist te beantwoorden?; Op welke manier zou de cursist de vraag kunnen interpreteren?; Kan iedere cursist de vraag begrijpen?; Kan de ene cursist de vraag misschien anders interpreteren dan de andere? Voor ons betekende dit dat er drie criteria zijn waaraan enquêtevragen moeten voldoen: een goede enquêtevraag is te beantwoorden, concreet en neutraal. 2.13 ANTWOORDSCHAAL Baarda & De Goede (2001) zeggen dat bij het bepalen van de antwoordschaal een aantal factoren van belang zijn. Deze factoren zijn verwerkt in de opmerkingen zoals hieronder beschreven: de complexiteit van de vragen en de nuancering die in de antwoorden moeten zitten; de antwoorden waaruit de respondent kan kiezen moeten goed aansluiten bij de vraag en mogen slechts voor één uitleg vatbaar zijn; we willen de respondent tot een uitspraak dwingen; de praktische kant van het verwerken van de evaluatieformulieren. 12

3 RESULTATEN 3.1 INLEIDING In dit hoofdstuk worden de resultaten van het gehouden evaluatieonderzoek in kaart gebracht en besproken. Het verwerken van de evaluatieformulieren heeft de volgend resultaten opgeleverd. 3.2 DE RESULTATEN In onderstaande paragrafen worden de resultaten besproken die uit de respons naar voren zijn gekomen. Per vraag is een figuur toegevoegd waarin de resultaten overzichtelijk zijn weergegeven. Onder het figuur vindt u korte opsomming van de belangrijkste resultaten. 3.2.1 Vraag 1 Vraagstelling: Wat vindt u van de inhoud van deze dag(en) met betrekking tot het onderwerp? Figuur 1. INHOUD Tevredenheid 0 10 20 30 1 Niet-helpend 0 Helpend 25 Van de respondenten geven 25 van de 30 aan dat de inhoud van het onderwerp helpend als helpend wordt ervaren. 13

3.2.2 Vraag 2 Vraagstelling: Over de inhoud ben ik. Figuur 2 INHOUD 0 10 20 30 Van de respondenten geven 24 van de 30 aan dat zij zeer tevreden en 6 tevreden te zijn over de inhoud van de training. 3.2.3 Vraag 3 Vraagstelling: Over de variatie met betrekking tot de gebruikte werkvormen ben ik. Figuur 3 WERKWIJZE Tevredenheid Tevredenheid 1 Zeer tevreden 24 Tevreden 6 Neutraal 0 Ontevreden 0 Zeer ontevreden 0 0 5 10 15 20 25 1 Zeer tevreden 20 Tevreden 9 Neutraal 1 Ontevreden 0 Zeer ontevreden 0 Van de respondenten geven 20 van de 30 aan dat zij zeer tevreden en 9 tevreden te zijn over de variatie in de gebruikte werkvormen. 14

3.2.4 Vraag 4 Vraagstelling: Over de cursusleiding ben ik Figuur 4 CURSUSLEIDING Tevredenheid 0 10 20 30 1 Zeer tevreden 28 Tevreden 2 Neutraal 0 Ontevreden 0 Zeer ontevreden 0 Van de respondenten geven 28 van de 30 aan dat zij zeer tevreden en 2 tevreden te zijn over de cursusleiding 3.2.5 Vraag 5 Vraagstelling: Over de locatie (hotel) ben ik. Figuur 5 LOCATIE Tevredenheid 0 5 10 15 20 1 Zeer tevreden 11 Tevreden 18 Neut raal 0 Ontevreden 0 Zeer ontevreden 0 Van de respondenten geven 20 van de 11 aan dat zij zeer tevreden en 18 tevreden te zijn over de trainingslocatie. 15

3.2.6 Vraag 6 Vraagstelling: Het uitgebreide huiswerk ter voorbereiding op de training is voor mij. Figuur 6 HUISWERK Tevredenheid 0 5 10 15 20 25 1 Niet-helpend 5 Helpend 22 Van de respondenten geven 20 van de 30 aan dat zij zeer tevreden en 9 tevreden te zijn het huiswerkend helpend te vinden. 3.2.7 Vraag 7 Vraagstelling: Het (reeds) uitgereikte materiaal is voor mij. Figuur 7 MATERIAAL Tevredenheid 0 10 20 30 1 Onvoldoende 2 Voldoende 27 Van de respondenten geven 27 van de 30 geven aan dat het uitgereikte materiaal voldoende te vinden echter 2 respondenten geven aan dit onvoldoende. 16

3.2.8 Vraag 8 Vraagstelling: Geeft u ons toestemming om gebruik te maken van uw opmerkingen uit de evaluaties voor PR doeleinden? (alleen in te vullen tijdens de laatste bijeenkomst) Figuur 8 GEBRUIK EVALUATIEOPMERKINGEN Tevredenheid 0 5 10 15 20 1 Nee 2 Ja 18 Van de respondenten geven 18 van de 30 geven hun toestemming om de opmerkingen uit de evaluaties te mogen gebruiken voor PR doeleinden. 2 respondenten geven aan dat dit niet is toegestaan. Echter 10 van de 30 respondenten hebben hier geen antwoord op gegeven. 17

4 TRANSFER 4.1 INLEIDING "Mensen kunnen niet leren. Leren gaat vanzelf; daar doe je niets aan. Waar wel wat aan gedaan kan worden is de effectiviteit en de efficiency van dat leren" (Weggeman 1997). Het leren in organisaties staat sterk in de belangstelling. Levenslang leren, leren, leren en de lerende organisatie zijn begrippen die in veel bedrijven uitgedragen worden. De toegenomen vraag naar "werkleren" wordt mogelijk veroorzaakt door snelle veranderingen in de maatschappij en het bedrijfsleven en een gebrek aan mobiliteit in de arbeidsmarktsituatie (Thijssen, 1998). Mede door deze snelle veranderingen is het belang van kennis toegenomen: de kenniseconomie of de kennismaatschappij. De omgeving wordt meer en meer door technologie bepaald, en verandert voortdurend. De halfwaardetijd van kennis wordt steeds korter. Het is niet meer voldoende om één keer een vak te leren en daar vervolgens de rest van de loopbaan mee voort te kunnen. Kon een verpleegkundige vroeger met een basisopleiding 10 jaar vooruit, nu zou ze na b.v. drie jaar uit het vak te zijn al een behoorlijke hoeveelheid kennis missen. Een ander voorbeeld is een automatiseringsmedewerker voor wie de "waarde" van de kennis misschien al na 4 jaar gehalveerd is. Hoe, en in welke mate iemand deze kennis toepast in de werksituatie is van groot belang voor een organisatie. Transfer is letterlijk verplaatsen. De voetballer van de ene naar de andere club, de kennis van het "leslokaal" naar de werkplek. In dit hoofdstuk worden kennis, het leerproces en het begrip transfer verder uitgewerkt. Interstudie vindt het erg belangrijk dat de cursisten de kennis en vaardigheden die ze in de training hebben geleerd kunnen toepassen in hun werksituatie. Interstudie vraagt advies over de wijze waarop transfer kan worden bevorderd, zodat het opleidingseffect van de training kan worden vergroot. 4.2 KENNIS Onder kennis wordt hierboven niet alleen verstaan het weten van data of gegevens (de temperatuur, 15 deelnemers), maar ook de betekenis die iemand aan deze gegevens geeft. Daarmee worden de gegevens informatie (15 deelnemers als er 30 gepland zijn). Deze informatie is nog maar een onderdeel van de kennis. Ook ervaring, vaardigheden en attitude maken hier deel van uit. Kennis in deze vorm kan niet buiten een individu bestaan. Enerzijds omdat de informatie bestaat uit gegevens waaraan een betekenis is gegeven, anderzijds omdat ook persoonlijke ervaringen, vaardigheden en attitude deel uitmaken van die kennis. Kennis kan dan als volgt gedefinieerd worden: Kennis is een - al dan niet bewust - persoonlijk vermogen dat iemand in staat stelt een bepaalde taak uit te voeren. Dit vermogen is het metaforische product van de informatie (I), de ervaring (E), de vaardigheden (V) en de attitude (A) waarover iemand op een bepaald moment beschikt. In formule gezet: K = I. EVA (Weggeman, 1997). 18

Kennis wordt dus ruimer gezien dan alleen het weten en interpreteren van data of gegevens, de meer traditionele opvatting, en dat het een onderscheid maakt tussen deze expliciete kennis en impliciete kennis als ervaring, vaardigheden en attitude. Kennis is in deze definitie een momentopname, het is voortdurend in verandering door nieuwe informatie, door de ervaring met deze informatie in het werk, door het uitvoeren van vaardigheden, door de houding waarmee iemand naar deze ervaring kijkt. Dit proces van veranderende kennis zou je leren kunnen noemen. Leren is het doorlopen van een proces waarmee (impliciete en/of expliciete) kennis gecreëerd wordt. In de combinatie van deze definities komen een aantal belangrijke punten van leren naar voren: Leren kan bewust en doelgericht, maar ook onbewust en ongericht plaatsvinden. Leren / kennis wordt gezien als een vermogen om bepaalde (werk)taken uit te voeren. Het leerproces is een proces van veranderen, leren is veranderen. Informatie, ervaringen, vaardigheden en attitude zijn (onlosmakelijk) aan elkaar verbonden Resultaten van leren kunnen tot uitdrukking komen in een veranderde wijze van werken en in veranderde arbeidsresultaten. 4.3 HET LEERPROCES 4.3.1 Kolb De bovengenoemde aspecten van leren (en kennis) zijn terug te herkennen in de leercirkel van Kolb over het (ervarings)leren van volwassenen. Volgens Kolb is het leren een cyclisch proces waarbij vier verschillende cognitieve (leer) vaardigheden bestaan die meer of minder concreet of abstract zijn en meer of minder actief of passief. In een model weergegeven ziet dat er als volgt uit (zie figuur): Figuur 6.3.1 Uitgaande van de eerder beschreven definities wordt in elk part van de cirkel expliciete en/of impliciete kennis gecreëerd. 19

Concrete ervaring (CE) Het vermogen vooral veel indrukken op te doen staat voorop. Nieuwe ervaringen worden opgedaan door te doen, bijvoorbeeld een eerste dag op het werk. De basis wordt gelegd voor het verwerken van die ervaringen. De nadruk ligt op de impliciete kennis, ervaring en vaardigheden staan centraal. Reflectieve observatie (RO) Hier gaat het om het reflecteren op de concrete ervaringen en het observeren vanuit verschillende invalshoeken. Beschouwen en nadenken over wat is meegemaakt. De overgang van concrete indrukken (de impliciete kennis) naar een abstracte theorie (de expliciete kennis) wordt gemaakt. Ervaring en attitude vormen een basis voor nieuwe informatie. Abstracte conceptualisatie (AC) Het ontwikkelen van abstracte begrippen en generalisaties. Door de ervaringen te koppelen aan de informatie worden de ervaringen op een hoger plan gebracht. Expliciete kennis staat hierin centraal. Bijvoorbeeld door studie of door het combineren van informatie ontstaan nieuwe gegevens waaraan een betekenis kan worden gegeven. De combinatie van de leertheorie van Kolb met de nieuwe definities van kennis en leren levert mij nieuwe informatie op. Actief experimenteren (AE) De (nieuw) gevormde begrippen worden in nieuwe situaties getoetst. De modellen of theorieën worden gebruikt bij het nemen van beslissingen of het oplossen van problemen. De overgang wordt weer gemaakt van expliciete naar impliciete kennis. Informatie en vaardigheden hebben hier de meeste aandacht. 4.3.2 Nonaka en Takeuchi Nonaka en Takeuchi (1995) onderscheiden in hun werk over de kenniscreërende onderneming een viertal leerprocessen rondom expliciete kennis (Codified knowledge) en impliciete kennis (Tacit knowledge). Zij stellen dat in het westen de nadruk nog veel te veel ligt op het expliciete leren in de vorm van onderwijs, cursussen etc., en benadrukken de waarde van het impliciete leren waarbij het gebruik van ervaring en intuïties ook een belangrijke plek heeft. Een voorbeeld van socialiseren (van impliciet naar impliciet) is het leren van omgangsnormen met klanten op een afdeling. Externaliseren (van impliciet naar expliciet) zou dan zijn het vastleggen of verwoorden van deze impliciete normen. Door te combineren (van expliciet naar expliciet) zou gekeken kunnen worden of deze normen ook van toepassing zijn op bijvoorbeeld het omgaan met collega s. Internaliseren (van expliciet naar impliciet) is tenslotte het oefenen en eigen maken van deze normen (vergelijk "onbewust bekwaam"). Figuur 6.3.2. Beide indelingen lijken op elkaar en ook de afzonderlijke onderdelen van het leerproces zijn in grote lijnen vergelijkbaar. Concrete ervaring (CE) is min of meer te vergelijken met socialiseren, 20

Reflectieve observatie (RO) is min of meer te vergelijken met externaliseren, Abstracte conceptualisatie (AC) is min of meer te vergelijken met combineren en Actief experimenteren (AE) is min of meer te vergelijken met internaliseren. 4.4 TRANSFER Het is voor de organisatie van belang dat de kennis die is opgedaan in deze leerprocessen zo goed mogelijk wordt toegepast in die organisatie. Het gaat hierbij dus niet alleen om de kennis die is opgedaan in cursussen of in bedrijfsopleidingen, maar ook kennis die daarbuiten is opgedaan door bijvoorbeeld reflectieve observatie (Kolb) of socialisatie (Nonaka). 4.4.1 Vormen van transfer Bolhuis en Simons (1999) onderscheiden drie vormen van transfer: 1. Algemene transfer: Het in werksituaties gebruiken van kennis (dus ook ervaring, vaardigheden en attitude), ongeacht waar deze is verworven. 2. Specifieke transfer: Het in werksituaties gebruiken van kennis die is verworven in door het bedrijf geplande opleidingen (trainingen, cursussen, e.d.). 3. Transfer van leervermogen: Het gebruiken van kennis ten behoeve van het leren in het werk en/of in afzonderlijk geplande leersituaties, ongeacht waar deze kennis is verworven. Punt twee en drie zijn in wezen subcategorieën van algemene transfer. In bedrijven gaat de meeste aandacht uit naar de specifieke transfer omdat het hier gaat om een geplande investering waarbij een bepaald resultaat wordt beoogd. Idealiter zouden deze beoogde resultaten in leerdoelen en in concreet werkgedrag beschreven moeten zijn zodat het leereffect kan worden gemeten. De transfer van leervermogen krijgt steeds meer aandacht. Leren, zowel in het werk zelf als in door het bedrijf geplande leersituaties, wordt belangrijker naarmate van werknemers een grotere flexibiliteit en creativiteit, en een voortdurende aanpassing van kennis wordt verwacht. Voorbeelden van deze transfer van leervermogen zijn intervisie- en supervisietrajecten waarbij het reflectieve vermogen van deelnemers wordt gestimuleerd. 4.4.2 Near-transfer en far-transfer Voor de afstand waarover transfer plaatsvindt wordt wel gesproken over near-transfer en fartransfer. Deze transferafstand is de mate van overeenkomst tussen de kennis waarover een persoon beschikt en de mate van kennis die nodig is in een bepaalde situatie. Volgens Bolhuis & Simons (1999) kunnen near-transfer en far-transfer gezien worden als twee polen in het spectrum van deze transferafstand. 21

Near-transfer: Bij near-transfer is er weinig verschil tussen de kennis die iemand opdoet, bijvoorbeeld in een bedrijfsopleiding, en de kennis die nodig is in een bepaalde situatie. Om near-transfer te bereiken is er vaak sprake van het automatiseren van kennis. Deze kennis is handelingsgericht en erop gericht om bepaalde handelingen (deels) onbewust te laten gebeuren. Door deze kennis herhaald aan te bieden in een context die zoveel mogelijk overeenkomt met de werksituatie wordt near-transfer bevorderd. Voor een cursus toetsenbordvaardigheid is het bijvoorbeeld van belang dat de kennis grotendeels geautomatiseerd wordt. Dit wordt bereikt door veelvuldig in een zelfde context te oefenen. Far-transfer: Bij far-transfer is het verschil tussen de situatie waarin kennis is opgedaan en de context waarin de kennis moet worden toegepast groter. Het vraagt om een meer bewuste keuze welke informatie, ervaring, vaardigheden en attitude benodigd zijn in de verschillende situaties. De kennis is meer achtergrondgericht. Voor het bereiken van far-transfer zal bijvoorbeeld meer kennis aangeboden worden over modellen of principes, die vervolgens in verschillende situaties worden geoefend. Een voorbeeld van een leeractiviteit die gericht is op far-transfer is intervisie waarbij de deelnemers binnen een bepaalde structuur over ingebrachte situaties uit verschillende contexten leren. 4.5 TRANSFERBEVORDERENDE MAATREGELEN Welke maatregelen kunnen er genomen worden om de transfer van kennis te bevorderen? Simons (1990) richt zich in zijn artikel op de "interne representatie van kennis en vaardigheden" van de lerende: de kenmerken van de kennistoestand van de lerende. Hierbij worden negen transfercondities onderscheiden die leiden tot negen instructiemaatregelen die de transfer bevorderen. Bolhuis en Simons (1999) gaan uit van algemene criteria waaraan een leeractiviteit zou moeten voldoen en spitsen die toe op elementen die in het bijzonder met transfer te maken hebben. Het DOZ 3 boek Didactisch Vademecum (1984) onderscheidt een twaalftal leerprincipes die van toepassing zijn op de beginkenmerken van de student, informatieverwerking, leervoorwaarden en doelgericht leren. Hoewel niet benoemd als transferbevorderende maatregelen dragen deze leerprincipes wel bij aan de effectiviteit van leren en dus indirect aan transfer. De stichting AWOZ (1998) komt tenslotte met een overzicht van maatregelen die door opleiders en door de organisatie genomen kunnen worden. Op basis van een opsomming waarin deze bronnen (in meer of mindere mate) terug te vinden zijn. 22

5 CONCLUSIES 5.1 INLEIDING In dit rapport is verslag gedaan van een onderzoek naar de effecten van een evaluatieformulier en de kwaliteit van de training. De onderzoeksvraag luidde: Evalueer de training aan de hand van de ingevulde evaluatieformulieren. Schrijf aan de hand van de resultaten een evaluatierapport met daarin conclusies en adviezen en een advies over de wijze waarop de transfer van de cursus verbeterd kan worden. Verwerk daarnaast de tips in een verbeterd evaluatieformulier. In dit hoofdstuk worden de belangrijkste resultaten samengevat aan de hand van de onderzoeksvraag en worden er enkele conclusie getrokken. 5.2 CONCLUSIES 1. Uit de resultaten van het evaluatieformulier blijkt dat een meerderheid van de respondenten tevreden is over de cursus (zie Excel bestand). 2. Het bestaande evaluatieformulier voldoet op dit moment nog niet aan de doelstelling waarvoor Interstudie deze wil gebruiken. De doelstelling van het evaluatieformulier moet namelijk expliciet zijn. Interstudie moet zich afvragen wat zij met het evaluatieformulier wil bereiken. Interstudie wil het huidige formulier gebruiken voor verbeteringen van de opleidingen. De vragen die gesteld worden hebben echter alleen betrekking op randvoorwaarden en het meten van klanttevredenheid. Daarnaast blijkt uit de resultaten van het evaluatieonderzoek dat de open vragen niet met een geautomatiseerd verwerkingssysteem zijn uit te voeren. 3. Het tijdstip van afname van het evaluatieformulier voldoet volgens de theorie aan de gestelde eisen. Echter Interstudie meet alleen direct aan het eind van de cursus op reactieniveau. Omdat het gaat om een externe cursus is het inderdaad belangrijk direct te meten anders kan het gebeuren dat men te weinig feedback krijgt en/of antwoorden krijgt die niet relevant zijn. 4. De vijf puntsschaal die gebruikt wordt in het bestaande evaluatieformulier voldoet niet. Er is niet voldoende nuancering tussen zeer tevreden en tevreden. Dit is gebaseerd op de persoonlijke inschatting van de cursist. Dit leidt tot een verkeerde conclusie bij het interpreteren van het evaluatieformulier en maakt eventuele aanpassingen overbodig maken. Het antwoord moet slechts voor één uitleg vatbaar zijn (Baarda, de Goede en Kalmijn, 2001). 23

6 AANBEVELINGEN TRAINING 6.1 INLEIDING Op basis van de in het vorige hoofdstuk geconstateerde conclusies kunnen wij de volgende aanbevelingen doen. Dit om de kwaliteit van de training en het evaluatieformulier te verbeteren. 6.2 AANBEVELINGEN 1. Er kan alleen wat worden gemeld over de huidige gestelde vragen. Hieruit is gebleken dat een overgrote meerderheid vindt dat de cursus goed is (zie Excel bestand). De opmerkingen die door enkelingen waren gemaakt zijn erg persoonlijk en niet relevant voor de opleiding. Om toch op basis van hun bevindingen de cursus aan te passen is naar onze mening een verspilling van geld en manuren. 2. Het bestaande evaluatieformulier voldoet niet aan de doelstelling waarvoor Interstudie die wil gebruiken. De doelstelling van het evaluatieformulier moet namelijk expliciet zijn. Interstudie moet zich afvragen wat zij met het evaluatieformulier wil bereiken. Interstudie wil het huidige formulier gebruiken voor verbeteringen van de opleidingen de vragen die gesteld worden hebben alleen betrekking op randvoorwaarden en het meten van klanttevredenheid. Evaluatie is namelijk bedoeld om beslissingen te kunnen nemen over bijstellings- en voortgangsbeslissingen. Bij het formuleren van de vragen is het van belang dat de doelstelling van het formulier behouden blijft. En dat de vraagstelling concreet en neutraal is (Baarda, de Goede en Kalmijn, 2001). 3. Het tijdstip van afname van het evaluatieformulier voldoet volgens de theorie aan de gestelde eisen. Interstudie meet op reactieniveau wat in dit geval betekend dat er gemeten wordt aan het eind van de cursus. Omdat het hier gaat om een externe cursus is het van belang om direct te meten omdat het anders kan gebeuren dat men te weinig feedback krijgt en de antwoorden niet relevant zijn omdat de cursus te lang geleden is gevolgd. We spreken dan over de bereidbaarheid en de bereikbaarheid van de cursist Baarda & De Goede, (2001). Daar het evaluatieformulier gebruikt wordt om de cursus te verbeteren is ook het tijdstip van evalueren van belang. We spreken hier immers over een formatieve evaluatie Hoobroeckx, en Haak, (2002). 4. Bij het gebruik van open of gesloten vragen dient te worden afgewogen hoe Interstudie de verwerking van de vragen wil gaan uitvoeren. Bij gesloten vragen middels een schaal is de verwerking eenvoudiger en makkelijk automatisch uit te voeren. Bij open vragen kan men verdieping verkrijgen van de stof. Om toch zoveel mogelijk respons te verkrijgen heeft een mix van beide de voorkeur. 5. De vijf puntsschaal die gebruikt wordt in het huidige evaluatieformulier voldoet niet. Er is niet echt een onderscheid tussen de schaalverdeling op te maken en het verschil tussen zeer tevreden en tevreden is onzes inziens gebaseerd op de persoonlijke inschatting van 24

de cursist. Dit kan leiden tot een verkeerde conclusie bij het interpreteren van het evaluatieformulier en eventuele aanpassingen overbodig maken. Het antwoord moet slechts voor één uitleg vatbaar zijn Baarda, de Goede en Kalmijn, (2001). Bij het bepalen van de antwoordschaal moet worden afgewogen in hoevere we de cursist tot een antwoord willen dwingen. Er kan bijvoorbeeld gekozen worden om een vier puntsschaal te hanteren waarin altijd een keuze gemaakt moet worden. 6. Interstudie zou voor het uitvoeren van een gedegen evaluatie/kwaliteitscontrole een periode van ongeveer 3 maanden moeten uit trekken. In deze periode dient de kwaliteitscontroleur de kwaliteitscontrole, voor te bereiden en uit te voeren. Een realistisch plan van aanpak vind je in de volgende paragraaf. De eerste nulmeting vindt plaats een week voor of aan het beginnen van de training. De tweede nulmeting vindt plaats de week na het einde of aansluitend aan de van de training. De nulmetingen zijn een middel om de verschillen te kunnen meten tussen de beginsituatie en de eindsituatie (het moment van de daadwerkelijke kwaliteitscontrole). De daadwerkelijke kwaliteitscontrole vindt pas plaats in de 3e maand na het voltooien van de cursus, wanneer het geleerde mogelijk is toegepast en getest op de werkplek door de cursist de Returns of Investments. 6.2.1 Ideaalplanning evaluatie Periode: Taak: Betrokkenen: Week 1 Uitvoering eerste nulmeting Trainer (1 week voor (o.a. Belbin-test) Opleidingsontwikkelaar de opleiding) Verwerken resultaten nulmeting Actoren/cursisten training aanpassen aan resultaat nulmeting Week 2 Uitvoering van de cursus Maken van enquêtevragen. Trainer Opleidingsontwikkelaar Actoren/cursisten Week 3 (1 week na opleiding) Uitvoering tweede nulmeting (leerdoel en reactieniveau) Kwaliteitscontroleur Trainer Opleidingsontwikkelaar Actoren/cursisten Week 4 Verwerken resultaten nulmeting Rapportage van de resultaten van de nulmeting aan opdrachtgever Opslaan van de resultaten van de nulmeting Kwaliteitscontroleur Opdrachtgever 25

Week 10 (begin Uitvoering daadwerkelijke enquête 3 e maand na de opleiding) Terugkoppeling met de opdrachtgever Week 11 Verwerken enquêteresultaten Rapportage van de enquêteresultaten aan de Commandant instructiegroep Kwaliteitscontroleur Opdrachtgever Actoren/cursisten Kwaliteitscontroleur Opdrachtgever Week 12 Verwerken enquêteresultaten Rapportage van de enquêteresultaten aan de Commandant instructiegroep Kwaliteitscontroleur Opdrachtgever Week 13 Adviesrapport aan opdrachtgever Rapportage uitkomsten aan de actoren en de respondenten (optioneel) Evalueren gehele evaluatie en opleidingstraject 1 Kwaliteitscontroleur Opleidingsontwikkelaar Trainer(s) Managers Respondenten 1 Gedurende het gehele proces van ontwikkelen en opleiden zal er voordurend product- en procesevaluatie plaatsvinden. 26

6.2.2 Schematisch gedacht verloop totale evaluatietraject OPDRACHTGEVER GEWENSTE COMPETENTIES Situatie situatie MANAGERS/LEIDINGGEVENDEN (van de functionarissen) FUNCTIONARIS OPLEIDINGSVRAAG AANWEZIGE COMPETENTIES situatie EETSTE NULMETING CURSUS en/of TRAINING ONDERZOEKSVRAGEN TWEEDE NULMETING (ON)ERVAREN FUNCTIONARISSEN MANAGERS/LEIDINGGEVENDEN (van de functionarissen) VOORBEREIDEN ENQUETEVRAGEN PROEFENQUETE DAADWERKELIJK UITVOEREN ENQUETE DAADWERKELIJKE EVALUATIEONDERZOEK (na 3 maanden) INVENTARISEREN ENQUETERESULTAAT en BEHOEFTE ADVIESRAPPORT EVALUATIE DOORLOPEN TRAJECT 27

7 AANBEVELINGEN TRANSFER 7.1 INLEIDING Op basis van de geformuleerde conclusies t.a.v. transfer kunnen de volgende aanbevelingen worden gedaan om de transfer van de training te vergroten. 7.2 TRANSFER BEVORDERENDE MAATREGELEN 1. Er is sprake van een opleidingsnoodzaak: De te verwerven kennis sluit aan bij de behoefte van de organisatie en de deelnemer. De opleidingsbehoefte van de organisatie kan tot uiting komen in het formuleren van leerdoelen op werkgedrag. De behoefte van de organisatie en de deelnemer komen niet altijd overeen. 2. Betrokkenheid van het management: Betrokkenheid kan zich uiten door mee te denken en praten over de gevraagde leeractiviteit, duidelijk te zijn in verwachtingen naar gewenst werkgedrag, in het creëren van randvoorwaarden op de werkplek, het stimuleren van de deelnemer om het geleerde in praktijk te brengen. Alle bovengenoemde voorbeelden kunnen zowel in het voortraject, tijdens of in het na traject van een leeractiviteit plaatsvinden. In het topmanagement kunnen strategische beleidsuitgangspunten worden gesteld over de plek en de betekenis van leren in de organisatie. 3. Aanbieden van kennis: De kennis die wordt aangeboden moet aansluiting vinden bij bestaande informatie, ervaring, vaardigheden en attitude van de deelnemer. Op basis van aanwezige impliciete en expliciet kennis wordt nieuwe kennis gecreëerd. De opleider kan helpen verbindingen te leggen tussen nieuwe en aanwezige kennis. Het (subjectieve) nut van de te leren kennis. Evenals bij de drie vormen van transfer kan het nut van de te leren kennis liggen in het dagelijkse bestaan (algemeen) in het werk (specifiek) of in toekomstige leeractiviteiten (leervermogen). Het actief en betekenisvol bezig zijn met de leerstof kan bevorderd worden door de relatie met de leerdoelen te benadrukken, maar ook door de deelnemer dit zelf te laten ontdekken. 4. Het aanbieden van leeractiviteiten die: in overeenstemming zijn met de leerdoelen. De leerdoelen dienen zo concreet mogelijk naar de werksituatie geformuleerd te zijn. Ook evaluatievormen en criteria moeten vooraf duidelijk zijn en gerelateerd aan de leerdoelen. Discrepantie tussen werksituatie en opleidingsdoelen is een grote bron van transferproblemen; gevarieerd zijn. Herhaling van het kennisaanbod in afwisselende leeractiviteiten; deelnemers inzicht geven in de vorderingen; actieve betrokkenheid van de deelnemers stimuleren; gestructureerd zijn. Gebruik van een heldere en hanteerbare structuur. Aanbod van de leeractiviteiten in duidelijke stappen; 28

gefaseerd zijn. Opbouw van de leeractiviteit in fasen. Het kan zinvol zijn om de leeractiviteit in stukken te knippen en tussendoor perioden te werken en bezig te zijn met bijvoorbeeld opdrachten. Ook kan gedacht worden aan terugkomdagen of intervisie na een leeractiviteit; Afnemen van Belbin-test om cursisten tegemoet te komen in hun leerstijl. 5. Motivatie oriëntatie. Dit is een affectieve transferconditie. De deelnemer voelt zich letterlijk en figuurlijk "vrij" om te leren. De motivatie kan versterkt worden door het relatieve nut van de leeractiviteit te benoemen. De motivatie oriëntatie wordt meer gestimuleerd door te toetsen op het beheersen van kennis (in brede zin) in relatie met de leerdoelen, dan door multiple-choice toetsen op feitenkennis. Feedback op de voortgang heeft in de regel een positief effect op de motivatie. 6. Contextualiseren: Het verbinden van de leerstof met de context. Ook hier weer blijkt het belang van leerdoelen die gekoppeld zijn aan de werkplek, of het opleiden op de werkplek. Een andere manier om contextualiseren te bevorderen is om de realiteitswaarde van de oefeningen zo hoog mogelijk te laten zijn. Contextualiseren leidt in eerste instantie tot near-transfer. 7. De-contextualiseren: Om het geleerde ook in andere situaties toe te kunnen passen is het nodig om los te komen van de context. Een aardig voorbeeld is hier de Belg die in Arnhem van zijn plezierjacht viel en dreigde te verdrinken. Toen men na zijn redding in zijn binnenzak een zwemdiploma aantrof en hem vroeg waarom hij niet gewoon naar de kant gezwommen was antwoordde hij dat hij niet wist of het diploma ook in Nederland geldig was De-contextualiseren leidt tot far-transfer. Belangrijkste praktische maatregel hierbij is het herhalen van de leerstof in verschillende situaties. 8. Gerichte instructie: Instructie gericht op strategieën (probleemoplossing, zelfregulatie, transferstrategieën). De trainer/opleider of manager fungeert hierbij als rolmodel en kan vanuit zijn eigen ervaring voorbeelden geven. De verantwoordelijkheid voor het toepassen van de strategieën verschuift steeds meer naar de deelnemer. 9. Metacognitieve kennis. Het opdoen van kennis over kennisverwerving. Hierbij kan bijvoorbeeld gedacht worden aan het stimuleren van het reflectieve vermogen van de deelnemers en aandacht voor de leerstijlen van de deelnemers. 7.3 SAMENVATTING TRANSFER Terugkijkend naar de vormen van transfer (algemeen, specifiek, en leervermogen) zijn de maatregelen hoofdzakelijk van toepassing op de specifieke transfer. De transfer van leervermogen wordt vooral bevorderd in de laatste drie punten die tevens leiden tot far-transfer. De punten 1 t/m 7 leiden in eerste instantie tot near-transfer. Zorgdragen voor deze transferbevorderende maatregelen is een gemeenschappelijke verantwoordelijkheid van het management, de trainers, de ontwerpers van opleidingen en de medewerkers zelf. Zij vertegenwoordigen samen ook het gebied waarin impliciete en expliciete kennis wordt opgedaan en waarin dus wordt geleerd. De maatregelen hebben niet alleen betrekking op de uitvoering van leeractiviteiten, maar ook op het voor en natraject daarvan. Dit vindt allemaal plaats binnen het methodische proces van het vaststellen van het huidige en het gewenste werkgedrag, het plannen van (leer)activiteiten, het ontwikkelen en uitvoeren van deze (leer)activiteiten en het (effect)evaluatie. 29

LITERATUURLIJST Baarda D.B, de Goede, M.P.M. (2001). Basisboek kwalitatief onderzoek. Groningen: Wolters- Noordhoff. Baarda D.B, de Goede M.P.M. en Kalijn M. (2001). Enquêteren en gestructureerd interviewen. Groningen: Wolters-Noordhoff. Bergenhenegouwen G.J., Mooijman E.A.M. en Tillema H.H. (2002). Strategisch opleiden en leren in organisaties. (3 e druk). Houten: Wolters-Noordhoff. Hoobroeckx, F. en Haak, E. (2002). Onderwijskundig ontwerpen. Houten: Bohn Stafleu Van Lochem. Kirkpatrick, D.L. (1994). Evaluating Training Programs. The Four Levels. San Francisco: Berett Koehler Publishers. Weinert, F. (1989). The impact of schooling on cognitive development: One hypothetical assumption, some empirical results, and many theoretical implications. Early News. Rijkers, T. (2003). Effectief lesgeven voor vakdocenten. Soest: Nelissen. Schramade, P.W.J. (1989). Voorbereiding en planning van de effectevaluatie. In Kessels J.W.M & Smit C.A. (Eds.), Handboek opleiders in organisaties. Deventer: Kluwer Bedrijfswetenschappen. Thijssen, J.G.L (1995). Effectevaluatie binnen bedrijfsopleidingen. In J.J. Peters, P.W.J. Schramade & J.G.L. Thijssen (Eds.), Handboek Bedrijfsopleidingen. Gids voor de opleidingspraktijk. Studenteneditie. Houten/Diegem: Bohn Stafleu van Loghum. 30

BIJLAGE 1: Het verbeterd evaluatieformulier Evaluatie: INT/17-02-2004/0202/jd/fs (Opleidingen) Bladnr.: 1 Interstudie Evaluatieformulier Bijeenkomst: Datum: Leergang Adjunct-directeuren PO -'Leidinggeven aan individuen' Inhoud lesstof 1. Hoe tevreden bent u over de inhoud en de doel van de training? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O 2. Hoe tevreden bent u over de actualiteit van de lesstof? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O 3. Is er voldoende oefenstof in de lesstof aanwezig? Goed Voldoende Onvoldoende Slecht O O O O Heeft u verder nog opmerkingen of suggesties? Licht uw antwoord toe. Werkwijze 4. Hoe tevreden bent u over de gebruikte variatie in de werkvormen? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O 5. Hoe sluiten de gekozen werkvormen aan bij uw leerwijze? Goed Voldoende Onvoldoende Slecht O O O O Heeft u verder nog opmerkingen of suggesties? Licht uw antwoord toe.

Reflectie op leerproces 6. Hoe bent u uitgedaagd om uw eigen leerproces op gang te brengen c.q. te houden? Goed Voldoende Onvoldoende Slecht O O O O Resultaat 7. Hoe draagt deze training bij aan uw leiderschap voor individuen? Goed Voldoende Onvoldoende Slecht O O O O 8. Voldoet de training aan uw verwachtingen? Goed Voldoende Onvoldoende Slecht O O O O Heeft u verder nog opmerkingen of suggesties? Licht uw antwoord toe. Cursusleiding 9. Hoe tevreden bent u over de vakkennis van de cursusleiding? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O 10. Hoe tevreden bent u over de uitleg van de cursusleiding? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O 11. Wat heeft de cursusleiding bijgedragen aan uw leerproces?

Cursusduur 12. Hoe tevreden bent u over de cursusduur? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O 13. Hoe is de beschikbare tijd om te kunnen oefenen met de te leren vaardigheden? Goed Voldoende Onvoldoende Slecht O O O O Heeft u verder nog opmerkingen of suggesties? Licht uw antwoord toe. Voorbereiding 14. Hoe heeft het huiswerk ter voorbereiding op de training u geholpen? Goed Voldoende Onvoldoende Slecht O O O O Cursusmateriaal 15. Hoe heeft het cursusmateriaal u geholpen in uw leerproces? Goed Voldoende Onvoldoende Slecht O O O O 16. Is er genoeg cursusmateriaal aanwezig voor het behandelen van de lesstof? Goed Voldoende Onvoldoende Slecht O O O O Heeft u verder nog opmerkingen of suggesties? Licht uw antwoord toe. Locatie 17. Hoe tevreden bent u over de cursuslocatie? Zeer tevreden Tevreden Ontevreden Zeer ontevreden O O O O

~.... Rapportcijfer cursus 18. Kunt u een rapportcijfer geven voor de cursus? Op basis van de evaluatiegegevens kunnen wij de training zo nodig verbeteren. Hartelijk dank voor uw medewerking!