Onderzoek Effectief Innoveren Onderzoek naar de effecten van sturingsmateriaal van het Consortium Beroepsonderwijs en van resultaatgericht innoveren Projectnummer IA 08105
Colofon Titel Auteur Met medewerking van Met dank aan Onderzoek Effectief Innoveren. Onderzoek naar de effecten van sturingsmateriaal van het Consortium Beroepsonderwijs en van resultaatgericht innoveren. Joke Huisman (ecbo) Datum: Maart 2011 Projectnummer innovatiearrangement IA 08105 Projectnummer ecbo 30015 José van den Berg, Sandra van den Dungen, Paul Steehouder, Haske van Vlokhoven en Barbara van Wijk (ecbo) De in het onderzoek participerende trainers/medewerkers van het Consortium Beroepsonderwijs: Bartha Huijberts, Luc Fine, Ellen Klatter, Jeannette Moning, Maria Pelgrum, Francis Stortelder en Hans Winsemius; en de in het onderzoek participerende teams van het Drenthe College (Zorg/Welzijn; Techniek/Bouw tot juni 2009), Friese Poort (ICT), Gilde Opleidingen (Techniek/Elektro, Werktuigbouwkunde en Mechatronica), ROC Eindhoven (Zorg/Welzijn), ROC de Leijgraaf (Zorg/Welzijn tot januari 2010; Techniek tot januari 2009), ROC Midden Nederland (Zorg/Welzijn/pw; Zorg/Welzijn/Zorg niveau 3 tot mei 2010), ROC RIVOR (Welzijn niveau 3 en 4; Zorg niveau 2, 3 en 4; ICT niveau 2, 3 en 4), en ROC Zadkine (Zorg/Welzijn niveau 1 en 2; Techniek). Het onderzoek is uitgevoerd door het Expertisecentrum Beroepsonderwijs (ecbo) in het kader van het HPBO-project Effectief Innoveren (IA08105), een samenwerkingsproject van de Stichting Consortium Beroepsonderwijs (SCB), acht roc s (met ROC Zadkine als penvoerder) en ecbo.
Inhoudsopgave_Toc286227513 Inleiding... 5 1 Samenvatting resultaten en aanbevelingen... 7 1.1 Onderwijskenmerken en beoogde effecten... 7 1.2 Condities voor effectief innoveren... 9 1.3 Onderzoeken met en door opleidingsteams... 10 1.4 Aanbevelingen... 10 2 Onderzoeksvragen en uitvoering onderzoek... 13 2.1 De context van het onderzoek... 13 2.2 Onderzoeksvragen... 15 2.3 Onderzoek naar het onderwijs en de effecten van het onderwijs... 15 2.4 Onderzoek naar de condities van effectief innoveren... 20 2.5 Onderzoek en innoveren door teams... 22 3 Het onderwijs... 27 3.1 Onderwijskenmerken... 27 3.2 Conclusie... 31 4 Samenhang onderwijskenmerken en effecten van het onderwijs... 33 4.1 Mechanismen... 33 4.2 De verwachte resultaten ten aanzien van werk en vervolgopleiding... 38 4.3 De samenhang tussen de onderwijskenmerken en de effecten... 39 4.4 Conclusie... 40 5 Condities voor effectief innoveren... 41 5.1 De aanwezigheid van de condities voor effectief innoveren... 41 5.2 De samenhang tussen de condities, de onderwijskenmerken en de effecten... 42 5.3 Conclusie... 43 6 Onderzoek en sturing op condities met en door opleidingsteams... 45 6.1 Onderzoek beschikbaar bij de start van het project... 45 6.2 Onderzoeken uitgevoerd in het kader van het project Effectief Innoveren... 48 6.3 Onderwijsontwikkeling in de teams... 50 6.4 De samenhang tussen onderwijsontwikkeling en de condities... 51 6.5 Conclusies... 53 Bijlage 1: Literatuur... 55 Onderzoek Effectief Innoveren ecbo 3
Bijlage 2: Participerende teams... 57 Bijlage 3: Stuurgroep... 59 Bijlage 4: Dataonderzoek... 61 Bijlage 5: Vragenlijsten... 69 4 ecbo Onderzoek Effectief Innoveren
Inleiding Het middelbaar beroepsonderwijs zit al een aantal jaren in een ingrijpende overgang van eindtermenonderwijs naar competentiegericht onderwijs. Vanaf 2004 zijn er officiële proeftuinen en experimenten. Maar ook daarvoor waren er al opleidingen die zochten naar vormen van onderwijs die beter aansluiten op de eisen van het bedrijfsleven en op de manier van leren van jongeren en volwassenen. Binnen enkele jaren zullen alle mbo-opleidingen werken met de nieuwe competentiegerichte kwalificatiedossiers. De Stichting Consortium Beroepsonderwijs (verder steeds te noemen het Consortium ) is een organisatie van en voor mbo-scholen, waar men sinds 2000 gezamenlijk werkt aan sturingsmateriaal voor mbo-studenten. Het sturingsmateriaal is gericht op het ontwikkelen van competenties en beheersen van werkprocessen, waarbij op een gestructureerde wijze de essentiële kennis en vaardigheden aan de orde komen. Door onderlinge samenwerking van docenten hoeft niet ieder opleidingsteam zelf al het onderwijsmateriaal te ontwikkelen. Opleidingsteams kunnen de Consortiummaterialen gebruiken om hun competentiegerichte onderwijs vorm te geven. In het kader van het project Effectief Innoveren, mede mogelijk gemaakt door innovatiegelden van Het Platform Beroepsonderwijs (HPBO), hebben een aantal teams gewerkt aan het systematisch ontwikkelen van hun onderwijs met de sturingsmaterialen van het Consortium. Uitgangspunt was dat vijf condities belangrijk zijn om op een effectieve wijze tot competentiegericht onderwijs te komen, te weten: helder eigenaarschap, een inspirerend concept, een professionele aanpak, duidelijke resultaten en expliciet leren (Van den Berg en Geurts 2007). De doelen van het project hebben betrekking op het verbeteren van het onderwijs, het ontwikkelen van een methodiek voor effectief innoveren en het verkrijgen van inzicht in de effecten van de onderwijsinnovatie. Het betreft zowel de effecten van het werken met het Consortiummateriaal als van het werken met de condities voor effectief innoveren. Het project heeft diverse instrumenten en publicaties opgeleverd. Allereerst is er een methodiek ontwikkeld voor effectief innoveren, die via internet toegankelijk wordt gemaakt voor management en docenten. De methodiek zal halverwege 2011 te vinden zijn via: www.consortiumbo.nl. In de methodiek zullen ook de instrumenten die in het kader van het project zijn gebruikt, een plaats krijgen (zie de rapportage Instrumenten Effectief Innoveren ; deze rapportage is als afzonderlijk document toegevoegd). Als tweede zijn er voor de teams tussentijdse rapportages gemaakt van onderzoeken die met hen zijn uitgevoerd. Van ieder team zijn voortgangsrapportages opgeleverd. Ook is voor ieder team aan het eind van het project een teamrapportage gemaakt, die per team is besproken. Tot slot ligt hier de teamoverstijgende rapportage van het onderzoeksdeel van het project voor. Deze teamoverstijgende rapportage geeft antwoord op de volgende vragen: 1 In welke mate is het werken met de Consortiummaterialen en de daarmee samenhangende didactische principes doorgevoerd in het onderwijs van de teams? 2 Is er een relatie tussen de onderwijskenmerken en de effecten van het onderwijs? 3 In welke mate zijn de condities voor effectief innoveren aanwezig in de opleidingsteams? 4 Is er een relatie tussen het aanwezig zijn van de innovatiecondities en de gewenste onderwijskenmerken en de effecten van het onderwijs? Onderzoek Effectief Innoveren ecbo 5
5 Kunnen teams, door middel van onderzoek en sturing op condities, hun onderwijs effectiever innoveren en welke instrumenten zijn daarvoor geschikt? Deze vragen worden geïllustreerd in figuur 1. Figuur 1 Kader onderzoek naar onderwijs, effecten en innovatiecondities A Onderwijs B Effecten C Condities Bij vraag 1 en 3 gaat het respectievelijk om de stand van zaken bij blok A, het onderwijs en blok C, de condities. Bij vraag 2 en 4 gaat het om de relaties zoals die in de figuur met de pijlen worden aangegeven: welke invloed heeft het onderwijs op de effecten, en hoe beïnvloeden de condities het onderwijs en de effecten. Deze vragen worden, teamoverstijgend, besproken in deze rapportage. De vijfde vraag betreft een verkennende analyse van de aannames dat het doen van onderzoek en het sturen op condities bijdragen aan een effectiever onderwijsontwikkelproces door de teams. Hoe kun je effecten onderzoeken en hoe vertaal je dat naar onderwijsontwikkeling? Welke onderwijsontwikkeling hebben de teams doorgemaakt en is deze ontwikkeling te relateren aan de condities waaronder de teams werken? In deze rapportage beschrijven we de geanonimiseerde bevindingen van het teamoverstijgende onderzoek. Over de teamspecifieke resultaten wordt hier niet gerapporteerd, deze vertrouwelijke rapportages zijn uitvoerig met ieder team apart besproken. In de teamspecifieke rapportages zijn de teamresultaten afgezet tegen het gemiddelde van de resultaten van alle onderzochte teams. Om de onderzoeksresultaten toegankelijk te maken voor de scholen, worden over de belangrijkste opbrengsten van het onderzoek twee artikelen geschreven, één voor docententeams, en één voor het (midden)management van scholen. Deze artikelen komen in de tweede helft van maart 2011 beschikbaar via: www.ecbo.nl. Leeswijzer Na de samenvatting van de belangrijkste bevindingen en daarop gebaseerde aanbevelingen, (hoofdstuk 1) kent het rapport de volgende opzet. Hoofdstuk 2 beschrijft de doelstelling en de aanpak van de verschillende onderdelen van het teamoverstijgend onderzoek. Hoofdstuk 3 betreft de mate waarin het onderwijs in de teams overeenkomt met de visie van het Consortium op het onderwijs. Hoofdstuk 4 gaat over de relatie tussen het onderwijs en de effecten van het onderwijs. Hoofdstuk 5 rapporteert over de condities voor effectief innoveren, en geeft daarmee antwoord op de vragen naar de aanwezigheid van de condities en de relatie met de onderwijskenmerken en de effecten. In hoofdstuk 6 ten slotte wordt verslag gedaan van de teamoverstijgende inzichten, die zijn opgedaan met het doen van onderzoek door teams en het sturen op condities. 6 ecbo Onderzoek Effectief Innoveren
1 Samenvatting resultaten en aanbevelingen 1.1 Onderwijskenmerken en beoogde effecten In deze paragraaf beantwoorden we de onderzoeksvragen 1 en 2, over de uitvoering van het onderwijs, de aanwezigheid van de beoogde effecten en de relatie tussen beide. De onderwijsuitvoering Onderzoeksvraag 1 In welke mate zijn het werken met de Consortiummaterialen en de daarmee samenhangende didactische principes doorgevoerd in het onderwijs van de teams? Uit het onderzoek blijkt dat het onderwijs in redelijke mate vorm krijgt zoals bedoeld door het Consortium. De teams werken in hun onderwijsinrichting aan motivatie, loopbaanontwikkeling, zelfstandig leren, samenwerkend leren, competentiegericht ontwikkelen, maatwerk en structuur. Een onderwijsinrichting gericht op maatwerk wordt het minst gerealiseerd. Uiteraard doen zich daarbij verschillen voor tussen de teams. Er zijn aanwijzingen dat niet in iedere sector (zorg/welzijn, techniek, ICT) in dezelfde mate gewerkt wordt volgens de visie van het Consortium. De beoogde effecten Onderzoeksvraag 2 Is er een relatie tussen de onderwijskenmerken en de effecten van het onderwijs? Ten aanzien van de effecten van het onderwijs is in het project een onderscheid gemaakt tussen: 1 Mechanismen 2 Resultaten Alle veranderingen in het onderwijs hebben als uiteindelijk doel betere resultaten te realiseren. Bij resultaten gaat het bijvoorbeeld om het afleveren van competente beroepsbeoefenaren, weinig uitval, een hoog diplomarendement en doorstroom naar vervolgopleidingen. Om deze resultaten te realiseren, brengen onderwijsteams veranderingen in het onderwijs aan. Een verandering (interventie) in het onderwijs leidt niet rechtstreeks tot resultaten, maar brengt iets (mechanisme) tot stand bij studenten, waardoor de resultaten verbeteren. Door bijvoorbeeld meer afwisseling aan te brengen in werkvormen (onderwijskenmerk), is de verwachting dat studenten meer gemotiveerd raken (mechanisme), wat uiteindelijk tot minder uitval leidt (resultaat). In het onderzoek zijn mechanismen onderscheiden op het terrein van motivatie, loopbaanontwikkeling, zelfstandig leren, samenwerkend leren, competentieontwikkeling, maatwerk en structuur. Ze sluiten aan bij de visie die aan het sturingsmateriaal van het Consortium ten grondslag ligt. Er worden veranderingen in het onderwijs aangebracht om een andere manier van leren tot stand te brengen die gericht is op het aanleren van kerntaken en werkprocessen, zoals omschreven in de kwalificatiedossiers. De bedoeling van interventies is dat ze bij de studenten bepaalde mechanismen tot stand brengen, waarvan de veronderstelling is dat ze tot betere uiteindelijke resultaten leiden. De term mechanisme geeft aan dat ze doorwerking hebben op de uiteindelijke resultaten. Doordat de me- Onderzoek Effectief Innoveren ecbo 7
chanismen optreden, worden de resultaten beter. Een interventie in het onderwijs leidt niet rechtstreeks tot betere resultaten. De interventie brengt iets (een mechanisme) tot stand bij de studenten, waardoor de resultaten verbeteren. Ad.1 Mechanismen Via het onderzoek is nagegaan in welke mate studenten en docenten de mechanismen ervaren waarvan wordt verwacht dat die door het gebruik van het sturingsmateriaal van het Consortium optreden. Dat levert het volgende beeld op: De studenten ervaren de beoogde mechanismen in zekere mate. De gemiddelde scores liggen net boven het schaalmidden. De docenten nemen een deel van de mechanismen waar bij de studenten. Andere mechanismen nemen zij in mindere mate waar. Met name ervaren de studenten volgens hen niet zo veel maatwerk. Docenten en studenten verschillen bij een aantal mechanismen in de mate waarin ze de mechanismen ervaren, c.q. waarnemen bij de studenten. Ad.2 Resultaten De inzet was om via het onderzoek ook de ( hardere ) resultaten van het onderwijs in kaart te brengen (competentieniveau studenten, diplomering, doorstroom et cetera). Dit bleek om uiteenlopende redenen lastig te realiseren: adequate cijfers op teamniveau ontbraken, teams kenden onvoldoende waarde toe aan dit soort gegevens voor de ontwikkeling van hun onderwijs, er waren andere teamprioriteiten in het onderzoek, et cetera. Om op teamoverstijgend niveau toch iets te kunnen zeggen over die resultaten, is gevraagd naar de verwachtingen van de studenten en docenten over de resultaten. Verwachten zij dat studenten competente beroepsbeoefenaren worden en succesvolle doorstroom naar een vervolgstudie mogelijk is? In grote lijnen zijn die verwachtingen positief. In een enkel team zijn de verwachtingen minder hoog. Via het onderzoek is ook nagegaan of de kenmerken van het onderwijs zoals die vorm krijgen op basis van het sturingsmateriaal van het Consortium, effect hebben op mechanismen en de verwachte resultaten. Bij een analyse van het totaal van alle mechanismen en verwachte resultaten worden verbanden gevonden die erop wijzen dat het inrichten van het onderwijs volgens de visie van het Consortium een licht positief effect heeft op de mechanismen en verwachte resultaten. Een nadere analyse levert echter geen eenduidig beeld op. Sommige onderwijskenmerken laten een positief effect zien, andere een negatief effect. Gelet op de kleine respondentaantallen, het ontbreken van een door alle teams gehanteerde eenduidige effectmaat, en het karakter van het onderzoek (het niet kunnen uitsluiten van interveniërende variabelen), zijn er over de relatie onderwijskenmerken en mechanismen en resultaten geen conclusies te trekken. 8 ecbo Onderzoek Effectief Innoveren
1.2 Condities voor effectief innoveren In deze paragraaf gaan we in op onze bevindingen bij de onderzoeksvragen 3 en 4. Aanwezigheid condities Onderzoeksvraag 3 In welke mate zijn de condities voor effectief innoveren aanwezig in de opleidingsteams? Voor het beantwoorden van deze onderzoeksvraag is aangesloten bij onderzoek van Geurts en Van den Berg (2007). Zij geven aan dat er vijf condities van belang zijn om effectief te innoveren. Dat zijn: helder eigenaarschap, een inspirerend concept, een professionele aanpak, duidelijke resultaten en expliciet leren. Gemiddeld genomen zijn deze condities, naar de maatstaven van de docenten, matig aanwezig in de teams. Daarbij doen zich aanzienlijke verschillen voor tussen de teams. Het meest aanwezig volgens de docenten is de conditie helder eigenaarschap, de mate waarin teamleden zich betrokken voelen bij de onderwijsontwikkelingen in hun eigen team. De conditie duidelijke resultaten is in mindere mate gerealiseerd. Van de andere respondentgroepen (rocmanagement, bedrijven, vmbo) zijn geen of onvoldoende gegevens bekend om teamoverstijgende uitspraken te kunnen doen. Relatie condities, onderwijs en effecten Onderzoeksvraag 4 Is er een relatie tussen het aanwezig zijn van de innovatiecondities en de gewenste onderwijskenmerken en de effecten van het onderwijs? Via het onderzoek wilden we tevens zicht krijgen op de relatie tussen condities, onderwijs en effecten. Binnen de context van het project, waarbij in het onderzoek is aangesloten bij de ontwikkelingen in de teams, was dit echter een lastig te beantwoorden onderzoeksvraag. Methodologische problemen (verschillende referentiekaders die teams hanteerden bij het invullen van de conditievragenlijst en de ongelijke momenten waarop de vragenlijsten zijn ingevuld), bleken binnen de projectcontext wel gedeeltelijk te ondervangen, maar de data-analyses leverden een weinig consistent beeld op. Sommige condities laten een positief effect op onderwijskenmerken én mechanismen en resultaten zien, andere een negatief effect. De gevonden relaties zijn bovendien niet altijd significant. Verder zijn de verschillen tussen de gevonden effecten soms zo klein dat ze weinigzeggend zijn. De uitkomst van dit deel van het onderzoek wil niet zeggen dat de vijf condities er niet toe doen. Er kan alleen geconcludeerd worden dat het onderzoek geen heldere uitspraken oplevert over de relatie condities, onderwijskenmerken en effecten. Vanuit de ervaringen van trainers en onderzoekers zijn er signalen dat de condities wel van belang zijn. Gunstiger condities lijken een positieve invloed te hebben op het ontwikkelproces van de teams: tijd en energie steken in onderwijsontwikkeling, weten waar je als team naartoe werkt, een werkomgeving creëren waarin je als team goed kunt functioneren et cetera. Onderzoek Effectief Innoveren ecbo 9
1.3 Onderzoeken met en door opleidingsteams In deze paragraaf gaan we tot slot in op de laatste onderzoeksvraag. Onderzoeksvraag 5 Kunnen teams, door middel van onderzoek en sturing op condities, hun onderwijs effectiever innoveren en welke instrumenten zijn daarvoor geschikt? Het doen van onderzoek Het onderzoeken van mechanismen, effecten en condities met de teams heeft een aantal inzichten opgeleverd. Teams hebben in het algemeen een gebrekkig inzicht in resultaatgegevens als uitval, diplomaresultaat en doorstroomcijfers. Dat geldt met name voor ontwikkelingen door de tijd heen. Bovendien zijn deze gegevens niet altijd op het niveau van het team beschikbaar. De teams zijn matig geïnteresseerd in deze gegevens, omdat de relatie met het onderwijs moeilijk te leggen is. Onderzoek dat uitgevoerd is naar mechanismen (vaak tevredenheidsonderzoek), geeft docenten niet alleen meer inzicht in de effecten van verbeteringen die al zijn ingevoerd, maar ook meer inzicht in de verbeteringen die nog nodig zijn. Sturing op condities De teams die onder gunstigere condities werken, lijken meer voortgang te boeken in hun onderwijsontwikkeling en lijken verder te zijn in hun onderwijsontwikkelproces. Het werken aan het verbeteren van de condities waaronder de teams werken aan onderwijsontwikkeling lijkt daarom zinvol. Daarbij moet wel bedacht worden dat het een proces is dat tijd kost. Inzicht in de condities voor effectief innoveren blijkt teams soms te stimuleren om de condities te optimaliseren. De vragenlijst voor het meten van de aanwezigheid van condities die in het kader van het project is ontwikkeld (zie tabel B), is geschikt gebleken als reflectie-instrument. 1.4 Aanbevelingen Aan het Consortium De resultaten van het onderzoek geven een beeld welke onderwijskenmerken, met inzet van het sturingsmateriaal van het Consortium, veel en welke weinig worden toegepast. Tabel B laat dit meer in detail zien per sector (Zorg/Welzijn, ICT en Techniek). Het Consortium kan bekijken of bepaalde kenmerken meer aandacht nodig hebben bij de trainingen, of in de doorontwikkeling van het sturingsmateriaal minder belangrijk zijn. Het onderzoek levert aanwijzingen op dat er verschillen zijn tussen de sectoren in de mate waarin zij de didactische uitgangspunten realiseren. Bekeken kan worden of dit een algemenere trend is en of er meer finetuning op de specifieke kenmerken van de sectoren nodig is. Teams die met het Consortiummateriaal gaan werken, kennen in grote lijnen een volgorde in ontwikkelingsactiviteiten. Namelijk: 1 ontwikkelen van het curriculum, 2 verder uitwerken van de uitvoering van het onderwijs, 3 op onderdelen verder uitwerken en verbeteren van het curriculum en 4 verbeteren van externe relaties en ontwikkelen van meer maatwerk. De eerstgenoemde activiteiten hebben in eerste instantie veel aandacht nodig. Daarmee is niet gezegd dat de laatstgenoemde activiteiten altijd het laatst aan bod moeten komen. 10 ecbo Onderzoek Effectief Innoveren
Aan opleidingsteams Teams hebben ondersteuning nodig vanuit het management en de ondersteunende diensten van de onderwijsinstellingen, om inzicht te krijgen in de effecten die veranderingen in het onderwijs hebben op mechanismen en resultaten. Het gaat om inzichtelijke gegevens voor teams die ook trends door de jaren heen laten zien. Deze ondersteuning kan verbeterd worden. Door middel van eenvoudige vragenlijstjes (tevredenheidsonderzoek), gericht op onderwijskenmerken en mechanismen bij de deelnemers krijgt een team goede feedback op de ontwikkelingen. Het formuleren van de relatie tussen vernieuwingen en de beoogde mechanismen helpt om gerichter aan onderwijsontwikkeling te werken. Aan onderzoekers De manier van zoeken naar de relatie onderwijskenmerken en mechanismen blijkt een bruikbare vorm te zijn om na te gaan of vernieuwingen de beoogde effecten hebben. Er is vervolgonderzoek nodig om de onderzoeksresultaten die het project Effectief Innoveren over deze relatie tussen onderwijskenmerken en mechanismen heeft opgeleverd, verder te toetsen en te onderbouwen. Daarvoor is nodig: - Een grotere steekproef aan opleidingen. - Onderzoek binnen één sector met meer overeenkomst in materiaal en didactiek. - Het aanscherpen en verfijnen van de meetinstrumenten op basis van de ervaringen die in het project zijn opgedaan. Onderzoek naar de uiteindelijke resultaten van onderwijs vraagt andersoortig onderzoek. Namelijk: - Onderzoek waarin uitval, diploma- en doorstroomgegevens van opleidingen van teams die werken met Consortiummateriaal vergeleken worden met opleidingen die dat niet doen. Daarvoor is het nodig dat gegevens niet alleen bekend zijn op de combinatie van crebonummer en BRIN-nummer, maar ook op teamniveau. - Onderzoek naar de relatie tussen de mechanismen en de resultaten. Dit vereist dat dieper wordt ingegaan op de afzonderlijke mechanismen en de uiteindelijke resultaten. Leidt het mechanisme waarbij studenten ervaren dat ze kennis en vaardigheden kunnen gebruiken in werkprocessen ook tot meer competente beroepsbeoefenaren? Leidt toegenomen motivatie ook tot minder uitval? Dit vraagt om zeer specifiek wetenschappelijk onderzoek. Daarbij moet aangetekend worden dat de door het Consortium beoogde mechanismen al gebaseerd zijn op bestaande inzichten uit onderwijskundig onderzoek. Dit onderzoek ligt ook ten grondslag aan het visiedocument van het Consortium (Klatter, 2009). Onderzoek Effectief Innoveren ecbo 11
12 ecbo Onderzoek Effectief Innoveren
2 Onderzoeksvragen en uitvoering onderzoek Het onderzoek is uitgevoerd in de context van het project Effectief Innoveren, waarin teams werken met het Consortiummateriaal. Paragraaf 2.1 geeft een korte beschrijving van deze context. In paragraaf 2.2 staan de onderzoeksvragen beschreven waarop in deze rapportage antwoord wordt gegeven en worden de onderzoeken gepresenteerd die gedaan zijn om antwoord te geven op die onderzoeksvragen. In de daaropvolgende paragrafen werken we steeds één onderzoek uit. We starten daarbij met het onderzoek naar de onderwijskenmerken en effecten van het onderwijs (2.3). Vervolgens komt het onderzoek naar de condities en hun effecten aan de orde (2.4), en tot slot de onderzoeksvraag met betrekking tot het resultaatgericht en conditiegestuurd werken door teams (2.5). 2.1 De context van het onderzoek Competentiegericht onderwijs Van den Berg en De Bruijn (2009) openen hun review van competentiegericht onderwijs met de constatering dat het beroepsonderwijs sinds enkele jaren werkt aan de ontwikkeling en invoering van competentiegericht onderwijs. Daarmee zou het onderwijs beter in staat zijn te voldoen aan de wensen van veranderende leerlingenpopulaties en nieuwe omgevingseisen. Men beoogt een betere aansluiting tussen onderwijs en arbeidsmarkt en minder uitval. Wat de studenten daarvoor moeten leren is inmiddels vastgelegd in de competentiegerichte kwalificatiedossiers die, na experimenteerversies, vastere vorm beginnen te krijgen. De te gebruiken didactiek om de competenties te leren is nog steeds in ontwikkeling. Van der Meijden (2009) constateert dat er geen eenduidige didactiek competentiegericht onderwijs is. Het is dan ook aan onderwijsinstellingen en in concreto de docententeams, om het onderwijs zo in te richten dat de studenten het in de dossiers vastgelegde integrale beroepshandelen leren. Stichting Consortium Beroepsonderwijs Het middelbaar beroepsonderwijs heeft een lange traditie van didactische vernieuwingen (Van der Meijden et al., 2009). De Stichting Consortium Beroepsonderwijs komt voort uit die traditie. Docenten hebben zich verenigd om een didactiek te ontwikkelen en onderwijsmateriaal te maken waarmee studenten aan de slag kunnen. De start werd gemaakt voor de sector Techniek met opdrachten en stappenplannen voor de studenten, ontleend aan het probleemgestuurd onderwijs (PGO). Later werd materiaal ontwikkeld voor onderwijs gericht op de kwalificatiedossiers. In een continue discussie tussen docenten, waarbij gebruik wordt gemaakt van wetenschappelijke inzichten, is een visie ontwikkeld, die ten grondslag ligt aan de huidige sturingsmaterialen voor competentiegericht onderwijs. Naast het materiaal voor de sector Techniek (inclusief ICT) kent het Consortium nu ook materiaal voor de sector Zorg/Welzijn. Sturingsmateriaal Het sturingsmateriaal bestaat uit: Projectwijzers voor technische opleidingen niveau 4. Projecttaken voor technische opleidingen niveau 3. Beroepstaken voor technische opleidingen niveau 2. Kernactiviteiten voor Zorg/Welzijn. Onderzoek Effectief Innoveren ecbo 13
De verschillende soorten materiaal hebben gemeenschappelijk dat het gaat om opdrachten voor het uitvoeren van hele taken (Van Merriënboer et al., 2002). Dat kunnen onderdelen van het werk in de bpv zijn of gesimuleerde taken die op school uitgevoerd worden. De studenten volgen een stappenschema bij het uitvoeren van de taken. Dat schema loopt van oriënteren en vaststellen wat de student gaat leren, via voorbereiden en uitvoeren naar terugkijken en leerresultaten benoemen. Daarbij is er een verschil in de opdrachten voor Techniek/ICT en Zorg/Welzijn. Bij Techniek gaat het om leeropdrachten, waarmee kennis, vaardigheden en houdingen geleerd worden. Bij Zorg/Welzijn gaat het om opdrachten waarmee de competenties van de studenten in de beroepspraktijk beoordeeld worden. Aan de hand van de taken (opdrachten) ontwikkelen studenten hun handelen. De vakmatige kennis en vaardigheden worden ingekaderd door de opdrachten. Ook biedt het materiaal de mogelijkheid om (delen van) de algemene kennis en vaardigheden (avo) in relatie te brengen met de opdrachten. Het ontwikkelen van de competenties vraagt daarnaast om studieloopbaanbegeleiding, waarmee de ontwikkeling van de student gestuurd wordt. Het materiaal bevat instrumenten om terug te kijken en vooruit te kijken. Tot slot bevat het materiaal handreikingen om summatief en formatief te beoordelen. Onderdeel daarvan zijn 'proeven van bekwaamheid', waarmee door middel van assessment beoordeeld kan worden of de student aan de eisen voor het diploma voldoet. In aanvulling daarop worden andere beoordelingsmethoden gebruikt. Scholen kunnen het materiaal kopen en daarbij trainers inhuren om achtergronden te verhelderen en te trainen op specifieke vaardigheden die nodig zijn voor het werken met de materialen. Verdere informatie over werkwijze en materialen is te vinden op de website www.consortiumbo.nl. Het project Effectief Innoveren Na een voorbereidingsperiode startte in september 2008 het project Effectief Innoveren. Het project kent een looptijd van ruim twee jaar en liep tot december 2010. Er zijn twee doelstellingen geformuleerd (projectplan 2008): Meer duidelijkheid over de wijze van invoering van competentiegericht onderwijs met de materialen van het Consortium en de effecten. Het in praktijk brengen van een visie op innoveren, waardoor de deelnemende opleidingsteams hun eigen prestaties verbeteren. Het dient routine te worden dat teams hun innovatiestrategie en aanpak expliciteren en nagaan of met de gekozen innovatieactiviteiten de gewenste resultaten worden behaald. Het project beoogt de volgende opbrengsten waarin de ervaringen van de teams verwerkt worden tot inzichten met een bredere geldigheid: Inzichten in de samenhang tussen effectief innoveren (het innovatieproces), de kenmerken van het onderwijs en de effecten van het onderwijs. Een methodiek voor effectief innoveren die bruikbaar is voor opleidingen en voor het Consortium. Onderdeel daarvan zijn instrumenten waarmee opleidingen zichzelf kunnen onderzoeken. Aan het project is aanvankelijk deelgenomen door vijftien opleidingsteams. In de loop van het project is dit teruggebracht tot negen teams. De teams zijn ondersteund door trainers van het Consortium bij het vergroten van inzichten en vaardigheden in relatie tot het gebruik van het materiaal. Onderzoekers van ecbo hebben teams ondersteund bij het doen van onderzoek naar het innovatieproces en de resultaten van het onderwijs. 14 ecbo Onderzoek Effectief Innoveren
Bovenstaande geeft de context van het onderzoek aan. In de volgende paragraaf wordt verder ingegaan op de onderzoeksvragen en onderzoeksopzet. 2.2 Onderzoeksvragen Het onderzoeksdeel van het project Effectief Innoveren kent de volgende vragen: 1 In welke mate is het werken met de Consortiummaterialen en de daarmee samenhangende didactische principes doorgevoerd in het onderwijs van de teams? 2 Is er een relatie tussen de kenmerken van het onderwijs zoals die door teams worden vormgegeven en de effecten van het onderwijs? 3 In welke mate zijn de condities voor effectief innoveren aanwezig in de opleidingsteams? 4 Is er een relatie tussen het aanwezig zijn van de innovatiecondities en de gewenste onderwijskenmerken en de effecten van het onderwijs? 5 Kunnen teams, door middel van onderzoek en sturing op condities, hun onderwijs effectiever innoveren en welke instrumenten zijn daarvoor geschikt? In onderstaande paragrafen komen steeds het theoretisch kader, de opzet van de onderzoeken en de uitvoering aan de orde. Gestart wordt met het onderzoek naar de kenmerken en de effecten van het onderwijs (2.3). Vervolgens komt het onderzoek naar de condities en hun effecten aan de orde (2.4), en tot slot de onderzoeksvraag met betrekking tot het resultaatgericht en conditiegestuurd werken door teams (2.5). 2.3 Onderzoek naar het onderwijs en de effecten van het onderwijs In deze paragraaf beschrijven we het onderzoek dat is gedaan om antwoord te geven op de onderzoeksvragen 1 en 2. Achtereenvolgens worden het theoretisch kader, de opzet van het onderzoek en de uitvoering en analyse verantwoord. Theoretisch kader Eerder presenteerden we het kader van het onderzoek naar onderwijs, effecten en innovatiecondities. Figuur 2.1 Kader onderzoek naar onderwijs, effecten en innovatiecondities A Onderwijs B Effecten C Condities In het onderzoek dat we in deze paragraaf beschrijven, concentreren we ons op de blokken A en B: de kenmerken van het onderwijs, de effecten van het onderwijs en de samenhang daartussen (onderzoeksvragen 1 en 2). Onderzoek Effectief Innoveren ecbo 15
Om antwoord te kunnen geven op de onderzoeksvragen over het doorvoeren van de Consortiumwerkwijze en de effecten ervan, is een beschrijvingskader nodig voor het onderwijs en de beoogde effecten. Voor het ontwikkelen van dat kader is inhoudelijk aangesloten bij de visiedocenten van het Consortium Beroepsonderwijs (Klatter, 2009). In samenspraak met trainers van het Consortium zijn de beoogde kenmerken van het onderwijs en de beoogde effecten geïnventariseerd. Voor de structuur van het kader wordt gebruik gemaakt van de CIMO-logica (Denyer et al., 2008). De CIMO-logica komt uit de organisatiekunde en is gericht op het systematisch zoeken van oplossingen voor een (problematische) Context. In deze context worden Interventies uitgevoerd. De interventies beogen Mechanismen op gang te brengen waardoor het gewenste resultaat (de Outcome) tot stand komt. De auteurs beargumenteren dat het vooral van belang is om te onderzoeken of de mechanismen ook voorkomen als reactie op de interventies. Door inzicht in de mechanismen ontstaan aanwijzingen voor verbeteringen en verklaringen waarom resultaten wel of niet optreden. Het opent de black box tussen de interventies en de uiteindelijke resultaten. De CIMO-logica sluit goed aan bij het herinrichten van het onderwijs. Herinrichten heeft als doel de outcome, de uiteindelijke resultaten van het onderwijs, te verbeteren. Bij die resultaten gaat het bijvoorbeeld om: competente beroepsbeoefenaren, weinig uitvallers, diploma s en succesvolle doorstroom naar vervolgopleidingen. De outcome noemen we hier verder de resultaten van het onderwijs. De interventies hebben betrekking op de kenmerken van het onderwijs. Er worden veranderingen in het onderwijs aangebracht om een andere manier van leren tot stand te brengen die gericht is op het aanleren van kerntaken en werkprocessen, zoals omschreven in de kwalificatiedossiers. De bedoeling van interventies is dat ze bepaalde mechanismen tot stand brengen bij de studenten, waarvan de veronderstelling is dat ze tot betere uiteindelijke resultaten leiden. De term mechanisme geeft aan dat ze doorwerking hebben op de uiteindelijke resultaten. Doordat de mechanismen optreden, worden de resultaten beter. Een interventie in het onderwijs leidt niet rechtstreeks tot betere resultaten. De interventie brengt iets (een mechanisme) tot stand bij de studenten, waardoor de resultaten verbeteren. Doordat bijvoorbeeld in het sturingsmateriaal oriëntatie en planning steeds als fasen voorkomen (interventie), leren de studenten beter plannen (mechanisme), waardoor meer diploma s worden behaald (resultaat). En door afwisselende werkvormen te gebruiken (interventie), raken deelnemers gemotiveerd om onderwijs te blijven volgen (mechanisme), waardoor minder uitval plaatsvindt (resultaat). De context wordt gevormd door de omgeving waar een opleidingsteam mee te maken heeft. Belangrijk daarin zijn: de overgang naar de competentiegerichte kwalificatiedossiers; de visie van het roc daarop; de voorwaarden als ruimten, voorzieningen, aantal docenten en dergelijke. Dat alles beïnvloedt de kenmerken van het onderwijs. Ook het voorgaande onderwijs is context en werkt door in de keuze voor interventies. Met het CIMO-model kunnen twee soorten effecten van veranderingen in het onderwijs aangegeven worden: mechanismen en resultaten. Met veranderingen worden bepaalde mechanismen tot stand gebracht en deze mechanismen dragen op hun beurt bij aan de uiteindelijke onderwijsresultaten. 16 ecbo Onderzoek Effectief Innoveren
Schematisch kan het voorgaande als volgt worden weergegeven: Figuur 2.2 CIMO en onderwijsontwikkeling Context Kwalificatiedossiers Roc-beleid Voorwaarden Voorgaand onderwijs Interventies Onderwijskenmerken Mechanismen Mechanismen Outcome Resultaten In dit onderzoek willen we weten of het onderwijs met sturingsmateriaal van het Consortium tot beter onderwijs leidt. De focus ligt daarbij op het realiseren van de beoogde mechanismen. We kiezen voor deze focus omdat de mechanismen een directere relatie hebben met het onderwijs. De uiteindelijke resultaten worden door meer factoren dan alleen het onderwijs bepaald. Zo zijn er toevallige fluctuaties, structurele veranderingen in de studentenpopulatie, structurele en conjuncturele economische ontwikkelingen en flankerende onderwijsmaatregelen die de resultaten beïnvloeden. Daar komt bij dat de uiteindelijke resultaten in het kader van dit project lastig te onderzoeken bleken. Goede gegevens zijn matig aanwezig op het niveau van de teams (zie hoofdstuk 6). Om toch iets over de uiteindelijke resultaten te kunnen zeggen, is gekeken naar verwachtingen die docenten en studenten hebben ten aanzien van het uiteindelijke resultaat. Het betreft de verwachtingen ten aanzien van competente beroepsbeoefenaren en succesvolle doorstroom naar een vervolgopleiding. Opzet van het onderzoek Voor het onderzoeken van de samenhang tussen onderwijskenmerken 1 en de effecten (mechanismen en verwachte resultaten) zijn vragenlijsten opgesteld voor docenten en studenten. De docenten hebben vragen beantwoord over hoe zij het onderwijs uitvoeren, welke mechanismen zij waarnemen bij de studenten, en wat hun verwachtingen zijn over het functioneren van de studenten in hun toekomstige werk of eventuele vervolgopleiding. De studenten hebben vragen beantwoord over de mechanismen die zij ervaren tijdens de opleiding, en de verwachtingen over het functioneren in hun toekomstige werk of eventuele vervolgopleiding. Tot slot hebben beide respondentgroepen vragen beantwoord over enkele achtergrondvariabelen, bijvoorbeeld de periode dat een docent in het onderwijs werkt, of de leeftijd van een docent. 1 Het onderwijs waarmee studenten te maken hebben, bestaat uit drie lagen: Het curriculum waarover het team afspraken maakt, meestal vastgelegd in het beschreven curriculum. Het curriculum zoals het in de praktijk wordt uitgevoerd door de docenten. Al werkende zijn er altijd aanpassingen nodig en gaat iedere docent er op zijn eigen manier mee om. De kwaliteit van de uitvoering. Er zijn altijd verschillen in de kwaliteit van de uitvoering van onderwijsactiviteiten en begeleidingsactiviteiten. In het onderzoek is zoveel mogelijk getracht om inzicht te krijgen in het onderwijs dat de docenten in de praktijk uitvoeren. Over de kwaliteit van de uitvoering is via een vragenlijst geen inzicht te krijgen. Onderzoek Effectief Innoveren ecbo 17
In schema kan het onderzoek als volgt worden weergegeven: Figuur 2.3 Opzet onderzoek naar de onderwijskenmerken, mechanismen en resultaten Blok A: onderwijs Blok B: effecten van het onderwijs: mechanismes en (indicatie) resultaten Visie van het SCB Kenmerken onderwijs volgens docenten Zeven door studenten ervaren mechanismen Zeven door docenten waargenomen mechanismen bij studenten Verwachtingen deelnemers over het functioneren in werk en doorstroom Verwachtingen docenten over het functioneren van deelnemers in het werk en doorstroom Bestudering van het visiedocument en overleg met trainers van het Consortium leidde tot een lijst met onderwijskenmerken en mechanismen, waarbij de onderwijskenmerken en mechanismen met elkaar in verband zijn gebracht. De onderwijskenmerken en mechanismen zijn te ordenen rond zeven thema s: motivatie, loopbaanontwikkeling, zelfstandig leren, samenwerkend leren, competentieontwikkeling, maatwerk en structuur. De onderwijskenmerken en mechanismen zijn omgezet in twee vragenlijsten. Deze zijn opgenomen in bijlage 5. Tabel 2.1 geeft de relatie tussen onderwijskenmerken en beoogde mechanismen weer. Tabel 2.1 Onderwijskenmerken en de beoogde mechanismen Onderwijskenmerken Beoogde mechanismen Motivatie Aantrekkelijke stimulerende opdrachten Student is gemotiveerd voor het leren in de Opdrachten ontlenen aan de praktijk opleiding Activerende werkvormen Loopbaanontwikkeling Begeleiding van de docent is erop gericht om inzicht te verkrijgen in de mogelijkheden van de student wat betreft beroep en vervolgopleiding De begeleiding in loopbaangesprekken is erop gericht dat studenten in de opleiding keuzes maken die aansluiten bij hun mogelijkheden Opdrachten met oriëntatie op het beroep Aandacht voor voorbereiden op werken in de bpv Aandacht voor verschillende rollen en kanten (specialisaties) van het beroep Aandacht voor doorstroomkennis en vaardigheden Student heeft zicht op beroep en verschillende beroepsmogelijkheden/specialisaties, aanverwante beroepen Student heeft zicht op eigen sterke en zwakke kanten in relatie tot wat beroep vraagt Student heeft zicht op eigen wensen en waarden Student heeft zicht op mogelijkheden vervolgstudie Student maakt passende keuzes De student weet wat hij/zij in de bpv kan verwachten Student voelt zich thuis in het beroep 18 ecbo Onderzoek Effectief Innoveren
Onderwijskenmerken Zelfstandig leren Afnemende sturing in de opdrachten Persoonlijke ontwikkelplannen om eigen leren te plannen (ook in bpv) Zelfbeoordeling Portfolio Reflectie op leren en beter leren is onderdeel van begeleidingsgesprekken Stimulering door docenten om eigen verantwoordelijkheid te nemen Steeds dezelfde systematische aanpak in de opdrachten Samenwerkend leren Samenwerken in groepjes Competentieontwikkeling Opdrachten uit het sturingsmateriaal Opdrachten die meegenomen worden naar de praktijk Manier van werken en beoordelen in de bpv sluit aan bij school In bpv wordt competentieontwikkeling op dezelfde wijze beoordeeld Kennis en vaardigheden zijn verbonden met de context van de opdrachten In lessen en training wordt steeds aandacht geschonken aan relatie met de praktijk Maatwerk Persoonlijke ontwikkelingsplannen Differentiëren binnen lessen Differentiëren in begeleidingsaandacht Extra lessen/leeractiviteiten voor studenten die dat nodig hebben Mogelijkheid om delen over te slaan Keuze voor opdrachten (volgorde) kan aangepast worden aan student of bpv Structuur Introductie op de manier van werken Docenten plaatsen hun onderdeel in kader van de hele opleiding Overzicht van werkprocessen en competenties en beoordelingscriteria zijn opgenomen in het sturingsmateriaal Steeds zelfde herkenbare structuur in het sturingsmateriaal Beoogde mechanismen Student bepaalt (deels) wat hij/zij gaat leren en hoe hij/zij tot leerresultaten komt Student voelt zich verantwoordelijk voor de eigen studie Student heeft inzicht in het eigen leerproces en werkt aan verbeteren eigen leerproces Student zoekt zelf actief kennis op en oefent vaardigheden (lerende houding) Student geeft zelf vorm aan leren op de bpv Student ervaart het nut van alle stappen van het stappenplan Student gebruikt bij nieuwe taken in de stage de systematische leeraanpak Student leert samenwerkend te leren Student ervaart dat er geleerd wordt door samen aan opdrachten te werken Student ervaart competent te worden in het uitvoeren van werkprocessen Student leert van beoordelingen Student heeft zicht op eigen competentieontwikkeling en leert daarvan Student gebruikt geleerde kennis en vaardigheden in de opdrachten/bpv Student ervaart en kent relatie geleerde en de opdrachten/bpv Student ervaart dat de opleiding past bij zijn ontwikkeling/bpv Student ervaart dat een POP zin heeft en het eigen leren richting geeft Student ervaart dat er rekening wordt gehouden met zijn wensen en mogelijkheden Student loopt achterstanden in indien nodig/versnelt indien mogelijk Student weet wat van hem/haar verwacht wordt Student weet wat en hoe er beoordeeld gaat worden Student weet hoe er geleerd wordt Student weet hoe de opleiding in elkaar zit (fasering, onderdelen, enz.) Student ervaart relatie tussen de onderdelen Onderzoek Effectief Innoveren ecbo 19
Afname en analyse De vragenlijsten zijn in mei en juni 2010 afgenomen bij negen teams. Docenten hebben de vragen ingevuld tijdens een teamvergadering in aanwezigheid van de onderzoeker of geïnstrueerde teamleider. De studenten hebben de vragenlijst deels in aanwezigheid van een onderzoeker, en deels in aanwezigheid van een geïnstrueerde docent ingevuld. De respons was als volgt: Tabel 2.2 Respons vragenlijst kenmerken van het onderwijs Teams Totale aantallen Docenten 9 106 Studenten 8 508 Het aantal docenten per team varieert van 4 tot 28 docenten (volledig ingevulde vragenlijsten). Het aantal studenten varieert per team van 11 tot 127 (volledig ingevulde vragenlijsten). Om antwoord te geven op de eerste onderzoeksvraag, de mate waarin de in het materiaal verwerkte visie van het Consortium is doorgevoerd in de onderwijspraktijk, is gekeken naar: de scores van de docenten op de vragen over de onderwijskenmerken; de verschillen tussen teams; de verschillen tussen de drie sectoren: Techniek, ICT, Zorg/Welzijn; enkele achtergrondvariabelen van docenten. Voor de vraag of er een relatie is tussen de onderwijskenmerken en de mechanismen en verwachte resultaten is een indeling gemaakt in teams die hoog, midden en laag scoren op het geheel van alle onderwijskenmerken. Deze drie groepen zijn vervolgens vergeleken op hun scores op de mechanismen en verwachtingen. Door middel van variantieanalyse is gekeken of de verschillen tussen de drie groepen significant zijn. 2.4 Onderzoek naar de condities van effectief innoveren In dit hoofdstuk beschrijven we het onderzoek dat is opgezet om de onderzoeksvragen 3 en 4 te beantwoorden. Achtereenvolgens worden het theoretisch kader, de opzet van het onderzoek en de uitvoering en analyse verantwoord. Theoretisch kader Het veranderen van het onderwijs is een innovatieproces, waarbij onderzocht kan worden welke factoren belangrijk zijn om het innovatieproces goed te laten verlopen. Figuur 2.4 Kader onderzoek naar onderwijs, effecten en innovatiecondities A Onderwijs B Mechanismen/ resultaten C Condities 20 ecbo Onderzoek Effectief Innoveren
In dit onderdeel van het onderzoek wordt onderzocht in welke mate de door Van den Berg en Geurts (2007) benoemde condities voor innoveren aanwezig zijn in de teams en of deze condities van invloed zijn op de onderwijskenmerken zoals beoogd door het Consortium en de mechanismen en resultaten. Volgens deze auteurs zijn er vijf condities van belang om innovaties succesvol te laten verlopen. De teams werken aan het verbeteren van het onderwijs en dat proces verloopt voorspoediger als er aandacht is voor deze innovatiecondities. Als geheel gaat het om de volgende condities 2 : Helder eigenaarschap: docenten, teamleiders en management zijn betrokken bij en voelen zich eigenaar van het proces van onderwijsontwikkeling. Inspirerend concept: er is een visie over waar het onderwijs naartoe gaat en die visie wordt ervaren als een inspirerende visie. Professionele aanpak: het ontwikkelingsproces wordt goed aangestuurd en georganiseerd. Duidelijke resultaten: er is duidelijk vastgesteld wat de effecten van de vernieuwing moeten zijn: wat wil je bereiken en hoe laat je dat zien. Expliciet leren: er is sprake van systematische reflectie waardoor er geleerd wordt van het eigen handelen en het handelen kan worden aangepast aan wat er geleerd is. De veronderstelling is dat de aanwezigheid van deze condities leidt tot een effectiever innovatieproces. De maat voor effectiviteit is het realiseren van de beoogde innovaties in het onderwijs en het bereiken van de gewenste mechanismen en resultaten. Opzet van het onderzoek Voor het onderzoeken van de aanwezigheid van de innovatiecondities zijn verschillende instrumenten gebruikt. Namelijk: De innovatiecondities zijn geoperationaliseerd in een vragenlijst voor docenten, managers en bij het project betrokken bedrijven en vmbo-scholen. Daarvoor zijn de omschrijvingen van HPBO/CINOP gebruikt uit de publicatie Handreiking tussenrapportage in het kader van het Innovatiearrangement beroepskolom (juni, 2008). De vragen over de vijf innovatiecondities zijn aangepast aan innoveren met het Consortiummateriaal. De vragenlijst is opgenomen in bijlage 5. In de tussenrapportages van de teams in het najaar van 2009 is de stand van zaken met betrekking tot de condities beschreven. In de voortgangsgesprekken die door projectcoördinator en stuurgroeplid in het voorjaar van 2010 met de teams zijn gevoerd, zijn de teams ondervraagd over de stand van zaken en de ontwikkelingen die hebben plaatsgevonden. Voor de onderwijskenmerken en effecten van het onderwijs is de gegevensverzameling gebruikt die in paragraaf 2.3 is toegelicht. Afname en analyse De vragenlijsten over de condities voor effectief innoveren zijn in de locaties op verschillende momenten ingezet, soms in de loop van het schooljaar 2008/2009, soms aan het eind van het schooljaar 2009/2010, afhankelijk van de ontwikkelingen in de teams. Het bleek niet mogelijk de teams op basis van de conditievragenlijst te vergelijken op de mate waarin de condities in het team aanwezig zijn; de referentiekaders van de docenten van de ver- 2 Van de Berg en Geurts spraken van: gedeeld eigenaarschap, een krachtig innovatieconcept, een ontwikkelingsgerichte aanpak, transparante resultaten en expliciet leren. De terminologie is sindsdien aangepast om het gebruiksgemak te vergroten; inhoudelijk zijn er geen aanpassingen. Onderzoek Effectief Innoveren ecbo 21
schillende teams blijken te verschillend. Daarom is ervoor gekozen om op basis van scores op de vragenlijsten, de teamrapportages en de rapportages van de voortgangsgesprekken door onderzoekers en trainers een totaalscore per team voor iedere conditie te geven. De teams zijn vervolgens onderverdeeld in teams die hoog, midden en laag scoren op de condities. Met die indeling is gekeken naar de relatie met de onderwijskenmerken, de mechanismen bij de studenten en de verwachtingen ten aanzien van de resultaten. Door middel van variantieanalyse is gekeken of de relaties significant zijn. 2.5 Onderzoek en innoveren door teams Het project Effectief Innoveren is gestart vanuit de aanname dat een onderzoekende houding en sturen op de condities beiden bijdragen aan effectiever innoveren. Of deze aannames juist zijn, willen we nagaan door middel van het beantwoorden van onderzoeksvraag 5. Deze vraag valt uiteen in twee delen: onderzoek en de onderwijsontwikkeling gerelateerd aan de condities. In deze paragraaf beschrijven we de opzet van dit onderzoek dat antwoord geeft op onderzoeksvraag 5. Achtereenvolgens worden het theoretisch kader, de opzet van het onderzoek en de uitvoering en analyse verantwoord. Het theoretisch kader Voor het onderzoek in de teams geldt het algemene onderzoekskader. Figuur 2.5 Kader onderzoek naar onderwijs, effecten en innovatiecondities op teamniveau A Onderwijs B Mechanismen/ resultaten C Condities De teams ontwikkelen hun onderwijs. Daarbij gaan zij na: of de mechanismen en resultaten die beoogd zijn, optreden; of de condities optimaal zijn om het proces effectief te laten verlopen. De opgedane inzichten zijn teruggekoppeld naar het onderwijs. Daarbij zijn de teams aangemoedigd zoveel mogelijk planmatig te werken door het gebruik van ontwikkelplannen. Ze zijn aangemoedigd om helder te krijgen wat ze beogen met de ontwikkelingen en op voorhand te evalueren of de voorgenomen maatregelen in lijn zijn met de beoogde effecten. Na invoering kan onderzocht worden of de effecten zich ook voordoen. Op basis van de onderzoeksresultaten kan het onderwijs vervolgens weer verder ontwikkeld worden. Reflectiegesprekken met onderzoekers en trainers en voortgangsverslagen beogen bewustwording bij de teams te realiseren voor het doen van onderzoek en de condities voor effectief innoveren. Voorbeelden van een format voor een ontwikkelplan, handreikingen voor reflectiegesprekken en formats voor voortgangsverslagen zijn opgenomen in de Methodiek effectief innoveren. (www.consortiumbo.nl). 22 ecbo Onderzoek Effectief Innoveren