Evaluatierapport. Meesterstuk K3-fase. Yvonne Franzen. Marjan van Ooij. Hogeschool de Kempel Helmond

Transcriptie

1 1 Evaluatierapport Meesterstuk K3-fase Yvonne Franzen Marjan van Ooij Hogeschool de Kempel Helmond Begeleider dr. Jeannette Geldens Kempelonderzoekscentrum Mei 2013

2 2

3 3 Samenvatting Dit evaluatierapport omvat een evaluatie van het programmaonderdeel MST14 en MST15 binnen de K3-fase van de voltijdopleiding van Hogeschool de Kempel, waarbinnen het doen van praktijkonderzoek centraal staat. Dit onderzoek volgt op een onderzoek naar een vergelijkbaar programmaonderdeel binnen het Challenge Program, dat geleid heeft tot implementatie in de voltijdvariant van de opleiding. Aangezien binnen de K3-fase van de voltijdopleiding sprake is van een grote groep studenten en het de afstudeerfase van de opleiding betreft, is evaluatie van dit onderdeel belangrijk voor de borging van de startbekwaamheidseisen en de kwaliteit van de opleiding. De evaluatie is, in navolging van het onderzoek binnen CP3, uitgevoerd aan de hand van drie criteria voor curriculumevaluatie: uitvoerbaarheid, legitimiteit en doeltreffendheid. Deze criteria zijn opgesplitst in aspecten en vervolgens omgezet in onderzoeksvragen voor de evaluatie. Door middel van documentenanalyses en het bevragen van studenten en docenten is nagegaan in welke mate het programmaonderdeel voldoet aan deze criteria. Op grond van de resultaten is geconcludeerd dat de studieroute voor een groot deel voldoet aan de eerdergenoemde criteria. Ten aanzien van enkele punten zien studenten en tutoren kansen voor verbetering. Op basis hiervan zijn vervolgens aanbevelingen geformuleerd voor verbetering van het programmaonderdeel Meesterstuk (MST14 en MST15) in de K3-fase van de voltijd- en deeltijdopleiding. Bij de opzet en uitwerking van ons evaluatierapport hebben wij veelvuldig gebruik gemaakt van het Evaluatierapport Studieroute CP3 Onderzoek van Tyche de Groot, Utrecht mei Voor meer informatie over de achtergronden van onze evaluatie verwijzen wij dan ook naar deze evaluatie.

4 4

5 5 Inhoud 1. Inleiding Retrospectie Context en probleemschets Hogeschool de Kempel De afstudeerfase Evaluatie I-MST14 en I-MST Theoretische achtergrond evalueren Evalueren van programma s en curricula Criteria voor de evaluatie Vraagstelling Ontwerpen Deelnemers Kwalitatieve dataverzameling Dataverzamelingstechnieken, instrumenten en procedure Documentenanalyse Interviews Analyse Documentenanalyses Vragenlijst Interviews Resultaten Criterium 1: Uitvoerbaarheid Criterium 2: Legitimiteit Criterium 3: Doeltreffendheid Reflectie Conclusies Aanbevelingen Literatuur Bijlagen

6 6 1. Inleiding De populariteit van lerarenonderzoek is de laatste jaren gestegen (Lunenberg, Ponte, & Van de Ven, 2007). Dit beeld sluit aan bij het idee dat hbo-bachelors over een onderzoekend vermogen moeten beschikken (HBO-raad, 2009). Volgens de Hoger Beroepsonderwijsraad (2010) zijn onderwijs en onderzoek onlosmakelijk met elkaar verbonden als gelijkwaardige pijlers in het hoger beroepsonderwijs. Ook voor Hogeschool de Kempel vormt onderzoek de tweede kwaliteitspijler. Onderzoek en onderzoeksvaardigheden krijgen een plaats binnen de vierjarige voltijd- en deeltijdopleiding. In de notitie Onderzoek binnen Hogeschool de Kempel, worden zowel de visie op als concretisering van onderwijs nader toegelicht. De curriculumonderdelen MST14 en MST15 (meesterstuk onderzoeksdeel en meesterstuk praktijkdeel) draaien dit jaar voor het eerst in de K3-fase van de opleiding. Conform de kwaliteitsborgingsprocedure van Hogeschool de Kempel volgt op implementatie van nieuwe onderdelen altijd een evaluatie. In het kader van vergelijkbaarheid van gegevens is in dit specifieke geval gekozen om deze evaluatie in de vorm van een kwalitatief onderzoek uit te voeren. Doel van de evaluatie is om aanbevelingen te geven voor verbetering van de programmaonderdelen MST14 en MST15. Daarnaast worden in dit rapport aanbevelingen beschreven voor onderzoek binnen de voorgaande studiejaren van het reguliere programma (onderzoekslijn). De evaluatie MST14 en MST15 heeft plaatsgevonden aan de hand van het ROTOR-model (Geldens, van der Heijden, Diederen, & Popeijus, 2012). Het doorlopen van de stappen van dit denken handelingsmodel heeft gezorgd voor een systematische en planmatige aanpak van de evaluatie. In dit rapport wordt de evaluatie per stap van het ROTOR-model beschreven. De curriculumonderdelen MST14 en MST15 zijn voortgekomen uit de pilot onderzoek binnen het Challenge Program. In het kader van vergelijkbaarheid van onderzoek is ervoor gekozen om de onderzoeksmethodiek, zoals gehanteerd in het Evaluatierapport Studieroute CP3 Onderzoek van Tyche de Groot, Utrecht mei 2012 grotendeels te handhaven.

7 7

8 8 2. Retrospectie In dit hoofdstuk wordt gekeken naar de situatie betreffende de programmaonderdelen I-MST14 en I- MST15. Er wordt gestart met een beschrijving van de context van de evaluatie, gevolgd door het doel van de evaluatie. Vervolgens wordt theorie over het evalueren van programma s en curricula uiteengezet. Dit resulteert tot slot in onderzoekvragen. 2.1 Context en probleemschets Hogeschool de Kempel Hogeschool de Kempel wil graag onderzoekende startbekwame leraren opleiden. Het onderzoek heeft om deze reden als primaire functie om de kwaliteit van de beroepspraktijk te borgen en verder te ontwikkelen. In het instellingsplan Verschil maken, instellingsplan , 2012 Helmond De Kempel wordt onderzoek, naast opleiden, benoemd als een belangrijke kwaliteitspijler. Door middel van onderzoek leveren studenten, leraren en opleidingsdocenten een bijdrage aan het verbeteren van de kwaliteit van het onderwijs zowel in de opleiding als in de praktijk (De Kempel, 2012) De afstudeerfase Hogeschool de Kempel wil met de vernieuwde afstudeerfase ontplooiingskansen bieden voor talentvolle studenten in de beroepspraktijk. Daardoor ligt in de K3-fase het accent in de opleiding enerzijds bij het opdoen van ervaring rond lesgeven in een stageklas. Anderzijds voeren studenten in de afstudeerfase in diezelfde stageklas een (praktijk)onderzoek uit Onderzoek binnen de voltijdopleiding Het idee dat het voor leraren van belang is om hun praktijk te onderzoeken om goed onderwijs te kunnen geven is al jaren bekend en onderschrijft het belang van onderzoek binnen HBOopleidingen. Door Hogeschool de Kempel wordt praktijkonderzoek beschouwd als middel om de onderwijspraktijk te ontwikkelen. Het gaat om het opleiden van onderzoekende, startbekwame leraren (Hogeschool De Kempel, 2009). Ook door de HBO-raad (2010) wordt genoemd dat praktijkonderzoek in dienst staat van de beroepspraktijk. De beroepspraktijk verbetert en innoveert dankzij de op onderzoek gebaseerde kennisontwikkeling. Dit betekent dat het praktijkonderzoek met en voor de praktijk uitgevoerd dient te worden. In elk studiejaar binnen de opleiding op de Kempel komt praktijkonderzoek (of hieruit voortvloeiende deelvaardigheden) vanuit verschillende perspectieven terug. Het totaal van deze deelvaardigheden maakt onderdeel van de onderzoekslijn en resulteert erin dat studenten in de K3-fase in staat zijn zelfstandig praktijkonderzoek uit te voeren.

9 Evaluatie I-MST14 en I-MST15 De studieroutes I-MST14 en I-MST15 draaien dit jaar voor het eerst binnen de reguliere opleiding. Hogeschool de Kempel heeft gezien het belang van onderzoek binnen de opleiding en gezien het belang van borging van het startbekwaamheidsniveau behoefte aan een monitoring van deze studieroute. Doel is om vervolgens het bestaande ontwerp waar nodig te verbeteren. 2.2 Theoretische achtergrond evalueren Uit de vorige paragraaf is gebleken dat Hogeschool de Kempel behoefte heeft aan een evaluatie van de programmaonderdelen I-MST14 en I-MST15. Om de focus van de evaluatie te kunnen bepalen wordt een beschrijving gegeven van de theoretische achtergrond over de criteria voor de evaluatie Evalueren van programma s en curricula De evaluatie van I-MST14 en I-MST15 betreft een formatieve evaluatie, omdat het gaat om de monitoring van een nieuw programmaonderdeel. De evaluatie vindt plaats na MST14 en voorafgaand aan MST15.De uitkomsten van de evaluatie kunnen leiden tot wijzigingen en/ of verbeteringen van het onderdeel Criteria voor de evaluatie McKenney, Nieveen en Van den Akker (2006) noemen drie bruikbare criteria voor het evalueren van (deel)curricula, namelijk uitvoerbaarheid, legitimiteit en doeltreffendheid. Deze criteria kunnen vervolgens worden opgesplitst in aspecten (zie Tabel 2.1) De genoemde criteria dienen voor de waarborging van een goede implementatie van een programma of curriculum in balans te zijn. Deze criteria zijn bruikbaar voor de evaluatie van het programmaonderdeel I-MST14 en I-MST15 en zullen daarom in relatie tot deze evaluatie nader worden toegelicht. Tabel 2.1 Criteria Criterium Uitvoerbaarheid Legitimiteit Aspect Praktische bruikbaarheid Relevantie (dit aspect wordt niet expliciet meegenomen) Duurzaamheid Gebaseerd op hedendaagse wetenschappelijke inzichten Consistentie, harmonie & coherentie - Componenten curriculair spinnenweb - Verschijningsvormen

10 10 Doeltreffendheid Levert de gewenste resultaten op Kostenbatenverhouding Uitvoerbaarheid Het criterium uitvoerbaarheid wordt meegenomen in de evaluatie, omdat Hogeschool de Kempel voor de toekomst graag wil weten of het ontwerp uitvoerbaar is in de praktijk. Zoals in Tabel 2.1 staat weergegeven onderscheiden McKenney en collega s (2006) drie aspecten binnen het criterium uitvoerbaarheid. Bij praktische bruikbaarheid gaat het om de mate waarin het programmaonderdeel realistisch is voor de uitvoering in de alledaagse lespraktijk. Ten tweede behoort de relevantie van de inhouden van het onderdeel in relatie tot de gestelde doelen tot dit criterium. Dit aspect wordt echter niet expliciet meegenomen binnen de evaluatie, omdat de doelen en inhouden van de studieroute ook expliciet terugkomen bij het volgende criterium (zie criterium legitimiteit). Ten derde wordt de duurzaamheid van het ontwerp genoemd als één van de aspecten van uitvoerbaarheid. Hierbij kan gedacht worden aan in hoeverre het onderdeel ook in de komende studiejaren uit te voeren is. Verschillende factoren kunnen hierop van invloed zijn, zoals de beschikbaarheid van docenten, het studentenaantal en de positie van onderzoek binnen de opleiding. Legitimiteit Door McKenney en collega s (2006) wordt het criterium legitimiteit, welke ingaat op de onderliggende bedoelingen van het ontwerp, in twee aspecten opgesplitst. Ten eerste dient een ontwerp volgens dit criterium gebaseerd te zijn op hedendaagse wetenschappelijke inzichten. Hogeschool de Kempel wil met betrekking tot dit aspect graag weten of de inhouden van het onderdeel in voldoende mate overeenkomen met wetenschappelijke literatuur omtrent praktijkonderzoek. Ten tweede wordt het criterium coherentie, consistentie & harmonie genoemd. Hierbij wordt de vraag gesteld of er sprake is van samenhang tussen verschillende factoren van de studieroute. Onder deze factoren kunnen onder meer de componenten uit het curriculair spinnenweb van Van den Akker (2003) worden verstaan: visie, leerdoelen, leerinhouden, leeractiviteiten, docentrollen, bronnen en materialen, groeperingsvormen, leeromgeving, tijd en toetsing (zie figuur 2.1). De visie is in dit curriculair spinnenweb de verbindende schakel. De overige draden zijn verbonden met de visie en met elkaar.

11 11 Figuur 2.1 Curriculair spinnenweb van Van den Akker (2003) Een hoge kwaliteit binnen het curriculum betekent eveneens dat er harmonie bestaat tussen de verschillende verschijningsvormen van het curriculum (Van den Akker, 2003). Ten eerste noemt Van den Akker het beoogde curriculum, welke opgesplitst kan worden in het denkbeeldige en geschreven curriculum. Het gaat hier om de denkbeeldige en geschreven studieroute door docenten. Ten tweede wordt het uitgevoerde curriculum genoemd, welke in dit geval bestaat uit de geïnterpreteerde en de daadwerkelijk uitgevoerde studieroute door docenten. De derde verschijningsvorm betreft het bereikte curriculum en kan opgesplitst worden in het ervaren en het geleerde curriculum door studenten. Doeltreffendheid Doeltreffendheid duidt allereerst op de vraag of het ontwerp de gewenste resultaten oplevert. Hierbij kan gekeken worden of met I-MST14 en I-MST15 de vooraf opgestelde doelen worden behaald. De toetsdoelen en prestatie-indicatoren (zie Bijlage 1) worden binnen deze evaluatie gezien als het gewenste niveau. De kosten-bastenverhouding is een tweede aspect binnen het criterium doeltreffendheid (McKenney et al., 2006). Het belang van het aspect kosten-baten-verhouding wordt door de onderzoekers onderschreven. Echter, dit aspect wordt niet meegenomen in deze evaluatie aangezien dit aspect al in een eerdere fase meegespeeld heeft in de keuze om MST14 en MST15 in te voeren in het curriculum van de K3-fase. Het criterium doeltreffendheid vertoont overeenkomsten met twee criteria voor een formatieve evaluatie, die door Reigeluth (1999) worden genoemd. Ten eerste vertoont het overeenkomsten met het criterium effectiviteit, waarbij het gaat om de mate waarin de toepassing van de theorie in de

12 12 praktijk de gewenste doelen behaalt. Ten tweede is bij de criteria van Reigeluth (1999) ook de kostenbatenverhouding terug te vinden in het criterium efficiëntie. 2.3 Vraagstelling Op grond van bovenstaande criteria voor curriculumevaluatie is een onderzoeksvraag met bijbehorende deelvragen geformuleerd. Hoofdvraag: In hoeverre voldoet het programmaonderdeel Meesterstuk (onderzoeks- en praktijkdeel) binnen de afstudeerfase van de voltijd- en deeltijdopleiding aan de criteria uitvoerbaarheid, legitimiteit en doeltreffendheid? Deelvragen Uitvoerbaarheid: 1. In hoeverre is het programmaonderdeel voor docenten onderzoek uitvoerbaar in de alledaagse lespraktijk van Hogeschool De Kempel? (bruikbaarheid) 2. In hoeverre is het onderdeel uitvoerbaar in de komende studiejaren? (duurzaamheid) Legitimiteit 3. In hoeverre is het onderdeel gebaseerd op hedendaagse wetenschappelijke literatuur betreffende praktijkonderzoek? (gebaseerd op hedendaagse wetenschappelijke inzichten) 4. Op welke wijze komen de componenten van het curriculair spinnenweb van Van den Akker (2003) terug in het programmaonderdeel en in hoeverre zijn studenten en docenten tevreden over deze componenten? (coherentie, consistentie & harmonie) 5. In hoeverre is er sprake van harmonie tussen de beoogde studieroute, de uitgevoerde studieroute en de bereikte studieroute? (coherentie, consistentie & harmonie) Doeltreffendheid 6. In hoeverre levert het onderdeel de gewenste resultaten op? (levert de gewenste resultaten op)

13 13 3. Ontwerpen In dit hoofdstuk wordt de methode van dataverzameling beschreven. Dit vormt de tweede fase van het ROTOR-model Deelnemers Om de onderzoeksvragen te kunnen beantwoorden zijn de ervaringen en wensen van studenten en docenten meegenomen. Het betreft K3-studenten voltijd en deeltijd en uitvoerende docenten (tutoren) van I-MST14 en I-MST15. Zij zijn degenen die direct te maken hebben met het onderdeel en zijn daarmee belangrijke stakeholders binnen de evaluatie (McKenney et al., 2006). Voor het beantwoorden van deelvraag 5 is het zelfs noodzakelijk om de ervaringen en wensen van de betreffende studenten en tutoren mee te nemen. Bij deze deelvraag gaat het immers om harmonie tussen de door docenten beoogde studieroute, de door docenten uitgevoerde studieroute en de door studenten en docenten ervaren studieroute. Het gaat om 12 deeltijdstudenten (n=12), honderdachtentwintig voltijdstudenten (n=128) en elf tutoren (n=11) die het programmaonderdeel hebben uitgevoerd en begeleid Kwalitatieve dataverzameling Er is gekozen voor kwantitatieve en kwalitatieve dataverzameling. Daarbij bood kwalitatieve dataverzameling de mogelijkheid om de diepte in te gaan ten aanzien van de ervaringen en wensen van studenten en tutoren met betrekking tot het programmaonderdeel MST. Vervolgens gaat het om een specifieke situatie binnen Hogeschool de Kempel, welke niet generaliseerbaar hoeft te zijn naar bijvoorbeeld andere pabo s. Dit betekent tevens dat kwalitatieve dataverzameling geschikt is (Johnson & Onwuegbuzie, 2004). 3.3 Dataverzamelingstechnieken, instrumenten en procedure Er zijn meerdere dataverzamelingstechnieken toegepast. Het gaat om documentenanalyse en het bevragen van tutoren en studenten. Hierna worden de gebruikte technieken nader toegelicht Documentenanalyse Documenten programmaonderdeel MST Ten behoeve van deelvraag 4 en 5 heeft eerst een documentenanalyse plaatsgevonden. Deze documentenanalyse heeft geresulteerd in een beschrijving van het programmaonderdeel MST aan de hand van de componenten van het curriculair spinnenweb van Van den Akker (2003) (zie bijlage 2). Literatuurstudie praktijkonderzoek Om te kunnen beoordelen of het programmaonderdeel MST gebaseerd is op wetenschappelijke inzichten over praktijkonderzoek (deelvraag 3) is geput uit het literatuuronderzoek, zoals beschreven

14 14 in het Evaluatierapport Studieroute CP3 Onderzoek, Tyche de Groot, Utrecht mei De hierin beschreven doelen en kenmerken van praktijkonderzoek zijn integraal overgenomen. Onderzoeksverslagen Deelvraag 6 betreft de mate waarin het programmaonderdeel de gewenste resultaten oplevert. De toetsdoelen en prestatie-indicatoren (bijlage 1) worden in deze evaluatie gezien als het gewenste niveau. In de vorm van een onderzoeksverslag (MST14 onderzoeksdeel en MST15 praktijkdeel) dienen studenten te bewijzen dat zij deze doelen hebben behaald. De beoordelingen van de onderzoeksverslagen van studenten zijn daarom binnen deze evaluatie meegenomen om te beoordelen of de studieroute voldoet aan deelvraag 6. Daarnaast zijn de beoordelingsformulieren geanalyseerd om zicht te krijgen op de kwaliteit van de afzonderlijke prestatie-indicatoren Interviews Vragenlijst en interview K3-studenten Ten behoeve van deelvraag 3 t/m 5 heeft er onder meer een semigestructureerd groepsinterview met K3-studenten plaatsgevonden. Het interactieve karakter van een groepsinterview heeft als voordeel dat de studenten bij het zoeken naar verklaringen geïnspireerd raken door anderen (Powell & Single, 1996). Een nadeel van een groepsinterview kan zijn dat studenten elkaar kunnen beïnvloeden en dat, omdat gewerkt is met een vertegenwoordiging van studenten, niet alle vigerende meningen benoemd zijn. Alle K3-studenten hebben de mogelijkheid gekregen om deel te nemen aan het invullen van een vragenlijst. Studenten zijn hiermee in de gelegenheid gesteld om vooraf na te denken over de verschillende componenten van het programmaonderdeel. Dit zorgt er voor dat studenten elkaar minder beïnvloeden gedurende het interview en leidt daarmee tot een betrouwbaarder beeld van de situatie ( Baarda, 2009). Ten tweede stelt het de onderzoekers in staat het interview met behulp van de gegevens uit de vragenlijsten voor te bereiden. De stellingen in de vragenlijst (bijlage 4) hebben betrekking op deelvraag 3 t/m 5. Het gaat om vragen over de verschillende componenten van het programmaonderdeel en belangrijke doelen en kenmerken van praktijkonderzoek. Studenten konden in de vragenlijst op een vierpuntschaal aangeven in hoeverre zij het eens waren met de stellingen. Er is geen middencategorie toegevoegd, omdat hiermee de kans op sociaal wenselijke antwoorden wordt verkleind (Garland, 1991). De topiclijst voor het interview is vervolgens op basis van opvallende en onduidelijke punten uit de vragenlijst tot stand gekomen (zie bijlage 5). Vragenlijst en interview K3-tutoren MST Voor de beoordeling van de deelvragen 1 t/m 5 is er onder tutoren een vragenlijst (zie bijlage 6) afgenomen en heeft er een interview plaatsgevonden. Aanvullend op de gegevens uit de vragenlijst,

15 15 is er gekozen voor mondelinge dataverzameling, omdat hiermee de diepte ingegaan kon worden (Baarda, 2009). De onderzoeker heeft immers de mogelijkheid om door te vragen. De topiclijst voor het interview is op basis van opvallende en onduidelijke punten uit de vragenlijst tot stand gekomen (zie bijlage 7). 3.4 Analyse Documentenanalyses Zoals eerder genoemd zijn de documenten betreffende het ontwerp van het programmaonderdeel MST geanalyseerd aan de hand van de componenten van het curriculair spinnenweb van Van den Akker (2003). Op basis van deze informatie is de studieroute vervolgens per component van het curriculair spinnenweb beschreven Vragenlijst De resultaten van de vragenlijsten zijn ingevoerd in Excel. De resultaten zijn schematisch in tabellen weergegeven. Ook is er gezocht naar opvallende en onduidelijke punten, die als uitgangspunt zijn genomen bij de totstandkoming van de topiclijsten van de interviews Interviews Ten eerste zijn fragmenten van de interviews ondergebracht onder de juiste deelvragen en/of de aspecten van de deelvragen. Ten tweede zijn er codes toegekend aan de relevante fragmenten. De codes betroffen de componenten uit het curriculair spinnenweb en de doelen en kenmerken van praktijkonderzoek.

16 16 4. Resultaten Dit hoofdstuk betreft de vierde fase van het ROTOR-model ( Onderzoeken ). De resultaten worden per criterium uit de onderzoeksvraag beschreven. De criteria zijn vervolgens opgesplitst in verschillende aspecten. De resultaten zijn per aspect in een schema weergegeven, waarin tevens duidelijk wordt met welke dataverzamelingstechniek de betreffende resultaten zijn verkregen. 4.1 Criterium 1: Uitvoerbaarheid Bruikbaarheid en duurzaamheid zijn twee aspecten binnen het criterium uitvoerbaarheid (zie tabel 2.1 en de onderzoeksvragen). De resultaten met betrekking tot deze aspecten worden hieronder schematisch weergegeven. Tabel 4.1 Bruikbaarheid Bruikbaarheid In hoeverre is het programmaonderdeel voor docenten uitvoerbaar in de alledaagse lespraktijk van Hogeschool De Kempel? Tutoren De studieroute is praktisch uitvoerbaar voor docenten. Voorwaarden voor het praktisch uit kunnen voeren van het programmaonderdeel: - kennis over onderzoek doen - (aanvullende) scholing op het gebied van onderzoek - bevordering van de eenduidigheid door het hanteren van een handboek en het aanscherpen van doelen en pi s. Tabel 4.2 Duurzaamheid Duurzaamheid In hoeverre is de studieroute in de komende studiejaren uit te voeren? Tutoren De studieroute is duurzaam, omdat: -onderzoek belangrijk is binnen de Kempel (uitgangspunt pro-actief in onderwijsinnovatie in het instellingsplan) -duurzaamheid wordt vergroot door (aanvullende) scholing van docenten/tutoren op het gebied van onderzoek en door bevordering van de eenduidigheid door het hanteren van een handboek en het aanscherpen van doelen en pi s. 4.2 Criterium 2: Legitimiteit Gebaseerd op hedendaagse wetenschappelijke literatuur Gebaseerd op hedendaagse wetenschappelijke literatuur is het eerste aspect van het criterium legitimiteit. Literatuurstudie (zie bijlage 3) over praktijkonderzoek en daarmee samenhangende benamingen zoals actieonderzoek, ontwikkelingsonderzoek, handelingsonderzoek, programmaevaluatie en practitioner research leveren een set van doelen en kenmerken van praktijkonderzoek op.

17 17 De doelen en kenmerken zijn weergegeven in tabel 4.3. Ook is in deze tabel een vertaling gemaakt naar de evaluatie. De vertaling is vervolgens meegenomen bij het opstellen van de topiclijsten voor de vragenlijsten en interviews. Tutoren en studenten zijn bevraagd over de mate waarin deze aspecten terugkomen in het programmaonderdeel MST. De resultaten worden in het volgende onderdeel per doel en/ of kenmerk in schema s weergegeven. In een aantal gevallen hebben de interviews tevens suggesties ter verbetering opgeleverd. Deze worden ook in de schema s vermeld. Tabel 4.3 Operationalisering gebaseerd op hedendaagse wetenschappelijke literatuur Doelen en kenmerken uit de literatuur Vertaling naar de evaluatie van het programmaonderdeel MST14 en MST15 Doelen Praktijkonderzoek moet bijdragen aan de ontwikkeling van de student. Het gaat om de onderzoekende houding en het reflectievermogen van de student. (Ax, Ponte & Brouwer, 2008; Burton, 2005; Reis-Jorge, 2007; Sagor, 2000). Het meesterstuk draagt bij aan de ontwikkeling van een onderzoekende houding van de student. (vragenlijst tutoren). Het meesterstuk draagt bij aan de ontwikkeling van het reflectievermogen van de student. (vragenlijst tutoren). Het doen van praktijkonderzoek levert een bijdrage aan mijn onderzoekende houding. (vragenlijst studenten). Praktijkonderzoek moet bijdragen aan de klas- en schoolontwikkeling (Burton, 2005; Sagor, 2000). De student levert met zijn onderzoek een constructieve bijdrage aan het onderwijs in zijn stageklas. (vragenlijst tutoren). Ik ben van mening van dat mijn onderzoek een bijdrage levert aan de klas- (en eventueel) schoolontwikkeling. (vragenlijst studenten). Kenmerken Praktijkonderzoek vindt plaats door middel van een integraal geheel van verschillende stappen (Barlett & Burton, 2006; Sagor, 2000). De studenten hebben planmatig aan hun onderzoek gewerkt (vragenlijst tutoren). De studenten zien de stappen van het praktijkonderzoek als één samenhangend geheel? (vragenlijst tutoren). Ik werk planmatig aan mijn onderzoek. (vragenlijst studenten). Praktijkonderzoek vindt plaats door middel van interactie en samenwerking met collega s De student heeft in voldoende mate overleg gehad met mentor en andere betrokkenen bij het onderzoek. (vragenlijst tutoren).

18 18 (Ponte 2002; Sagor, 2000) Leerlingen op de basisschool worden gezien als een belangrijke informatiebron binnen praktijkonderzoek (Ponte, 2002). Voor het slagen van praktijkonderzoek is het van belang dat studenten met toewijding en plezier werken aan het praktijkonderzoek (Ax et al., 2008). Studenten dienen de uitkomsten van het praktijkonderzoek toe te kunnen passen in de praktijk (Ax et al., 2008). Ik betrek collega s op mijn stageschool bij mijn onderzoek. (vragenlijst studenten) Ik ben tevreden over de overlegmomenten met mentor en andere collega s op de stageschool. (vragenlijst studenten). Dit kenmerk is niet opgenomen in de vragenlijst. Het betrekken van kinderen in het onderzoek is inherent aan de aard van de opdracht van MST14/15. Ik heb met plezier en toewijding aan mijn onderzoek gewerkt. (vragenlijst studenten). Ik heb de intentie om in de toekomst vaker praktijkonderwijs toe te passen. (vragenlijst studenten). De uitkomsten van het onderzoeksdeel van het meesterstuk zijn toepasbaar in de praktijk. (vragenlijst tutoren). De bevindingen van mijn onderzoek kan ik toepassen in de praktijk. (vragenlijst studenten). De resultaten op de stellingen en vragen uit tabel 4.3 worden schematisch weergeven in tabel 4.4 t/m 4.8.

19 19 Tabel 4.4 Bijdrage ontwikkeling student Ontwikkeling van de student In hoeverre draagt het programmaonderdeel bij aan de ontwikkeling van de student (onderzoekende houding, reflectievermogen)? Studenten 94,4% van de studenten vinden dat de studieroute heeft bijgedragen aan hun persoonlijke ontwikkeling (62,5% mee eens, 31,9% zeer mee eens). Ontwikkeling heeft met name plaatsgevonden op het gebied van onderzoeksvaardigheden en bewustwording en visievorming. Tutoren Het meesterstuk draagt zeker bij aan de onderzoekende houding van de student 55,6% eens, 44,4% zeer eens). De mate waarin is afhankelijk van de ervaren betekenisvolheid voor de eigen onderwijspraktijk. Studenten zullen door deze ervaring in de toekomst planmatig en gefundeerd te werk gaan. Tutoren zien wisselend effect op de ontwikkeling van het reflectievermogen van de student zijn (66,7% (zeer)eens, 33,3% oneens).tutoren zijn van mening dat het verhogen van het reflectieniveau geen expliciet doel is van het meesterstuk. Reflectie op het proces is voor de kwaliteit van het meesterstuk en voor de ontwikkeling van de student essentieel. Of de beschrijving van dit proces onderdeel uit moet maken van het onderzoeksverslag is dan nog de vraag. Tabel 4.5 Bijdrage schoolontwikkeling Bijdrage klas- en schoolontwikkeling In hoeverre levert het praktijkonderzoek binnen het programmaonderdeel een bijdrage aan de klas- en schoolontwikkeling? Studenten In de opdracht ligt de nadruk op de groep, met eventueel een effect naar de bouw of de school. 90,3% (50% eens, 40,3% zeer mee eens) van de studenten is van mening dat het onderzoek een bijdrage levert aan de klas- (en eventueel) schoolontwikkeling. Tutoren De bijdrage aan de klas- en (eventueel) de schoolontwikkeling is belangrijk. Tutoren zijn van mening dat studenten een constructieve bijdrage aan het onderwijs in de stageklas hebben kunnen leveren (66,7% eens, 33,3% zeer eens).

20 20 Tabel 4.6 Interactie/samenwerking collega s Interactie/ samenwerking collega s In hoeverre is er gedurende het werken aan het praktijkonderzoek sprake van interactie en samenwerking met collega s op de stageschool? Studenten 91,6% van de studenten betrekt collega s op de stageschool in meer of mindere mate bij het onderzoek. 91,5% is tevreden over de communicatie met de mentor of andere collega s. Tutoren Samenwerking met de mentor (en eventueel collega s uit de bouw) is noodzakelijk voor de bijdrage aan de ontwikkeling van de groep. Deze samenwerking verloopt naar tevredenheid (88,9% eens, 11,1% zeer eens). Tabel 4.7 Toepassing in de praktijk Toepassing praktijk In hoeverre kunnen studenten de uitkomsten van het praktijkonderzoek toepassen in de praktijk? Studenten 98,6% van de studenten is van mening dat de bevindingen van het onderzoek toepasbaar zijn in de praktijk (64,3% eens, 34,3% zeer mee eens). Ten tijde van de enquête is het merendeel van de studenten nog niet gestart met het praktijkdeel (MST15). Tutoren Tutoren zijn positief over de toepasbaarheid van de uitkomsten van het praktijkonderzoek (55,6% eens, 44,4% zeer eens). De begeleiding van het praktijkdeel, waarin deze toepasbaarheid centraal staat, is ten tijde van de evaluatie in de opstartfase. Tabel 4.8 Stappen als integraal geheel Stappen als integraal geheel In hoeverre zien studenten de stappen van het praktijkonderzoek als één integraal geheel? Studenten Studenten zijn van mening dat zij planmatig werken aan het onderzoek (49,3% eens, 36,6% zeer mee eens). De stappen van een onderzoek, incl. het ROTOR-model, zijn duidelijk voor studenten. Deze worden zowel in begeleiding als beoordeling door studenten herkend. Tutoren Tutoren zijn van mening dat studenten redelijk planmatig hebben gewerkt aan hun onderzoek (88,8% ( zeer) eens). Tutoren zijn wisselend overtuigd van de, door studenten, ervaren samenhang tussen de onderzoekstappen (33,3% oneens, 66,6 % (zeer) eens).

21 21 De stappen/aspecten van het onderzoek vormen een integraal geheel, maar worden door een grote groep studenten niet altijd als zodanig opgepakt. Belangrijke suggesties ter verbetering van dit aspect liggen op het gebied van: -het benadrukken van het cyclische karakter in het beoordelingskader. -het afstemmen van de begeleiding op het cyclische proces (i.t.t. het afwerken van de afzonderlijke stappen van het onderzoek). Tabel 4.10 Toewijding en plezier Toewijding en plezier In hoeverre hebben studenten met toewijding en plezier gewerkt aan het praktijkonderzoek? Studenten Er bestaan verschillen tussen studenten als het gaat om de mate waarin zij met toewijding en plezier hebben gewerkt aan het onderzoek. Over het algemeen mag echter vastgesteld worden dat studenten met plezier en toewijding gewerkt hebben (73,6% eens, 18,1% zeer mee eens). Bepalende factoren voor toewijding en plezier: -relevantie en toepasbaarheid voor de stage -vrijheid in keuze van het onderwerp /eigen interesse Naarmate een school sturender wordt, ervaren studenten het als minder plezierig om aan het onderzoek te werken. Op de vraag naar de intentie om in de toekomst vaker praktijkonderzoek uit te voeren, wordt divers geantwoord: Zeer oneens 9,9% Oneens 32,4%

22 22 Eens 49,3% Zeer eens 8,5% Reden hiervoor ligt met name in de vraag of praktijkonderzoek in deze vorm in de dagelijkse onderwijspraktijk voorkomt. Studenten benoemen groei in hun visie en het vertrouwen dat praktijkonderzoek uitgevoerd zou kunnen worden. Curriculair spinnenweb Het curriculair spinnenweb van Van den Akker (2003) is het tweede aspect van het criterium legitimiteit. Met betrekking tot dit aspect is onderzocht op welke wijze de componenten van het curriculair spinnenweb terugkomen in de studieroute en in hoeverre studenten en docenten tevreden zijn over deze componenten (zie onderzoeksvraag 4). De componenten leeromgeving en groeperingsvormen zijn niet expliciet meegenomen binnen de evaluatie, omdat deze overeenkomsten vertonen met overige componenten. De leeromgeving betreft leeractiviteiten binnen de stageschool en leeractiviteiten binnen de lessen op de Kempel. Aspecten hieromtrent worden daarom meegenomen bij andere componenten, zoals leeractiviteiten. Ook de component groeperingsvormen komt terug bij andere aspecten, zoals intervisiemomenten bij leeractiviteiten en samenwerking met collega s bij visie en leerdoelen. De resultaten worden per component uit het curriculair spinnenweb schematisch weergegeven in een tabel. Tabel 4.11 Visie & Leerdoelen Visie & Leerdoelen In hoeverre hebben studenten planmatig en systematisch gewerkt aan hun praktijkonderzoek? In hoeverre hebben studenten een constructieve bijdrage geleverd aan de klas-en schoolontwikkeling? Documentenanalyse Studenten Tutoren Planmatig & systematisch werken komt terug in de toetsdoelen MST. (bijlage 1) constructieve bijdrage aan klas- en schoolontwikkeling: zie tabel 4.5 Een meerderheid van de studenten is van mening planmatig te werken aan het onderzoek (49,3% eens, 36,6% zeer mee eens). De opbouw van het meesterstuk en het beoordelingskader worden benoemd als factoren die de planmatigheid positief beïnvloeden. De studenten hebben gestructureerd gewerkt. Echte planmatigheid is bij een beperktere groep studenten zichtbaar. De opbouw van het traject, binnen het onderzoeks- en praktijkdeel, dat tevens zichtbaar wordt in het beoordelingskader, werkt dit mogelijk in de hand. De splitsing van onderzoeksdeel en praktijkdeel zorgen voor een sterke planmatigheid tussen MST14 en MST15.

23 23 In hoeverre hebben studenten binnen het onderzoek samengewerkt met collega s? samenwerken met collega s: zie tabel 3.6 Belemmerende factoren met betrekking tot planmatigheid zijn o.a.: -de vormgeving van de begeleiding (die met name in tijd gestructureerd leek). -onvoldoende nadruk op planmatigheid (cyclische proces) in het beoordelingskader. -beperkte ervaring van de student met deze vorm van werken. Studenten zijn geneigd lineair te werken. Tabel 4.12 Leerinhouden Leerinhouden Welke leerinhouden komen terug in het programmaonderdeel? In hoeverre zijn studenten en docenten tevreden over deze leerinhouden? Documentenanalyse Studenten Tutoren De volgende punten zijn belangrijke leerinhouden binnen MST; -de kritische kernen van de competentie Samenwerken met collega s. -de 18 aspecten (zie beoordelingskader, bijlage 9). Studenten zijn positief t.a.v. hun vaardigheden op diverse terreinen van onderzoek. Vaardigheid Eens Zeer eens Probleemstelling 62.5% 33.3% Doelstelling 62.5% 31.9% Vraagstelling 65.3% 27.8% Theoretische onderbouwing 68.1% 23.6% Methode van onderzoek 66.2% 21.1% Resultaten 66.7% 22.2% Conclusies 70.4% 18.3% Handelingsconsequenties 71.4% 15.7% Plan van aanpak 71.8% 16.9% Reflecteren 70.4% 22.% Objectieve taal 74.6% 12.7% Studenten benoemen de eerste fasen van het proces als het moeilijkst. De opstart Een meerderheid van de tutoren is van mening dat de leerinhouden binnen MST14 en MST15 redelijk goed gekozen zijn (55,6% eens, 11,1% zeer eens). Aandachtspunten op dit gebied zijn: -aandacht voor het formuleren van de onderzoeksvraag (zowel taaltechnisch als in de tijd). -aandacht voor het cyclische proces van onderzoek doen (i.t.t. lineair denken en handelen). -een duidelijke definiëring (of standpuntbepaling) t.a.v. de eisen met betrekking tot praktijkonderzoek (afgezet tegen wetenschappelijk onderzoek). -het hanteren van een handboek, waardoor nog meer eenduidigheid in terminologie gerealiseerd kan worden. -aansluiting van MST14 en MST15 op aspecten uit de

24 24 en het formuleren van een goede onderzoeksvraag is essentieel voor de voortgang van het proces. Het SMART formuleren van het praktijkdeel wordt ook als lastig ervaren. onderzoekslijn voor voorgaande opleidingsfasen. Studenten zijn minder positief over de mate waarin bovenstaande vaardigheden aansluiten bij voorgaande fasen in de opleiding (7,0% zeer oneens, 25,4% oneens). De K2-fase biedt enige voorkennis. In de P- en K1-fase wordt de student niet herkenbaar voorbereid op het doen van onderzoek. Verbeterpunt: - meer aandacht voor de eerste fasen van het proces van MST (feedback). - voorbereiding op en oefening met onderzoek in eerdere opleidingsfasen.

25 25 Tabel 4.13 Docentrollen Docentrollen Welke rol hebben tutoren binnen het programmaonderdeel? In hoeverre zijn studenten en tutoren tevreden over hun rol binnen het programmaonderdeel? Documentenanalyse Studenten Tutoren Twee docenten verzorgen hoorcolleges met betrekking tot de technische kant van het doen van onderzoek (6 colleges). De tutor geeft(aanvullende) instructie en begeleiding (tijdens intervisiemomenten, formatieve toetsing en via op toegestuurde documenten). Studenten zijn redelijk tevreden over de begeleiding door de tutoren (44,3% eens, 27,1% zeer eens). Studenten benoemen een aantal belangrijke aandachtspunten: -onderzoeksvaardigheid van tutoren verschilt; -begeleiding nu met name op het proces, mag meer op inhoud; -eenduidige informatie geven t.a.v. eisen/voorwaarden; -inhoudelijke feedback is met name in de eerste fase essentieel (op gang helpen); -wijze van feedback geven door tutoren verschilt (te veel); -input van tutor tijdens de formatieve toets is gewenst; -just-in-time begeleiding is gewenst; -relatie met de tutor is van belang. Studenten constateren tevens dat de behoeften van studenten zeer verschillend zijn (begeleiding, leidend, coachend, etc.). Tutoren benoemen unaniem dat ze het begeleiden van het meesterstuk als plezierig/leuk ervaren hebben. De ervaren tevredenheid onder tutoren over hun rol is divers ((zeer) oneens 44,4%, (zeer) eens 55,5%). Redenen voor deze variatie is gelegen in: -zoektocht naar verhouding tussen meesterstuk en leercycli (tweede onderwerp dat door de tutor begeleid wordt/stagelijn); -de ervaren eigen deskundigheid op het gebied van onderzoek en bepaalde vakspecifieke thematieken; -de ervaren ruimte in het programmaonderdeel; -de mate van perfectionisme van de tutor; -mate waarin de tutor er voor zijn/haar gevoel in geslaagd is om de studenten van en met elkaar te laten leren; -mate waarin de tutor erin geslaagd is de studenten aan een gezamenlijk doel te laten werken. Belangrijk suggesties ten aanzien van de rol zijn: -kennis over onderzoek en vakinhouden vergroten; -afstemming en uitwisseling over de invulling van de tutorbijeenkomsten. De instructiemomenten tijdens de

26 26 hoorcolleges worden als wisselend positief ervaren (44,3% (zeer) oneens, 55,7% (zeer) eens). Mogelijke verklaringen voor bovenstaande zijn: -hoorcolleges moeten aansluiten bij de fase van het proces waarin je als student zit (just-in-time); -de powerpoints en digitale colleges zijn compleet en goed. Er wordt weinig meerwaarde ervaren van de docent in de collegesetting; -collegesetting nodigt niet uit tot het stellen van vragen (onveilig/storend); -de verstrekte opdrachten hebben geen meerwaarde; -instructie en begeleiding in één hand lijkt efficiënter.

27 27 Tabel 4.14 Leeractiviteiten Documentenanalyse Studenten Tutoren Leeractiviteiten Welke leeractiviteiten komen terug in de lessen? In hoeverre zijn studenten en docenten tevreden over deze leeractiviteiten? De belangrijkste leeractiviteiten/werkvormen binnen de lessen: -Instructie tijdens (digitale) hoorcolleges -Instructie tijdens TUB -Intervisie met medestudenten -Consultatie docent -Formatieve toetsing Studenten zijn redelijk tevreden over de begeleiding van de tutoren, minder positief ten aanzien van de centrale instructie tijdens de hoorcolleges (zie ook tabel 4.13 docentrollen). De uitwisseling met medestudenten in formatieve toetsmomenten wordt redelijk positief gewaardeerd (57,7% eens, 15,5% zeer eens). Top: - Powerpoints hc; - Digitale colleges; - Consultatie tutor. Tip: -instructie en begeleiding in één hand; -planning formatieve toetsmomenten; -input tutor bij formatieve toetsing. Tutoren zijn tevreden over: - Hoorcolleges - De digitale colleges - De formatieve toetsing als stimulans voor het werktempo/de planning. Verbeterpunten liggen op het gebied van: -inrichting van de TUB-bijeenkomsten (afstemming tussen tutoren m.b.t. onderwerpen en werkvormen. Er is een beperkt gemeenschappelijk kader). -planning van de formatieve toetsmomenten (formatieve toets 1 en 2 lagen te dicht bij elkaar). -verhogen van de kwalitatieve bevordering van het leerproces door formatieve toetsing (naast bevordering van het studietempo en planning). -verhogen van de kwaliteit van feedback door medestudenten.

28 28 Tabel 4.15 Bronnen en materialen Bronnen en materialen Welke bronnen en materialen worden gebruikt binnen de studieroute? In hoeverre zijn studenten en docenten tevreden over de bronnen en materialen? Documentenanalyse Studenten Tutoren De verplichte literatuur betreft literatuur over de methode van onderzoek (ELO) Studenten dienen literatuur over het eigen verbeteronderwerp te raadplegen. Studenten zijn redelijk tevreden over de wijze waarop zij literatuur gebruikt hebben bij het onderzoek (57,7% eens, 16,9% zeer eens). Binnen tutorgroepen is divers omgegaan met het boek Van der Donk en Van Lanen. Studenten zijn van mening dat het boek als geadviseerde literatuur op de lijst zou moeten staan. Studenten vinden het van belang om een goede match te maken tussen geadviseerde literatuur en gebruikte terminologie in lessen en beoordelingscriteria. Tutoren zijn tevreden over de aangeboden literatuur in de hoorcolleges en via de ELO. Hoewel het zicht op het gebruik van literatuur door studenten beperkt is, zijn tutoren tevreden over het theoretisch kader dat studenten hebben aangeleverd. Het gebruik van een handboek kan de kwaliteit nog verder verhogen. Studenten hebben de overtuiging dat het bestuderen van meerdere bronnen noodzakelijk is om tot een goed onderzoek te komen.

29 29 Tabel 4.16 Toetsing Toetsing Op welke wijze is de toetsing vormgegeven binnen de studieroute? In hoeverre zijn studenten en docenten tevreden over de toetsing? Documentenanalyse Studenten Tutoren Er vindt formatieve toetsing en summatieve toetsing plaats; -Formatieve toetsing (aspect 1 t/m4) -Formatieve toetsing (aspect 5 t/m 6) -Summatieve toetsing Studenten zijn wisselend tevreden over de formatieve toetsing (2,8% zeer oneens, 23,9% oneens, 57,7% eens, 15,5% zeer eens) Verbeterpunten: -verhogen van de geloofwaardigheid van de medestudent. -verhogen input tutor. De beoordelingscriteria worden niet door alle studenten als duidelijk ervaren (zeer onduidelijk 2,9%, onduidelijk 38,6%, duidelijk 41,4%, zeer duidelijk 17,1%). Deze ervaring lijkt student- en leerstijlafhankelijk. Er wordt minder rendement gehaald uit het tweede formatieve toetsmoment. De planning in tijd en de diversiteit in voortgang bij studenten lijkt hierbij van grote invloed te zijn. De toetsvormen schriftelijk en mondeling bij respectievelijk MST14 en MST15 zijn adequaat gekozen. Bij MST15 zijn tutoren hierover minder eensgezind dan bij MST14. Mogelijk speelt het feit dat deze toetsing nog niet heeft plaatsgevonden hierbij een rol. De vaststaande toetsmomenten voor MST14 roepen verdeelde reacties op. Sommige studenten zijn gebaat bij een vaststaand moment, anderen zouden baat hebben gehad bij meer flexibiliteit. Het vergroten van het toetsvenster zou een oplossing kunnen zijn. Tip: uitvoering van het plan toevoegen aan het beoordelingskader. De studenten die deelnemen aan het interview beschrijven de toets unaniem als HBO-waardig. Deze kwalificering wordt toegekend op basis van ruimte voor eigen keuzes

30 30 en de mogelijkheid om te werken ruime kaders. Gedetailleerde opdrachtvormen en beoordelingskaders werken afvinkgedrag of zelfs fraude in de hand. Tabel 4.17 Tijd Tijd Hoeveel tijd krijgen studenten voor het praktijkonderzoek en hoe is de studieroute ingedeeld? In hoeverre zijn studenten en docenten tevreden over dit aspect? Documentenanalyse Studenten Tutoren Gehele studiejaar Het onderzoeksdeel kent twee vaste toetsmomenten in week 5 en week 15. Toetsing van het praktijkdeel werkt op inschrijving (flexibel). Dit aspect is bij de studenten niet bevraagd. Tutoren signaleren een hoge studiebelasting voor studenten met achterstanden uit voorgaande leerjaren. Studeerbaarheid van MST14 en MST15 is sterk afhankelijk van de mogelijkheid om te focussen op dit programmaonderdeel en het functioneren op de stageschool. Tutoren benoemen zorg met betrekking tot investering in het praktijkdeel. Studenten lijken dit minder serieus te nemen. De haalbaarheid is studentafhankelijk (leerstijl en reflectievermogen).

31 Criterium 3: Doeltreffendheid Bij dit criterium gaat het om twee aspecten. Er is onderzocht of met dit programmaonderdeel de gewenste resultaten worden behaald. De resultaten van deze aspecten worden hieronder achtereenvolgens weergegeven. Tabel 4.18 Gewenste resultaten Levert de gewenste resultaten op In hoeverre levert de studieroute de gewenste resultaten op? Resultaten onderzoeksverslagen Studenten zijn tevreden met de kwaliteit van de ingeleverde meesterstukken (72,9% eens, 18,6% zeer eens). Ook voelen zij zich competent om de toekomst systematisch praktijkonderzoek te doen (63,4% eens, 26,8% zeer eens). Tutoren Tutoren zijn tevreden met de kwaliteit van de door de studenten ingeleverde meesterstukken. 66,2% van de bevraagde studenten waardeert dit programmaonderdeel met een voldoende. Overige waarderingen: Onvoldoende 2,8% Matig 8,5% Voldoende 66,2% Ruim voldoende 18,3% Goed 4,2% Van doorslaggevend belang in deze waardering lijken: -begeleiding tutoren -werken vanuit motivatie/eigen onderwerp In onderstaande tabel worden de feitelijke resultaten van de eerste afname weergegeven. Resultaten I-MST14 VT DT Totaal percentage Ingeschreven studenten K3-fase Deelname aan de toetst % 9 75% 109 Voldoende score (deelnemende % 7 6.5% %

32 32 studenten) Voldoende score (ingeschreven % 7 5% 95 67,9% studenten) Gemiddelde score 7,4 6,8 7,3 Resultaten per scorepunt uit het beoordelingskader Scorepunt: Gemiddelde: Percentage behaald: 1 (max. 9) 6,66 74,0% 2 (max. 9) 6,80 75,5% 3 (max. 9) 7,54 83,8% 4 (max. 9) 7,47 82,9% 5 (max. 9) 7,07 78,6% 6 (max. 9) 6,74 74,9% 7 (max. 9) 6,72 74,6% 8 (max. 9) 7,04 78,2% 9 (max. 9) 6,43 71,5% 10 (max. 7) 5,70 81,4% 11 (max. 4) 3,60 89,9% 12 (max. 8) 6,53 81,7%

33 33 5. Reflectie In dit hoofdstuk worden eerst op basis van de resultaten conclusies getrokken. Hierop volgen aanbevelingen voor verbetering/aanpassing van het programmaonderdeel Meesterstuk binnen het afstudeerjaar van de reguliere opleiding (K3-fase). 5.1 Conclusies In deze paragraaf worden eerst conclusies geformuleerd voor de deelvragen. Op basis hiervan wordt de hoofdvraag beantwoord. Deelvraag 1: In hoeverre is de studieroute voor docenten onderzoek uitvoerbaar in de alledaagse lespraktijk van Hogeschool De Kempel? (bruikbaarheid) Op basis van de resultaten wordt geconcludeerd dat de programmaonderdelen I-MST14 en I-MST15 praktisch uitvoerbaar zijn voor de tutoren. Volgens hen zijn er echter enkele voorwaarden waaraan voldaan moet worden om het programma nu en in de toekomst goed uit te kunnen voeren. Kennis over en ervaring met onderzoek doen, globale kennis over alle schoolvakken en het gebruik van een handboek worden genoemd als belangrijke voorwaarden. Deelvraag 2: In hoeverre is de studieroute uitvoerbaar in de komende studiejaren? (duurzaamheid) De studieroute is volgens tutoren van de initiële opleiding duurzaam. Onderzoek speelt ten eerste als kwaliteitspijler een belangrijke rol binnen Hogeschool de Kempel. Hogeschool de Kempel wil zich blijven inzetten om onderzoekende startbekwame leraren op te leiden. Ten tweede zijn tutoren van mening dat elke opleidingsdocent in principe kundig genoeg is voor de uitvoering. Aanvullende professionalisering en het gebruik van een handboek worden (evenals bij deelvraag 1) benoemd als belangrijke voorwaarden voor het kwalitatief verbeteren van het programmaonderdeel. Dit draagt bij aan de duurzaamheid van de studieroute. Deelvraag 3: In hoeverre is de studieroute gebaseerd op hedendaagse wetenschappelijke literatuur betreffende praktijkonderzoek? (gebaseerd op hedendaagse wetenschappelijke inzichten) Er is onderzocht in welke mate het programmaonderdeel Meesterstuk voldoet aan de doelen en kenmerken uit de literatuur (zie Tabel 4.3). Deze doelen en kenmerken zijn geheel of gedeeltelijk terug te vinden. Ten eerste wordt op grond van interviews met studenten en tutoren geconcludeerd dat het meesterstuk bijdraagt aan de persoonlijke ontwikkeling (onderzoekende houding en reflectievermogen van de student) van de student. Tutoren zien met name ontwikkeling ten aanzien van de onderzoekende houding. Het doorlopen van het gehele onderzoeksproces met bijbehorende reflecties draagt bij aan de onderzoekende houding van studenten. De onderwerpkeuze (betekenisvolheid) speelt

34 34 hierin een zeer belangrijke rol. Voor studenten resulteert het met name in het gevoel onderzoekscompetent te zijn en draagt het onderzoek bij aan bewustwording en visievorming. Tutoren benoemen nadrukkelijk het belang van reflectie voor het proces, maar zien dit nog niet op voldoende niveau terug in de eindproducten. Hierbij speelt ook nog de vraag óf en in welke mate het verhogen van het reflectieniveau een expliciet of impliciet doel is. Tutoren hopen dat studenten door de ervaring op de opleiding in de toekomst vooral het gefundeerd en planmatig werken mee zullen nemen. Ten tweede behoort de bijdrage aan de klas- en schoolontwikkeling volgens de literatuur tot de doelen van praktijkonderzoek. Uit de resultaten kunnen we concluderen dat zowel studenten als tutoren tevreden zijn over de mate waarin zij een bijdrage hebben geleverd aan de klas- (en eventueel school-) ontwikkeling. De focus op de eigen stageklas lijkt in deze een positief effect te hebben. Ten derde blijkt uit de literatuur dat praktijkonderzoek dient te bestaan uit een integraal geheel van verschillende stappen. De 18 aspecten van het beoordelingskader, waarin de stappen van onderzoek doen zijn verwerkt, staan binnen het onderzoek centraal. Op grond van de resultaten wordt geconcludeerd dat deze stappen duidelijk zijn voor studenten. Ook tutoren zijn deze mening toegedaan. Aanvullend zijn tutoren van mening dat de integraliteit van deze stappen nog niet door alle studenten als zodanig herkend en toegepast is. Zowel in begeleiding als beoordeling zou het cyclische karakter van onderzoek beter benadrukt mogen worden. Deze opmerkingen in ogenschouw nemend, mag gesteld worden dat de studieroute voldoet aan dit kenmerk. Het vierde punt, samenwerking en interactie met collega s, komt expliciet terug in de toetsdoelen van het meesterstuk en wordt door studenten en tutoren van belang geacht. Samenwerking en interactie met de mentor (en andere collega s) is immers nodig wanneer men een bijdrage wil leveren aan ontwikkeling van de groep (en/of de school). Dit aspect komt voldoende tot uiting in het programmaonderdeel. Ten vijfde is het volgens de literatuur belangrijk dat studenten met toewijding en plezier werken aan hun onderzoek. Er bestaan verschillen tussen studenten ten aanzien van de mate waarin zij met toewijding en plezier hebben gewerkt aan hun praktijkonderzoek. De praktijkrelevantie voor en toepasbaarheid binnen de stageschool en de interesse van studenten in het verbeteronderwerp zijn belangrijke factoren die invloed hebben op dit kenmerk. Ook de mate van sturing op de keuze van het onderwerp door de stageschool kan volgens een student zorgen voor minder plezier in het onderzoek. Tot slot blijkt uit de literatuur dat het van belang is dat studenten de resultaten van hun onderzoek toe kunnen passen in de praktijk. Dit komt duidelijk tot uiting in het meesterstuk, omdat studenten op basis van de conclusies een plan van aanpak voor in de praktijk op moeten stellen en uitvoeren (Praktijkdeel I-MST15).