SLOA Bataafs Lyceum Onderzoekers H. Buma M. van Buuren J. Duijvestijn B. Hams K. Reijmer B. Smies. Universiteit Twente

Transcriptie

1 SLOA Onderzoek naar de invloed van creatieve (denk)technieken ten bate van het verbeteren van het exacte onderwijs door de invoering van datateams Bataafs Lyceum Onderzoekers H. Buma M. van Buuren J. Duijvestijn B. Hams K. Reijmer Docenten B. Smies M. Bakker E.Czachur K. de Vries H. ter Weele Universiteit Twente W. van Joolingen K. Schildkamp M. Smit

2 Samenvatting Gedurende de schooljaren en hebben medewerkers van het Bataafs Lyceum samen met onderzoekers van de Universiteit Twente een onderzoek uitgevoerd, in het kader van de SLOA-regeling, naar creatieve denktechnieken. Onderzocht is welke technieken er zijn, of ze bruikbaar zouden kunnen zijn binnen het voortgezet onderwijs en de waarde hiervan. Dit is gedaan aan de hand van de datateam methodiek die ontwikkeld is door Kim Schildkamp van de Universiteit Twente. In het eerste schooljaar lag het accent op de inventarisatie van de mogelijke creatieve denktechnieken, volgens de datateam methode. Uit de inventarisatie kwamen mindmapping en beeldsamenvattingen als meest succesvolle creatieve denktechnieken uit de bus. Gedurende het tweede jaar lag de focus op het ontwerp, uitvoering, analyse en evaluatie van het onderzoek naar deze twee denktechnieken. Een team van 6 medewerkers van het Bataafs Lyceum (3 managementleden en 3 docenten) werd hierbij ondersteund door enkele medewerkers van de Universiteit Twente op het gebied van de datateammethodiek en in het uitvoeren en analyseren van onderwijskundig onderzoek. Er is uiteindelijk een groot onderzoek gestart na de mogelijkheden en waarde van mindmapping binnen de vakken Wiskunde, Aardrijkskunde, Geschiedenis en Biologie in de eerste klas. Vanwege de omvang van dit onderzoek naar mindmapping heeft er uiteindelijk geen onderzoek plaats kunnen vinden naar beeldsamenvattingen. Het uitgangspunt bij het onderzoek naar mindmapping was om een experimentgroep te trainen in de techniek en vervolgens gefaseerd de interactie van de docent af te laten nemen en te onderzoeken hoe mindmaps door de leerlingen gebruikt en gewaardeerd werden en of er een effect meetbaar was in de manier van informatieverwerking en uiteindelijk in de behaalde resultaten. Vanwege de complexheid van de invoering van een innovatie (nieuwe (denk)techniek) bij zowel de deelnemende docenten als de leerlingen is het op het moment van schrijven nog niet mogelijk om een definitief antwoord te geven op alle drie de onderzoeksvragen. Het onderzoek naar het effect van de denktechniek op de behaalde resultaten zal in schooljaar verder worden afgerond. Het hele onderzoekstraject heeft een grote impact gehad op veel processen die ook elders binnen de school al liepen of later opgestart zijn. Dit geldt met name voor de manier van onderzoek doen n.a.v. een probleem en de functie van data in een veranderingsproces. Een van de grote succesfactoren in het geheel is de deelname van alle teamleiders aan het project en de samenwerking met de externe onderzoekers en de datateammethodiek. Hengelo, augustus 2013

3 1. Inleiding De laatste inzichten in educatie en het brein(denken) laten zien dat het hedendaagse onderwijsconcept waarschijnlijk ernstige tekortkomingen heeft m.b.t. het opleiden van de werknemers van de toekomst. De huidige generatie leerlingen op het VO zal zeker tot 2065 moeten werken in een zeer snel veranderende maatschappij. Kennis van zaken is uitermate belangrijk maar misschien nog wel belangrijker wordt het gebruik ervan. Door de onbeperkte productie en opslag van data zal het steeds belangrijker worden deze kennis te koppelen en te gebruiken. Volgens veel deskundigen en succesvolle ondernemers zoals sir Ken Robinson en Bill Gates zal onze westerse maatschappij in de komende jaren een grote behoefte hebben aan (hoog) opgeleide personen die het creatieve vermogen van hun brein kunnen inzetten voor nieuwe ontwikkelingen. Het Bataafs Lyceum wil graag aansluiten bij deze ontwikkeling. Een van de manieren waarop de school dit doet is door leerlingen te laten kennismaken met creatieve denktechnieken. Sinds 6 jaar wordt er op kleine schaal al binnen het Bataafs Lyceum geëxperimenteerd met de creatieve techniek beeldsamenvattingen. Onderzoek dat de afgelopen jaren op het Bataafs Lyceum heeft plaatsgevonden heeft reeds aangetoond dat de resultaten van leerlingen zowel op korte termijn (weken) als lange termijn (jaren) aanzienlijk te verbeteren zijn middels het gebruik van beeldsamenvattingen (Bijlage 1: Back to the drawing board, hoofdstuk 5, Wout K. Kenbeek, ISBN ). Een tweede ontwikkeling waarop het Bataafs Lyceum wil inspelen is de roep om meer opbrengstgericht te gaan werken in het voortgezet onderwijs. Onder opbrengstgericht werken wordt verstaan dat leerkrachten op structurele wijze gebruik maken van data om hun onderwijs te verbeteren. Bij opbrengstgericht werken gaat het om het gebruiken van verschillende soorten data die aanwezig zijn binnen scholen (zoals toetsgegevens, leerling-gegevens, maar ook leerkrachtvragenlijsten en observaties). Opbrengstgericht werken behoort een onderdeel te zijn van het geven van goed onderwijs. Docenten die goed onderwijs geven reflecteren op hun eigen functioneren en nemen beslissingen op basis van gegevens, zoals toets resultaten, en niet op basis van niet bewezen assumpties met betrekking tot wat leerlingen nodig hebben om goed te leren. Een goed voorbeeld van het vormgeven van opbrengstgericht werken op school is de datateam procedure, ontwikkeld door Kim Schildkamp van de Universiteit Twente (op basis van een bewezen effectieve methode uit Canada). Via deze procedure leren docenten en schoolleiding samen volgens een gestructureerd stappenplan hoe ze onderzoek kunnen doen in hun eigen school en hoe ze beslissingen kunnen baseren op data in plaats van op onderbuikgevoelens. Het Bataafs Lyceum wil ook in de vernieuwing van haar onderwijs opbrengstgericht te werk gaan: het invoeren van creatieve denktechnieken in het onderwijs zou opbrengstgericht moeten gebeuren. De school ziet de datateamprocedure als een mogelijk goede manier om onderzoek te doen naar de invoering van creatieve denktechnieken in de school. Daarom is er gedurende schooljaar en een datateam van drie docenten, drie teamleiders en een begeleider van de Universiteit Twente samengesteld dat gewerkt heeft aan de volgende drie onderzoeksvragen: 1. Op welke wijze kunnen creatieve denktechnieken ingezet worden om het onderwijs van de exacte vakken te verbeteren?

4 2. Wat zijn de effecten van de ingezette creatieve denktechnieken op de prestaties van de leerlingen? 3. In welke mate leidt het werken in met datateams tot een verbetering van opbrengstgericht werken (e.g. professionalisering van docenten)?

5 2.Onderbouwing 2.1 Creatieve denktechnieken in de klas Sinds 9 jaar wordt er op kleine schaal al binnen het Bataafs Lyceum geëxperimenteerd met de creatieve techniek beeldsamenvattingen (ontwikkeld binnen het Bataafs Lyceum). De resultaten hiervan waren succesvol. In 2010 heeft i.s.m. de Universiteit Twente een onderzoek plaatsgevonden waaraan alle havo en vwo leerlingen (in totaal 73 leerlingen) uit de tweede klas hebben deel genomen. De helft van de leerlingen was gedurende een half jaar geschoold in het maken van beeldsamenvattingen en de andere helft niet. Vervolgens heeft de hele groep deelgenomen aan een wetenschappelijk onderzoek (uitgevoerd door W. Kenbeek MSc en prof. dr. W.R. van Joolingen). In dit onderzoek werkten leerlingen aan een zogenaamde modelleertaak, waarin ze een computermodel maakten van de opwarming van de aarde onder invloed van zonlicht. De eerste resultaten lieten zien dat geschoolde HAVO leerlingen modellen maakten die kwalitatief gelijk zijn aan de modellen van geschoolde VWO-leerlingen, in tegenstelling tot de ongeschoolde HAVOleerlingen (bijlage 1: Back to the drawing board, hoofdstuk 5, Wout K. Kenbeek). Andere (interne) experimenten met creatieve technieken (zoals bijv. combinaties van beeldsamenvattingen met mindmaps en leesstrategieën) uitgevoerd met masterclass leerlingen binnen het Bataafs Lyceum hebben ook positieve resultaten laten zien. Aansluitend op deze veelbelovende resultaten wil het Bataafs Lyceum het onderzoek naar creatieve denktechnieken voortzetten. De datateam methode van Kim Schildkamp wordt gebruikt voor het onderzoek hiernaar door docenten zelf. Het Bataafs Lyceum maakt de keuze om dit middels een datateam te doen omdat het doel van de school niet alleen is om effecten van creatieve denktechnieken te onderzoeken, maar ook om als school beter te worden in opbrengstgericht werken (de onderbouwing voor het gebruik van de datateam methode volgt in de volgende paragraaf). Het datateam onderzoekt de volgende twee vragen: 1. Op welke wijze kunnen creatieve denktechnieken ingezet worden om het onderwijs van de exacte vakken te verbeteren? Middels een gevalideerd acht stappenplan onderzoekt het datateam welke creatieve denktechnieken tot welke resultaten leiden. Op basis van deze resultaten worden evidence-based beslissingen geformuleerd en geïmplementeerd m.b.t. de inzet van deze technieken en het verbeteren van het onderwijs. 2. Wat zijn de effecten van de ingezette creatieve denktechnieken op de prestaties van de leerlingen? In stap 8 van het datateam stappenplan gaat het om het evalueren van de ingezette technieken. Hebben deze technieken tot de gewenste resultaten geleid? 2.2 Opbrengstgericht werken d.m.v. datateams Uit onderzoek blijkt dat opbrengstgericht werken tot verbeterde leerprestaties kan leiden (Campbell & Levin, 2009; Lai, McNaughton, Timperley & Hsiao, 2009; Onderwijsinspectie, 2010). Opbrengstgericht werken behoort ook een onderdeel te zijn van het geven van goed onderwijs. Docenten die goed onderwijs geven reflecteren op hun eigen functioneren en nemen beslissingen op basis van gegevens, zoals toets resultaten, en niet op basis van niet bewezen assumpties met

6 betrekking tot wat leerlingen nodig hebben om goed te leren. Tevens zijn scholen dynamische instellingen met een constant veranderende leerlingenpopulatie. Wat in het verleden goed heeft gewerkt hoeft nu niet meer goed te werken. Docenten en schoolleiders moeten gebruik maken van data om hun omgeving te monitoren wat is er veranderd en halen we onze doelstellingen nog zodat ze op tijd en evidence-based kunnen reageren als er zich bepaalde problemen voordoen. Via de datateam procedure, ontwikkeld door Kim Schildkamp van de Universiteit Twente (op basis van een bewezen effectieve methode uit Canada), leren docenten en schoolleiding samen volgens een gestructureerd stappenplan hoe ze onderzoek kunnen doen in hun eigen school en hoe ze beslissingen kunnen baseren op data in plaats van op onderbuikgevoelens (zie: Stappenplan Datateams, praktische werkwijze voor opbrengstgericht werken t.b.v. onderwijsverbetering, Universiteit Twente, K. Schildkamp e.a., januari 2012) De resultaten van het werken in een datateam op het Bataafs Lyceum worden meegenomen in het overkoepelende onderzoeksproject over de 35 participerende scholen. Voor dit SLOA project wordt daarnaast door de Universiteit Twente de volgende vraag onderzocht: 3. In welke mate leidt het werken in met datateams tot een verbetering van opbrengstgericht werken bij het Bataafs Lyceum (e.g. professionalisering van docenten)? De onderzoeker van de Universiteit Twente gaat onderzoeken hoe het datateam het hele acht stappen plan doorloopt en of dit leidt tot een toename in opbrengstgericht werken. Dit doel is voor onze school net zo belangrijk of misschien wel belangrijker, omdat het hierbij gaat om professionalisering van docenten en schoolleiders, die leren hoe ze op basis van gegevens en niet op basis van onderbuikgevoelens evidence-based beslissingen kunnen nemen.

7 3.Onderzoeksaanpak De onderzoeksaanpak wordt hieronder per onderzoeksvraag uitgewerkt. 3.1 Onderzoeksaanpak bij vraag 1: Op welke wijze kunnen creatieve denktechnieken ingezet worden om het onderwijs van de exacte vakken te verbeteren? De datateam procedure kent acht stappen, van probleem definitie (stap 1) tot evaluatie (stap 8). Het model wordt weergegeven in de onderstaande figuur. Een uitgebreidere instructie over elk van deze acht stappen staat in de door het projectteam Datateams ontwikkelde handleiding die elk van de datateamleden heeft ontvangen. Al snel bleek dat het toepassen van het acht stappenplan op het vraagstuk van het Bataafs Lyceum lastig was Het stappenplan is ontwikkeld om onderzoek te doen startend bij een duidelijk probleem in de school dat met data kan worden aangetoond. Het uitgangspunt van het Bataafs Lyceum was echter geen probleemstelling, maar een doelstelling: onderwijsvernieuwing door invoer van creatieve denktechnieken. Desondanks heeft het datateam in het eerste jaar van het onderzoek uitgeprobeerd op welke manier het acht stappenplan hen toch kon ondersteunen in het beantwoorden van de onderzoeksvraag. In onderstaande tabel staat voor elke stap vermeld wat de

8 stap volgens de methode inhoudt en daarnaast op welke manier het datateam van het Bataafs Lyceum de methode heeft toegepast. Stap Beschrijving aanpak per stap Bataafse invulling van elke stap 1. Probleem definiëren September/ Op welk probleem wil het oktober 2011 datateam zich focussen? Wat is Het Bataafs Lyceum heeft in plaats van een bestaand probleem gekozen om te beginnen met een volgens de data het bewijs dat inspirerend doel: verbeteren van het exacte er inderdaad een probleem is? onderwijs en daarmee de prestaties van leerlingen Wat is de wenselijke situatie? daarin, door leerlingen bij deze vakken te ondersteunen bij het aanleren van creatieve denktechnieken. 2. Hypotheses opstellen September/ Verzamelen van hypotheses, oktober 2011 oftewel: mogelijke oorzaken voor het probleem. Keuze maken voor één hypothese om als eerste verder te onderzoeken. De koppeling tussen doel (betere prestaties leerlingen bij exacte vakken) en activiteit (aanleren van creatieve denktechnieken in de klas) is in feite de hypothese van het Bataafse datateam: als leerlingen creatieve denktechnieken beheersen leidt dat tot betere prestaties bij exacte vakken. 3. November/ december 2011 Data verzamelen Verzamelen van data om de hypothese te toetsen. In sommige gevallen: ontwikkelen van een meetinstrument om data te verzamelen. Data wordt bij het voor de eerste maal doorlopen van het acht stappenplan gezien als literatuur. Er wordt literatuur verzameld over creatieve denktechnieken: welke zijn er allemaal, hoe werken ze, welke doelen kennen ze, hoe zijn ze toepasbaar in het voortgezet onderwijs, etc. Ieder lid van het team verzamelt informatie over minimaal twee technieken.

9 4. Controle kwaliteit verzamelde data Volledigheid, recentheid, betrouwbaarheid en validiteit Mogelijkerwijs had het datateam hier de kwaliteit van de gevonden literatuur over creatieve denktechnieken kunnen beoordelen. Dit heeft het van verzamelde data bespreken. datateam alleen gedaan door elke techniek te presenteren (en te bediscussiëren) aan elkaar. Een van de redenen hiervoor was gelegen in het feit dat er relatief weinig wetenschappelijke informatie eenvoudig gevonden kon worden over het gebruik van de gevonden creatieve denktechnieken in relatie met (voortgezet) onderwijs. 5. Data-analyse Januari/ februari 2012 Analyse van de verzamelde data Het datateam maakte een zelf analyse-instrument: een format waarin de belangrijkste informatie over elke creatieve denktechniek wordt samengevat. Onderdelen van het format zijn bijvoorbeeld: doel van de techniek, waar inzetbaar (onderbouw/ bovenbouw), randvoorwaarden, etc. Het team begint hieraan voor enkele technieken, maar de afronding hiervan wordt doorgeschoven i.v.m. de beschikbare tijd en de projectplanning. Zie voor en overzicht en een voorbeeld bijlage Februari 2012 Interpretatie en conclusie Bespreken van de analyse, trekken van een conclusie over de hypothese. Klopt de hypothese? Door naar stap 7. Anders terug naar stap 2: nieuwe hypothese formuleren. Het datateam vindt de creatieve denktechnieken beeldsamenvattingen en mindmaps het meest toepasbaar voor het Bataafs Lyceum om mee te beginnen. Deze conclusie wordt getrokken voordat de systematische analyse (invullen van het format voor elke techniek) volledig is afgerond, op basis van de vraag: waar zien we de meeste mogelijkheden voor het Bataafs Lyceum voor het komende jaar met de geplande groepen leerlingen?.

10 7. Maart t/m juni September Juni 2013 Maatregelen nemen Op basis van de getoetste hypothese maatregelen verzinnen en invoeren om probleem op te lossen. Bespreken hoe en wanneer de maatregel wordt geëvalueerd. Evaluatie Evalueren of de maatregelen tot het gewenste resultaat hebben geleid. Het datateam vindt zichzelf na het literatuuronderzoek nog niet voldoende toegerust om zelf met de twee gekozen creatieve denktechnieken te gaan experimenteren in de klas en/of op basis van de huidige gegevens een goed oordeel te kunnen vormen over de juiste inrichting van het vervolgonderzoek. Het besluit om tot de zomer als eerste maatregelen drie dingen te doen: 1. Ontwikkelen van eigen vaardigheid en zelfvertrouwen bij het gebruiken van creatieve denktechnieken in de klas (les hierin door ervaren collega, zelf experimenteren in de klas met hulp van collega) 2. Cursus ontwikkelen over de gekozen creatieve denktechnieken voor docenten en leerlingen. Script of handleiding maken voor het invoeren van de creatieve denktechnieken mindmapping in de onderbouw in september 2012 gevolgd door beeldsamenvatting in de bovenbouw. 3. Ontwerp evaluatie-onderzoek dat de invoer van de denktechniek mindmapping in de onderbouw vanaf september 2012 begeleidt. 3.2 Onderzoeksaanpak bij vraag 2: Wat zijn de effecten van de ingezette creatieve denktechnieken op de prestaties van de leerlingen in de exacte vakken? Het datateam heeft veel tijd besteed aan het nadenken over de onderzoeksaanpak bij onderzoeksvraag 2. Hierbij zijn er deelvragen ontwikkeld, is er een proefopzet gemaakt en is de interventie mindmaps inzetten in de klas verder uitgewerkt. Er is voor gekozen om te beginnen met de invoering van mindmaps, en in een later stadium als de tijd het toelaat ook naar beeldsamenvattingen te kijken. In deze paragraaf worden de uitkomsten van dit denkproces weergegeven.

11 3.2.1 Onderzoeksvragen De onderzoeksvraag Wat zijn de effecten van de ingezette creatieve denktechnieken op de prestaties van de leerlingen in de exacte vakken? is als volgt uitgewerkt in deelvragen: 1. Wat is de invloed van het aanleren van mindmaps als studietechniek op de prestatie (specifiek: inzicht in en overzicht over de stof) van leerlingen in de brugklas bij de vakken wiskunde, biologie, geschiedenis en aardrijkskunde?** 2. Wat is de invloed van het aanleren van mindmaps als studietechniek op de motivatie van leerlingen in de brugklas bij de vakken wiskunde, biologie, geschiedenis en aardrijkskunde? 3. Wat is de waardering van leerlingen in de brugklas voor mindmaps als studietechniek? ** Omdat een van de parameters die gemeten zou gaan worden, het aanleren van een nieuwe leertechniek was, is besloten om het onderzoek uit te voeren bij leerlingen die nog geen historie hadden opgebouwd met het zich eigen maken van een eigen leerstrategie voor een bepaald vak. Om dit totaal uit te sluiten is gekozen voor nieuwe leerlingen dus eerste klassers. Vanwege het vakkenaanbod in de eerste klas en de te onderzoeken creatieve denktechniek is uiteindelijk gekozen voor deze vier vakken (en vier ervaren docenten). Het zijn alle vier vakken waarbij een overzicht van de stof en samenhang van de verschillende onderdelen essentieel is voor een goede begripsvorming (en dus ook resultaten) Onderzoeksopzet Er is gekozen om het onderzoek uit te voeren met twee brugklassen. Brugklas 1 c wordt de experimentele brugklas, die getraind wordt in het gebruik van mindmaps. Brugklas 1d wordt de controlegroep. Mindmaps worden geïntroduceerd bij vier vakken: aardrijkskunde, geschiedenis, wiskunde en biologie. Deze brugklassen zijn zoveel mogelijk gelijke groepen: Ze hebben dezelfde vier docenten voor de vier genoemde vakken. Leerlingen zijn at random in de twee brugklassen geplaatst, er heeft dus geen selectie plaatsgevonden bij de indeling van de twee klassen. Voor aanvang van het schooljaar is de toewijzing experiment en controlegroep reeds gedaan. In onderstaande tabel staat de onderzoeksaanpak zoals deze oorspronkelijk is bedacht.

12 Wat meten? Welk Uitwerking meetinstrument? meetinstrument? Prestatie (inzicht en overzicht) Cijfers voor inzicht Voor elk van de vakken worden en overzicht toetsen ontwikkeld door de betreffende docenten waarin goede inzicht en overzicht vragen zitten. Dit zijn toetsen die leerlingen anders ook zouden krijgen om de stof te toetsen, maar met speciale aandacht voor goede inzicht en overzichtvragen. De eerste keer wordt toetsontwikkeling samen gedaan met Professor Wouter van Joolingen van de Universiteit Twente. Zie voorbeeld in bijlage 7. Planning metingen? Wanneer, bij wie? *1 keer afname voorafgaand aan de training mindmaps voor leerlingen, zodat gekeken kan worden of het niveau van de klassen vergelijkbaar is ( nulmeting ) *Daarna na elke fase Docenten die aanwezig zijn bij afname toets krijgen instructie om betrouwbaarheid bij afname zo groot mogelijk te maken. Eventueel: vergelijking CITO scores klas 1c en 1d in groep 8 om te checken of ze vergelijkbaar zijn. Data-verzameling *Cijferlijsten voor elk van de toetsen verzamelen in excel, met totaalscore en deelscores op inzicht en overzicht. *Kopieën van gemaakte toetsen bewaren voor eventuele latere analyse Data-analyse *beschrijvende analyse en t-toets om te onderzoeken of er significante verschillen zijn tussen de twee klassen op scores per vak (totaalscore en deelscores op inzicht en overzicht). Motivatie Motivatievragenlij st Tuan uit 2005 (vertaald, ingekort en vakspecifiek gemaakt) Zie bijlage 5. Vragenlijst wordt getest bij 3 leerlingen. Afnamemomenten: 1x afname voorafgaand aan de training van leerlingen bij elk vak; 1x na fase 2/3 bij elk vak; 1x aan het eind bij elk vak. (Niet na elke fase om overkill aan enquêtes voorkomen). Vragenlijsten worden op papier afgenomen in eerste de les na de toets? *ingevulde vragenlijsten op papier *overzichten scores in excel *beschrijvende analyse en t-toetsen om te onderzoeken of er significante verschillen zijn tussen de twee klassen op motivatiescores per vak (inclusief deelscores). Docenten die aanwezig zijn bij afname krijgen een instructie om betrouwbaarheid afname zo groot mogelijk te maken. Degene die de vragenlijst afneemt en inneemt is niet de docent!

13 Waardering: -mate van zelfstandig gebruik van mindmap als studietechnie k -mening over bruikbaarheid van mindmaps als studietechnie k Vragenlijst gebruikte leertechnieken (zelf ontwikkeld) Semigestructureerde interviews met leerlingen Semigestructureerde interviews met docenten Vragenlijst gebruikte leertechnieken : Zie bijlage 6 Nulmeting kennis van leertechnieken (al tijdens basisschool kennisgemaakt met mindmaps?): zie bijlage 4 Interviewleidraad voor semigestructureerde interviews met leerlingen over hoe zij mindmaps als studietechniek waarderen. 1 interviewer, een notulist. Zie bijlage 9. Docentenlog Interviewleidraad Met semigestructureerde (groeps-) Eventueel: analyse interviews bij docenten wordt mindmaps? onderzocht wat zij observeren in het gebruik van leerlingen van mindmaps. 1 interviewer, een notulist. Zie bijlage 10. Docenten vullen een log in waarin zij het volgende bijhouden: -wanneer en hoe zij gebruik maakten van mindmaps in de les -wat de leerlingen moesten doen -wat ze is opgevallen bij de leerlingen tijdens het maken van mindmaps. Beoordeling van de kwaliteit van de mindmaps door docent + contactpersoon SLOA werkgroep Vragenlijst gebruikte leertechnieken wordt afgenomen aan het eind van elke fase bij elk vak Vragenlijst wordt fysiek afgenomen direct na de toets Nulmeting kennis van leertechnieken wordt tegelijkertijd met nulmeting motivatievragenlijst afgenomen Vragenlijst en nulmeting nog testen voor gebruik! Interviews: na afloop van fase 3 en fase 5 Docentenlog doorlopend ingevuld. Als SLOA team docenten hieraan helpen herinneren. Bijvoorbeeld vragen de logs na elke fase in te leveren. *bewaren fysieke vragenlijsten *antwoorden op de vragen verzamelen in excelbestand *tijdens interviews worden aantekeningen gemaakt en daarna samengevat. Ook worden opnames gemaakt om interviews terug te kunnen luisteren. *Eventueel kopieën van gemaakte mindmaps bewaren, bijvoorbeeld 1 in fase 2 en 1 in fase 3 voor elk vak, om later eventueel nog iets mee te doen. *docentenlogs bewaren, per fase verzamelen. Vragenlijst: beschrijvende analyse. Zie bijlage 5 voor opzet. Interviews: notulist maakt uitgebreide samenvatting op basis van aantekeningen. Als SLOA team samen uitkomsten interpreteren en conclusies trekken. Overig Onderzoekslog Op het planningsdocument van het onderzoek wordt lopende het onderzoek bijgehouden wat eventuele veranderingen zijn in het onderzoek t.o.v. de planning/opzet. Lopende het onderzoek hebben er enkele wijzigingen in de hierboven beschreven aanpak plaatsgevonden. De reden voor deze aanpassingen en de aanpassingen zelf staan vermeld in hoofdstuk Uitwerking van de interventie mindmaps in de klas Het datateam heeft vooraf nagedacht op welke manier zij de techniek mindmapping wilden introduceren bij de vier genoemde vakken. Bij de opzet van dit onderzoek is uitgegaan van een min of meer wetenschappelijke opzet met verschillende fasen. Het uitgangspunt was dat de docenten tijdens het onderzoek geen feedback zouden krijgen van de tussentijdse resultaten zodat er geen ongewenste bijsturing door de docenten uitgevoerd kon worden. Daarnaast moest er eerst een soort nulmeting komen die als referentie kon dienen tussen de experiment en controlegroep. De volgende fasen waren in het schooljaar te onderscheiden

14 Fase 1: nulmeting Hierbij zijn zowel de docent als de leerlingen niet geschoold in het gebruik van mindmapping. Fase 2: actief gebruik van mindmapping De docenten en de leerlingen worden geschoold in het gebruik van mindmapping en gaan deze ook actief in allerlei situaties toepassen. De docent gebruikt zo frequent mogelijk de techniek in zijn/haar les om de leerlingen te scholen in het gebruik en de voordelen van de techniek in te laten zien. De leerlingen zullen ook met enige regelmaat de techniek moeten toepassen in het maken van overzichten en samenvattingen. Fase 3: Tussenfase De docent gebruikt de techniek af en toe wel tijdens de lessen om bijvoorbeeld een overzicht te creëren. Hij/zij laat dan bijvoorbeeld de leerlingen zelf op het bord een mindmap maken die dan klassikaal besproken kan worden. De docent gaat langzaam richting een passieve rol en de leerlingen blijven gedwongen in een actieve rol met de techniek bezig. Fase 4: Passieve toepassing De docent gebruikt de methode mindmapping niet meer actief in de les maar geeft nog wel met enige regelmaat een opdracht waarbij de leerlingen een mindmap moeten maken. Deze wordt echter niet meer actief besproken. Het gebruik en toepassen komt dus steeds meer bij de leerling te liggen. fase 5: Gebruikersfase De docenten gebruiken in de fase (absoluut) geen mindmapping als actieve werkvorm meer in de les. Dit wil zeggen niet tijdens de uitleg maar ook niet meer als opdracht voor de leerlingen. Er wordt onderzocht of de leerlingen de aangeleerde werkvorm zelf ook nog actief gebruiken in combinatie met de behaalde resultaten. Naast de uitwerking van deze fases heeft het datateam ook een training in mindmappen voor zowel docenten als leerlingen ontwikkeld. Dit wordt in het volgende hoofdstuk (resultaten) verder beschreven. 3.3 Onderzoeksaanpak bij vraag 3: In welke mate leidt het werken in met datateams tot een verbetering van opbrengstgericht werken (e.g. professionalisering van docenten)? Kwalitatieve data: observaties, logs en interviews Het datateam is begeleid door een datateam trainer van de Universiteit Twente De bijeenkomsten worden geobserveerd om inzicht te krijgen in de mate waarin de leden opbrengstgericht aan het werk zijn. Opvallende aspecten uit deze observaties zijn bijgehouden in logboeken. Ook zijn alle datateamleden in juni 2013 geïnterviewd over hun ervaringen met het datateam. De interviews zijn opgenomen. Een interview duurde gemiddeld 40 minuten. Vragen gingen bijvoorbeeld over het functioneren van het datateam, wat er geleerd is door deelname aan het datateam en of er veranderingen in de school plaats gevonden hebben. De logboeken en de interviews zijn

15 geanalyseerd op thema (bijvoorbeeld individuele leerervaring, verandering in de organisatie) en kort samengevat. De resultaten hiervan worden besproken in 4.3. Tabel 1: betrouwbaarheid van de schalen in de vragenlijst Schaal Aantal items Cronbach alpha Toegankelijkheid van de data Bruikbaarheid van de data Kwaliteit van de data Kennis en vaardigheden Attitude Leiderschap Samenwerking Visie Normen voor datagebruik Ondersteuning Datagebruik voor verantwoording Datagebruik voor schoolontwikkeling Datagebruik voor instructie Kwantitatieve data: vragenlijst opbrengstgericht werken Tevens is er de vragenlijst opbrengstgericht werken afgenomen. De vragenlijst is afgenomen bij het gehele schoolteam in november 2011 (nulmeting, N=18, 35%) en juni 2013 (nameting, N=19, 37%) om te bepalen of de mate van opbrengstgericht werken binnen de school is toegenomen. Deze vragenlijst is ontwikkeld voor een eerdere studie naar opbrengstgericht werken in Nederland (Schildkamp, Poortman & Ebbeler, in voorbereiding) en is gebaseerd op een grondig literatuuronderzoek en bestaande betrouwbare en valide instrumenten. Deze vragenlijst is uitgebreid getest op validiteit en betrouwbaarheid. De betrouwbaarheid van de schalen is te vinden in Tabel 1. De vragenlijst bevat vragen over toegang tot data, kwaliteit van de beschikbare data, bruikbaarheid van de data, kennis en vaardigheden op het gebied van datagebruik, attitude, leiderschap, samenwerking rondom data gebruik, visie en normen voor datagebruik, ondersteuning in datagebruik, datagebruik voor verantwoording, datagebruik voor schoolontwikkeling en datagebruik voor het verbeteren van instructie. Voor alle items konden respondenten aangeven op een vierpuntsschaal in welke mate ze het hier mee eens waren van 1 (helemaal oneens) tot 4 (helemaal eens). Voor validiteitsredenen is er bij de items rondom datagebruik voor instructie gevraagd om aan te geven hoe vaak de respondenten data gebruiken voor specifieke instructie doeleinden, variërend van 1 (nooit) tot 6 (een aantal keren per week). De resultaten zijn geanalyseerd met het programma SPSS. Voor iedere schaal is er per jaar een gemiddelde en standaarddeviatie berekend. Door middel van een t-test is er gekeken of de school significant vooruit of achteruit is gegaan op de verschillende schalen tussen 2011 en 2013.

16 4.Resultaten 4.1 Resultaten bij vraag 1: Op welke wijze kunnen creatieve denktechnieken ingezet worden om het onderwijs van de exacte vakken te verbeteren? Uitkomsten van de vergelijkende analyse van creatieve denktechnieken Na een literatuuronderzoek is een lijst van In totaal 24 denktechnieken samengesteld die uiteindelijk in drie groepen opgesplitst kon worden (ordening van kennis / verwerkingsproces / geheugentraining). Uiteindelijk werden de volgende 10 creatieve denktechnieken met elkaar vergeleken en beoordeeld op enkele door het team opgestelde criteria (zie ook bijlage 3). 1. Conceptcartoons 2. Computermodelling 3. Relatieschema 4. Mindmap 5. Beeldsamenvatting 6. Argumentkaarten 7. Denkhoeden 8. Beslisdocumenten 9. Applets 10. Tijdslijn De technieken die voor het Bataafs Lyceum het meest geschikt leken voor verder onderzoek zijn mindmaps en beeldsamenvattingen. De reden hiervoor was dat deze technieken eenvoudig binnen meerdere vakken op een soort gelijke manier toepasbaar waren (ideaal voor een onderzoek) zowel voor de docenten als de leerlingen. Daarnaast waren er binnen school al een aantal docenten die hier al ervaring mee had opgedaan zodat niet eerst een volledig nieuwe techniek aangeleerd hoefde te worden. Van de 10 onderzochte technieken was nauwelijks informatie, uit onderzoeken, bekend over de inzet en het effect binnen het voortgezette onderwijs waardoor het inzetten van de meeste technieken veel vraagtekens met zich mee zou brengen. In de onderstaande tabel is een vereenvoudigt overzicht te zien van de 10 onderzochte (denk)technieken en de toepasbaarheid ervan (volgens de onderzoekers) binnen het onderwijs. Gekeken is naar de mogelijkheden voor de docenten en leerlingen en per vakgebied. Denktechniek Docent Leerling α β γ Conceptcartoons Computermoddeling /- Relatieschema Mindmap Beeldsmenvatting /- Argumentkaarten /- + Denkhoeden +/- +/- +/- +/- +/- Beslisdocumenten + + +/- + + Applets Tijdslijn

17 4.1.2 Ontwikkeling interventie mindmaps in de klas Na de keuze voor het invoeren van mindmaps als creatieve denktechniek/ studietechniek op het Bataafs Lyceum is de invoer van mindmaps in de brugklas verder uitgewerkt: Training voor SLOA onderzoeksteam. Het team wilde zelf ervaren hoe mindmaps gebruikt konden worden voordat ze het verder uit wilden zitten in de school. Training voor docenten. Teamleider Benno Hams, ervaren in het gebruik van mindmaps, ontwikkelde en gaf een training voor docenten over hoe zij mindmaps in de klas konden inzetten. Training voor brugklasleerlingen. Schoolleider Benno Hams ontwikkelde en gaf aan de pilot klas een training over het gebruik van mindmaps. 4.2 Resultaten bij vraag 2: Wat zijn de effecten van de ingezette creatieve denktechnieken op de prestaties van de leerlingen in de exacte vakken? Om de resultaten van de invloed van de creatieve denktechniek mindmapping goed te kunnen analyseren was gekozen voor een onderzoek in 5 fasen. Waarbij de rol van de docent steeds verder zou afnemen en het zelfstandig gebruik door de leerlingen zou worden gevolgd aan de hand van de motivatie, de waardering en de resultaten. Wat duidelijk naar voren kwam was dat slechts een kleine groep leerlingen zelfstandig ook mindmaps maakt. Tijdens de leerlingen enquête bleek dat er een soort overkill was ontstaan bij veel leerlingen. Dit kwam doordat de lesgevende docenten allerlei opdrachten hadden ontwikkeld waarbij de leerlingen mindmaps moesten maken, meestal naast het reguliere werk. Daarnaast bleef er vanwege de relatief eenvoudige lesstof (van het eerste leerjaar) verder weinig andere onderdelen over om mindmaps van te maken. Gevolg dat de leerlingen niet zelf nog eens een mindmap gingen maken voor het bestuderen van de lesstof. Opmerkelijk is wel dat er ook leerlingen zijn die de techniek al beheersten en deze ook echt actief gebruiken hetgeen wel aangeeft dat er leerlingen zijn die langere tijd deze technieken gebruiken. Leerlingen van de experiment groep die actief mindmaps maakten tijdens het onderzoek en deze positief beoordeelden zien er wel een meerwaarde in (zie bijlage 10). De laatste metingen (na afloop van fase 5) moet duidelijkheid verschaffen over het gebruik van mindmapping op moment dat de docent hier geen verdere actie op onderneemt, en of bijvoorbeeld deze leerlingen er wel mee verder gaan of dat er een sociaal wenselijk antwoord is gegeven. Het was de bedoeling dat ook deze fase nog voor de zomervakantie zou zijn afgerond echter het leren beheersen van de techniek en het vertrouwd ermee raken binnen de te behandelen stof door de docenten heeft aanzienlijk langer geduurd dan verwacht. Vanwege de antwoorden bij de interviews is uiteindelijk besloten om niet alle data verder te gaan analyseren omdat er teveel verstorende factoren in het hele proces zijn ontstaan waardoor een wetenschappelijke uitspraak op dit moment niet te geven is.

18 4.3 Resultaten bij vraag 3: In welke mate leidt het werken in met datateams tot een verbetering van opbrengstgericht werken (e.g. professionalisering van docenten)? Het functioneren van datateams Jaar 1: literatuuronderzoek Omdat er bij de start van het datateam geen data over het gebruik van creatieve denktechnieken liggen die het team kan gebruiken, wordt in het eerste jaar geprobeerd om het acht stappenplan toe te passen op literatuuronderzoek. Datateamleden zoeken literatuur over verschillende creatieve denktechnieken en vergelijken op basis daarvan de diverse creatieve denktechnieken met elkaar om zo tot een beslissing te komen over welke denktechniek de meest geschikte is voor invoer op het Bataafs Lyceum. Het toepassen van de acht stappen op literatuuronderzoek bleek weinig motiverend voor de datateamleden. Uit de observaties en de logs blijkt dat het team literatuur vooral zocht via het internet. Bij dit literatuuronderzoek werd daarbij voornamelijk gefocust op de toepassing van een techniek in de klas. Er is weinig literatuur gezocht of gevonden over de onderbouwing van elke techniek (waarom werkt het?) of al bekende resultaten. Ook blijkt dat meerdere van de acht stappen werden overgeslagen of niet behulpzaam gevonden. Stap 4 uit het stappenplan (kwaliteit data) werd bijvoorbeeld overgeslagen, stap 5 (data-analyse, in dit geval dus vergelijking van de technieken op basis van literatuur) duurde erg lang en werd uiteindelijk niet afgemaakt. Ook in de interviews vragen verschillende respondenten (1,3 en 4) zich af of de datateam cyclus wel zo geschikt is al het gaat om het invoeren en evalueren van vernieuwingen. Aan de ene kant structureert het wel het proces en dwingt het tot nadenken voordat beslissingen worden genomen, maar de stappen passen niet helemaal goed bij het invoeren van vernieuwingen. Er wordt namelijk niet gestart met een probleem, maar met het ontwerpen van een interventie. Hier hoort toch een iets andere cyclus bij. Het zou volgens de respondenten mooi zijn als er een soort datateam cyclus opgesteld zou worden voor het invoeren en evalueren van interventies. Een cyclus hiervoor wordt wel belangrijk geacht, omdat het houvast geeft en het verhinderd dat je zo maar dingen gaat doen. In de cyclus zou er dan volgens respondent 1 eerder gestart moeten worden met het invoeren van maatregelen (nu stap 7), omdat er dan data verzameld kan worden over of de interventie wel of niet werkt, een soort rapid prototyping cyclus. Uiteindelijk koos het team voor het invoeren van de technieken mindmaps en beeldsamenvattingen. Deze beslissing leek meer gebaseerd te zijn op de al opgedane ervaringen in school met deze technieken dan op het literatuuronderzoek. Uit de observaties blijkt tevens dat tijdens het literatuuronderzoek veel behoefte ontstond bij datateamleden om zelf met de creatieve denktechnieken aan de slag te gaan, getuige uitspraken als: Kunnen we nu dan eindelijk met de techniek aan de slag? en Ik heb het gevoel dat ik onderzoek moet doen, maar ik wil eerst leren hoe de technieken werken!. Ook tijdens de interviews geven de respondenten aan dat het eerste jaar nogal lang duurde en soms te langzaam ging. De respondenten gaven aan dat ze aan de slag wilden. Het was moeilijk voor het team om een focus te kiezen. Het bleef te lang te weinig concreet. Wel geven de respondenten aan dat het goed is om op deze wijze beslissingen te onderbouwen. De respondenten geven over het algemeen aan dat hoewel het lang duurde dit toch nodig was voor het proces, voor het team en om zich te bekwamen in het doen van onderzoek. Twee respondenten gaven aan dat het toch te lang heeft geduurd. Respondent 2 zegt hierover: Dit had sneller gekund. Hierdoor hadden we weinig tijd aan het eind om echt wat te doen. In jaar 2 ging het beter.. Respondent 5 geeft aan dat ze hierdoor ook na 1.5 jaar is afgehaakt: het was te traag, niet concreet genoeg. Jaar 2: invoeren mindmaps in de klas en effectmeting

19 In het tweede jaar werd het experimentele onderzoek ontworpen en uitgevoerd. In de terminologie van het acht stappenplan houdt dit in dat stap 7 (ontwerpen van een maatregel) en stap 8 (evalueren van de maatregel) worden uitgevoerd. De datateamleden bedachten hoe zij de mindmap methode wilden invoeren en op welke manier ze konden onderzoeken welk effect dat heeft. Tijdens de eerste helft van dit jaar stond het ontwerpen van dit onderzoek centraal. In de tweede helft van het jaar werd de interventie mindmaps in de klas uitgevoerd en worden data over werking en effect verzameld. Respondent 3 geeft in het interview aan dat het team tegen een aantal problemen is aangelopen. De focus van het werk van het team was in de onderbouw terwijl bijna niemand uit de onderbouw in het team zat. Daardoor kwamen te veel taken bij de teamleider onderbouw uit het datateam terecht (coördinatie etc.). het datateam werd daardoor te afhankelijk van één persoon, waardoor ook nog eens de werkdruk bij deze persoon te groot werd. Ook werd het proces negatief beïnvloedt doordat er in het begin geen data beschikbaar waren. Respondent 2 hierover: Het is lastig dat we zonder data van start gingen. Dat heeft geleid tot een ongericht discussie. Uit de observaties en logs blijkt dat het lastig om als team scherp te formuleren wat nu het doel is van de invoer van mindmaps en vooral hoe je het resultaat kunt meten. Wat betekent bijvoorbeeld de doelstelling betere resultaten leerlingen? Gaat het dan om algemene toetscijfers? Of om specifieke vaardigheden waarvan je vooronderstelt dat het leren van de techniek mindmaps effect op hebben? Daarnaast bleek het ook lastig om de doelstelling en daarmee de focus vast te houden. In de loop van het proces werden de datateamleden steeds beter in het formuleren en vasthouden van de doelstelling van de invoer van mindmaps in de klas. Waar in het begin de trainer steeds de vraag stelde wat wilden jullie nu ook alweer bereiken? en wat wil je weten stelden de datateamleden deze vragen steeds vaker aan elkaar. Een werkdocument met de onderzoeksopzet dat steeds aan de laatste inzichten werd aangepast hielp daarbij. Bij het ontwerpen van een interviewleidraad voor docenten en leerlingen later in het jaar bleken datateamleden al veel vaardiger in het bedenken wat ze wilden weten en waarom- deze interviewleidraden werden snel ontwikkeld en de interviewvragen zijn van goede kwaliteit. Ook in de interviews komt het doel van het datateam aan bod. Respondent 3 gaf aan dat het doel van het team veranderd is in de loop van de tijd. Het team is begonnen met het doel om creatieve denktechnieken in te voeren. Dat lukte niet goed. Het team liep tegen allerlei implementatie problemen op (bijvoorbeeld docenten die mindmaps niet toepasten zoals het team bedacht had of het helemaal niet deden). Het doel werd toen voor respondent 3 meer leren over opbrengstgericht werken en meer inzicht in de factoren die van belang zijn voor de implementatie van creatieve denk technieken in het onderwijs. Deze doelen waren volgens respondent 3 behaald Effecten van datateams De vragenlijst opbrengstgericht werken is in november 2011 afgenomen (voormeting) en juni 2013 (nameting). Uit de resultaten van de T-toets (zie Tabel 2) blijkt dat de school op een aantal onderdelen significant is vooruit gegaan. Het is niet te bewijzen dat dit komt door participatie in een datateam, maar het is wel aannemelijk dat het datateam hiertoe (deels) heeft bijgedragen. Ten eerste vinden de respondenten dat data significant bruikbaarder geworden zijn voor het verbeteren van het onderwijs. In een datateam leren respondenten hoe ze data kunnen analyseren, interpreteren en omzetten in acties. Ook in de interviews gaven de teamleiders uit het datateam aan dat ze dit ook proberen toe te passen in hun eigen team en dat ze proberen om hun collega s ook hiervan bewust te maken. Respondent 3 geeft aan dat er door deelname aan het datateam meer bewustzijn voor beslissingen is gekomen. Het is belangrijk om meer zaken op een rij te hebben voordat je dingen beslist. Data zijn heel nuttig in complexe situatie waar geen snelle conclusies getrokken kunnen worden. Ook geeft hij aan dat hij geleerd heeft dat de kwaliteit van de data

20 beslissend zijn voor de soort beslissingen die je kunt nemen. Respondent 4 geeft aan dat ze eerder een beetje koudwatervrees had als het ging om het gebruiken van data. Vroeger zou ze niet beginnen aan statistische analyses van cijfers. De datateam methode heeft haar hier van afgeholpen. Het was een eye opener voor haar dat die statistische analyses in Excel helemaal niet zo moeilijk zijn. Ze heeft er nu echt zin in gekregen om verdere analyses te gaan doen en bepaalde dingen te gaan uitzoeken. Ten tweede is de samenwerking rondom data gebruik significant omhoog gegaan. Respondenten geven aan meer met elkaar samen te werken als het gaat om het gebruiken van data. In het datateam gebruiken de deelnemers natuurlijk gezamenlijk data, maar zoals hierboven ook beschreven gaven de teamleiders uit het datateam aan dit ook vaker in hun eigen team te doen. Ook geven de respondenten in de interviews aan dat datagebruik meer de norm/regel aan het worden is binnen de school. Respondent 3 herkent het belang van samenwerken rondom datagebruik in zijn team en geeft aan dat hij hierin als teamleider ook een voorbeeldfunctie moet vervullen: als ik het niet doe, doet niemand het. Datagebruik voor verantwoording en datagebruik voor schoolontwikkeling zijn ook significant gestegen. Dit zal ook deels te maken hebben met het feit dat het ministerie en de onderwijsinspectie hier heel veel nadruk op leggen. Echter, tijdens de interviews gaven respondenten tevens aan dat er veel meer nadruk gelegd werd binnen de school m.b.t. het gebruiken van data voor het verbeteren van het onderwijs. Respondent 3 geeft bijvoorbeeld aan dat hij veel heeft geleerd over opbrengstgericht werken en dit meer aan het toepassen is. Hij wil dit meer van de grond te krijgen in de school meer zelf over leren en meer beweging in de organisatie krijgen. In het onderwijs is het te vaak dat beslissingen in haast en onder druk worden genomen. Het gaat hem in feite niet over dit team maar over wat hierna komt het toepassen van opbrengstgericht werken. Voor zijn eigen team (bovenbouw HAVO) gaat hij nu ook anders met de resultaten voor rapport en overgangsvergaderingen om. Hij zet het ze meer systematisch op een rij en stelt ook altijd de vraag wat hebben we hieraan? Wat kunnen we hiermee? Zijn dit resultaten die we kunnen benutten? Respondent 4 geeft aan dat ze via het datateam geleerd heeft hoe ze onderzoek kan opzetten en uitvoeren in de school en dat ze ook meer kennis over de organisatie heeft opgedaan. Ook is haar opgevallen dat alle mensen die in het datateam zitten veel geleerd hebben en een kritische en onderzoekende houding hebben ontwikkeld. De school heeft bijvoorbeeld net in de eerste klas een vrij lezen uur ingevoerd. In de oude situatie zou het hierbij gebleven zijn, maar nu worden er dingen gezegd als we moeten hiervan wel het effect onderzoeken en met welke klassen die dit niet doen gaan we dit vergelijken. Ook uit de observaties en de logs blijkt dat de vaardigheden in het analyseren van de verzamelde data sterk zijn toegenomen gedurende het jaar. Alle teamleden hebben de door het UT project datateams aangeboden cursus data-analyse gevolgd. Op verschillende momenten tijdens het tweede jaar werden de daar geleerde vaardigheden toegepast. Meerdere teamleden pasten met succes de mogelijkheden van Excel bij zowel beschrijvende analyses als statistische toetsen toe. Ook waren de datateamleden kritisch en precies bij het kijken naar de kwaliteit van verzamelde data. Ook schakelden ze elkaar in om kritisch naar elkaars analyses te kijken. De school wil nu zelfs in het nieuwe jaar een studiemiddag voor alle docenten organiseren waarin zij leren hoe ze data kunnen analyseren in Excel. Ook respondent 2 geeft aan dat hij inzichten heeft op gedaan over het belang van de kwaliteit van data en data bewustzijn, dus wat je ermee kan. Volgens hem is opbrengstgericht werken wel echt gaan leven onder de datateam leden, maar nog te weinig daarbuiten. Ook respondent 1 geeft aan dat het datateam beter gepositioneerd moet worden binnen de school. Tevens geeft hij aan dat het

21 team wel nog door gaat. Veel mensen zijn nog niet bekend met de datateam methode en wat je er allemaal mee kan. Het is belangrijk dat mensen hier de waarde van in gaan zien. Ook uit de observaties blijkt tot slot dat het belang van de kwaliteit van onderzoek steeds duidelijker is geworden. In het begin was het lastig om een goede balans te vinden tussen kwaliteit van het onderzoek en zoveel mogelijk data verzamelen enerzijds en haalbaarheid en goede verhouding tussen kosten en baten anderzijds. Een van de datateamleden drong bijvoorbeeld in het begin aan om zoveel mogelijk data te verzamelen zonder dat altijd duidelijk was of dat bij zou dragen aan de opgestelde onderzoeksvragen ( misschien kunnen we er later nog iets mee ) en zonder dat er goed gekeken werd naar of de uitvoering van het onderzoek wel haalbaar was gegeven de beschikbare tijd van betrokken docenten en teamleiders. Het vinden van een balans tussen grondigheid/kwaliteit van het onderzoek versus haalbaarheid in de drukke schoolcontext werd in de loop van het jaar steeds meer een thema waarop gestuurd werd door teamleden. Waar in het begin vooral de trainer af en toe vroeg of de onderzoeksopzet niet teveel omvattend was voor de schoolpraktijk en of het wel relevant was voor de onderzoeksvragen, houden later teamleden elkaar steeds scherper op wat haalbaar en relevant is om te meten. Tabel 2 Resultaten van de T-toets vragenlijst opbrengstgericht werken Schaal M 2011 SD 2011 M 2013 SD 2013 Toegankelijkheid van de data Bruikbaarheid van de data ** 0.31 Kwaliteit van de data Kennis en vaardigheden Attitude Leiderschap Samenwerking ** 0.44 Visie Normen voor datagebruik * 0.45 Ondersteuning Datagebruik voor verantwoording ** 0.47 Datagebruik voor schoolontwikkeling * 0.37 Datagebruik voor instructie * Significant op 0.05 niveau ** Significant op 0.01 niveau