Onderzoeksresultaten: wat kan ik er mee?

Transcriptie

1 Onderzoeksresultaten: wat kan ik er mee? Marjan Vermeulen, Interactum Lectoraat Kantelende Kennis en Ruud de Moor Centrum Onderzoek: resultaten van een ander Onderzoek naar de onderwijspraktijk kent een aantal kanten die zowel positief als negatief beleefd worden in de scholen. De resultaten van onderzoek kunnen leiden tot meer kennis, zowel theoretische kennis als kennis van handelen. De expertise om de resultaten te interpreteren op hun eigen waarde is niet altijd aanwezig. Theoretische kennis kan niet altijd in de specifieke context worden toegepast en omgekeerd kan contextspecifieke kennis niet altijd in andere contexten worden gebruikt. Soms leidt het gebrek aan expertise tot bijvoorbeeld generalisaties die niet valide zijn. En niet alle uitkomsten zijn geschikt voor iedereen. Bij de conferentie verwoordde een deelnemer het zo: Algemene onderzoeken passen niet op Urk. Ook wordt onderzoek soms aangegrepen om een momentum te creëren voor verandering. Omdat de uitkomsten van onderzoek het uitwijzen, is de verandering gelegitimeerd. Tegelijkertijd is het bekend dat er veel tijd en veel moeite gepaard gaat met het uitvoeren van goed onderzoek zonder dat er de tijd voor uitgetrokken is om consequenties aan de uitkomsten te verbinden. Na het onderzoek gaat men over tot de orde van de dag, het onderzoek kan daar geen verandering in brengen. Als de motieven voor onderzoek een verborgen rol spelen, maakt dat mensen onrustig. Ze vragen zich af waar het voor nodig is; kritische vragen rond taboes maken kriebelig in een cultuur die gewend is aan die taboes. Een ander interessant fenomeen is dat het doen van onderzoek de communicatie tussen mensen versterkt; dat leidt tot een gedrevenheid die dan zichtbaar wordt. In dit artikel verkennen we eerst het terrein van wat onderzoek eigenlijk is, welke verschillende vormen van onderzoek te onderscheiden zijn en hoe die samenhangen met de verkregen resultaten. Dan stellen we de vraag hoe onderzoek te gebruiken is. Vervolgens bekijken we hoe een combinatie van meetniveau en type onderzoeksresultaten ingezet kan worden in onderwijssituaties. Wat is onderzoeken? Eigenlijk is onderzoeken niet meer dan het proces van formuleren van een vraag en het vinden van een antwoord dat relevant is om een vooraf gesteld doel te kunnen realiseren. Dit gaat zowel op voor het organiseren van een eenvoudige enquête voor leerlingen als voor een gecompliceerd kwalitatief onderzoek. Belangrijk is dat het onderzoeksproces systematisch en transparant doorlopen wordt. Door syste- Onderzoek: resultaten van een ander 63

2 matisch en transparant te werk te gaan is verantwoording en discussie over de gevoerde procedure en de daaruit voortkomende conclusies mogelijk. Deze zijn weer van belang om eigen blinde vlekken op te kunnen sporen en de kennis te delen met anderen. Een onderzoeksvraag is dus ook altijd situationeel gebonden (context afhankelijk), het antwoord moet immers leiden tot een bepaald doel. Onderzoeksvraag, het doel en de onderzoeksresultaten zijn onlosmakelijk met elkaar verbonden. Kortom: over onderzoeksresultaten spreken zonder daarbij de onderzoeksvraag, de gevolgde procedure en de context in beschouwing te nemen, is niet zinvol. De klassieke benadering van onderzoek heeft professor A. de Groot in 1961 beschreven in de empirische cyclus. Het is dezelfde cyclus die natuurwetenschappers al eeuwen (bijvoorbeeld Darwin) hanteerden. Darwin kwam tot zijn evolutietheorie door jarenlang verschillen tussen dieren te onderzoeken op alle delen van de wereld. Alvorens hij daar voorlopige conclusies uit trok had hij al vele jaren van observatie achter de rug. De cyclus van De Groot start bij observatie, die door middel van inductie kan leiden tot een hypothese. Daaruit volgt een deductie die concreet getoetst moet worden. De resultaten daarvan leveren een evaluatie. Dit kan leiden tot nieuwe observaties. Er zijn verschillende typen onderzoek, gerelateerd aan de verschillen in doel, resultaten en geldigheid van de uitkomsten (zie tabel 1). Tabel 1 is geordend van een hoge mate van abstractie naar het concrete niveau van handelen. Aan het ene uiterste wetenschappelijk onderzoek met strenge eisen wat betreft objectiviteit, validiteit en onom- Typen onderzoek Doel Resultaten Geldigheid uitkomsten Wetenschappelijk of fundamenteel onderzoek (bijv. promotie) Beleidsonderzoek (bijv. ministerie) Kwaliteitsonderzoek (bijv. Q5) Ontwikkelingsonderzoek Kennisvermeerdering Voorspellen van beleidsuitkomsten, bijstellen van beleid Kwaliteitsverbetering van processen/ organisatie Evaluatie invoering nieuwe instrumenten Abstracte kennis, theorievormend Abstracte kennis Organisatie kennis Situationele kennis, soms geabstraheerd Algemeen geldig, voorspellend Beperkt tot beleidsmaatregel, daarbinnen generaliseerbaar Beperkt tot generaliseerbaarheid in de eigen organisatie Voor invoering in die situatie Praktijkonderzoek Verbeteren van handelingspraktijk Situationele kennis, handelingskennis Alleen voor onderzochte situatie Tabel 1: Typen onderzoek in relatie tot doel, resultaten en geldigheid van de uitkomsten 64 Onderzoek: resultaten van een ander

3 stotelijke resultaten. Aan het andere eind praktijkonderzoek dat past in een proces waarbij resultaten toegepast moeten kunnen worden. Het is duidelijk dat ieder type onderzoek een ander soort resultaten oplevert. Bij een probleem als hoe gaat onze school om met leerlingen met een rugzakje?, kunnen onderzoeksresultaten van een andere school best gebruikt worden, maar tegelijkertijd is het essentieel daar andere vragen bij te stellen. Wat zijn de verschillen en de overeenkomsten als het om dit onderwerp van het rugzakje gaat, heeft die school bijvoorbeeld een gebouw dat beter ingericht is om met deze leerlingen om te gaan? Hoe staat het met de houding en de vaardigheden van de mensen op die school? Hebben ze hetzelfde type leerlingen en rugzakjes? Hoe kun je onderzoek gebruiken? Om onderzoeksresultaten goed te kunnen interpreteren is het zinvol om onderscheid te maken tussen twee manieren waarop met onderzoek omgegaan kan worden (zie tabel 2). Evidence-based te werk gaan, betekent een benadering vanuit modus 1, maar veel partijen (overheid, scholen) hebben meer belangstelling voor modus 2. Logisch, mensen die op scholen werken, willen er het liefst meteen in hun situatie iets mee kunnen. Bij dat verschil in appreciatie voegt zich bovendien een duidelijk dilemma. De resultaten bij modus 1 zijn moeilijk te vertalen naar resultaten voor modus 2 en vice versa. Onderzoeksresultaten in de modus 1 traditie Laten we daarom nog eens goed kijken naar wat onderzoek in modus 1 oplevert. Dat zijn ten eerste nieuwe ideeën. Ten tweede is het geschikt voor benchmarking, zoals gebeurt bij de cijfers van de inspectie (of de Trouwcijfers ). En bovendien levert het directe feedback op over functioneren van de eigen school ten opzichte van andere scholen. Dat kan heel leerzaam zijn. Of dergelijke vergelijkingen kunnen, is wel erg afhankelijk van vraagstelling en methode. Het voordeel van de zo vergaarde kennis is dat het algemeen geldend is en soms voorspellend. Denk bijvoorbeeld aan kinderen met laag opgeleide ouders. Die scoren zelf op een school meestal ook lager. Ook hoeft een school deze algemene cijfers of theoretisch funderend onderzoek niet zelf uit te zoeken. Modus 1 Modus 2 Opvatting Onderzochten zijn object Onderzochten zijn subject Sturing wie stuurt het Onderzoekers zijn eigenaar Onderzochten zijn mede-eigenaar, proces onderzoeker is facilitator Inhoud wat wordt onderzocht Typerende werkwijzen Universele waarheid/kennis Statistisch bewerken/ analyseren om objectieve conclusies te trekken Intersubjectieve- en context kennis (Samen) interpreteren en analyseren en daarop acties plannen Doel van onderzoek Kennis vermeerderen Kennis om te handelen Tabel 2: Modus 1 en modus 2 onderzoek Onderzoek: resultaten van een ander 65

4 Het is immers algemeen geldend. Helaas is de keerzijde van die algemene geldigheid, dat een vertaling naar de directe context van de eigen school soms, of vaak, onmogelijk blijkt te zijn. Waarom precies hebben wij bijvoorbeeld zulke goede of slechte examenresultaten? Dat kan aan de achtergrond van de leerlingen liggen (theoretisch klopt dat) maar in de werkelijkheid van de school kan het ook aan slecht management, slechte leraren of heel andere oorzaken liggen. Een goed voorbeeld van onderzoek in deze traditie is hierboven al gegeven met de empirische cyclus van de Groot. Onderzoeksresultaten in de modus 2 traditie En wat kan onderzoek vanuit modus 2 ons opleveren? Om te beginnen nieuwe in de praktijk toepasbare inzichten. En de verandering in inzichten kan leiden tot andere, zelf ontwikkelde, opvattingen die belangrijk zijn om gedrag te veranderen. Het voordeel van deze benadering is dat een vertaling van abstract naar praktijk niet nodig is. Het zelf uitvoeren van onderzoek kost meestal veel tijd en er is een kans op het kopiëren van de eigen blinde vlekken in het eigen onderzoek. Dit effect kan trouwens minder zijn bij inschakeling van kritische vrienden waarmee het onderzoek wordt doorgesproken. Een goed voorbeeld van een praktijkonderzoekcyclus in modus 2 is te vinden op kennisbank. Modus 1 én modus 2? Mijns inziens is het geen keuze tussen de een of de ander, maar vooral een zaak van kiezen voor de juiste methode in de juiste situatie. Of, om maximaal profijt te trekken uit onderzoeksresultaten, slimme combinaties tussen modus 1 en modus 2 in te zetten. Dat is niet altijd even gemakkelijk, omdat daarbij het verschil tussen wetenschap en praktijk in het oog gehouden dient te worden. Daarnaast spelen er diverse niveaus een rol. Onderzoek kan als doel abstracte kennis enerzijds, en nieuwe vaardigheden anderzijds hebben. Dit moet ook nog gecombineerd worden met het niveau waarop het onderzoek zich afspeelt, zoals bijvoorbeeld leerling-niveau, schoolniveau of bovenschools niveau. Onderzoek dat een combinatie is van modus 1 en modus 2 speelt zich af, gericht op abstracte- en toepasbare kennis en op de verschillende niveaus. Veel gemaakte fouten bij onderzoek in de school: 1. onzorgvuldig rapporteren van meetniveaus en de niveaus van de conclusies een zwaluw geeft nog geen lente; 2. onderzoeksresultaten als onwelkome managementbeslissingen; 3. gebruik van verkeerde databron vraag niet aan de leraar hoe de leerling zich voelt; 4. reageren op data zonder focus of vraagstelling door de bomen het bos niet meer zien; 5. veel tijd gebruiken, weinig impact hebben over tot de orde van de dag; 6. onderzoekers als expert de school in en dan de leraren het onderzoek laten uitvoeren; 7. te algemeen onderzoek hoe leren leerlingen is niet hetzelfde als hoe leren onze leerlingen; 8. onderzoek dat vreemd is aan de cultuur leerlingenenquêtes over zaken die collega s niet samen durven te bespreken. 66 Onderzoek: resultaten van een ander

5 Nieuwe trends in het buitenland In Nederland wordt vaak naar onderzoek in het buitenland gekeken. Een nieuwe trend die dat laat zien, is onderzoek in Canada naar gecijferdheid en geletterdheid van kinderen. Het onderzoek is bedoeld om besluitvorming in de klas en op schoolniveau beter mogelijk te maken. Men spreekt daarbij van datadriven decision making of informed decision making. Het Canadese onderzoek betreft een aanpak van het totale onderwijssysteem tot 18 jaar. Er is sprake van een ambitie het primair proces te verbeteren en een indicator neer te zetten van de leerling-prestaties. Het moet dus leiden tot daadwerkelijk anders handelen van de leraar in interactie met de leerling ( data driven teaching ). Tegelijkertijd moet het algemene onderwijsniveau (de generaliseerbare cijfers) omhoog. Het onderzoek is uitgezet op alle niveaus en typen kennis. Op leerling-niveau kijkt men naar prestatie en gedrag. Op schoolniveau naar gemiddelde leerling-prestaties per leraar. Bovendien doet men onderzoek naar het handelen van docenten om een effectieve aanpak te kunnen beschrijven. Op landelijk niveau wil men de gemiddelde schoolprestaties onderzoeken. Hoe kom je aan onderzoeksresultaten waar de eigen school wel wat mee kan? 1. Formuleer de juiste onderzoeksvraag. Gebruik daarbij de SMART-methode. Bedenk wat nodig is om die te formuleren. Welke informatie is er echt nodig? En wie moet er betrokken worden bij het hele proces? 2. Bepaal de onderzoeksstrategie. Als resultaten nodig zijn op het niveau van de eigen school, meet dan ook op dat niveau. Bedenk wie betrokken moet worden bij welke stap en waarom. Voor wie is het antwoord bestemd? Voor het team of ook voor anderen? Welke bewoordingen passen in verschillende gevallen? 3. Zijn er al bruikbare data op het juiste meetniveau? Of is er al zoveel informatie dat men door de bomen het bos niet meer ziet? De data kunnen samenhangen met wie ze verzamelt. Of dat gebeurt door betrokkenen of extern. Maar ook door de methode die wordt gebruikt en de conclusies. Tenslotte: bruikbare onderzoeksresultaten vind je niet zomaar, daartoe moet je voor je doel een goede vraag en passende procedure ontwikkelen. Dit onderzoek is een interessante professionele poging om het onderwijs te verbeteren. We kunnen er nieuwe impulsen uit halen. Wat kunnen wij gebruiken in onze situatie? Het moge duidelijk zijn dat een dergelijk onderzoek niet rechtstreeks omzetbaar is naar de Nederlandse situatie. Bij ons is zo n centrale sturing op dit moment niet aan de orde. Daar komt bij dat voorbeelden uit andere landen hier op praktische bezwaren stuiten. Onderzoek: resultaten van een ander 67