ONTWERPKADER INLEIDING

Transcriptie

1 INLEIDING Het School of Education- project P- REVIEW. Vakdidactische praktijkgerichte reviews van onderzoek ( ) zoekt aansluiting bij de nieuwe invulling van de lerarenopleiding waarbij de inhoud en de vormgeving verankerd is in wetenschappelijke evidentie. Er wordt een blijvende probleem gesignaleerd inzake de doorstroming van onderzoeksresultaten naar het onderwijs. Gefragmenteerde, theoretisch georiënteerde en academisch geformuleerde onderzoeksrapportage lijkt hieraan bij te dragen. Het kernproject P- REVIEW wil bijdragen aan een grotere toegankelijkheid van wetenschappelijk onderzoek op twee manieren: enerzijds door strategieën om reviews te ontwikkelen en te verspreiden via het opstellen van een ontwerpkader anderzijds door exemplarisch 6 reviews te schrijven die gericht zijn op zowel het basisonderwijs als op het secundair onderwijs Ontwerpkader Het voorliggende document vormt het ontwerpkader voor de reviews. Het ontwerpkader bestaat uit twee delen: Algemene strategie (deel A): Door het expliciteren van de definitie van een vakdidactische praktijkgerichte review, de praktijkgerichte aanpak, de evaluatie- procedure en de disseminatie en valorisatie- strategie wordt de algemene opzet en strategie van P- REVIEW verhelderd. Handleiding voor het schrijven van een review (deel B): De handleiding is opgesteld als een werk- en begeleidingsinstrument voor de review- auteurs. Het voorliggende ontwerpkader is opgesteld door de leden van de interne review- board van het SoE- project P- REVIEW. De leden van de interne review- board zijn: prof.dr. Bieke De Fraine (K.U.Leuven), Job De Meyere (KHK), Renaat Frans (KHLim) en Kristof Van De Keere (KATHO Tielt). 1

2 INHOUDSTAFEL INLEIDING... 1 INHOUDSTAFEL... 2 DEEL A. ALGEMENE STRATEGIE DEFINIËRING VAN VAKDIDACTISCHE PRAKTIJKGERICHTE REVIEWS PRAKTIJKGERICHTHEID EVALUATIE- PROCEDURE FUNCTIE VAN DE INTERNE REVIEW- BOARD FUNCTIE VAN DE EXTERNE REVIEW- BOARDS EVALUATIE- INSTRUMENT VOOR DE REVIEWS DISSEMINATIE & VALORISATIE- STRATEGIE ALGEMENE DOELSTELLINGEN VAN P- REVIEW DISSEMINATIE & VALORISATIE- ACTIVITEITEN Overkoepelende disseminatie & valorisatie- activiteiten Specifieke disseminatie- activiteiten per individuele review DEEL B. HANDLEIDING VOOR HET SCHRIJVEN VAN EEN REVIEW PROTOCOL VOOR SCHRIJVEN VAN EEN REVIEW FORMULEREN VAN DE ONDERZOEKSVRAAG (PICO) TITEL FORMULEREN: ZOEKTOCHT NAAR STUDIES LIJST VAN GEBRUIKTE ZOEKTERMEN CRITERIA VOOR DE ZOEKTOCHT NAAR STUDIES GERAADPLEEGDE ZOEKKANALEN HIERARCHIE VAN DE EVIDENTIE SELECTIE VAN DE STUDIES DEFINITIEVE SELECTIE VAN DE STUDIES BEPALING VAN DE SELECTIECRITERIA UITVOEREN VAN DE ANALYSE EVALUATIEFORMULIER VOOR DE STUDIES SCHRIJFPROCES VAN DE REVIEWS HOE BEGINNEN MET SCHRIJVEN AFSPRAKEN OMTRENT HET UITSCHRIJVEN EN REDIGEREN VAN DE REVIEWS BRONNEN

3 DEEL A. ALGEMENE STRATEGIE 1. DEFINIËRING VAN VAKDIDACTISCHE PRAKTIJKGERICHTE REVIEWS Vakdidactische praktijkgericht reviews bieden: - op een systematische en verantwoorde wijze een samenvattend overzicht van relevante wetenschappelijke bronnen - betreffende klaspraktijk of een praktijkgerichte problematiek/casus - van vakdidactische oorsprong - op een vlot leesbare, relevante en hanteerbare wijze voor het praktijkveld Opties: - Methodepluralisme (kwantitatief en/of kwalitatief) - verschillende onderwijsdomeinen - verschillende onderwijsniveaus - gericht op de concrete klaspraktijk - aantoonbare relevantie voor de Vlaamse onderwijscontext Balanceren tussen het ideale en het haalbare: Het schrijven van een systematische review is een stevige onderneming die veel tijd en energie vraagt (Aveyard, 2010). In het ideale scenario worden de richtlijnen van een Campbell- review gevolgd. Maar voor de meeste onderzoekers vraagt dat een té grote tijdsinvestering. Een systematische literatuurstudie is meer haalbaar (Aveyard, 2010). 2. PRAKTIJKGERICHTHEID Het streefdoel van het project is om het volgende doelpubliek te bereiken: Docenten en studenten van de lerarenopleidingen Leraren BaO en SO Intermediairen In de opzet en de uitwerking van de reviews wordt getracht om zowel het ontwerpkader als de uitgeschreven reviews toegankelijk te maken voor dit brede en praktijkgerichte publiek. Het ontwerpkader wil een duidelijke en transparante strategie beschrijven voor het ontwerpen, dissemineren en beoordelen van de reviews. Om deze praktijkgerichtheid vorm te geven zijn binnen het project P- REVIEW een aantal opties genomen. Opties 1: Themazetting De keuze voor de onderwerpen van de reviews is primair verbonden aan de expertise van de review- schrijvers. Het is niet echt haalbaar om de onderwerpen volledig te selecteren vanuit de praktijk omdat dit een te grote diversiteit aan onderwerpen oplevert. Een belangrijk uitgangspunt voor het schrijven van een review kunnen de uitgevoerde peilingsonderzoeken 3

4 zijn. De geselecteerde onderwerpen en de themazetting worden voorgelegd aan focusgroepen (cf. Optie 5). Optie 2: Gericht op de klaspraktijk De thematiek van de reviews dient een problematiek te behandelen die relevant is voor de concrete vakdidactische klaspraktijk. Optie 3: Differentiatie naar onderwijsdomein De 6 reviews situeren zich in verschillende onderwijsdomeinen: Geschiedenis Taal Natuurwetenschappen Bewegingsopvoeding Wereldoriëntatie Biologie Optie 4: Differentiatie naar onderwijsniveau Er worden reviews geschreven voor volgende onderwijsniveaus: 3 reviews voor het basisonderwijs 3 reviews voor het secundair onderwijs Optie 5: Consultatie van focusgroepen De praktijkgerichtheid van het ontwerpkader wordt afgetoetst bij 4 focusgroepen. Centraal hierbij staat de vraag hoe de reviews tegemoet kunnen komen aan de kennisbehoeften en de kennispraktijk van de verschillende focusgroepen. De verschillende samenstelling (leraren basisonderwijs en secundair onderwijs, intermediairen, docenten lerarenopleiding) van de focusgroepen komt op deze manier de praktijkrelevantie van het ontwerpkader ten goede. Tevens gaan de focusgroepen vanuit hun specifieke invalshoek na aan welke criteria de reviews moeten voldoen. Op deze manier spelen de focusgroepen ook hun rol bij het vastleggen van de evaluatie- criteria. De verslagen van de focusgroepen worden gebundeld en als bijlage bij de eindrapportering gevoegd. Optie 6: Evaluatie door praktijkexperten De afzonderlijke reviews worden geëvalueerd door een leescomité van praktijkexperten. Er wordt hiervoor één leescomité voor de reviews voor het basisonderwijs en één leescomité voor de reviews van het secundair onderwijs aangesteld door de interne review- board. Elk leescomité bestaat uit 5 praktijkexperten per geschreven review (leraren, lerarenopleiders, zorg- coördinatoren, pedagogisch begeleiders) die de praktijkgerichtheid bewaken. Zij worden geselecteerd op basis van de vertrouwdheid met het thema in het specifieke werkveld. 4

5 3. EVALUATIE- PROCEDURE Het voorwerp van de evaluatie- procedure is tweeledig: Enerzijds wordt het ontwerpkader van P- REVIEW geëvalueerd en bijgestuurd tijdens de looptijd van het project. Anderzijds worden de zes individuele reviews afzonderlijk geëvalueerd op basis van de richtlijnen van het ontwerpkader. De evaluatie- procedure wordt uitgevoerd door verschillende actoren: Interne review- board Externe review- boards 3.1. FUNCTIE VAN DE INTERNE REVIEW- BOARD De centrale functie van de interne review- board van is de procesbegeleiding en de procesevaluatie van het schrijven van de reviews. Taak Voor de procesbegeleiding wordt er enerzijds een ontwerpkader opgesteld en anderzijds coaching voor de auteurs voorzien. a. Ontwerpkader Om de auteurs te ondersteunen ontwerpt de interne review- board het concreet- operationeel ontwerpkader voor de reviews dat bestaat uit: Een definiëring van de praktijkgerichte reviews Een handleiding voor het uitschrijven van de reviews + tijdspad Een explicitering van de evaluatie- procedure & het evaluatie- instrument Een disseminatie en valorisatie- strategie Op basis van de feedback van de auteurs, de externe review- board en de implementatie van het ontwerpkader tijdens het schrijfproces en de coaching- sessies wordt het ontwerpkader bijgestuurd nadat de eerste drie pilot- reviews zijn geschreven (augustus 2012) en nadat de laatste 3 reviews zijn geschreven (maart 2013). b. Coaching- sessies Vanuit de interne review- board naar de auteurs Tijdens de coaching- sessies worden de auteurs begeleid en ondersteund door de leden van de interne review- board tijdens hun schrijfproces. De thema s van de coaching- sessies sluiten aan bij de stappen voor de opbouw van een review uit het ontwerpkader (cf Tijdspad voor het uitschrijven van de reviews). Vanuit de auteurs naar de interne review- board 5

6 Naast de begeleidende en ondersteunende functie wordt er tijdens de coaching- sessies ook tijd voorzien om in te gaan op de specifieke vragen en noden van de auteurs. Op basis van de feedback van de auteurs kan de interne review- board specifieke en extra ondersteuning voorzien. Samenstelling De interne review- board bestaat uit de kernpartners van het project (KHK, K.U.Leuven, KHLIM, KATHO Tielt) FUNCTIE VAN DE EXTERNE REVIEW- BOARDS De externe review- boards staan in voor de proces- en productevaluatie van het project P- REVIEW. Er wordt gekozen om twee afzonderlijke review- boards in het leven te roepen met elk een eigen finaliteit en taak: Vaste overkoepelende externe review- board Taak De taak van de vaste overkoepelende externe review- board richt zich primair op het ontwerpkader voor de reviews. Deze review- board wordt betrokken bij het opstellen en het bijsturen van het ontwerpkader tijdens de looptijd van het project. In tweede instantie evalueert de vaste externe review- board tevens de implementatie van het ontwerpkader en de output van het project door overkoepelende feedback te geven op de geschreven reviews en de gevolgde coaching- procedure. Samenstelling Bij de samenstelling van deze externe review- board wordt rekening gehouden met een evenwichtige verdeling tussen praktijkgerichte en wetenschappelijke expertise. leden van de vaste en overkoepelende externe review- board: Ballet Katrijn Departement Onderwijs Beckers Gerd Coördinerend directeur scholengemeenschap De Speling (Genk) Bonne Jan Pedagogisch begeleider Brugge Callewaert Bjorn Opleidingscoördinator lager onderwijs KHLeuven Clarebout Geraldine Lid werkgroep EBE, K.U.Leuven faculteit PPW De Laet Steven Pedagogisch begeleider OVSG basisonderwijs De Ruytter Geertrui VLOR Devos Pieter Directeur basisonderwijs KBO Tielt Foulon Martine Pedagogisch directeur vrije basisschool de Ark (Leuven) Hannes Karin Faculteit PPW K.U.Leuven Maes Frederik School of Education 6

7 Op t Eynde Peter Peeters Wim Simons Joke Smits Dirk Van Braak Johan Vanderhoeven Johan Vanderlinde Ruben pedagogisch directeur Regina Caelilyceum Dilbeek Pedagogisch begeleider SO, DSKO Antwerpen Onderzoekscoördinator Lessius Mechelen Onderzoekscoördinator H.U.Brussel, lid EBE UGent Departementshoofd lerarenopleiding KHBO UGent Rapportering De verslagen van de vergaderingen van de externe review- board vormen samen het evaluatierapport dat zal toegevoegd worden aan het eindrapport van het project P- REVIEWS. De verslaggeving gebeurt door de interne review- board. Aanvullende wisselende externe review- board Taak De taak van de aanvullende wisselende externe review- board is exclusief gericht op de specifieke reviews als output van het project. De leden evalueren de geschreven reviews op basis van het evaluatie- instrument (cf. 3.3). Samenstelling Deze aanvullende externe review- board bestaat uit afzonderlijke leden en/of leescomités die worden aangesteld door de interne review- board voor de evaluatie van een specifieke review: o Voor elke afzonderlijke review worden 2 domein- experten gezocht die de wetenschappelijke validiteit bewaken. Zij worden geselecteerd op basis van aantoonbare wetenschappelijke expertise op het vlak van de thematiek van de review. o Eén leescomité voor de reviews voor het basisonderwijs en één leescomité voor de reviews van het secundair onderwijs worden aangesteld. Elk leescomité bestaat uit 5 praktijkexperten per geschreven review (leraren, lerarenopleiders, zorgcoördinatoren, pedagogisch begeleiders, lerarenopleiders) die de praktijkgerichtheid bewaken. Zij worden geselecteerd op basis van de vertrouwdheid met het thema in het specifieke werkveld. Rapportering De ingevulde evaluatie- instrumenten (cf. 3.3.) worden gebundeld en opgenomen in het finale eindrapport van het project P- REVIEW. 7

8 3.3. EVALUATIE- INSTRUMENT VOOR DE REVIEWS Het evaluatie- instrument voor de reviews wordt gebruikt door de leden van de externe review- board om feedback te geven op de geschreven reviews. Er zijn 5 hoofdcriteria die telkens vertaald worden naar concrete indicatoren. Elke indicator kan gescoord worden op een 3- punts- schaal (O - onvoldoende, V: voldoende, G: goed). Bij elk hoofdcriterium wordt ook een open ruimte voorzien waar de evaluator een woordelijke motivering kan geven van zijn besluit en/of suggesties. a. Taalgebruik en structuur TAALGEBRUIK & STRUCTUUR: De review is geschreven in een vlotte en begrijpelijke taal die leesbaar is voor leraren. gebruikt geen overdreven lange zinnen. heeft een duidelijke structuur. vermijdt overbodige specifieke terminologie. legt nieuwe begrippen (inclusief vakjargon) uit door middel van concrete en bekende termen. biedt een aansprekende inleidingstekst. is beschikbaar in twee versies: een lineaire tekstversie en een niet- lineaire tekstversie (website). Schriftelijke motivering & suggesties: b. wetenschappelijke validiteit & verantwoording WETENSCHAPPELIJKE VALIDITEIT & VERANTWOORDING: De review verwijst via eindnoten consequent naar de geraadpleegde bronnen. wordt voldoende ondersteund door wetenschappelijke studies. expliciteert de centrale onderzoeksvraag. geeft een duidelijk omschrijving van de probleemstelling. expliciteert helder de afbakening van het onderzoek en de draagwijdte van het onderzoek. expliciteert de gevolgde onderzoeksmethode. geeft de selectiecriteria aan voor het insluiten en uitsluiten van studies. geeft aan hoe de verwerking van de studies is gebeurd. formuleert heldere conclusies die voldoende wetenschappelijk verantwoord worden. Schriftelijke motivering & suggesties: 8

9 c. Praktijkrelevantie PRAKTIJKRELEVANTIE: De review is in de eerste plaats gericht op de klaspraktijk (micro- niveau). verwijst naar voldoende concrete voorbeelden uit de klaspraktijk. geeft aan waarom de thematiek belangrijk is. houdt rekening met de specifieke Vlaamse onderwijscontext. is voldoende specifiek gericht op het aangeduide onderwijsniveau (BaO of SO). voorziet links naar goede praktijkvoorbeelden en/of beeldmateriaal. beschrijft getuigenissen van leraren en praktijkverantwoordelijken omtrent de thematiek. Schriftelijke motivering & suggesties: d. Toepasbaarheid van de review (gebruikswijzer) TOEPASBAARHEID: De review geeft aan hoe een leraar aan de slag kan gaan in de klas met de verworven inzichten. expliciteert welke de kansen zijn voor verdere professionalisering van leraren. stimuleert de onderzoekende houding van de leraren (vb. door zelf op kleine schaal een klas- experiment uit te voeren omtrent de thematiek, door suggesties te geven voor verdere literatuur, door filmische voorbeelden). stimuleert een brede communicatie omtrent de thematiek (vb. Door middel van stellingen waarop kan gereageerd worden). Schriftelijke motivering & suggesties: 9

10 e. Disseminatie van de review Opmerking: De disseminatie van een review reikt verder dan de eigenlijke looptijd van het project. Dit maakt het moeilijker om de disseminatie finaal te evalueren. In het disseminatieplan van de auteur zal u alvast enkele disseminatie- acties vinden. Als evaluator wordt u uitgenodigd om extra suggesties te geven voor een verdere brede verspreiding van de review. Het zou ook een hulp zijn, mocht u extra kanalen en/of contactpersonen kunnen vermelden. DISSEMINATIE: De review wordt ondersteund door een disseminatieplan waarin concreet aangegeven wordt welke acties ondernomen worden ter verspreiding. Schriftelijke motivering & extra suggesties (eventueel extra contactpersonen en/of kanalen): 10

11 4. DISSEMINATIE & VALORISATIE- STRATEGIE 4.1. ALGEMENE DOELSTELLINGEN VAN P- REVIEW Het is een algemene doelstelling van het project P- REVIEW om de review breed te verspreiden en de vertaalslag van onderzoek naar onderwijs positief te stimuleren. Kenmerkend voor dit SoE- project is dat de disseminatie en valorisatie- activiteiten dienen te landen bij het uiteindelijke doelpubliek, namelijk leerkrachten basisonderwijs en secundair onderwijs. In functie van dit doelpubliek worden ook intermediairen betrokken in de disseminatie, die op hun beurt als doorgeefluik naar het praktijkveld kunnen functioneren. De vakdidactische insteek van het project garandeert de aansluiting bij de concrete lespraktijk waarbij leerkrachten zoeken naar een vernieuwende invulling van een vakdidactisch probleem. Er wordt binnen het kader van de voorhanden financiering ook gepoogd om een brede waaier aan vakdidactische onderwijsdomeinen te presenteren DISSEMINATIE & VALORISATIE- ACTIVITEITEN Het opstellen van de disseminatie & valorisatie- activiteiten gebeurt op een tweeledige manier: enerzijds zijn er een aantal overkoepelende activiteiten gepland op niveau van het gehele project P- REVIEW (cf ). anderzijds wordt er tevens voor de individuele reviews gezocht naar meer specifieke activiteiten (cf ) Overkoepelende disseminatie & valorisatie- activiteiten Het projectteam voorziet alvast in volgende activiteiten: - 2 vakdidactische studiedagen die regionaal worden georganiseerd (regio 1: West- Vlaanderen, regio 2: Kempen- Limburg) - Een dynamische website met interactieve mogelijkheden om de projectresultaten te verspreiden en feedback te geven op de review- onderwerpen, alsook om conclusies hieromtrent te formuleren (via wikiapplicatie). - Publiek maken van de reviews met bijhorende disseminatiestrategie (bijvoorbeeld publiceren als boek en/of als artikel in een (vak)didactisch tijdschrift). - Valorisatie- kansen aangeven voor het werken met de reviews binnen de lerarenopleiding via een gebruikswijzer en via implementatie in opleidingsonderdelen (bv. bachelorproef) Specifieke disseminatie- activiteiten per individuele review Naast de overkoepelende disseminatie en valorisatie- activiteiten stellen de auteurs voor hun review een disseminatie- plan op waarin verdere specifieke acties kunnen worden vermeld. 11

12 DISSEMINATIE- PLAN Aard van de actie: - P: publicatie - C: communicatie (mailing & linken) - V: voorstelling van de review aan een publiek (inclusief workshops) Nadere omschrijving van de disseminatie- acties 12

13 DEEL B. HANDLEIDING VOOR HET SCHRIJVEN VAN EEN REVIEW 5. PROTOCOL VOOR SCHRIJVEN VAN EEN REVIEW Bij een systematische aanpak van het schrijven van een review is het wenselijk om voor het uitvoeren van de onderzoeksactiviteiten een helder protocol aan te geven. Via het protocol wordt de schrijver gestimuleerd om te expliciteren: - wat de precieze onderzoeksvraag is van de review. - op welke manier de studies en bronnen worden gevonden. - op basis van welke criteria de studies en bronnen worden geselecteerd of uitgesloten. - hoe de uiteindelijke analyse wordt uitgevoerd. - op welke manier de gegevens uiteindelijk samengebracht worden in de review. Het uitschrijven van een protocol is zinvol om duidelijk aan te geven waar je precies naar toe wil en wat het bereik is van de review. Het is immers vanuit wetenschappelijk oogpunt uiterst belangrijk om enerzijds een duidelijke afbakening te maken en anderzijds om de relevante studies en bronnen in te sluiten in het onderzoek. Tevens is het protocol een manier om anderen te laten delen in de opzet van het onderzoek. Het dient als basis om feedback te krijgen van de review- board FORMULEREN VAN DE ONDERZOEKSVRAAG (PICO) Voorafgaand aan het formuleren van de onderzoeksvraag, kan je best een gericht antwoord formuleren op onderstaande deelvragen. P=populatie Wie is het doelpubliek? Over welke leerlingen gaat het? (Basisonderwijs? Secundair onderwijs? Buitengewoon onderwijs? Welke leerjaren? Welke studierichtingen? Leerlingen met specifieke (achtergrond)kenmerken? Jongens? Meisjes? I = interventie of vakdidactische aanpak Naar welke educatieve interventies ben je op zoek? 13

14 C= vergelijking (Eng.: comparison of interest) Wordt er een vergelijking gemaakt ten opzichte van de interventie of de vakdidactische aanpak? O= Uitkomst (Eng.: outcome) Wat is de gewenste uitkomst? (bijvoorbeeld: motivatie, prestaties, probleemoplossingsvaardigheden.) Zal het doelpubliek beïnvloed worden of niet? De verschillende onderdelen van PICO worden samengebracht in de uiteindelijke onderzoeksvraag: ONDERZOEKSVRAAG: 5.2. TITEL FORMULEREN: De titel van de review is belangrijk. De titel moet helder zijn en faciliteren dat iemand via gerichte zoekopdrachten bij de review uitkomt. Probeer dan ook geen overbodige woorden te gebruiken die enkel kunnen afleiden van de thematiek. Een standaardvoorbeeld van de titel: [interventie] voor {probleem] in [onderwijsdomein] [onderwijsniveau] [evidentie] 14

15 VOORLOPIGE WERKTITEL 6. ZOEKTOCHT NAAR STUDIES In een volgende stap is het noodzakelijk om te onderzoeken of er voldoende relevante studies voorhanden zijn voor de onderzoeksvraag. Er moet ook een verantwoord evenwicht gevonden worden tussen een onhaalbaar aantal studies om te verwerken en een té kleine en onvolledige selectie van studies. Voor de vakdidactische reviews binnen P- REVIEW lijkt het opnemen van 6 tot 15 studies een haalbaar aantal (Aveyard, p. 36). Uiteraard hangt het aantal gevonden studies zeer sterk af van de breedte van de onderzoeksvraag en de hoeveelheid studies die over het thema beschikbaar zijn. Bovenstaand aantal moet dus enkel beschouwd worden als richtinggevend. Volg een systematische wijze om studies op te sporen door: - op te lijsten welke zoektermen je gebruikt en in welke combinatie (zie 6.1) - aan te geven via welke kanalen je de studies op het spoor ben gekomen (database, tijdschriften, bronnenvermelding in literatuur, consultatie van domeinexperten, ) (zie 6.3) - criteria te bepalen voor studies die je wil opnemen (zie 6.2) o periode (vb. enkel studies na 2000) o taal (vb. enkel studies in het Engels of het Nederlands) o gebied (vb. Europees, focus op specifieke landen) o gebruikte onderzoeksmethodiek (vb. enkel kwantitatieve studies en bestaande reviewstudies) o Deze systematische aanpak is belangrijk om er voor te zorgen dat je een correct, gefundeerd antwoord biedt op de onderzoeksvraag (Aveyard, 2010). Als je je enkel baseert op studies die je kent of die je toevallig op het spoor bent gekomen, dan riskeer je een foutief en vertekend antwoord te bieden op de onderzoeksvraag. TIP! Consulteer het document PREV_AUTEURS_INFO_Toegang tot ebronnen associatie_katho op DROPBOX SoE. 15

16 6.1. LIJST VAN GEBRUIKTE ZOEKTERMEN Zoekterm Bredere term (optie) Smallere term (optie) 6.2. CRITERIA VOOR DE ZOEKTOCHT NAAR STUDIES Criterium voor de zoektocht (vb. periode) Invulling van het criterium (vb ) 6.3. GERAADPLEEGDE ZOEKKANALEN Om dubbel werk te vermijden, kunnen de zoekacties best bijgehouden worden op een consequente manier. Het onderstaande schema kan hierbij hulp beiden. Probeer ook de referenties vanaf het begin zou nauwkeurig mogelijk bij te houden. Zoekkanaal (vb. Limo ( ERIC, Web of Science, Psychinfo, Google scholar, experten, ) Gebruikte zoekterm Referentie van gevonden studies 16

17 6.4 HIERARCHIE VAN DE EVIDENTIE Als de onderzoeksvraag van de review gericht is op de effectiviteit (matter of fact) van een interventie of een didactische aanpak is het fundamenteel om de hiërarchie van de evidentie te respecteren. Vanuit het perspectief van het evidentie- gehalte van studies, is het immers belangrijk om te beseffen dat niet elke onderzoeksmethodologie evenveel harde bewijskracht heeft voor de effectiviteit van een interventie of didactische aanpak. De onderstaande rangorde (Aveyard, p. 62) betekent dat een methode die hoger staat (bv. 1 > 3, 4>5) ook meer evidentie oplevert. 1. Systematische reviews en meta- analyse MEER EVIDENTIE 2. Gerandomiseerd onderzoek met controle groep (Eng.: RCT) 3. Correlationeel onderzoek 4. Bevragingen 5. Casus rapporten 6. Kwalitatieve studies 7. Opinies van experten 8. Anekdotische opinies MINDER EVIDENTIE Indien de onderzoeksvraag van de review minder gericht is op de effectiviteit van een interventie, dan is nog steeds van belang om bij het rapporteren over de studies de hiërarchie van de evidentie te respecteren en geen overschattende conclusies te trekken uit de studies. Dit betekent echter niet dat er geen zinvolle uitspraken kunnen gedaan worden over een thematiek die gebaseerd zijn op bijvoorbeeld kwalitatieve studies of opinies van experten. De uitspraken kunnen dan getuigen van een sterke relevantie (matter of concern) voor een doelgroep omtrent een thematiek. Er kunnen zo bijvoorbeeld een aantal randvoorwaarden en/of goede praktijkvoorbeelden aangeven worden voor een bepaalde didactische aanpak zonder dat er daarmee hard bewijs geleverd wordt. 17

18 7. SELECTIE VAN DE STUDIES 7.1. DEFINITIEVE SELECTIE VAN DE STUDIES Een volgende stap in de totstandkoming van de review is een nauwkeurige en verantwoorde selectie van de studies. Na de eerste zoektocht naar studies en bronnen (cf. 6) moet worden beslist welke studies uiteindelijk wel of niet opgenomen zullen worden in de review. Op die manier wordt de definitieve selectie van studies verkregen waar je verder mee aan de slag gaat BEPALING VAN DE SELECTIECRITERIA Bij een systematische review is het noodzakelijk dat men op voorhand bepaalt welke de selectiecriteria zijn voor het al dan niet insluiten van studies. Op die manier kan gerechtvaardigd worden op welke manier de studies worden afgewogen naar relevantie, kwaliteit, uitkomst van het onderzoek Voorbeelden van mogelijke selectiecriteria (= criteria voor inclusie en exclusie): - Enkel studies met double blind - Enkel studies over het basisonderwijs - Enkel kwantitatieve studies of bestaande reviews - Studies waarin enkel peer- assessment gebruikt wordt en géén self- assessment - Enkel studies waarin de klasgrootte minstens 15 leerlingen is - Enkel studies waarin er één klasleerkracht is die de klas begeleidt (niet bijgestaan door een teaching assistant of door een onderzoeker) - Enkel studies waarin de interventie wordt uitgevoerd door een leerkracht (en dus niet door een externe persoon zoals een onderzoeker - De klassen mogen geen graadklassen zijn - Er mogen geen kinderen met bijzondere educatieve maatregelen opgenomen zijn - Enkel studies uit peer- reviewed tijdschriften - De assessment van de uitkomsten van het onderzoek werden op een geblindeerde wijze uitgevoerd - Selectie- criterium Korte omschrijving van het selectie- criterium (Zie hierboven voor voorbeelden) 18

19 8. UITVOEREN VAN DE ANALYSE Je houdt nu een aantal studies over die kunnen geïncludeerd worden in de review. De volgende belangrijke stap is het uitvoeren van de analyse. Bij deze analyse moet je bepalen welk gewicht de studies uiteindelijk zullen krijgen. Concreet: aan welke studie ga je veel belang hechten en op grond waarvan? Om dit te doen, zal je de geïncludeerde studies grondig moeten (her)lezen. Het is tevens mogelijk dat er na het grondig herlezen toch nog beslist wordt om een bepaalde studie niet op te nemen omdat ze toch niet voldoet aan de inclusiecriteria EVALUATIEFORMULIER VOOR DE STUDIES Om de analyse te maken kan je best een evaluatieformulier opstellen als hulpmiddel. Het evaluatieformulier zal je naderhand helpen om te bepalen aan welke studies in de uiteindelijke review een groot gewicht zal gegeven worden en aan welke een minder groot gewicht zal gegeven worden. Er bestaat waarschijnlijk geen perfect voorbeeld van hoe het evaluatieformulier er moet uitzien. Veel zal afhangen van de precieze eigenheid van je review en van de aard van de studies die je opneemt (vb. kwantitatieve, kwalitatieve of literatuurstudies). Je moet het formulier dan ook zelf aanvullen. Het belangrijkste is dat je gepaste informatie over de studies verzamelt die jou in staat stellen om achteraf het belang van de studie voor het onderzoek te bepalen. Hieronder vind je echter een voorbeeld van een evaluatieformulier. Per studie wordt een afzonderlijk evaluatieformulier ingevuld. Het evaluatieformulier voor de studies biedt: - Een omschrijving van de evaluatiecriteria - Info: samenvattende en meer getailleerde informatie over hoe het evaluatiecriterium invulling krijgt in de studie - Conclusie: een woordelijke motivering van de evaluatie van het evaluatiecriterium Tip! Lees hoofdstuk 5 How do I critically appraise the literature? (Aveyard, p ) vanuit het perspectief van de specifieke soort van review die je wil uitschrijven. Evaluatiecriteria Info/opmerking 1. Referentie van de studie: Info: 1.1. Gewicht van de publicatie: Vb. Is de studie gepubliceerd in een vooraanstaand tijdschrift? Vb. Werd relevant vooronderzoek opgenomen in het artikel? 0 Internationaal peer- reviewed tijdschrift 0 Internationaal tijdschrift 0 Nationaal peer- reviewed tijdschrift 0 Praktijkgericht tijdschrift Info: Conclusie: 19

20 2. Steekproef / onderzoeksgroep Vb. Is duidelijk aangegeven wie deelgenomen heeft het onderzoek? Vb. De specifieke doelgroep die ik nodig heb is opgenomen? Vb. Is aangegeven hoe de selectie gebeurde? 3. Onderzoeksvraag Vb. Is de onderzoeksvraag helder geëxpliciteerd? Vb. Sluit de onderzoeksvraag voldoende aan bij de opzet van mijn review? 4. Interventie of didactische aanpak Vb. Is de interventie of didactische aanpak op een geblindeerde wijze uitgevoerd? Vb. Is de didactische aanpak breed uitgetest? Vb. Is de didactische aanpak voorgelegd aan een team van experten? 5. Vergelijking Vb. Is de didactische aanpak consequent vergeleken met een alternatieve aanpak? 6. Methode Vb. Is de gebruikte (kwantitatieve of kwalitatieve) methode duidelijk omschreven? Vb. Is de gebruikte methode geschikt voor het beantwoorden van de onderzoeksvraag? Vb. Levert de gebruikte methode voldoende evidentie op (cf. hiërarchie van evidentie) Info: Conclusie: Info: Conclusie: Info: Conclusie: Info: Conclusie: Info: Conclusie: 20