Evidence based verbeteren van het onderwijs. Teachers Academy

Transcriptie

1 Evidence based verbeteren van het onderwijs Teachers Academy

2 Evidence based verbeteren van het onderwijs

3 Inhoudsopgave 4 De harde werkelijkheid van evidence based werken Voorwoord 8 Leiden leesstrategieën voor zwakke lezers tot beter begrijpend lezen? John van der Kant 18 Heeft peertutoring effect op toetsresultaten in het hoger onderwijs? Een experiment Annemarie Bergsma 24 Het effect van een teamtraining pedagogisch klassenmanagement op ongewenst gedrag van studenten in het middelbaar beroepsonderwijs Marleen Bovee 40 Inrichten van een evidence-based praktijkopleiding voor de opleiding tot verpleegkundig specialist Een keuze maken voor bewezen effectieve toetsmethoden, praktijkopleiders trainen en studenten ondersteunen in leervaardigheden Lia van Straalen 56 Ondersteuning van reflectie in Hoger Beroepsonderwijs Rapportage van een onderzoek naar de effectiviteit van schriftelijke reflectie Welmoed Steenstra 69 Notities 72 Contact 3

4 De harde werkelijkheid van evidence based werken In zijn boek De eeuw van de familie Platter uit 1996 beschrijft de Franse historicus Emmanuel le Roy Ladurie hoe in 1552 de dan zestienjarige Felix Platter van Bazel naar Montpellier reist om daar aan de universiteit geneeskunde te gaan studeren. De universiteit van Montpellier gold in die tijd als één van de bekendste in Europa. Na een reis van bijna drie weken komt Platter in de Zuid-Franse universiteitsstad aan. Felix Platter was in Montpellier niet de enige buitenlandse student, aldus Le Roy Ladurie: Het studentenmilieu is tamelijk kosmopolitisch te noemen. Vanaf het allereerste begin tot aan het einde van de zestiende eeuw, kwamen er op ruim drieëndertighonderd inschrijvingen zeshonderdtweeënnegentig van studenten uit het buitenland. ( ) Over het algemeen waren de bisdommen die toentertijd het best vertegenwoordigd waren aan de faculteit van geneeskunde in Montpellier die van Bazel, Konstanz, Geneve, Utrecht, Luik en Doornik, plus vijf Spaanse bisdommen (p ). Wat opvalt aan het verhaal over Felix Platter is dat de studentenmobiliteit in de zestiende eeuw groot was - misschien wel relatief groter dan tegenwoordig - ondanks dat de verbindingen een stuk minder en de reisafstanden een stuk langer waren. Voor geen enkele universiteit ter wereld hoeft men tegenwoordig nog drie weken te reizen. Hoewel hierbij natuurlijk wel moet worden bedacht dat een universitaire opleiding in de 16 e eeuw voor veel minder mensen was weggelegd dan tegenwoordig. Intellectuele vorming werd in de 16e eeuw serieus genomen. Daarvoor was men bereid grote opofferingen te brengen en verre afstanden te overbruggen. Hoewel de reisafstanden korter zijn, moeten veel deelnemers aan de Master Evidence Based Innovation in Teaching (Mebit) ook een flinke afstand afleggen om maandelijks in Maastricht het contactonderwijs te kunnen volgen. De Mebit opleiding trekt deelnemers uit het hele land. Sinds enige tijd wordt daarom de opleiding op twee locaties aangeboden. Naast de groep docenten uit het voortgezet onderwijs die de opleiding in Maastricht volgen, is in september 2012 een groep hbo-docenten op locatie aan de Universiteit van Amsterdam aan de Mebit opleiding begonnen. Een tweede parallel met het verhaal van Felix Platter is dat ook de Mebit deelnemers worden gemotiveerd door de behoefte naar (verdere) academische vorming. Dit vergt inspanning en opofferingen. Het resultaat hiervan ligt nu voor u: de tweede bundel in de reeks Academische Meesterwerken. Net als de eerste bundel bevat ook deze een reeks van verslagen van evaluaties van concrete innovaties in de onderwijspraktijk. Voorwoord 4 5

5 De toename van het aantal Mebit deelnemers is een indicatie van groeiende belangstelling voor evidence based werken in het onderwijs. Dit is verheugend. Met de verspreiding van evidence based werken loopt de onderwijspraktijk duidelijk voor op het onderwijsbeleid. Hoewel in het beleid vaak wel lippendienst wordt bewezen aan evidence based werken, blijkt de praktijk vaak weerbarstiger. Politiek en beleid laten wetenschappelijk bewijs nog te vaak links liggen. TIER is ontwikkeld, zijn van een groot aantal onderwijsinterventies korte samenvattingen gemaakt over de beschikbare wetenschappelijke evidentie. Wij hopen dat de onderzoeksverslagen in deze tweede bundel Academische Meesterwerken nog meer docenten - en ook politici en beleidsmakers - zullen inspireren tot evidence based werken. Een goed voorbeeld hiervan zijn de pleidooien voor de vorming van brede scholen in het basis- en voortgezet onderwijs. Veel politieke partijen omarmen de gedachte van brede scholen. Brede scholen bieden niet alleen onderwijs, maar ook naschoolse opvang, sport, cultuur, jeugdzorg en maatschappelijk werk. Deze voorzieningen zijn in de school ondergebracht. Scholen omvormen tot brede scholen kost geld. Of hiermee het onderwijs wordt verbeterd is twijfelachtig. Er is geen enkel bewijs dat brede scholen leerprestaties verbeteren. Het enige beschikbare onderzoek naar de effecten van brede scholen, concludeert dat brede scholen in het vmbo niet tot minder voortijdig schooluitval leidt (Heers et. al. 2012). Maastricht, oktober 2012 Wim Groot en Henriëtte Maassen van den Brink Hoogleraren Evidence Based Education en Wetenschappelijk-directeuren TIER en Teachers Academy, Universiteit Maastricht Ook van andere onder politici en beleidsmakers populaire maatregelen - zoals het invoeren van zomerscholen - is bekend dat deze weinig opleveren (Meyer et. al. 2012). Wetenschappelijk onderzoek is heel duidelijk over wat wel werkt in het onderwijs. Goed onderwijs wordt bepaald door de kwaliteit van de instructie en de kwaliteit van het commentaar dat leerlingen krijgen op hun werk (feedback). Goed onderwijs begint en eindigt met leraren die goed les geven. Waarom richten partijen zich op plannen die niet werken en hebben ze zo weinig aandacht voor wat wel werkt in het onderwijs? Grootse plannen als het invoeren van brede scholen en zomerscholen maken misschien meer indruk, dan aandacht voor de kwaliteit van lesgeven. Het gevolg is wel dat veel geld wordt uitgetrokken voor interventies die weinig opleveren. Ondanks dat alle politieke partijen het onderwijs een warm hart toedragen, schiet het onderwijs met dergelijk beleid niet veel op. De Mebit opleiding wil een bijdrage leveren aan de verdere verbetering van het onderwijs door te investeren in de kwaliteit van docenten. Docenten die de weg weten te vinden in de wetenschappelijke literatuur en de kennis en vaardigheden hebben om zelfstandig wetenschappelijk onderzoek te doen, zijn beter in staat om kritisch te reflecteren op hun eigen professionele handelen en hun professionele handelen te baseren op de best beschikbare wetenschappelijke kennis over wat werkt en wat niet. Sinds enige tijd kunnen docenten - maar ook beleidsmakers en andere belangstellenden - hiervoor ook terecht op de website Op deze website die door 6 7

6 Leiden leesstrategieën voor zwakke lezers tot beter begrijpend lezen? Samenvatting Goed kunnen begrijpend lezen is in deze informatiemaatschappij van cruciaal belang. Onderliggende vaardigheden als technisch lezen, woordenschat en taalvaardigheid, kennis van de wereld en leesstrategieën hangen nauw met elkaar samen. Zwakke lezers ontbreekt het veelal aan strategisch kunnen lezen. Een groot deel van de leerlingen in het vmbo scharen we onder de noemer zwakke lezer. Aan de hand van een quasi-experimenteel design is op Pleincollege Nuenen, een school voor alle leerwegen van het vmbo, onderzocht of een interventie van strategieonderwijs effect heeft op de leerresultaten van leerlingen in het tweede leerjaar. Op basis van post- en retentietests wordt zichtbaar dat strategieonderwijs loont. Kern Wat moet leerlingen en studenten kennen en kunnen in het Nederlandse onderwijs? Buiten de eindexamens is tot midden jaren 2000 nergens goed en officieel vastgelegd wat we van leerlingen en studenten mogen verwachten als het gaat om fundamentele vaardigheden als taal en rekenen. Voor het bewerkstelligen van transparante, doorlopende leerlijnen zijn referentieniveaus opgesteld. Deze geven het minimale niveau aan dat bij de overgang van primair naar voortgezet, en van voortgezet naar beroeps- of wetenschappelijk onderwijs vereist is. De Expertgroep Doorlopende Leerlijnen Taal en Rekenen - ook bekend als de commissie Meijerink - heeft vier referentieniveaus concreet omschreven en gedetailleerd uitgewerkt. Sinds 2010 zijn de referentieniveaus van kracht en vanaf schooljaar maken leerlingen in het voortgezet onderwijs verplicht taal- en rekentoetsen. Leerlingen in het vmbo moeten niveau 2F behalen. Dat niveau is op te vatten als een algemeen maatschappelijk niveau dat voor Nederlanders van belang is. Vooruitlopend op de verplichte afname van taal- en rekentoetsen heeft Pleincollege Nuenen bij leerlingen toetsen afgenomen naar analogie van de referentieniveaus. Bij de taaltoets gaan leerlingen massaal onderuit op het domein leesvaardigheid (begrijpend lezen). Analyse van proefwerken en examens van Nederlands van de afgelopen vijf schooljaren laat eenzelfde beeld zien. Om het niveau van begrijpend lezen te verbeteren zijn de onderliggende vaardigheden kritisch tegen het licht gehouden. John van der Kant 8 9

7 Begrijpend lezen leunt op vier pijlers: technisch lezen, woordenschat en taalvaardigheid, kennis van de wereld en leesstrategieën. Bij technisch lezen zijn fonetisch en fonemisch bewustzijn belangrijk. De lezer moet letters als zodanig herkennen en kunnen verklanken tot woorden, zinnen, passages en uiteindelijk tot een hele tekst. Woordenschat en taalvaardigheid zijn niet los van elkaar te zien. Bij woordenschat gaat het om het kennen van woorden, en met taalvaardigheid kan de lezer die woorden verbuigen, vervoegen, samenstellen, associëren of herleiden. Hoe groter de woordenschat, des te groter de taalvaardigheid - omgekeerd geldt hetzelfde. Kennis van de wereld doet de lezer vooral op in buitenschoolse settings: bij sociale activiteiten, met vrienden, familie of kennissen. Leesstrategieën stellen de lezer in staat zijn leesdoel te behalen. Het primaire doel is om te komen tot begrip. De lezer kan de tekst op waarde schatten, er vragen over beantwoorden en als de tekst daarom vraagt: handelingen verrichten. We onderscheiden twee typen lezers: de sterke en zwakke lezer. De sterke lezer is een vlotte lezer met een grote woordenschat en taalvaardigheid. De sterke lezer beschikt tevens over fundamentele kennis van de wereld en koppelt deze aan nieuwe kennis in leesteksten. Bovendien beschikt hij over een repertoire van uiteenlopende leesstrategieën waaruit hij flexibel weet te putten. Op welke wijze moet strategieonderwijs vorm krijgen voor de grootste effecten? De literatuur laat zien dat modeling, reciprocal teaching met ruimte voor peer-discussie en werkbladen sterk bijdragen aan het verbeteren van begrijpend lezen en zijn om die reden structureel in de lessen geïntegreerd. Leerlingen van vergelijkbare klassen in het tweede leerjaar van Pleincollege Nuenen zijn verdeeld over een experimentele en een controlegroep. Deze laatste groep heeft les genoten op de traditionele wijze, terwijl de experimentele groep instructie in zes leesstrategieën heeft gekregen. Op basis van de resultaten op een gestandaardiseerde pretest wordt zichtbaar dat de resultaten tussen experimentele en controlegroep niet significant van elkaar verschillen: we kunnen het toeval bij het tot stand komen van (minimale) verschillen niet uitsluiten. Direct na de interventie is een vergelijkbare gestandaardiseerde posttest afgenomen, waaruit blijkt dat beide groepen beter hebben gepresteerd. Echter, in hoeverre is er een significante verbetering opgetreden? In de experimentele groep is de verbetering van het resultaat significant. In de controlegroep is er een ogenschijnlijke verbetering opgetreden. Na statistische analyse blijkt deze verbetering echter niet significant. Ten opzichte van elkaar scoort de experimentele groep tevens significant beter dan de controlegroep. De zwakke lezer daarentegen kenmerkt zich door minder vlot te kunnen lezen. Daarnaast is er vaak sprake van een geringere woordenschat en taalvaardigheid, en een beperkte kennis van de wereld. Bij een groot deel van de zwakke lezers ontbreekt het volledig aan strategisch kunnen lezen. In veel gevallen heeft de zwakke lezer een lage self-efficacy (het geloof in eigen kunnen) en is weinig gemotiveerd om fictionele of zakelijke teksten te lezen. Het gevolg daarvan is dat de zwakke lezer vaak ook aanzienlijk minder vaak leest. Een deel van de zwakke lezers is het slachtoffer van ondermaatse instructie in leesvaardigheid waar een of meerdere onderliggende vaardigheden structureel onderbelicht zijn. In deze studie ligt de focus op strategieonderwijs: het bewerkstelligen van een transfer van leesstrategieën die leerlingen volledig zelfstandig kunnen inzetten bij het behalen van hun leesdoel. Met behulp van de literatuur zijn zes leesstrategieën als effectief gemarkeerd: activeren van voorkennis doen van voorspellingen zelf monitoren van het leesproces gebruik maken van de context samenvatten controle van de tekst achteraf tabel 1 Beschrijvende statistieken van de resultaten op de pre- en posttest Experimentele groep n=50 Controlegroep n=39 Gem SD SE Gem SD SE Pretest Posttest 6.42** Verschilscore ** Eenzijdig significant 5% Punt van discussie is de duur van de interventie: zes weken is immers relatief kort voor het bewerkstelligen van een waar effect. Er kunnen, met andere woorden, impulseffecten zijn opgetreden. Om na te gaan wat de effecten van een verlengd programma zijn, is de experimentele groep gesplitst: een deel van de experimentele groep heeft een follow-up van nogmaals zes weken van het leesprogramma ontvangen, terwijl het andere deel les op de traditionele wijze heeft genoten. De oorspronkelijke controlegroep is intact gebleven. Na retentietests blijkt dat het effect nog altijd zichtbaar is bij de experimentele groep die de follow-up heeft genoten. Opmerkelijk is dat het effect bij de experimentele groep die geen follow-up heeft genoten compleet verdwenen is

8 De controlegroep scoort in lijn met eerdere resultaten. De retentietest geeft aanwijzingen voor het structureel integreren van strategieonderwijs in het curriculum. Daarbij is het goed om stil te staan bij het ontwikkelingsperspectief van de lezer. Bij het ouder worden van leerlingen leggen we ze complexere teksten voor. Deze vragen om andere en mogelijk beter aansluitende leesstrategieën. Referenties Alexander, P. (2005). The Path to Competence: A Lifespan Developmental Perspective on Reading. Journal of Literacy Research 37(1): Alvermann, D. (2002). Effective Literacy Instruction for Adolescents. Journal of Literacy Research 34(2): Anderson, R., P. Wilson et al. (1988). Growth in reading and how children spend their time outside school. Reading Research Quarterly 23(1): Bakker, M. en J. Oosterman (2009). Taal en rekenen op grens van po-vo en vo-vervolgonderwijs. Amersfoort, CPS. Berkeley S., M. Mastropieri et al. (2011). Reading Comprehension Strategy Instruction and Attribution Retraining for Secondary Students With Learning and Other Mild Disabilities. Journal of Learning Disabilities 44(1): Bimmel, P. and E. v. Schooten (2004). The Relationshop between Strategic Reading Activities and Reading Comprehension. Educational Studies in Language and Literature 4: Boulware-Gooden, R., S. Carreker et al. (2007). Instruction of Metacognitive Strategies Enhances Reading Comprehension and Vocabulary Achievement of Third-Grade Students. The Reading Teacher 61(1): Broek, P. v. d. (2009). Cognitieve en neurologische processen tijdens begrijpend lezen: Fundamenteel onderzoek en onderwijskundige toepassing. Pedagogische Wetenschappen. Leiden, Universiteit Leiden: 16. Brown, R. en M. Pressley (1995). A Quasi-Experimental Validation of Transactional Strategies Instruction with Previously Low-Achieving Second-Grade Readers. Maryland, National Reading Research Center: 33. Chambers Cantrell, S., J. Almasi et al. (2010). The Impact of a Strategy-Based Intervention on the Comprehension and Strategy Use of Struggling Adolescent Readers. Journal of Educational Psychology 102(2): Cordón, L. en J. Day (1996). Strategy Use on Standardized Reading Comprehension Tests. Journal of Educational Psychology 88(2): Cromley, J. en R. Azevedo (2011). Measuring Strategy Use in Context with Multiple-Choice Items. Metacognition And learning 6(2): Dorn, L. en C. Soffos (2005). Teaching for Deep Comprehension. Portland, Stenhouse Publishers. Field, A. (2009). Discovering Statistics Using SPSS. Londen, SAGE Publications Ltd. Fink, A. (2008). Practising Research. Discovering Evidence That Matters. Londen, SAGE Publications Ltd. Gelderblom, G. en J. Oosterman (2008). Taal en rekenen op de grens van primair en voortgezet onderwijs. Amersfoort, CPS. Guthrie, J., A. Hoa et al. (2007). Reading motivation and reading comprehension growth in the later elementary years. Contemporary Educational Psychology 32(3): Guthrie, J., A. McRae et al. (2009). Impacts of Comprehensive Reading Instruction on Diverse Outcomes of Low- and High-Achieving Readers. Journal of Reading Disabilities 42(3):

9 Guthrie, J. en A. Wigfield (2000). Effects of Integrated Instruction on Motivation and Strategy Use in Reading. Journal of Educational Psychology 92(2): Guthrie, J., A. Wigfield et al. (2004). Increasing Reading Comprehension and Engagement Through Concept-Oriented Reading Instruction. Journal of Educational Psychology 96(3): Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. New York, Routledge. Hock, M. en D. Mellard (2005). Reading Comprehension Strategies for Adult Literacy Outcomes. Journal Of Adolescent & Adult Literacy 49(3): Hock, M. en D. Mellard (2011). Efficacy of Learning Strategies Instruction in Adult Education. Journal of Research on Educational Effectiveness 4(2): Izawa, M., M. French et al. (2011). Shining New Light on the Hawthorne Illumination Experiments. The Journal of the Human Factors and Ergonomics Society 53(1): Katims, D. en J. Harmon (2000). Strategic Instruction in Middle School Social Studies: Enhancing Academic and Literacy Outcomes for At-Risk Students. Intervention in School and Clinic 35(5): Kelley, M. en J. Clausen-Grace (2010). Guiding Students through Expository Text with Text Feature Walks. Reading Teacher 64(3): Kim, J. (2006). Effects of a Voluntary Summer Reading Intervention on Reading Achievement: Results From a Randomized Field Trial Educational Evaluation and Policy Analysis 28(4): Land, J. (2009). Zwakke lezers, sterke teksten. Effecten van tekst- en lezerskenmerken op het tekstbegrip en de tekstwaardering van vmbo-leerlingen,. Amsterdam, Stichting Lezen. Logan, S., E. Medford et al. (2011). The importance of intrinsic motivation for high and low ability readers reading comprehension performance. Learning and Individual Differences 21(1): Meestringa T., C. Ravesloot et al. (2010). Concretisering referentieniveaus schrijven en lezen in het voortgezet onderwijs. Enschede, SLO. Meijerink, H., J. Letschert et al. (2009). Doorlopende leerlijnen taal en rekenen. Een nadere beschouwing. Enschede, Ministerie van Onderwijs, Cultuur en Wetenschap. Moelands, F., I. Jongen et al. (2007). Balans over leesstrategieën in het primair onderwijs. Arnhem, Cito. 35. Moore, D., W. Bean et al. (1999). Adolescent Literacy: A Positive Statement. Journal Of Adolescent & Adult Literacy 43(1): Morgan, P. en D. Fuchs (2007). Is there a bidirectional relationship between children s reading skills and reading motivation? Exceptional Children 73(1): National Reading Panel (2000). Teaching children to read: An evidence-based assessment of the scientific research literature on reading and its implication for reading instruction: Reports of the subgroups. Washington, DC, National Institute of Child Health and Development. Ness, M. (2011). Explicit Reading Comprehension Instruction in Elementary Classrooms: Teacher Use of Reading Comprehension Strategies. Journal Of Research In Childhood Education 25(1): Inspectie van het Onderwijs ( ). Onderwijsverslag. Utrecht. Oosterman, J., C. Ballering et al. (2009). Taal en rekenen op de grens van voortgezet onderwijs en mbo, hbo en wo. Amersfoort, CPS. Palincsar, A., A. Brown et al. (1987). Peer Interaction in Reading Comprehension Instruction. Educational Psychologist 22((3&4)): Pressley, M. (2006). Reading Instruction That Works. New York, The Guilford Press. Pressley, M., P. El-Dinary et al. (1992). Beyond Direct Explanation: Transactional Instruction of Reading Comprehension Strategies. The Elementary School Journal 92(5): Roberts, G., J. Torgesen et al. (2008). Evidence-Based Strategies for Reading Instruction of Older Students with Learning Disabilities. Learning Disabilities Research & Practice 23(2): Rupley, W., T. Blair et al. (2009). Effective Reading Instruction for Struggling Readers: The Role of Direct/ Explicit Teaching. Reading & Writing Quarterly 25((2-3)). Salkind, N. (2008). Statistics for people who (think) they hate statistics. California, SAGE Publications Ltd. Schunk, D. en B. Zimmerman (2007). Influencing Children s Self-Efficacy and Self-Regulation of Reading and Writing through Modeling. Reading & Writing Quarterly 23(1): Slavin, E., C. Lake et al. (2011). Effective programs for struggling readers: A best-evidence synthesis. Educational Research Review 6(1): Speece, D., K. Ritchey et al. (2010). Identifying Children in Middle Childhood Who Are at Risk for Reading Problems. School Psychology Review 39(2): Spörer, N., J. Brunstein et al. (2009). Improving students reading comprehension skills: Effects of strategy instruction and reciprocal teaching. Learning and Instruction 19(3): Takala, M. (2006). The Effects of Reciprocal Teaching on Reading Comprehension in Mainstream and Special (SLI) Education. Scandinavian Journal of Educational Research 50(5): Van Keer, H. en J. Verhaeghe (2005). Effects of Explicit Reading Strategies Instruction and Peer Tutoring on Second and Fifth Graders Reading Comprehension and Self-Efficacy Perceptions. The Journal of Experimental Education 73(4): Vernooy, K. (2007). Effectief Leesonderwijs Nader Bekeken. Utrecht, Projectbureau Kwaliteit. Walraven, M. (1995). Instructie in leesstrategieën: problemen met begrijpend lezen en het effect van instructie aan zwakke lezers. Academisch proefschrift. Paedologisch Instituut. Amsterdam/Duivendrecht. Watson, S., R. Gable et al. (2012). Evidence-Based Strategies for Improving the Reading Comprehension of Secondary Students: Implications for Students with Learning Disabilities. Learning Disabilities Research & Practice 27(2): Willis, J. (2009). What Brain Research Suggests for Teaching Reading Strategies. Educational Forum 73(4):

10 Biografie John van der Kant John van der Kant (1980) studeerde Communicatie (2003) en werkte als copywriter bij een communicatiebureau. In 2005 maakte hij als zij-instromer de overstap naar het voortgezet onderwijs op Pleincollege Nuenen en behaalde zijn bevoegdheid als docent Nederlands een jaar later. Op dit moment combineert hij het docentschap met een taak als coördinator van de mavo-afdeling. Zijn interesses gaan uit naar PR, ICT, activerende didactiek, doorlopende leerlijnen en onderzoek ter versterking van het onderwijs

11 Heeft peertutoring effect op toetsresultaten in het hoger onderwijs? Een experiment Samenvatting Het behalen van slechte studieresultaten is een belangrijke reden voor eerstejaars studenten in het hoger onderwijs (HO) om vroegtijdig met de studie te stoppen. Dit experiment onderzoekt de vraag of begeleiding van eerstejaars studenten door ouderejaars studenten ( tutoring ) een positief effect kan hebben op toetsresultaten. Tutoring werd aangeboden, waarna 22 studenten zich vrijwillig aanmeldden. De helft van hen werd - gebalanceerd op een pre-test - willekeurig geselecteerd om daadwerkelijk tutoring te ontvangen. Zij ontvingen drie keer tutoring van een ouderejaars student ( tutor ). Aan het einde van deze interventie werd een herkansingstoets afgenomen. Uit de resultaten blijkt dat, wanneer wordt gecontroleerd voor bepaalde studentkenmerken, tutoring een significant en substantieel (65% van een standaard deviatie) effect heeft op toetscijfers. Beperkingen en implicaties van deze studie worden bediscussieerd. Kern Aanleiding Goede studieresultaten zijn van belang voor studiesucces en essentieel voor zowel school als student. Door hogere eisen van de overheid en het stijgend aantal studenten in het HO, bereikt de hulp van docenten aan slecht presterende studenten zijn grenzen. Toch wil het HO deze studenten ondersteunen. Volgens literatuuronderzoek wordt tutoring gebruikt voor het verhogen van zelfverantwoording en zelfregie, motivatie, leervaardigheid en academische resultaten. Daarnaast verbetert het studieresultaten, studievaardigheden, betrokkenheid, tevredenheid en affectieve binding, voorkomt het uitval, behalen tuttees minder onvoldoendes bij herkansingen en blijkt het kosteneffectief. De literatuur betreft voornamelijk internationaal onderzoek bij het basis en voortgezet onderwijs. In dit onderzoek staat de vraag centraal of vrijwillige één-op-één tutoring door ouderejaars studenten effect heeft op toetsresultaten bij eerstejaars studenten in het HO in Nederland. Annemarie Bergsma Opzet onderzoek Dit experiment vond plaats bij een opleiding verpleegkunde in het HO. Veel eerstejaars studenten zakken voor de verplichte toets biologie, waardoor zij mogelijk dienen te stoppen met hun studie. Alle studenten die een onvoldoende voor de eerste toets hebben behaald (n=53), konden zich vrijwillig inschrijven voor tutoring. Van de ingeschreven studenten (n=22) werd de helft willekeurig toegewezen aan de interventie- ( tuttee, n=11) of de controlegroep (n=11), waarbij is gebalanceerd op het eerst behaalde cijfer

12 Tussen beide groepen werden geen significante verschillen in persoonskenmerken geobserveerd. Tuttees werden willekeurig door de onderzoeker aan een ouderejaars tutor toegewezen, waarbij geen enkele tutor meer dan 1 tuttee kreeg. Interventie In vier weken tijd ontvingen de tuttees drie keer een wekelijkse tutorsessie met ongeveer 10 dagen ertussen. Tutorsessies van 60 tot 90 minuten organiseerden de tuttees en tutoren zelf en stonden niet ingeroosterd. Door middel van een vaste didactiek en gespreksformat werden tutorsessies zo veel mogelijk hetzelfde gehouden. Tutoren werden geselecteerd op eerder behaalde resultaten voor biologie en op motivatie door middel van een motivatiegesprek. Zij namen deel aan een verplichte tutortraining, kregen een gelijk aantal studiepunten voor deelname en ontvingen vakmateriaal. Per tutorsessie is in een logboek door de tutoren bijgehouden of de tuttee aanwezig is, hoe lang sessies duren en wat behandeld is. Na de interventie maakten de studenten een herkansingstoets. Geen van de eerstejaars viel tijdens het experiment af; iedereen heeft de herkansing gemaakt en niemand heeft zich voor de studie uitgeschreven. Uit literatuur blijkt dat gemeenschapszin ( een gevoel van thuisvoelen ) een mechanisme is waardoor toetsscores beïnvloed zouden kunnen worden. Gemeenschapszin is een aantal weken na de interventie gemeten door middel van een gevalideerde vragenlijst. Hierin worden vier factoren van gemeenschapszin belicht: lidmaatschap, invloed, ontmoetingsbehoeften en emotionele verbinding. Toetsscores van interventie- en controlegroep werden vergeleken. Daarnaast werden de scores van de gemeenschapszinvragenlijst vergeleken. Referenties Bowles, T. J., McCoy, A. C. & Bates, S. (2008). The effect of supplemental instruction on timely graduation. College Student Journal, 42(3), Chavis, D. M.; Pretty, G. M. H. (1999). Journal of Community Psychology, Vol 27(6), Nov, Special issue: Sense of community II. pp Chi, M. H., Siler, S. A., Jeong, H., Yamauchi, T. & Hausmann, R. G. (2001). Learning from human tutoring. Cognitive Science, 25(4), 471. Hoi Kwan, N. & Downing, K. (2010). The impact of supplemental instruction on learning competence and academic performance. Studies in Higher Education, 35(8), Munley, V.G., Garvey, E. & McConnell, M.J. (2010). The effectiveness of peer tutoring on student achievement at the university level. American Economic Review: papers & proceedings 100: Parkinson, M. (2009). The Effect of Peer Assisted Learning Support (PALS) on Performance in Mathematics and Chemistry. Innovations in Education and Teaching International, 46(4), Salinitri, G. (2005). The Effects of Formal Mentoring on the Retention Rates for First-Year, Low Achieving Students. Canadian Journal of Education, 28(4), Sanchez, R. J., Bauer, T. N. & Paronto, M. E. (2006). Peer-Mentoring Freshmen: Implications for Satisfaction, Commitment, and Retention to Graduation. Academy of Management Learning & Education, 5(1), Topping, K. J., Miller, D. D., Murray, P. P., Henderson, S. S., Fortuna, C. C. & Conlin, N. N. (2011). Outcomes in a randomised controlled trial of mathematics tutoring. Educational Research, 53(1), Resultaten Naast normaliteitstoets, robuustheidstoets en t-toetsen is een regressieanalyse uitgevoerd op herkansingscijfer, met daarin de covariabelen leeftijd, geslacht, toetsinzage vooraf, culturele achtergrond, voorkennis van biologie en eerder bindend negatief studieadvies. Bewijs is gevonden voor een significant positief effect van tutoring op toetsresultaten in deze context en opzet, wanneer rekening wordt gehouden met achtergrondkenmerken van de studenten. In dit onderzoek is een middelgroot effect gevonden van ongeveer 0.65 standaard deviatie toename in toetsscores, wat significant is (in een eenzijdige toets). De interventiegroep behaalde op de totale gemeenschapszinscore en alle vier factoren van gemeenschapszin een (niet significant) hogere score dan de controlegroep

13 Biografie Annemarie Bergsma Annemarie Bergsma (1978) studeerde Tropische Landbouw (2002) in Deventer en verpleegkunde (2004) in haar geboortestad Enschede. Hierna verhuisde zij naar de randstad om in het Erasmus MC te werken als verpleegkundige. Daarna werkte ze als verpleegkundige op een verpleegafdeling van het Leger des Heils in Rotterdam. In 2007 rondde ze de post-hbo opleiding Community Health (Leiden) af. Sinds januari 2009 werkt zij fulltime als docent verpleegkunde op de Haagse Hogeschool. Naast het begeleiden van studenten, hebben interventies met bijbehorend onderzoek op het gebied van studievoortgang en binding, PR, excellentie en ICT in het onderwijs haar interesse

14 Het effect van een teamtraining pedagogisch klassenmanagement op ongewenst gedrag van studenten in het middelbaar beroepsonderwijs Samenvatting Ongewenst gedrag van leerlingen, zoals spijbelen, geen schoolwerk maken, pesten en introvert gedrag is een belangrijke indicator voor vroegtijdig de school verlaten. Docenten die de hele dag deze jongeren met ongewenst gedrag in huis hebben en de eerste verdedigingslinie zijn, voelen zich handelingsverlegen. Een effectieve interventie om ongewenst gedrag te voorkomen is het verbeteren van het klassenmanagement waarbij een goede docent-student verhouding het fundament is. Een goede inter-persoonlijke relatie zorgt tevens voor een aangenaam klassenklimaat en leersucces. Interventies die zich richten op het verbeteren van het klassenklimaat en de docent-student verhouding in relatie tot ongewenst gedrag zijn schaars. Deze quasi-experimentele studie op het ROC Midden Nederland doet een poging deze leemte op te vullen en onderzoekt of een teamtraining in pedagogisch klassenmanagement effectief bijdraagt aan het verminderen van ongewenst gedrag in het middelbaar beroepsonderwijs. De strijd tegen voortijdig schooluitval is nog niet gestreden! Vanuit het onderwijs, de maatschappij en de regering is er een gevoel van noodzaak om duurzaam te investeren in jongeren die voortijdig uitvallen, zodat ze minimaal een startkwalificatie 1 behalen en daarmee de kans om succesvol te participeren in de maatschappij aanzienlijk vergroten. Consequenties van voortijdig de school verlaten (VSV) zijn onder andere minder kans op een baan, slechter betaalde banen (ROA, 2012; van der Steeg & Webbink, 2006), een grotere kans om met justitie in aanraking te komen (Traag, Lubbers & Velden, 2012) en een lagere gezondheidsstatus (Groot & Maassen van den Brink, ). Het besluit van het kabinet om in 2016 het aantal nieuwe voortijdig schoolverlaters terug te brengen naar maximaal per jaar doet een extra beroep op docenten en schoolleiding. De Europese VSV-doelstellingen en de Nederlandse/ ROCMN bewerking hiervan hebben sindsdien voor een vermindering van uitval gezorgd, maar zijn nauwelijks vertaald naar het niveau van de docent, terwijl docenten de meeste contactmomenten met de studenten hebben en zien als het niet goed gaat. Marleen Bovee 1 Een startkwalificatie is een diploma op ten minste middelbaar beroepsonderwijs (mbo) niveau 2, een havo of vwodiploma ( 2 Een VSV er is een jongere tussen de 12 en 23 jaar die zonder startkwalificatie de school verlaat of langer dan 1 maand aaneengesloten verzuimt. Een startkwalificatie is een diploma op ten minste middelbaar beroepsonderwijs (mbo) niveau 2, een havo of vwo-diploma (

15 Uit onderzoek blijkt dat een hoge mate van ongewenst gedrag van studenten een belangrijke indicatie is voor schooluitval (Archambault, Janosz, Morizot & Pagani, 2009; Beekhoven, 2005; De Witte & Csillag, 2012; Elffers, 2012; J.D. Finn & Rock, 1997; Henry, 2007; Rumberger, 1983). Docenten geven aan dat ze last hebben van ongewenst gedrag in de klas en professioneel niet voldoende toegerust zijn om dit gedrag te voorkomen (Groenenberg & Hermanussen, 2012; Wolf & Beukering, 2009). Hierdoor ontstaan ordeproblemen waar vervolgens klasgenoten last van hebben, waardoor het leersucces daalt en extra uitval kan ontstaan (Ream & Rumberger, 2008; Traag et al., 2012). In deze effectstudie is onderzocht of ongewenst gedrag op school afneemt door de docent beter toe te rusten op pedagogisch gebied, zodat de docent vanuit visie en verlangen waarneemt en verbindt en vanuit leiderschap een verschil maakt voor de individuele student en de hele klas. Het ongewenst gedrag van de student neemt dan af, het leersucces neemt toe en docenten beleven minder stress en meer arbeidsvreugde op hun werk (Brophy, 1996; Everaert & van der Wolf, 2006; Onderwijsraad, 2010). Ongewenst gedrag op school In de praktijk wordt het begrip ongewenst gedrag door iedereen anders ingevuld, maar het heeft te maken met verwachtingen. Docenten bepalen vanuit de voor hen geldende normen of bepaald gedrag een probleem is of niet. Een definitie die veel wordt gebruikt en waarvoor in deze studie gekozen is, luidt als volgt: Iemand heeft gedragsproblemen als hij regelmatig gedrag vertoont dat voor anderen storend is (Junger, 2003; van der Ploeg, 1990). Het aantal jongeren met ongewenst gedrag en een specifieke onderwijs- of zorgbehoefte binnen het mbo neemt toe en hun zorgvraag is complexer (Onderwijsinspectie, 2012). Sinds enkele jaren bestaat de kwalificatieplicht, die vastgelegd is in de Wetgeving Educatie in Beroepsonderwijs (WEB), waardoor jongeren langer op school blijven en er een stijging is in deelnemers op niveau 1 en 2 binnen het mbo. Externaliserend gedrag zoals dwars liggen en druk zijn worden door docenten als de moeilijkste gedragingen ervaren en krijgen de meeste aandacht ( (Wolf & Beukering, 2009). De longitudinale studie van McFadden & Marsch in Marzano, Marzano & Pickering (2003) laat zien dat op school vooral disciplinaire maatregelen moeten worden genomen voor spijbelen en anderen lastig vallen. Internaliserend zoals teruggetrokken gedrag komt minder voor dan externaliserend gedrag en wordt meer bij meisjes dan jongens geconstateerd (Everaert & van der Wolf, 2006; Onderwijsraad, 2010). Internaliserend krijgt minder aandacht in de klas omdat de omgeving daar nauwelijks last van heeft (Wolf & Beukering, 2009). Uit deze analyses is af te leiden dat de balans tussen aandacht krijgen en aandacht nodig hebben, niet optimaal is. Uit literatuuronderzoek (Bovee, 2011) blijkt dat de effectiefste interventies om ongewenst gedrag te voorkomen, alle te maken hebben met klassenmanagement, waarbij de docent-student relatie, duidelijke regels en afspraken, ordemaatregelen en de mentale houding van de docent het effectiefst zijn (Borg & Ascione, 1982; Hattie, 2009; Marzano, Marzano & Pickering, 2003; Wolf & Beukering, 2009; T. Wubbels, 2007). De meest fundamentele is de docent-student relatie. De mentale houding van de docent wordt omschreven als het bewust omgaan met je omgeving, wat gepaard gaat met een bewuste beheersing van de gedachten over eigen gedrag in een bepaalde situatie (Langer, 1989 in Marzano, Marzano & Pickering, 2003) en speelt een belangrijke rol bij het observeren, interpreteren en omgaan met ongewenst gedrag in de klas. In dit onderzoek is ervoor gekozen om ongewenst gedrag op school te benaderen vanuit het primaire proces. Dit komt overeen met het advies van de Onderwijsraad (2010), dat aangeeft dat gedragsproblemen altijd in hun context bestudeerd moeten worden en dat het vooral effectief is om binnen het primaire proces de zorg aan studenten met ongewenst gedrag te versterken. Bij het bepalen van de effectiviteit van de interventie moet rekening gehouden worden met het multicausale karakter van ongewenst gedrag op school, dat z n oorsprong vindt in onder andere omgevingsniveau (school, de buurt, peers) en op kind- en gezinsniveau (Bronfenbrenner, 1979). De docent-student relatie en ongewenst gedrag In relatie tot het aanpakken van ongewenst gedrag blijkt dat docenten zich niet altijd realiseren wat hun aandeel kan zijn en wijten het ongewenste gedrag aan de student zelf of aan de gezinssituatie, wat machteloosheid creëert (Wolf & Beukering, 2009). De onderzoeksgroep in dit paper bestaat uit ongeveer 90% allochtone studenten, echter het meeste onderzoek betreft autochtone klassen. Over het algemeen blijken leerlingen/studenten in binnen- en buitenland de voorkeur te geven aan een invloedrijke emotioneel nabije leraar. Ook leerlingen van multiculturele klassen 3 en leerlingen van het mbo (T. Wubbels, Brekelmans, den Brok & van Tartwijk, 2006). Een meta-analyse naar de rol van de docent-student relatie laat zien dat in hogere leerjaren deze relatie steeds meer effect heeft op de student (Roorda, Koomen, Split & Oort, 2011). 3 Een multiculturele klas bestaat uit ten minste twee nationaliteiten en er moeten minimaal vijf leerlingen in de klas zitten met een niet-nederlandse nationaliteit en/of ouders hebben met een niet- Nederlandse nationaliteit (den Brok & Levy, 2005)

16 In de praktijk blijkt dat veel beginnende docenten maar ook oudere docenten niet voorbereid zijn om te werken met leerlingen bij wie het aan basale sociale vaardigheden ontbreekt of die een gedragsprobleem of stoornis hebben (den Brok, Wubbels, Brekelmans & van Tartwijk, 2011). Om ongewenst gedrag structureel aan te pakken is professionalisering van het hele team noodzakelijk, zodat studenten een consequente aanpak van het hele docententeam te zien krijgen (Brekelmans, 2010). Naar aanleiding van de literatuurstudie is geconcludeerd dat er weinig onderzoek gedaan is naar klassenmanagement en ongewenst gedrag van leerlingen en nog minder naar specifieke groepen zoals de heterogene groepen op het mbo. Er is wel veel wetenschappelijke informatie te vinden over de kwaliteit van de docent in relatie tot de kwaliteit van het onderwijs en levert aanknopingspunten voor dit onderzoek en interventieontwikkeling, omdat ongewenst gedrag van jongeren op alle niveaus van het onderwijs voorkomt (Wolf & Beukering, 2009) en als een sectoroverstijgend probleem beschouwd wordt (WRR, 2010). De Methode De centrale vraag in dit onderzoek is of een docententraining in pedagogisch klassenmanagement een positief effect heeft op de docent-student relatie en op het ongewenst gedrag van voltijd eerstejaars studenten en docenten van de opleiding detailhandel en administratie niveau 2 van het Business & Administration college van ROC Midden Nederland. Bij dit college vindt relatief veel uitval plaats, zowel landelijk als op het ROCMN ( Het onderzoek is quasi- experimenteel opgezet en omvat een interventiegroep, een controlegroep en een voor- en nameting. Om het effect van de interventie op het gedrag van de leerlingen te bepalen, is het essentieel om ook het interventie-effect op het gedrag van de docenten te meten. Een eventueel effect op het gedrag van studenten kan toegeschreven worden aan de interventie als het gedrag van de docent ook veranderd is. De gedragsveranderingen zijn gemeten aan de hand van bestaande vragenlijsten die betrouwbaar en valide zijn bevonden bij eerdere onderzoeken en in dit onderzoek. De vragenlijst Sociaal Ongewenst Gedrag Op School (SOGOS) is door docenten en studenten ingevuld (Koerhuis & Hijzen, 2009). De vragenlijst voor Interpersoonlijk Docentgedrag (VIL) is ingevuld door de docenten (den Brok, Wubbels, Veldman & van Tartwijk, 2009). Gedurende het onderzoek blijkt dat alleen de opleiding handel voldoet aan de eisen die gesteld worden aan een experiment en worden de data van de opleiding administratie en de zelfrapportage van de studenten meegenomen in de gemiddelde verschilscore analyses en is de invloed van de onafhankelijke variabelen op de afhankelijke variabelen berekend. In totaal hebben 99 studenten en 27 docenten geparticipeerd. Hiervan zijn 31 studenten uitgevallen. Het experiment telde 12 studenten en 6 docenten in de controlegroep, in de interventiegroep 12 studenten en 5 docenten. Vanuit de literatuur is bekend dat onder andere de sociaal-economische achtergrond (zoals krachtwijken 4 ) en persoonskenmerken (bijvoorbeeld geslacht, leeftijd, etnische achtergrond) van invloed zijn op ongewenst gedrag op school. Het verzamelen van de data is gestart drie maanden na de start van het schooljaar, als de studenten gesetteld zijn en hun meest gangbare gedrag vertonen. Vervolgens is na 6 en 9 maanden gemeten. De interventie, een training in pedagogisch klassenmanagement Op basis van het literatuuronderzoek (Bovee, 2011) is geconcludeerd dat er geen effectief trainingsprogramma voorhanden is dat inhoudelijk voldoet aan de wensen van ROC-medewerkers. In overleg met de teamleden en de trainer is er een toegepast interventieprogramma ontworpen, gebaseerd op bewezen effectieve onderdelen uit vergelijkbare trainingen zoals: training over een langere tijdsperiode, externe trainers, betrokkenheid van de docenten, opvattingen docenten over leren studenten, uitwisseling van ervaring, peersupport, ondersteuning vanuit school (Desimone, 2009; Timperley, Wilson, Barrar & Fung, 2007). De training klassenmanagement bevat de volgende effectieve interventiemaatregelen: de docent-student relatie, regels en afspraken, ordemaatregelen en de mentale houding van docenten (Marzano et al. 2003, Hattie 2009, Wolf & Beukering 2007, Borg & Ascione 1982). De trainingen zijn verplicht voor alle docenten van een kernteam. Tijdens de bijeenkomsten is aan de hand van theoretische en praktische informatie (handelingswijzers) over gedragsproblematiek, inzicht verschaft over doelgericht omgaan met ongewenst 4 Krachtwijken of aandachtswijken zijn wijken met problemen rond wonen, werken, leren, integreren en veiligheid. In 40 wijken is de opeenstapeling van problemen zo groot dat ze sinds 2007 extra aandacht krijgen van de Rijksoverheid. Samen met gemeenten, woningcorporaties, lokale organisaties en bewoners werkt de Rijksoverheid aan het verbeteren van deze wijken (

17 gedrag (herkennen, begrijpen en handelen) in relatie tot docent-student relatie en klassenmanagement. De verklaringsmodellen van het interactiemodel van Leary, de 10-stappen intervisiemethodiek (Hendriksen, 2000), het principe van handelingsgericht werken (Pameijer, van Beukering & de Lange, 2009) en de zeven factoren van Timperley en Desimone vormen de basis voor de training. Handelingsadviezen zijn gebaseerd op de REC 4 boekjes 5. De handelingsadviezen vormen het centrale sturingsmodel voor de teams om te observeren, te interpreteren en om te gaan met ongewenst gedrag in de klas en gezamenlijk hierop terug te kijken. tabel 1 Sociaal ongewenst gedrag van studenten lange en korte termijn opinie docenten gedrag studenten voor n = 13 na n = 13 docentmeting handel korte termijn t lange termijn t voor n = 15 na n = 15 voor n = 12 na n = 12 voor n = 12 na n = 12 interventie controle interventie controle Resultaten Ongewenst gedrag t.o.v. school(werk) Gem SD Gem SD Gem SD Gem SD voor Effect op ongewenst gedrag van studenten Het effect van de teamtraining pedagogisch handelen en klassenmanagement op sociaal ongewenst gedrag van studenten is op korte en lange termijn gemeten bij de opleiding handel aan de hand van de opinie van de docenten. 16 vragen na Onvriendelijk gedrag verschil (0.478) (-0.048) (0.583) (0.964) voor vragen na verschil (-0.039) (-2.842)* (1.196) (2.345) Teruggetrokken gedrag voor vragen na verschil (0.964) (-2.326)* (0.160) (1.498) t waarden tussen haakjes Voor de metingen zijn alleen de data van studenten gebruikt die bij de voor- en nameting een vragenlijst ingevuld hebben, zodat binnen de participerende groep voor maximale gelijkheid gezorgd is. Bij de docentwaarnemingen (tabel 1) op korte termijn van de controlegroep zijn onvriendelijk gedrag en teruggetrokken gedrag significant toegenomen. Op lange termijn is onvriendelijk gedrag significant. Al deze significante verschillen zijn ontstaan vanwege een toename van ongewenst gedrag. Zowel bij de interventiegroep als bij de controlegroep neemt het ongewenst gedrag in de loop van het jaar toe. Het lijkt alsof de docenten het gedrag van de studenten in de loop van het jaar beter observeren en kritischer bekijken. Beide redeneringen werken in het voordeel van de interventie, docenten leren de student beter kennen en kunnen werken aan hun docent-student relatie. 5 Deskundigheidsbevordering op het gebied van gemeenschappelijk pedagogische teamaanpak, ongewenst gedrag en gedragstoornissen. REC 4 Willem de Jong. www. rec45.nl Om het effect van de interventie nog zuiverder te meten, worden de verschilscores van de controlegroep vergeleken met de verschilscores van de interventiegroep, waaruit 30 31

18 blijkt dat teruggetrokken gedrag significant is. Dit verschil is ontstaan omdat het gedrag van de controlegroep tussen de voor- en nameting toegenomen is en niet omdat het teruggetrokken gedrag bij de interventiegroep afgenomen is. Een van de redenen kan zijn dat de studenten met teruggetrokken gedrag in het begin van het jaar nog niet goed in beeld zijn bij de docenten, omdat de meeste aandacht uitgaat naar externaliserend gedrag (Marzano et al., 2003; Wolf & Beukering, 2009). Voor de zelfrapportages van studenten zijn de verschilscores niet berekend, omdat er een toename van ongewenst gedrag geconstateerd is bij de interventiegroep in plaats van de verwachte afname. Effect op de docent-student verhouding De berekeningen in dit onderzoek laten zien dat er geen significante verschillen tussen de interventie- en controlegroep gemeten zijn op de verschillende momenten in het jaar en dat de werkervaring van docenten niet van invloed is op een hogere BS/SB verhouding. Jongere en oudere docenten verschillen niet significant van elkaar in BS/SB verhouding. Effect op ongewenst gedrag van studenten met controle voor covariaten Om na te gaan of exogene onafhankelijke variabelen zoals socio-economische factoren en studentkenmerken de effectmeting van de interventie te beïnvloeden zijn, is een meervoudige regressieanalyse uitgevoerd: de verschil-in-verschillen of difference in differences analyse (DID). Voor deze analyse zijn drie modellen uitgewerkt, waarbij successievelijk extra voorspellers van ongewenst gedrag opgenomen zijn, zoals tijdseffect, interventie, interactiegeslacht, krachtwijk, leeftijd en etnische achtergrond. Het resultaat laat uiteindelijk zien welke onafhankelijke variabelen samenhangen met de afhankelijke variabele, waardoor zuiverder gemeten wordt of de interventie voor het effect zorgt of dat onafhankelijke variabelen interfereren. tabel 2 Resultaat verschil-in-verschillen (DID) analyse voor ongewenst gedrag van studenten volgens docenten Ongewenst gedrag t.o.v. school(werk) Model I n=24 Model II n=24 Model III n=24 Onafh.variabele B SE t p B SE t p B SE t p Constante Tijd (T) Interventie (I) * Interactie (T*I ) Geslacht: man= ** ** Krachtwijk Leeftijd:18+= Afkomst: allochtoon= R²= 0.06 ΔR²= F(3.24) = 0.93 R²= 0.28 ΔR²=0.21 F(4.24) = 4.20 R²= 0.36 ΔR²= 0.25 F(7.24)= 3.20 Tabel 2 toont de resultaten van de DID regressieanalyse van ongewenst gedrag t.o.v. school en schoolwerk. Uit de analyse voor ongewenst gedrag t.o.v. school blijkt dat in model II de R 2 28% van de variantie verklaart en geslacht een significante voorspeller van ongewenst gedrag is. Nadat in model III krachtwijk, afkomst en leeftijd toegevoegd zijn, wordt 36% van de variante verklaard en zijn geslacht en de interventie significant voorspellers van ongewenst gedrag. De interventie is significant, maar in plaats van dat de interventie ervoor zorgt dat het ongewenst gedrag afneemt, neemt het ongewenst gedrag toe. Geslacht is significant, wat betekent dat jongens voor meer ongewenst gedrag zorgen dan meiden. De significantie van de interventie is te danken aan de afname van ongewenst gedrag bij de controlegroep en de toename bij de interventiegroep, wat tegen de verwachtingen van de interventie ingaan. Voor teruggetrokken gedrag vertoont de DID-analyse voor geen enkele variabele van de drie regressiemodellen een significante invloed op dit studentengedrag

19 Conclusies De t-toetsen en de verschil-in-verschillen regressieanalyse laten geen significante afname zien op korte en lange termijn voor ongewenst gedrag van studenten en het interpersoonlijke gedrag van docenten. Ook na controle voor de onafhankelijke variabelen leeftijd, krachtwijk, geslacht en etniciteit is er geen significant verschil tussen de onderzoeksgroepen gemeten. De regressieanalyse toont wel aan dat jongens significante voorspellers zijn van ongewenst gedrag ten opzichte van school. Verder is aangetoond dat ongewenst gedrag t.o.v. school het meeste voorkomt, gevolgd door teruggetrokken gedrag. Onvriendelijk gedrag komt gemiddeld het minste voor. Binnen ongewenst gedrag komt spijbelen/te laat komen het meeste voor en vertonen allochtone studenten significant meer ongewenst gedrag dan autochtone studenten. De studenten die tijdens het onderzoek uitgevallen zijn en jongeren uit krachtwijken vertonen significant niet meer ongewenst gedrag dan de andere studenten. De belangrijkste uitvalreden van de opleidingen zijn persoongebonden factoren, gevolgd door studie- en beroepskeuzegebonden factoren. Verder vallen Marokkaanse studenten het meeste uit. Discussie Deze studie kent een aantal beperkingen. In deze paragraaf worden de kanttekeningen die gemaakt moeten worden bij de quasi-experimentele studie in beeld gebracht. Een van de eisen die aan een experiment gesteld worden, is dat de interventie- en controlegroep a-select gekozen is. In dit experiment bleek het niet mogelijk de onderzoeksgroepen (docenten en studenten) at-random te selecteren, omdat de interventie alleen effectief is als het hele docententeam deelneemt. Het is essentieel dat het hele kernteam dezelfde informatie krijgt, zodat alle docenten volgens dezelfde richtlijnen en structuur werken met de individuele studenten en de klas, zodat studenten van alle docenten voorspelbaar gedrag kunnen verwachten. Ook de studenten zijn niet at-random gekozen, omdat het onderzoek alleen uitgevoerd kan worden bij bestaande klassen en het onmogelijk is voor docenten om binnen een klas te werken met een interventiegroep en een controlegroep. Het nadeel van werken met bestaande klassen en met docenten die daar werkzaam zijn, is dat de toewijzing niet op een kans maar op een keuze gebaseerd is. Allereerst is de grootte van de onderzoeksgroep bescheiden, waardoor er geen randomisatie plaatsgevonden heeft en er noodgedwongen gemeten is op klassenniveau, wat ten koste gaat van de robuustheid, betrouwbaarheid en de generaliseerbaarheid van het onderzoek. Het aantal studenten van de onderzoeksgroep is tijdens dit quasiexperiment sterk gereduceerd vanwege schooluitval of veelvuldig afwezig zijn. In dit onderzoek is gekeken naar het korte termijn (3 maanden)- en lange termijn (6 maanden) effect van een pedagogische klassenmanagement training op de docentstudent verhouding en op ongewenst gedrag van studenten. Het veranderen van klassenmanagement door onder andere de docent-student relatie te verbeteren kost tijd, omdat het te maken heeft met waarden en normen van een docent (Mainhard, Brekelmans, Wubbels & Brok, 2008). Het is dan ook belangrijk om door te gaan met leermogelijkheden. Kennisdeling moet continu aanwezig zijn en constant plaatsvinden (Desimone, 2009; Timperley et al., 2007). Volgens het quasi-experiment van Van der Sijde (1989) kan een training ook in korte tijd (2,5 maand) effect sorteren op het gedrag van de docenten, indien tussen de trainingen door docenten feedback krijgen op hun gedrag in de klas en deze bevindingen meegenomen worden naar de volgende training. Dit onderzoek heeft plaatsgevonden bij twee opleidingen bij één ROC, waardoor geconcludeerd moet worden dat de resultaten niet per definitie generaliseerbaar zijn naar andere opleidingen handel/administratie niveau 2, andere mbo- opleidingen of opleidingen binnen andere ROC s. Bovendien bestond de onderzoeksgroep uit meer dan 90% allochtonen en 90% jongens, wat boven de gemiddelde klassensamenstelling ligt van opleidingen binnen het mbo (CBS, 2010). Aanbevelingen voor vervolgonderzoek en verbeteringen interventie De robuustheid van de onderzoeksresultaten versterken door de onderzoeksgroep uit te breiden. De docent-student relatie vragenlijsten blijven gebruiken om persoonlijke effectiviteit te analyseren bij communicatie en interactie, het herkennen van eigen gedragspatronen, het bespreken van eigen gedragspatronen in probleemsituaties en het ontwikkelen van effectiever gedrag, werkboek Intervisie, Jeroen Hendriksen (2000)

20 Duurzaam investeren in professionalisering van docenten betekent ook eisen stellen aan participatie en kwaliteit. Ingezette strategieën, zoals intervisie of collegiale consultatie, moeten inslijpen. Tussen trainingen door professioneel feedback geven aan docenten. Samenwerking op klassenniveau, teamniveau en schoolniveau is hierbij essentieel. Ondanks dat er nu geen positief effect gemeten is, heeft de innovatie wel meerwaarde voor het ROCMN. Vanuit de wetenschappelijke literatuur is investeren in de docentstudent relatie een bewezen effectieve interventie. Het is dan ook belangrijk om door te gaan met het ingezette traject en effecten meten, zoals de daadwerkelijke veranderingen van de docenten in de klas naar aanleiding van de interventie. Referenties Cabus, S. J. & De Witte, K. (2011). Does School Time Matter? On the impact of compulsory education age on school drop out. Economics of Education Review, 30, Desimone, L. M. (2009). Improving impact studies of teachers professional development: Toward better conceptualizations and measures. Educational Researcher, 38(3), 181. De Witte, K. & Csillag, M. (2012). Does anybody notice? On the impact of improved truancy reporting on school dropout. Eimers, T., Kennis, R., Keppels, E. & Roelofs, M. (2011). Regiomonitor Voortijdig Schoolverlaten: Uitvalllers en Zorgdeelnemers van ROC Midden Nederland: Kenniscentrum Beroepsonderwijs Arbeidsmarkt, Nijmegen. Elffers, L. (2012). Staying on track: behavioral engagement of at-risk and non-at-risk students in postsecondary vocational education. European Journal of Psychology of Education, Janosz, M., Archambault, I., Morizot, J. & Pagani, L. S. (2008). School engagement trajectories and their differential predictive relations to dropout. Journal of social Issues, 64(1), Glaude, M., van den Berg, J., Verbeek, F. & De Bruijn, E. (2011). Pedagogisch- didactisch handelen van docenten in het mbo: ecbo expertise beroepsonderwijs, Hogeschool Utrecht, Kohnstamm Instituut Universiteit van Amsterdam. Groenenberg, R. & Hermanussen, J. (2012). Docent in het mbo niveau 1 of 2, een vak apart: ecbo Utrecht, Den Bosch. Koerhuis, M. J. & Hijzen, D. (2009). Handleiding vragenlijst sociaal ongewenst gedrag (SOGOS): Henk Onderwijsadvies- en Onderzoek, Nederland. Marzano, R. J., Marzano, J. S. & Pickering, D. J. (2003). Classroom management that works: Research-based strategies for every teacher. Alexandria, VA: Association for Supervision and Curriculum Development. Pameijer, N., van Beukering, J. & de Lange, S. (2009). Handelingsgericht werken: een handreiking voor het schoolteam: samen met collega s, leerlingen en ouders aan de slag: Acco. ROA (2012). Schoolverlaters tussen school en arbeidsmarkt 2011: Universiteit van Maastricht, Researchcentrum voor Onderwijs en Arbeidsmarkt, ROA, Maastricht, ROA-F-2012 Roorda, D. L., Koomen, H. M. Y., Split, J. L. & Oort, F. J. (2011). The influence of affective teacher-student relationships on students school engagement and achievement: A meta-analytic perspective. Review of Educational Research, 81(4), Rumberger, R. W. (1983). Dropping out of high school: The influence of race, sex, and family background. American Educational Research Journal, 20(2), Timperley, H., Wilson, A., Barrar, H. & Fung, I. (2007). Teacher professional development and learning: Best evidence synthesis iteration (BES): Wellington: Ministry of Education. Traag, T., Lubbers, M. J. & Velden, R. (2012). That s what friends are for?: The impact of peer characteristics on early school-leaving. Maastricht: Maastricht University, Research Centre for Education and Labour Market, ROA-RM-2012/6 van der Ploeg, J. D. (1990). Gedragsproblemen. Ontwikkelingen en risico s. Rotterdam: Lemniscaat