MASTERCLASS De datateam methode Examenresultaten Nederlands

Transcriptie

1 MASTERCLASS De datateam methode Examenresultaten Nederlands Taal op koers 29 oktober 2014 Cindy Poortman en Kim Schildkamp

2 Uitdagingen in de onderwijspraktijk Voortijdige schooluitval Gebrek aan praktische vaardigheden bij studenten Gebrek aan theoretische kennis bij studenten Tegenvallende examenresultaten.

3 Van probleem naar maatregel Probleem Maatregel

4 Opbrengstgericht werken Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010): systematisch verzamelen analyseren & interpreteren van aanwezige data binnen de school en die informatie gebruiken om het onderwijs te verbeteren Data, zoals: toetsresultaten vragenlijsten inspectierapporten instroom, doorstroom, uitstroomgegevens observaties in de klas; interviews met leerlingen

5 Van probleem naar maatregel Probleem Maatregel

6 Datateam methode Datateam: 4-6 docenten en 1-2 schoolleiders Werken aan concreet probleem op hun school Met behulp van data En met behulp van 8- stappenplan, handleiding en intensieve begeleiding

7 Inhoud masterclass Datateam werkt gemiddeld twee jaar aan het stappenplan. Vandaag: stappen in vogelvlucht stap 2 (hypotheses opstellen) en stap 6 (conclusie en interpretatie) voorbeeldmatig in meer detail Voorbeeld: examenresultaten Nederlands van een fictieve school.

8 Stap 1: Probleem definiëren Startvraag datateam: met welk specifiek probleem gaan we aan de slag? Welk probleem is belangrijk voor de school? Probleemdefinitie fictieve school: Slechte examenresultaten Nederlands Wat vinden we hier van? Specifiek genoeg? Hoe bewijs je dat het een probleem is? Wanneer ben je tevreden?

9 Stap 1 (vervolg) Data verzamelen om de probleemstelling te onderbouwen (voorbeeld:) Gemiddelde CE cijfer Nederlands Havo CE CE CE Onze School 5,6 5,8 5,6 Landelijk 6,1 6,2 6,2 Uiteindelijke probleemstelling fictieve school: We zijn ontevreden over het CE-cijfer voor het vak Nederlands in 5 havo, want we hebben al drie jaar te kampen met een CE-cijfer lager dan het landelijk gemiddelde, van gemiddeld 5,7. We willen bereiken dat over twee jaar het CE-cijfer minimaal op het landelijk gemiddelde (6,2) komt.

10 Stap 2: Hypothese Kwantitatief onderzoek: Hypothese = concrete, meetbare veronderstelling over de oorzaak van het probleem Voorbeeld: Leerlingen die in 4 havo zijn ingestroomd vanuit het vmbo halen minstens 0,5 lager op hun eindcijfer Nederlands in 4 havo dan leerlingen die vanuit 3 havo naar 4 havo zijn gegaan. Of vraagstelling, kwalitatief onderzoek: Vraagstelling= hoe, wat of waarom-vraag naar meningen, ervaringen of gedrag

11 Zelf ervaren (1) Vorm met 4-6 mensen een datateam Formuleer een goede hypothese: een concrete en meetbare veronderstelling over de oorzaak van het probleem. Ong. 10 minuten, daarna kort bespreken

12 Onze fictieve school: Uitwerking Oorspronkelijke hypothese: Leerlingen zijn steeds minder gemotiveerd om hoge cijfers te halen. Concrete en meetbare hypothese: Havo leerlingen die bij hun Centraal Examen lager dan een 6,0 voor Nederlands halen zijn significant minder gemotiveerd dan leerlingen die een 6,0 of hoger halen.

13 Stap 3: Data verzamelen Welke data nodig? Toegang tot data Bestaande data Weergave van data Ons datateam heeft een enquête afgenomen onder alle leerlingen van 5 havo

14 Stap 4 Controle kwaliteit data Validiteit: meet je wat je wilt meten? Betrouwbaarheid: meting onafhankelijk van toeval? Missen er bijv. data?

15 Kwantitatief: Stap 5 Data-analyse Beschrijvend (gemiddelde, frequenties, spreiding, etc.) Verklarend (bijv. t-toets) Kwalitatief

16 Stap 6: Interpretatie en conclusie Interpretatie: wat zegt de data-analyse over het probleem? Conclusie: klopt de geformuleerde hypothese? Hij klopt! Een oorzaak van het probleem is gevonden. Verder naar stap 7: het nemen van maatregelen. Hij klopt niet. Mogelijke oorzaak klopt niet. Terug naar stap 2: het samen bepalen van de volgende hypothese Hij klopt deels wel, deels niet. Deel van de oorzaak van het probleem gevonden, maar er is ook nog een stuk van het probleem dat niet verklaard wordt door de hypothese. Vervolg op twee sporen: én naar stap 7 om maatregelen te bedenken én weer terug naar stap 2 om een volgende hypothese te onderzoeken.

17 Zelf ervaren (2) Bestudeer de resultaten van de enquête Verschillen tussen leerlingen met CE-cijfer < 6,0 en 6,0 Vetgedrukt de gemiddelden die significant zijn (resultaten berusten niet op toeval). Bespreek de resultaten in je datateam Trek conclusies over de hypothese: klopt deze wel, niet of deels?

18 Uitwerking opdracht 2 Hypothese motivatie wordt verworpen In het algemeen niet minder gemotiveerd Waar verschil, niet significant Extra informatie: leerlingen met CE-cijfer < 6,0 zeggen minder feedback te krijgen Mogelijkheid: feedback verder onderzoeken (terug naar stap 2)

19 Stap 7 : Maatregelen nemen Implementatieplan én evaluatieplan! Mogelijke maatregelen bij feedbackprobleem: Op basis van observaties in de les elkaar tips geven over feedback Docenten scholen op gebied van feedback -> toepassen op leerlingen

20 Stap 8: Evaluatie Procesevaluatie: verloop implementatie? Effectevaluatie: probleem opgelost?

21 Reflectie Wat valt er op bij het doorlopen van het acht stappenplan? Welke mogelijkheden zijn er voor de eigen praktijk in het Mbo?

22 Tot slot Voor meer informatie: o.a. video s met uitleg en ervaringen deelnemers Conferentie Onderzoek in en door de school, 13 november 2014 ( Zie ook het nieuwe boek: De datateam methode. Een concrete aanpak voor onderwijsverbetering een toelichting op datagebruik een hoofdstuk per stap casussen met nog meer voorbeelden Aandacht voor inbedding in de organisatie

23 Hartelijk dank voor de aandacht!