CODEER- EN ANALYSEERBOEK VERSIE 4 Opdracht 3: begrijpend lezen Onderwijskunde Praktijk Onderzoek en Beleid 2017-2018 1
Inhoudsopgave CODEER- EN ANALYSEERBOEK... 1 INHOUDSOPGAVE... 2 ALGEMEEN... 3 CODEREN... 4 1. CODEREN VAN DE KORTE VRAGENLIJST (KVL)... 4 2. VRAGEN BIJ DE TOETS... 6 2.1 Gesloten vragen... 6 2.2 Openvragen... 8 ANALYSEREN... 12 2
Algemeen In dit codeer- en analyseerboek vinden jullie in het kader van opdracht 3 Begrijpend lezen voor het vak Onderwijskunde Praktijk Onderzoek en Beleid meer informatie over: 1. Het coderen en invoeren van de data in een EXCELL- file 2. Het analyseren van de ingevoerde data via EXCELL Aangezien de vragen op de toets van elkaar verschillen, krijgen we verschillende soorten en mogelijke antwoorden. Zo zal het antwoord op vraag 1 enkel een letter zijn (A, B, C of D). Het antwoord op de laatste vraag zal een uitgeschreven tekst zijn. Deze verschillende vormen van vragen en antwoorden, maken het moeilijk om de data te kunnen analyseren. Daarom zetten we de antwoorden om in een code. Dit noemt men het coderen van de data. Wanneer er wordt gewerkt met deze gecodeerde informatie (antwoorden op open- en gesloten vragen) hebben we te maken met kwantitatieve data. Deze data kunnen we verwerken met behulp van verschillende statistische programma s. Hier wordt er gekozen te werk te gaan met EXCELL. In deze bundel wordt uitgelegd hoe we deze ruwe data in een EXCELL- dataset kunnen invoeren en vervolgens kunnen analyseren. Voor de verwerking van de toetsen van de studenten hebben jullie volgende documenten nodig (zie Minerva): De dataset waarin de gegevens van de studenten komen. Download deze dataset van op Minerva en sla deze als volgt op: DatasetBL_XX. Vervang de XX door jullie groepsnummer (zie Minerva). Deze dataset is reeds aangevuld met de nodige codes. o Voorbeeld: groepsnummer 3 = DatasetBL_03, o Voorbeeld: groepsnummer 12 = DatasetBL_12 Dit codeer- en analyseerboek waarin jullie de variabelenamen van elk item vinden. Dit wordt aangegeven bij elke variabele welke score jullie hierbij in EXCELL dienen in te voeren. In wat volgt, wordt stapsgewijs besproken hoe de verschillende toetsonderdelen worden gecodeerd en ingevoerd in de EXCELL dataset: de korte vragenlijst die vooraf gaat aan de toets begrijpend lezen, de gesloten vragen (zoals de meerkeuze vragen, de vragen over de verschillende paragrafen en ja/nee vragen) en de openvragen. Verder worden een aantal procedures beschreven om deze data te analyseren. Veel succes! 3
Coderen Open de EXCELL- dataset. Jullie zien momenteel nog een lege dataset. Bovenaan zien jullie de verschillende variabelen waarbij jullie de juiste codes zullen invoeren. Elke rij representeert 1 student. In de data set komt de informatie van student 1 dus op rij 1, van student 2 op rij 2, enz. De informatie die jullie verzamelde van de verschillende studenten komt onder elkaar te staan. De rijen geven dus de respondenten (de studenten die de toets aflegde) weer. Het totaal aantal rijen komt overeen met het aantal studenten waarbij jullie de toets afnamen. Dit zal bij jullie allemaal 50 studenten zijn. Let op: wijzig de benaming of de volgorde van de codes NIET. Bij het analyseren van de data (zie verder) zullen jullie deze nodig hebben. Het coderen van de toets begrijpend lezen bestaat uit twee delen. Neem dit codeerboek grondig door: (1) Coderen van de korte vragenlijst en (2) Coderen van de vragen bij de tekst. De informatie van 1 zelfde student komt op 1 rij. De informatie van verschillende studenten komt onder elkaar in 1 kolom. 1. Coderen van de korte vragenlijst (KVL) Een eerste element dat jullie invullen is de versienummer gevolgd door jullie groepsnummer [VNGN]. Deze zal bij alle studenten hetzelfde zijn. o Bijvoorbeeld groep 7 nam de toets af met versie nummer 03. Dan zal de eerste kolom met naam [VNGN] voor alle 25 studenten 0307 zijn. Een tweede element dat jullie invullen is de nummer die elke participant krijgt. Zoals in de instructies vermeld nummerde jullie in groep alle participanten. Dit betekent dat jullie 50 participanten en dus ook 50 ingevulde toetsen hebben. In de EXCELL- dataset vullen jullie deze nummer in in de kolom met de naam [ST_NUMMER]. Wanneer we dan overgaan naar de korte vragenlijst is de eerste vraag de leeftijd. In deze rij vul je de leeftijd van de participant in jaren in. Dit doe je in de kolom met de naam [LEEFTIJD]. o Bijvoorbeeld: antwoorde de student met 18 jaar, dan vul je 18 in, in de kolom met naam [LEEFTIJD]. 4
Voor de volgende vragen ligt het anders. Zoals in de inleiding beschreven, geven we elk antwoord een bepaalde code zodat we deze achteraf eenvoudig kunnen analyseren. Dit betekent bijvoorbeeld dat we in onze data een 0 invullen wanneer de participant een man is. Of een 1 wanneer de participant een vrouw is. Ook voor opleiding doen we hetzelfde. [Geslacht] Geslacht: Man [0] / Vrouw [1] [OPL] Opleiding o Universiteit [0] o Hoge School [1] [SR] Studierichting o Pedagogische Wetenschappen [1] o Rechten [2] o Politieke en Sociale wetenschappen [3] o Economie en bedrijfswetenschappen [4] o Handelswetenschappen [5] [VO] Vooropleiding: Ja [0] / Nee [1] [TT] Met welk type toets zou jij akkoord gaan in jouw opleiding? o Een selectieproef [1] o Een oriëntatieproef [2] o Geen enkele proef [0] [SO] Vind je dat je op basis van je diploma secundair onderwijs volledig bent voorbereid op het studeren in het hoger onderwijs? Ja [0] / Nee [1] [IP] Hoeveel keer zou jij toelaten dat een ingangsproef kan afgelegd worden? o 1 keer [1] o 2 keer (dus met een herkansing) [2] o Onbeperkt [0] [SP] Zou je akkoord gaan met een selectieproef die enkel de sterkste studenten toelaat? Ja [0] / Nee [1] [ARG] Indien er dan toch een ingangsproef wordt ingevoerd, wat zou volgens jou de beste inhoud zijn die met zo een test getoetst worden? Hierbij nemen jullie de twee opties van deze vraag over in het EXCELL bestand. o 1... [ARG_1] o 2. [ARG_2] 5
2. Vragen bij de toets Om de vragen bij de toets te coderen zal er een onderscheid gemaakt worden tussen de gesloten vragen en de openvragen. 2.1 Gesloten vragen Hierbij vul je per vraag het antwoord in dat de participant gaf. Bijvoorbeeld: wanneer de participant op de eerste vraag antwoordde met D, vul je in de kolom onder de naam [MC1] het cijfer 0 in. Dit omdat het antwoord dat overeenkomt met letter D, de code 0 krijgt. [MC1] Welke mogelijke gevolgen brengt de krimp met zich mee? Kies het juiste antwoord. A. Het ontstaan van een ongunstige onderwijscontext. [1] B. De scholen zullen beter worden wanneer de basisscholen krimpen. [0] C. Er meer hoogopgeleide ouders naar kleinere basisscholen komen. [0] D. Scholen die afgelopen jaar enorm krompen, worden door de onderwijs inspectie beoordeeld als sterk. [0] [MC2] Uit de literatuur omtrent de Krimp en de samenstelling van de leerlingenpopulatie weten we uit het onderzoek van Luyten en De Wolf (2011) het verband tussen de Krimp en de samenstelling van de leerlingenpopulatie onderzocht. Welk van de volgende mogelijkheden sluit aan bij hun onderzoek? Kies het juiste antwoord. A. Het onderzoek is voldoende om vast te stellen dat er een verband is tussen de krimp en de invloed van veranderende leerlingenpopulatie. [0] B. Volgens hen de samenstelling van de leerlingenpopulatie een invloed heeft op de krimp [0] C. Volgens hen de samenstelling van de leerlingenpopulatie geen invloed heeft op de krimp [0] D. Het onderzoek kan onvoldoende aantonen of er een invloed is van een veranderende leerlingpopulatie in combinatie met de ontwikkeling van leerprestaties. [1] [MC3] De resultaten van het PISA onderzoek (dat in deze studie wordt aangehaald om het verband tussen kleine scholen en leerprestaties na te gaan) stelt dat Kies het juiste antwoord. A. er geen verband is tussen kleine scholen en leerprestaties [0] B. er een zwak positief verband is tussen kleine scholen en leerprestaties [1] C. er geen onderzoek gedaan werd rond dit verband [0] D. er een sterk verband is tussen kleine scholen en leerprestaties [0] [MC4] Uit de resultaten van dit onderzoek weten we dat Kies het juiste antwoord. A. de gemiddelde vaardigheidsscores voor rekenen- wiskunde, begrijpend en technisch lezen licht schommelen rondom de landelijke norm in de midden- en bovenbouw. [1] B. bij een minder goede leerlingen cohort de aanvankelijke achterstand niet wordt weggewerkt. [0] C. de ongunstige sociaaleconomische achtergrond bij minder goede leerlingengroepen een belemmering vormen voor de ontwikkeling van leerprestaties. [0] D. de krimp een belemmering vormen voor de ontwikkeling van leerprestaties. [0] 6
Bij vraag 5 gaan jullie op dezelfde manier te werk. Per vraag geef je een code (zoals hieronder gegeven) aan het antwoord dat de participant gaf. [ID_IF1] De conclusie van dit onderzoek is dat de midden- en bovenbouwleerprestaties voor rekenen- wiskunde, begrijpend en technisch lezen van leerlingen in het krimpgebied significant verschillen van de landelijke norm. [ID_IF2] De negatieve effecten van een zwakke leraar op een kleine school zijn groter dan op een grote school. [ID_IF3] Er bestaat reeds verschillend onderzoek over de relatie tussen schoolgrootte en leerprestaties. Deze tonen aan dat er een sterk verband is tussen de grootte van de school en de leerprestaties van de leerlingen. [ID_IF4] Eén van de doelen van het onderzoek is om een duidelijke weergave te geven van hoe de prestaties voor rekenen- wiskunde, begrijpend lezen en technisch lezen in een krimpgebied zich verhouden tot de landelijke norm. Juist Fout Niet gegeven [0] [1] [0] [1] [0] [0] [0] [1] [0] [1] [0] [0] Ook het coderen van vraag 6 gebeurt op dezelfde manier. LET OP: het verschil bij deze vraag is dat je enkel de code 1 kan geven wanneer de participant het juiste cijfer antwoordde. o Bijvoorbeeld: enkel wanneer de participant op vraag [MA_INF1] antwoordde met 2 mag je in de dataset [1] invullen. In alle andere gevallen vul je een [0] in. [MA_INF1] In deze paragraaf worden onder andere besproken hoe de statistische analyse van het onderzoek uitgevoerd werd. [MA_INF2] In deze paragraaf wordt de veronderstelling (namelijk, een onderwijskwaliteit die door de krimp onder druk komt te staan) die men voor het onderzoek aannam besproken. [MA_INF3] In deze paragraaf worden de mogelijke gevolgen van een krimp zowel op leerling niveau als op schoolniveau, als de gevolgen voor het personeel weergegeven. [MA_INF4] In deze paragraaf wordt omschreven dat vaardigheidsgroeilijnen een vollediger beeld geven van de ontwikkeling van de vaardigheid dan leerwinstbepalingen. Een vaardigheidsgroeilijn heeft verschillende voordelen. 2 [1] 4 [1] 1 [1] 2 [1] 7
2.2 Openvragen Het coderen van openvragen is anders en vaak complexer dan het coderen van gesloten vragen. Bij dit soort vragen is het niet mogelijk om code [0] toe te kennen aan een foutief antwoord en code [1] aan een juist antwoord. Bij openvragen analyseren we de geschreven tekst en kennen we per onderdeel een code toe. Deze codes worden per vraag in een rubriek weergegeven. Overleg zeker bij het coderen van dit soort vragen met jouw groepsgenoot! Indien jullie blijven twijfelen over het toekennen van een bepaalde code, markeer deze dan en kijk hier later nog eens naar terug. Indien jullie er samen niet uitraken, raadpleeg dan een collega of contacteer Eline Vanderdonck (eline.vanderdonck@ugent.be). De naam, klas en het klasnummer van de leerling hoeven jullie niet meer in te voeren in het EXCELL- bestand, gezien jullie dit al deden bij het coderen en invoeren van de data op de gesloten vragen (zie hierboven). Controleer wel of je zeker de juiste informatie bij de juiste participant aan het invoeren bent! Alvorens over te gaan naar het coderen van deze vragen, verbeteren jullie eerst de antwoorden die de participant gaf op deze vragen. De verbetersleutel vinden jullie achteraan in dit codeer- en analyseer boek in bijlage 1. Variabelenaam Beschrijving [VE_ZI] Hierbij vervolledigen de participanten de zinnen. De participant moet hierbij de vraag interpreteren en zijn antwoord integreren. [VE_ZI_TOT] Hierbij tel je de punten van de vorige vragen op en deel je ze door 2. [VE_ZI_1] + [VE_ZI_2] + [VE_ZI_3] + [VE_ZI_4] = / 4 [SVT] Bij deze vraag vervolledigen de participanten een samenvatting van een paragraaf uit de tekst. Daarbij is het belangrijk dat zij de samenvatting vervolledigen op basis van de argumenten uit het artikel. [ANTW_FORM1] Het antwoord op deze vraag is een deelvraag van de laatste vraag. Hierbij geeft de participant een antwoord op: Bespreek kort de eerste probleemstelling, de resultaten en de discussie met betrekking tot deze vraag. [ANTW_FORM2] Het antwoord op deze vraag is een deelvraag van de laatste vraag. Hierbij betrekt de participant zijn eigen standpunt. [ANTW_FORM3] Ook deze vraag is een deelvraag van de laatste vraag. Hierbij formuleert de participant een aanbeveling over de leerresultaten van de leerlingen in een krimpgebied. [ANTW_FORM_TOT] Bij deze vraag zal de participant zelf een antwoord creëren door te antwoorden op een breed geformuleerde vraag. Hierbij zal hij/zij ook zijn eigenstandpunt betrekken. Hierbij tel je de scores van [ANTW_FORM1], [ANTW_FORM2] en [ANTW_FORM3] op en deel je ze door 3. [ANTW_FORM1] + [ANTW_FORM2] + [ANTW_FORM3] = /3 8
o Voorbeeld: verbetersleutel vraag [VE_ZI]: horizontale sturing en verantwoording [1] Wanneer de participant dit antwoord geeft krijgt hij hiervoor 1 punt. Dit vul je in in het EXCELL be 2.2.1 Verbetersleutel vraag [VE_ZI] Het volledig correcte antwoord bij de eerste vraag is [VE_ZI_1] o staat de onderwijskwaliteit onder druk en kunnen de leerprestaties van leerlingen negatief kunnen beïnvloeden worden. [1] Het volledig correcte antwoord bij de tweede vraag is [VE_ZI_2] o zij kunnen een hoge werkdruk ervaren doordat ze het klasmanagement in goede banen moeten leiden (door te werken met combinatiegroepen en remedial teachingsuren goed in te zetten). Uiteindelijk leidt het ook tot een vergrijzing van het personeel. Het heeft ook gevolgen tot diegene die wel kunnen blijven werken wan zij moeten de kwaliteit waarmaken. [1] Het volledig correcte antwoord bij de derde vraag is [VE_ZI_3] o wel weten om te gaan met de opeenstapeling aan risicofactoren die krimp met zich meebrengt. [1] Het volledig correcte antwoord bij de vierde vraag is [VE_ZI_4] o de professionele isolatie en de beperkte expertise. [1] LET OP: Het is niet omdat een participant het antwoord in zijn eigen woorden formuleert dat het antwoord fout is. Belangrijk is dat jullie de tekst ook zelf kort doornemen zodat jullie zelf kunnen nagaan wanneer het antwoord juist of fout is. 2.2.2 Verbetersleutel vraag [SV] Voor deze vraag is een gedetailleerde verbetersleutel nodig. De participant beatwoord deze vraag door de samenvatting van subparagraaf 3.1 (Ontwikkeling van vaardigheidsscores en leerwinst) te vervolledigen. Belangrijk hierbij is dat de participant argumenten uit de tekst hierbij betrekt. Als we het antwoord op deze vraag analyseren zien we dat het antwoord uit twee grote delen: (1) het tweede panel van de tabel 3 en (2) het derde panel van de tabel 3. Hieronder wordt schematisch het antwoord op deze vraag weergegeven. LET OP: het is niet omdat een participant het antwoord in zijn eigen woorden formuleert dat het antwoord fout is. Belangrijk is dat jullie de tekst ook zelf kort doornemen zodat jullie zelf kunnen nagaan wanneer het antwoord juist of fout is. 9
(1) Het tweede panel van tabel 3 toont de vaardigheidsscore- ontwikkeling voor begrijpend lezen zien. Deze is overal significant hoger dan de landelijke norm. De middenbouwleerlingen van Oost- Groningen doen het dus bovengemiddeld goed. Maar twee en een half jaar later is de vaardigheidsscore gedaald en zijn ze hun aanvankelijke voorsprong tegenover de landelijke norm kwijt geraakt. [1] (2) Het derde panel van tabel 3 toont de vaardigheidsscore- ontwikkeling voor technisch lezen weer. Hierbij zijn de scores gemiddeld genomen goed. In groep 3 ligt deze significant hoger dan de landelijke norm. Maar twee en een half jaar later is de vaardigheidsscore opnieuw hoger dan de landelijke norm. Als we kijken naar de gemiddelde leerwinst dan zien we dat er een significante stijging is van de leerwinst. Dat houdt in dat de middenbouw leerlingen hun aanvankelijke achterstand op technisch lezen inhalen. [1] 2.2.3 Verbetersleutel vraag [ANTW_FORM] Ook voor de laatste vraag [ANTW_FORM] is een gedetailleerde verbetersleutel nodig. Deze vraag bestaat voornamelijk uit drie grote delen: (1) Bespreek kort de eerste probleemstelling, de resultaten en de discussie met betrekking tot deze vraag. Deze vraag bestaat uit twee grote onderdelen. Namelijk een antwoord op de vraag waarover deze probleemstelling gaat en het formuleren van een antwoord over de resultaten op deze onderzoeksvraag. [ANTW_FORM1] (2) Het formuleren van een eigen standpunt daarbij. [ANTW_FORM2] (3) Formuleer een korte aanbeveling als expert over de leerprestaties van leerlingen in het krimpgebied. [ANTW_FORM3] Het antwoord op het eerste deel van de vraag moet de volgende delen bevatten op een maximum score te behalen op deze vraag. De eerste onderzoeksvraag gaat over of de leerprestaties voor rekenen-wiskunde, begrijpend lezen en technisch lezen in de midden- en bovenbouw van leerlingen in een krimpgebied achter blijven bij de landelijke normgroep. [1] De conclusie hierbij is dat het niveau van de leerprestaties op de basisscholen van de leerprestaties op basisscholen van een schoolbestuur in het krimpgebied Oost- Groningen in het algemeen als goed te kwalificeren is. Voor de vaardigheid rekenenwiskunde is het gemiddelde niveau in groep 3 iets lager dan de landelijke normgroep en in groep 5 en groep 8 iets hoger. Voor begrijpend lezen is het gemiddelde niveau 10
iets hoger voor groep 3 en gelijk aan de normgroep voor groep 5 en groep 8. Voor technisch lezen is het niveau in groep 3, 5 en 8 hoger dan de landelijke normgroep. [1] Het tweede deel van deze vraag gaat over het formuleren van een persoonlijke mening gebaseerd op het artikel. De participant kan hierbij antwoorden met argument(en) voor of tegen. [1] In het derde deel zal de participant een korte aanbeveling formuleren over de leerprestaties van leerlingen in een krimpgebied. De belangrijkste conclusie van dit onderzoek is dat de leerlingen in het krimpgebied het gezien de omstandigheden goed doen. De sociaaleconomische achtergrond van leerlingen en de ernst van de krimp vormen geen belemmering voor de ontwikkeling van de leerprestaties voor rekenen- wiskunde, technisch en begrijpend lezen in de midden en bovenbouw. We zien dat dezelfde conclusie ook gevonden wordt in andere studies rond de leerprestaties van leerlingen in een krimpgebied. [1] Een aanbeveling die ik als expert doe is [1] 11
Analyseren Wanneer jullie alle data aan het EXCELL bestand hebben toegevoegd, kunnen jullie verder gaan met het analyseren van de data. Hiervoor is het belangrijk dat jullie het juiste databestand op Minerva downloaden. Elke toetsversie heeft ook hiervoor zijn eigen unieke bestand. o Bijvoorbeeld: wanneer jouw toets versie 01 bevat, dan download je het bijbehorende databestand van versie 01. Wanneer je de individuele analyse hebt afgerond, voegen jullie de resultaten van de toetsen per groep samen in 1 EXCELL databestand. Bij het bekijken je data is het belangrijk dat jullie vooral de studenten met elkaar vergelijken. o Bijvoorbeeld: het vergelijken van jongens/meisjes, vergelijken van de verschillende studierichtingen, vergelijken van geslacht, enz. 12
13