CODEER- EN ANALYSEERBOEK VERSIE 2 Opdracht 3: begrijpend lezen Onderwijskunde Praktijk Onderzoek en Beleid 2017-2018 1
Inhoudsopgave CODEER- EN ANALYSEERBOEK... 1 INHOUDSOPGAVE... 2 ALGEMEEN... 3 CODEREN... 4 1. CODEREN VAN DE KORTE VRAGENLIJST (KVL)... 4 2. CODEREN VAN DE VRAGEN BIJ DE TOETS... 6 2.1 Gesloten vragen... 6 2.2 Openvragen... 8 ANALYSEREN... 12 2
Algemeen In dit codeer- en analyseerboek vinden jullie in het kader van opdracht 3 Begrijpend lezen voor het vak Onderwijskunde Praktijk Onderzoek en Beleid meer informatie over: 1. Het coderen en invoeren van de data in een EXCELL- file 2. Het analyseren van de ingevoerde data via EXCELL Aangezien de vragen op de toets van elkaar verschillen, krijgen we verschillende soorten en mogelijke antwoorden. Zo zal het antwoord op vraag 1 enkel een letter zijn (A, B, C of D). Het antwoord op de laatste vraag zal een uitgeschreven tekst zijn. Deze verschillende vormen van vragen en antwoorden maken het moeilijk om de data te kunnen analyseren. Daarom zetten we de antwoorden om in een code. Dit noemt men het coderen van de data. Wanneer er wordt gewerkt met deze gecodeerde informatie (antwoorden op open- en gesloten vragen) hebben we te maken met kwantitatieve data. Deze data kunnen we verwerken met behulp van verschillende statistische programma s. Hier wordt er gekozen te werk te gaan met EXCELL. In deze bundel wordt uitgelegd hoe we deze ruwe data in een EXCELL- dataset kunnen invoeren en vervolgens kunnen analyseren. Voor de verwerking van de toetsen van de studenten hebben jullie volgende documenten nodig (zie Minerva): De dataset waarin de gegevens van de studenten komen. Download deze dataset van op Minerva en sla deze als volgt op: DatasetBL_XX. Vervang de XX door jullie groepsnummer (zie Minerva). Deze dataset is reeds aangevuld met de nodige codes. o Voorbeeld: groepsnummer 3 = DatasetBL_03, o Voorbeeld: groepsnummer 12 = DatasetBL_12 Dit codeer- en analyseerboek waarin jullie de variabelenamen van elk item vinden. Dit wordt aangegeven bij elke variabele welke score jullie hierbij in EXCELL dienen in te voeren. In wat volgt, wordt stapsgewijs besproken hoe de verschillende toetsonderdelen worden gecodeerd en ingevoerd in de EXCELL dataset: de korte vragenlijst die vooraf gaat aan de toets begrijpend lezen, de gesloten vragen (zoals de meerkeuze vragen, de vragen over de verschillende paragrafen en ja/nee vragen) en de openvragen. Verder worden een aantal procedures beschreven om deze data te analyseren. Veel succes! 3
Coderen Open de EXCELL- dataset. Jullie zien momenteel nog een lege dataset. Bovenaan zien jullie de verschillende variabelen waarbij jullie de juiste codes zullen invoeren. Elke rij representeert 1 student. In de data set komt de informatie van student 1 dus op rij 1, van student 2 op rij 2, enz. De informatie die jullie verzamelde van de verschillende studenten komt onder elkaar te staan. De rijen geven dus de respondenten (de studenten die de toets aflegde) weer. Het totaal aantal rijen komt overeen met het aantal studenten waarbij jullie de toets afnamen. Dit zal bij jullie allemaal 50 studenten zijn. Let op: wijzig de benaming of de volgorde van de codes NIET. Bij het analyseren van de data (zie verder) zullen jullie deze nodig hebben. Het coderen van de toets begrijpend lezen bestaat uit twee delen. Neem dit codeerboek grondig door: (1) Coderen van de korte vragenlijst en (2) Coderen van de vragen bij de tekst. De informatie van 1 zelfde student komt op 1 rij. De informatie van verschillende studenten komt onder elkaar in 1 kolom. 1. Coderen van de korte vragenlijst (KVL) Een eerste element dat jullie invullen is de versienummer gevolgd door jullie groepsnummer [VNGN]. Deze zal bij alle studenten hetzelfde zijn. o Bijvoorbeeld groep 7 nam de toets af met versie nummer 03. Dan zal de eerste kolom met naam [VNGN] voor alle 25 studenten 0307 zijn. Een tweede element dat jullie invullen is de nummer die elke participant krijgt. Zoals in de instructies vermeld nummerde jullie in groep alle participanten. Dit betekent dat jullie 50 participanten en dus ook 50 ingevulde toetsen hebben. In de EXCELL- dataset vullen jullie deze nummer in in de kolom met de naam [ST_NUMMER]. Wanneer we dan overgaan naar de korte vragenlijst is de eerste vraag de leeftijd. In deze rij vul je de leeftijd van de participant in jaren in. Dit doe je in de kolom met de naam [LEEFTIJD]. o Bijvoorbeeld: antwoorde de student met 18 jaar, dan vul je 18 in, in de kolom met naam [LEEFTIJD]. 4
Voor de volgende vragen ligt het anders. Zoals in de inleiding beschreven, geven we elk antwoord een bepaalde code zodat we deze achteraf eenvoudig kunnen analyseren. Dit betekent bijvoorbeeld dat we in onze data een 0 invullen wanneer de participant een man is. Of een 1 wanneer de participant een vrouw is. Ook voor opleiding doen we hetzelfde. [Geslacht] Geslacht: Man [0] / Vrouw [1] [SR] Studierichting o Pedagogische Wetenschappen [1] o Rechten [2] o Politieke en Sociale wetenschappen [3] o Economie en bedrijfswetenschappen [4] o Handelswetenschappen [5] [VO] Vooropleiding: Ja [0] / Nee [1] [TT] Met welk type toets zou jij akkoord gaan in jouw opleiding? o Een selectieproef [1] o Een oriëntatieproef [2] o Geen enkele proef [0] [SO] Vind je dat je op basis van je diploma secundair onderwijs volledig bent voorbereid op het studeren in het hoger onderwijs? Ja [0] / Nee [1] [IP] Hoeveel keer zou jij toelaten dat een ingangsproef kan afgelegd worden? o 1 keer [1] o 2 keer (dus met een herkansing) [2] o Onbeperkt [0] [SP] Zou je akkoord gaan met een selectieproef die enkel de sterkste studenten toelaat? Ja [0] / Nee [1] [ARG] Indien er dan toch een ingangsproef wordt ingevoerd, wat zou volgens jou de beste inhoud zijn die met zo een test getoetst worden? Hierbij nemen jullie de twee opties van deze vraag over in het EXCELL bestand. o 1... [ARG_1] o 2. [ARG_2] 5
2. Coderen van de vragen bij de toets Om de vragen bij de toets te coderen zal er een onderscheid gemaakt worden tussen de gesloten vragen en de openvragen. 2.1 Gesloten vragen Hierbij vul je per vraag het antwoord in dat de participant gaf. Bijvoorbeeld: wanneer de participant op de eerste vraag antwoordde met D, vul je in de kolom onder de naam [MC1] het cijfer 0 in. Dit omdat het antwoord dat overeenkomt met letter D, de code 0 krijgt. [MC1] Het volgende ontstaat wanneer professionals hun werk mede zelf vorm geven doordat drie dimensies op elkaar inspelen. Kies het juiste antwoord. A. Professionele ruimte [0] B. Handelingsvermogen [1] C. Structuur en cultuur [0] D. Peer review [0] [MC2] Om handelingsvermogen te versterken adviseert de raad meer en betere samenwerking in teams. Een mogelijke functie van het team is Kies het juiste antwoord. A. Een complexe en dynamische beroepspraktijk te bieden. [0] B. Het ondersteunen van de competenties van de leerkrachten[0] C. Sociale steun [1] D. Verticale sturing [0] [MC3] De raad adviseert het gebruik van professional governance om... vorm te geven. Kies het juiste antwoord. A. Peer review [0] B. Intervisie [0] C. Actieve houding van de leraren [0] D. Structuren en culturen [1] [MC4] Verbeteringen zijn mogelijk en nodig wanneer het gaat over werken in teams. Hiertoe adviseert de onderwijsraad een aantal adviezen. Kies het juiste antwoord. A. Het onder andere besteden van aandacht aan samenwerken en peer- review [1] B. Zowel inspelen op structuur, cultuur en competenties [0] C. Het gebruik maken van professional governance [0] D. Een gedeeld of gespreid leiderschap [0] 6
Bij vraag 5 gaan jullie op dezelfde manier te werk. Per vraag geef je een code (zoals hieronder gegeven) aan het antwoord dat de participant gaf. [ID_IF1] Het werken binnen sociale verbanden zoals teams en leergemeenschappen draagt niet bij aan de competenties van het onderwijs. [ID_IF2] De Raad vindt dat de leraar meer invloed moet krijgen op het onderwijsproces en de inhoud van het vak. [ID_IF3] Het samenwerken in teams kan enkel wanneer leraren dezelfde visie hebben. [ID_IF4] De overheid komt niet tussen in het ontwikkelen van ondersteunende structuren zoals teamleiderschap. Juist Fout Niet gegeven [0] [1] [0] [1] [0] [0] [0] [0] [1] [1] [0] [0] Ook het coderen van vraag 6 gebeurt op dezelfde manier. LET OP: het verschil bij deze vraag is dat je enkel de code 1 kan geven wanneer de participant het juiste cijfer antwoordde. o Bijvoorbeeld: enkel wanneer de participant op vraag [MA_INF1] antwoordde met 2 mag je in de dataset [1] invullen. In alle andere gevallen vul je een [0] in. [MA_INF1] In deze paragraaf adviseert de schrijver van het artikel dat het maken van prikkels en instrumenten voor teamontwikkeling, bijdraagt aan de competenties en uiteindelijk aan de kwaliteit van het onderwijs. [MA_INF2] Ruimte voor handelingsvermogen wordt volgens de Raad gecreëerd in interactie en samenwerking met collega s en leidinggevenden. [MA_INF3] Deze paragraaf beschrijft drie dimensies die op elkaar afgestemd zijn waardoor professionals hun werk zelf mee vorm kunnen geven. [MA_INF4] In deze paragraaf beschrijft men een sturingsmechanisme om structuur en cultuur zo vorm te geven. 2 [1] 3 [1] 1 [1] 3 [1] Het coderen van vraag 7 gebeurt op een gelijkaardige manier aan het coderen van vraag 6. Ook hier geef je enkel de code [1] wanneer de participant met de juiste letter antwoordde. LET OP: Wanneer de participant niet met de juiste letter antwoordde geef je op die vraag de code [0]. 1 [MA_KENM1] C [1] 2 [MA_KENM2] A [1] 3 [MA_KENM3] B [1] 4 [MA_KENM4] D [1] 7
2.2 Openvragen Het coderen van openvragen is anders en vaak complexer dan het coderen van gesloten vragen. Bij dit soort vragen is het niet mogelijk om code [0] toe te kennen aan een foutief antwoord en code [1] aan een juist antwoord. Bij openvragen analyseren we de geschreven tekst en kennen we per onderdeel een code toe. Deze codes worden per vraag in een rubriek weergegeven. Overleg zeker bij het coderen van dit soort vragen met jouw groepsgenoot! Indien jullie blijven twijfelen over het toekennen van een bepaalde code, markeer deze dan en kijk hier later nog eens naar terug. Indien jullie er samen niet uitraken, raadpleeg dan een collega of contacteer Eline Vanderdonck (eline.vanderdonck@ugent.be). De naam, klas en het klasnummer van de leerling hoeven jullie niet meer in te voeren in het EXCELL- bestand, gezien jullie dit al deden bij het coderen en invoeren van de data op de gesloten vragen (zie hierboven). Controleer wel of je zeker de juiste informatie bij de juiste participant aan het invoeren bent! Op de volgende pagina vinden jullie de verbeter sleutels van de openvragen. Het antwoord op deze open vragen bestaat vaak uit één of meerdere delen. Per juist element uit een antwoord krijgt de participant een score. Let daarbij goed op want belangrijke zaken wegen zwaarder door en krijgen soms een grotere score dan andere zaken. Variabelenaam Beschrijving [VE_ZI] Hierbij vervolledigen de participanten de zinnen. De participant moet hierbij de vraag interpreteren en zijn antwoord integreren. [VE_ZI_TOT] Hierbij tel je de punten van de vorige vragen op en deel je ze door 2. [VE_ZI_1] + [VE_ZI_2] = / 2 [SVT] Bij deze vraag vervolledigen de participanten een samenvatting van een paragraaf uit de tekst. Daarbij is het belangrijk dat zij de samenvatting vervolledigen op basis van de argumenten uit het artikel. [KV] Hierbij geeft de participant een beknopt antwoord op de vraag. De participant zal hierbij moeten evalueren en reflecteren over de korte vraag. Vraag 10 [KV_10], vraag 11 [KV_11] en vraag 12 [KV_12] zijn korte vragen waarop een kort en beknopt antwoord gegeven wordt. Hierbij gebruiken we hetzelfde principe als bij vraag 8 [VE_ZI]. [KV_TOT] Hierbij tel je de punten van de vorige vragen op en deel je ze door 3. [KV_10] + [KV_11] + [KV_12] = / 3 [ANTW_FORM1] Het antwoord op deze vraag is een deelvraag van de laatste vraag. Hierbij geeft de participant een antwoord op de volgende vraag: Wat bedoelt de Onderwijsraad van het artikel met een ander perspectief op professionele ruimte? [ANTW_FORM2] Het antwoord op deze vraag is een deelvraag van de laatste vraag, waarbij de participant een eigen standpunt in neemt tegenover de professionele ruimte zoals in het artikel beschreven. [ANTW_FORM_TOT] Bij deze vraag zal de participant zelf een antwoord creëren door te antwoorden op een breed geformuleerde vraag. Hierbij zal hij/zij ook zijn eigenstandpunt betrekken. Hierbij tel je de scores van [ANTW_FORM1] en [ANTW_FORM2] op en deel je ze door 2. [ANTW_FORM1] + [ANTW_FORM2] = /2 8
o Voorbeeld: verbetersleutel vraag [VE_ZI]: horizontale sturing en verantwoording [1] Wanneer de participant dit antwoord geeft krijgt hij hiervoor 1 punt. Dit vul je in in het EXCELL bestand. 2.2.1 Verbetersleutel vraag [VE_ZI] Het volledig correcte antwoord bij de eerste vraag is [VE_ZI_1] o overheid en de hiërarchische relaties. [1] Het volledig correcte antwoord bij de tweede vraag is [VE_ZI_2] o samenwerking in teams. [1] LET OP: het is niet omdat een participant het antwoord in zijn eigen woorden formuleert dat het antwoord fout is. Belangrijk is dat jullie de tekst ook zelf kort doornemen zodat jullie zelf kunnen nagaan wanneer het antwoord juist of fout is. 2.2.2 Verbetersleutel vraag [SV] Voor deze vraag is een gedetailleerde verbetersleutel nodig. De participant beatwoord deze vraag door de samenvatting van paragraaf twee (handelingsvermogen als ander perspectief) te vervolledigen. Belangrijk hierbij is dat de participant argumenten uit de tekst hierbij betrekt. Als we het antwoord op deze vraag analyseren zien we dat het antwoord uit drie delen bestaat (1) Wat verstaan we onder cultuur, structuur en competenties? (2) Wat adviseert de raad bij het inzetten op een ander perspectief (3) Wie heeft hierbij welke rol? Hieronder wordt schematisch het antwoord op deze vraag weergegeven. LET OP: het is niet omdat een participant het antwoord in zijn eigen woorden formuleert dat het antwoord fout is. Belangrijk is dat jullie de tekst ook zelf kort doornemen zodat jullie zelf kunnen nagaan wanneer het antwoord juist of fout is. (1) Wat adviseert de raad? De raad adviseert (1) ten eerste om peer review en samenwerking beter in de dagelijkste praktijken in scholen in te bedden. Onder peer review verstaan we dat leraren bijvoorbeeld in vaste duo s reflecteren op elkaars handelen in de les en elkaar consulteren. Ook het observeren van lessen kan hieronder verstaan worden. Peer- review kan ook aan de hand van een intervisie plaatsvinden, waarbij leraren in groepsverband thema s bespreken die van belang zijn voor hun eigen lespraktijk. Maar niet alle vormen van peer- review en samenwerking zijn effectief. Bij effectieve vormen wordt het delen van kennis gefaciliteerd door sterke relaties tussen leraren en diepgang in hun onderlinge interacties. (2) Ten tweede 9
adviseert de raad om meer gebruik te maken van prikkels en instrumenten voor teamontwikkeling. Dit zal per school bepaalt moeten worden. (3) Ten derde stelt de raad dat elke leerkracht een actieve houding moet aannemen en zelf ook moet zoeken naar mogelijkheden om handelingsvermogen te realiseren. [1] (2) Wanneer ontstaat er een sterke relatie? Wanneer er vertrouwen is tussen de leraren en wanneer ze regelmatig contact hebben. Ook veiligheid en diepgang zijn hiervoor een absolute meerwaarde. [1] (3)Wat is er nodig om een goede samenwerking en peerreview te stimuleren? Om peerreview en samenwerking vorm te geven zijn ondersteunende structuren en culturen nodig die ingebed zijn in de dagelijkse praktijk. [1] 2.2.3 Verbetersleutel [KV] Het volledige correcte antwoord op vraag [KV10] is o Omdat professionele ruimte een te enkelvoudige implementatie inhoudt. Het zijn drie dimensies die op elkaar zijn afgestemd. [1] Het volledige correcte antwoord op vraag [KV11] is o Grote werkdruk, weinig zeggenschap, leerlingen hebben een eigen voorgeschiedenis, meerdere doelen moeten tegelijkertijd gerealiseerd worden. [1] Het volledige correcte antwoord op vraag [KV12] is o Handelingsvermogen als ander perspectief, teams, professional gouvernance. [1] LET OP: het is niet omdat een participant het antwoord in zijn eigen woorden formuleert dat het antwoord fout is. Belangrijk is dat jullie de tekst ook zelf kort doornemen zodat jullie zelf kunnen nagaan wanneer het antwoord juist of fout is. 2.2.4 Verbetersleutel vraag [ANTW_FORM] Ook voor de laatste vraag [ANTW_FORM] is een gedetailleerde verbetersleutel nodig. Deze vraag bestaat voornamelijk uit twee grote delen: 1. Wat bedoelt de Onderwijsraad van het artikel met een ander perspectief op professionele ruimte? [ANTW_FORM1] 2. Formuleren van een eigen mening [ANTW_FORM2] Het antwoord op het eerste deel van de vraag moet de volgende delen bevatten op een maximum score te behalen op deze vraag. 10
Wat is professionele ruimte? De onderwijsraad is van mening dat professionele kwaliteit en expertise vrije ruimte schept maar ook vereist (bv. ruimte die vrij is van de invloed van de overheid). Maar in praktijk zien we dat deze inrichting van de professionele ruimte volgens de raad niet vrijblijvend of onverplicht is. Het moet altijd ingericht worden ten diensten van de onderwijskwaliteit. [1] Een ander perspectief op de professionele ruimte is van belang Dit ander perspectief vertaalt de onderwijsraad in handelingsvermogen. Het ontstaat wanneer mensen hun werk zelf mede vorm kunnen geven doordat drie dimensies op elkaar zijn afgestemd: (1) Competenties. Het werken in team draagt positief bij aan competenties en uiteindelijk de kwaliteit van onderwijs (bv. samenwerking + peer review). (2) Structuur en (3) Cultuur. Bij het vormgeven van 2 + 3 kan professional governance ondersteuning bieden. Dit is dan ook wat de onderwijsraad bedoelt met een ander perspectief op de professionele ruimte. Daarbij wordt enkelvoudige beleidsvorming en implementatie ingeruild voor integrale beleidsvorming en implementatie. Het is dus een meer integrale benadering. [2] Het tweede deel van deze vraag gaat over het formuleren van een persoonlijke mening gebaseerd op het artikel. De participant kan hierbij antwoorden met argument(en) voor of tegen. [1] 11
Analyseren Wanneer jullie alle data aan het EXCELL bestand hebben toegevoegd, kunnen jullie verder gaan met het analyseren van de data. Hiervoor is het belangrijk dat jullie het juiste databestand op Minerva downloaden. Elke toetsversie heeft ook hiervoor zijn eigen unieke bestand. o Bijvoorbeeld: wanneer jouw toets versie 01 bevat, dan download je het bijbehorende databestand van versie 01. Wanneer je de individuele analyse hebt afgerond, voegen jullie de resultaten van de toetsen per groep samen in 1 EXCELL databestand. Bij het bekijken je data is het belangrijk dat jullie vooral de studenten met elkaar vergelijken. o Bijvoorbeeld: het vergelijken van jongens/meisjes, vergelijken van de verschillende studierichtingen, vergelijken van geslacht, enz. 12