Onderzoeksprotocol voor effectmetingen en kwalitatief onderzoek in het ONBETWIST project Het doel van dit onderzoek is om een zo goed mogelijk beeld te verkrijgen van de rol die formatieve toetsing, gebruik makend van landelijke toetsbanken met gestandaardiseerde toetsvragen, kan spelen in het leren van de wiskunde, en het zichtbaar maken van kennisachterstanden bij het begin van de studie, of in het verloop van de studie. Om dat beeld te verwerven zal zo veel als mogelijk gemeten worden in de onderwijsprojecten die in het kader van het ONBETWIST project uitgevoerd worden. Merendeel zijn dat metingen door leermanagementsystemen gegenereerd kunnen worden: de scores op intree- en exittoetsen en tussendoor afgenomen formatieve toetsen in de diverse implementatietrajecten zijn de spil waaromheen alles draait. Maar om een accuraat beeld te krijgen van het leerproces en de rol van toetsing erin, is het cruciaal ook te weten wat aan dat leerproces voorafging. Aangezien de studenten die deelnemen aan de onderwijsprojecten in alle gevallen eerstejaars studenten zijn, verwijst de voorgeschiedenis bijna altijd naar wat er op het voortgezet onderwijs aan het leren wiskunde heeft plaatsgevonden. Een belangrijk deel van informatievergaring betreft dus heel expliciet het leren voorafgaand aan de onderwijsprojecten zelf. We sluiten daarbij nauw aan bij het onderzoeksprotocol dat is gebruikt in de NKBW 1, 2 projecten. Voor het longitudinale onderdeel van onze evaluaties, en de samenstelling van de monitors, is dit een belangrijk doel op zich: het aangeven van trends welke al zijn ingezet tijdens de eerdere NKBW projecten, is enkel mogelijk indien we aansluiten bij het onderzoeksprotocol gehanteerd in die projecten. Gewenste informatie per student over leerresultaten Betreffende leerprestaties wiskunde zouden we van alle betrokken studenten graag de volgende gegevens hebben. Deze gegevens willen we "per student" zodat diverse gegevens gecorreleerd kunnen worden. De student hoeft niet identificeerbaar te zijn aangezien er alleen aggregaten gepubliceerd zullen worden. De aangeleverde brongegevens voor de statistieken worden als vertrouwelijk behandeld. 0) student-id, wordt als betekenisloos behandeld. Nodig om diverse gegevens van dezelfde student aan elkaar te relateren. 1) opleiding en instelling die de gegevens over deze student aanlevert 2) schooltype: HAVO / VWO / Anders 3) profielkeuze, in geval HAVO / VWO 4) welk(e) wiskundevak(ken) gedaan in het VO? (max. 2) 5) eindcijfers van deze wiskundevakken 1
6) studentprestaties, op itemniveau, in diagnostische toets aan het begin van onderwijsproject (instaptoets) 7) studentprestaties, op itemniveau, in formatieve toets(en) afgenomen gedurende het onderwijsproject 8) studentprestaties, op itemniveau, in eindtoets 9) intensiteit van het gebruik van de formatieve toetsen (veelal gemeten in connecttijd, of aantal clicks ) 10) eindcijfer eerste wiskundevak in reguliere curriculum 11) eindcijfer eerste wiskunde-gebruikende vak in reguliere curriculum (per deelnemende opleiding een vak kiezen) 12) gewogen gemiddelde (GPA) van alle eerstejaars vakken (onvoldoendes meerekenen, niet-deelname tellen als 0) 13) gestopt / studeert nog (zelfde peildatum als GPA) Met een "wiskunde-gebruikend" vak bedoelen we een disciplinegebonden vak, waar wiskunde wordt gebruikt. Bijvoorbeeld "evenwichtsleer" en "reactiekinetiek" zijn vakken uit de opleiding tot chemicus waar wiskunde wordt gebruikt. Gewenste informatie per opleiding Elke opleiding maakt aan ONBETWIST bekend: 14) Welk VWO-vak inhoudelijk het dichtst bij de huidige bachelorstudie ligt 15) Eerste reguliere wiskundevak 16) Eerste wiskunde-gebruikende vak uit de eigen discipline (voor een scheikunde opleiding: het eerste scheikunde vak waar je flink wat wiskunde bij nodig hebt) 17) Een zorgvuldige beschrijving van alle toetsen die in het onderwijstraject zijn benut. Dit betreft zowel instaptoets, formatieve toetsen, en eindtoets. Indien gebruik is gemaakt van toetsen of toetsitems uit de ONBETWIST database: een specificatie van de gebruikte materialen. Voor alle toetsen/toetsitems, ook die welke niet in de database zijn opgenomen: een specificatie van toets en antwoordsleutel. 18) Peildatum GPA en gestopt / niet gestopt Gewenste kwalitatieve informatie Er komt een enquête voor studenten, waarmee we een beeld proberen te krijgen van de tevredenheid en bruikbaarheid van het toetsmateriaal: 2
A) Een enquête over het onderwijstraject, waarin wordt specifiek gevraagd naar kwaliteit en tevredenheid over de toetsmaterialen. Een enquête voor de docent van het onderwijstraject: B) Gevraagd wordt naar kwaliteit en tevredenheid over de toetsmaterialen, en naar de verwachte tijdswinst indien alle benodigde materialen voor formatieve toetsen uit de ONBETWIST data base kunnen worden gehaald. Er wordt geprobeerd deze enquêtes te standaardiseren over het ONBETWIST project. De enquêtes onder wiskunde docenten worden vermoedelijk niet statistisch verwerkt. Wel spelen deze een rol in de rapportage. Elke opleiding mag vragen toevoegen aan de enquêtes. Hoe organiseren wij het? De organisatie rond het verzamelen, bewerken en publiceren van deze gegevens moet zo ontworpen worden dat het mogelijk wordt om dit na afloop van ONBETWIST elk jaar te herhalen. Elk implementatietraject integreert het verzamelen van deze gegevens in de eigen werkwijze. Er komen gestandaardiseerde Excel sheets om de gegevens 0 t/m 18 aan te leveren. Resultaten van enquêtes worden aangeleverd, gedetailleerd per student, als output van de eigen enquête-tool, of als een Excel sheet. o De relatie van opgeleverde data tot gestelde vragen moet navolgbaar zijn. Voor dit doel wordt het enquêteformulier bijgevoegd, indien dit is gewijzigd. Resultaten van toetsen worden aangeleverd, gedetailleerd per student, als output van de eigen toets-tool, of als een Excel sheet. o De toets zelf (gestelde vragen) wordt bijgeleverd. Indien vragen geparametriseerd zijn wordt een sample-toets bijgeleverd. Iemand uit het wekpakket evaluatie is belast met het ontvangen van de binnenkomende Excel-sheets en het hieruit produceren van gewenste statistieken. 3
Toelichting bij gevraagde gegevens De gegevens 0 t/m 18 worden gevraagd uit het voorgaande stuk. Deze worden hierna (p.8 e.v.) meer gedetailleerd beschreven. Verder wordt gevraagd de enquêtes A en B af te nemen, zie de bijlagen. De gegevens 0 t/m 9 worden bij voorkeur uit de eigen administratie gehaald, als deze al eerder werden verzameld. Als dat niet zo is worden deze middels deze gegevens deels of geheel aan studenten gevraagd middels enquête A. Enquête A bestaat uit twee delen. Het eerste deel vraagt naar de gegevens 0 t/m 9. U wordt verzocht dit deel aan te passen door vragen weg te laten die u uit de eigen administratie gaat beantwoorden. Het is belangrijk dat deze gegevens voor dezelfde student onderling gerelateerd kunnen worden. Het student id wordt daarom gevraagd om deze gegevens te kunnen linken. De gegevens 0 t/m 18 kunnen worden aangeleverd via bijgaand Excel-werkblad "LeerEffectMeting.xls". De nummering van de gevraagde gegevens in het werkblad komt overeen met de eerder (pagina s 1-6) en hieronder gebruikte nummers. Gegevens die u middels enquête A aan studenten vraagt kunt u hier oningevuld laten. De resultaten van enquête A kunnen als ruwe data van de eigen enquête-tool worden aangeleverd, in een formaat dat in Microsoft Excel te importeren is, bijvoorbeeld CSV. Als er geen enquête-tool wordt gebruikt, vragen we dat deze gegevens als Excel-bestand worden aangeleverd, met boven de kolommen de vraagnummers, als rijen de studenten, en per cel een antwoord. De resultaten van enquête B kunnen eventueel als Word-document worden aangeleverd, zolang het om kleine aantallen docenten gaat (naar verwachting1-3 docenten per enquête). Anders graag op dezelfde manier als bij A. Toelichting bij de gegevens 0 t/m 18 Voor de gegevens 0 t/m 9 geldt dat deze ofwel uit de eigen administratie, ofwel via enquête A kunnen worden verzameld. Beantwoorden uit eigen administratie heeft voorkeur. 0) Student-id We gaan ervan uit dat de koppeling van student-id s aan personen slechts door weinig personen binnen een instelling gelegd kunne worden, en door nul personen buiten de instelling. De hier gerapporteerde id s dienen om gegevens van dezelfde student onderling te 4
linken. 1) Naam van instelling en opleiding Per opleiding wordt gevraagd één Excel-werkblad aan te leveren. Op het "voorblad" van dit werkblad worden eenmalig de naam van de instelling en van de opleiding gevraagd. 2) Studieresultaten: schooltype Welk type school de student heeft doorlopen: HAVO / VWO / Anders:... 3) Studieresultaten: profiel De profielkeuze van de student tijdens het VO. 4) Studieresultaten: wiskundevak De naam van het wiskundevak dat tijdens het VO is gevolgd (Voor het geval twee wiskundevakken zijn gevolgd is er ook een kolom "wiskundevak II"). 5) Studieresultaten: wiskunde eindcijfer Het eindcijfer behaald aan het VO voor het voornoemde wiskundevak. (Er is een corresponderende kolom voor het "wiskundevak II") 6) Entreetoets. Voor de entreetoets is een apart tabblad. Geef duidelijk aan hoe de toets is samengesteld, en welke toetsitems een ONBETWIST herkomst hebben. Rapporteer per student en per item een score. Voor alle toetsvragen niet afkomstig uit de ONBETWIST data base: lever a.u.b. een kopie van de gestelde vragen erbij. (Als geparametriseerde vragen zijn gebruikt: lever 1 voorbeeld bij). Laat de student-id s corresponderen met de twee andere tabbladen "exittoets" en "studieresultaten". 7) Formatieve toetsen. Geef duidelijk aan hoe de toetsen zijn samengesteld, en welke toetsitems een ONBETWIST herkomst hebben. Rapporteer per toets, per student en per item een score. Voor alle toetsvragen niet afkomstig uit de ONBETWIST data base: lever a.u.b. een kopie van de gestelde vragen erbij. (Als geparametriseerde vragen zijn gebruikt: lever 1 voorbeeld bij). Laat de student-id s corresponderen met de andere tabbladen "exittoets" en "studieresultaten". 8) Exittoets_ondwerwijsproject. Ook hiervoor is een apart tabblad. Er gelden dezelfde opmerkingen als voor de entreetoets. De id s moeten overeenkomen om scores op beide toetsen met elkaar, en met andere gegevens in verband te kunnen brengen. 5
9) Intensiteit formatieve toetsen: Uren (connecttijd) of bij sommige onderwijsleerplatforms: aantal clicks. Het antwoord moet gerelateerd kunnen worden aan het id van de student. 10) Studieresultaten: Eerste reguliere wiskundevak cijfer. Eindcijfer voor het eerste reguliere wiskundevak uit het curriculum, waarvan de eindtoets na het aansluittraject valt. (Zie ook onder 15.) 11) Studieresultaten: Eerste wiskunde-gebruikend vak cijfer. Eindcijfer voor het eerste disciplinaire vak uit het curriculum waar significant veel wiskunde wordt gebruikt. Voor een bachelor chemie zou dit het eerste scheikundig georienteerde vak moeten zijn waar veel wiskunde wordt gebruikt. (Zie ook onder 16) 12) Studieresultaten: GPA alle eerstejaars vakken. Gewogen gemiddelde van alle eerstejaars vakken, vastgesteld op zekere peildatum (zie ook onder 18). Onvoldoendes tellen mee, verplichte maar niet gevolgde vakken tellen als nul. Wegingsfactor zijn de studielasten van de vakken. 13) Studieresultaten: Studeert nog (ja / nee) Of de student op de aangegeven peildatum nog studeert bij de bachelor die deze resultaten rapporteert (zie ook onder 18). De bedoeling is dropout vast te stellen en dit zo mogelijk te relateren aan wiskunde voorkennis. 14) Opleiding-details: Meest verwante VO-vak. Hier het VO-vak noemen waarvan onder (6) per student de eindcijfers zijn genoemd. Voor een chemie bachelor zou dit VO-vak "scheikunde" zijn. 15) Opleiding-details: Eerste reguliere wiskundevak Hier het wiskundevak uit het bachelor-curriculum vermelden waarvan onder (10) per student de resultaten zijn vermeld. 16) Opleiding-details: Eerste disciplinaire vak dat significant beroep doet op wiskunde vaardigheden. Hier het disciplinaire vak vermelden waarvan onder (11) per student de resultaten zijn vermeld. 17) Specificatie van herkomst van in onderwijsproject gebruikte toetsen. 18) Opleiding-details: Peildatums GPA en gestopt / niet gestopt. Noteer hier de peildatums gebruikt bij de gegevens (12) respectievelijk (13) hierboven. Toelichting bij de enquêtes A en B Alle vragenlijsten mogen uitgebreid worden met eigen vragen. De resultaten kunnen dan ook door het implementatieproject voor eigen doelen worden gebruikt. Bij het poolen van resultaten over de implementatieprojecten heen zullen dergelijke toegevoegde vragen worden genegeerd. 6
We verzoeken niet nodeloos vragen weg te laten of te wijzigen, omdat het trekken van ONBETWIST -brede conclusies dan wordt bemoeilijkt. Neem bij twijfel contact op met ondergetekende. Van de enquête onder studenten A willen we de resultaten graag in Excel-compatibel formaat (bijvoorbeeld CSV) aangeleverd krijgen. De relatie met de gestelde vragen moet traceerbaar zijn. Voor dit doel kunt u de door u gebruikte (evt. aangevulde) versie van de vragenlijst bijsluiten. De andere enquête, waar het aantal respondenten zeer gering is, kan bijvoorbeeld als ingevulde Word-bestanden worden teruggestuurd. A) Vragenlijst studenten onderwijsproject. Doel van deze korte vragenlijst is inzicht te verkrijgen in de appreciatie van de bruikbaarheid van de toetsbanken, en het oordeel over de rol die ze in het leerproces hebben gespeeld. Voorgesteld wordt deze vragenlijst af te nemen tegen het einde van het onderwijsproject, op een moment dat alle studenten nog goed bereikbaar / aanspreekbaar zijn. Het tweede deel van deze vragenlijst dient om gegevens 0 t/m 9 te achterhalen, voorzover die niet uit de eigen administratie opgeleverd kunnen worden. B) Vragenlijst docent van onderwijsproject. Te beantwoorden door de docent of coördinator van het onderwijsproject. 7
Bijlage: A. Vragenlijst studenten - na eerste jaar a. vooropleiding en scores op aansluittraject Dit a-deel van de vragenlijst moet worden aangepast voordat de enquête kan worden afgenomen: Gegevens die u uit andere bron kunt leveren (vb. scores op de aansluittoetsen) ontvangen we (veel) liever uit deze andere bron. In dat geval moeten de betreffende vragen uit dit deel van de enquete worden geschrapt. Vraag 6 moet worden aangepast: vervang X door het vak uit het voortgezet onderwijs dat het meest verwant is aan de huidige bacheloropleiding. Voorbeeld: aan studenten van een chemie bachelor vraagt u hier naar het middelbare schoolvak scheikunde. 0 Wat is je studentnummer / student id?* antwoorden 2 Mijn vooropleiding is: VWO HAVO Anders nl: 3 Wat was je profiel tijdens het voortgezet onderwijs? Cultuur en maatschappij Economie en maatschappij Natuur en Gezondheid Natuur en Techniek Niet van toepassing Welk(e) wiskundevak(ken) had je in je examenpakket, en welke cijfers heb je voor deze vakken behaald? 4a - Wiskundevak 1 A / B / C / D / Anders 4b - Wiskundevak 2 (indien van toepassing) A / B / C / D / Anders 5a - Eindcijfer voor wiskundevak 1 5b - Eindcijfer voor wiskundevak 2 (indien van toepassing) 6 Wat was je eindcijfer voor het middelbare schoolvak X? 7 Welke score haalde je op de wiskunde entreetoets voorafgaand aan het onderwijsproject? 8
8 Welke score haalde je op de wiskunde eindtoets na afloop van het onderwijsproject? 9 Hoeveel uur studietijd heb je totaal aan de formatieve toetsen besteed? * Bij het verwerken van deze enquete wordt je student id niet gekoppeld aan je naam. Wel wordt het id geruikt voor het zoeken van verbanden met resultaten van eerstejaars vakken. Resultaten van deze zoekacties worden anoniem gepresenteerd. b. tevredenheid & bruikbaarheid formatieve toetsen Dit deel van de vragenlijst kan worden gebruikt zoals het is. Graag als antwoord slechts één hokje aankruisen. 1 = zeer mee oneens, 2 = mee oneens, 3 = neutraal, 4 = mee eens, 5 = zeer mee eens 1 2 3 4 5 10 De wiskunde voorkennis die nodig is bij het begin van mijn bachelor-studie bezat ik na afloop van mijn middelbare school. 11 De instaptoets aan het begin van het onderwijsproject was behulpzaam in het verkrijgen van inzicht over mijn wiskunde beheersing. 12 De toetsmaterialen gebruikt in de formatieve toetsen waren van voldoende kwaliteit. 13 De digitale toetsen verschaffen zinvolle feedback in het leren van Wiskunde. 9
Bijlage: B. Vragenlijst docent / coördinator onderwijsproject naam cursus: docenten: studiejaar: 2011-2012 Graag als antwoord slechts één hokje aankruisen. 1 = zeer mee oneens, 2 = mee oneens, 3 = neutraal, 4 = mee eens, 5 = zeer mee eens 1 2 3 4 5 1 Voor mijn onderwijsproject waren relevante toetsmaterialen beschikbaar in de ONBETWIST database. 2 De ONBETWIST toetsmaterialen die ik heb gebruikt zijn van voldoende kwaliteit. 3 De ONBETWIST toetsmaterialen die nu beschikbaar zijn voldoende voor de onderdelen van mijn cursus. 4 Feedback uit formatieve toetsen vervult een zinvolle rol in het leren van wiskunde door de studenten. 5 Wat is de tijdsinvestering voor het zelf maken van toetsen geweest? (naast het gebruik van toetsen uit de ONBETWIST data base) 6 Indien de ONBETWIST data base kan voorzien in alle formatieve toetsmaterialen benodigd voor de cursus, hoeveel docenttijd kan er bespaard worden op het maken van formatieve toetsvragen? 10