WISTIL. 25 oktober 2012

Transcriptie

1 25 oktober 2012 WISTIL Uitwerken van een Wiskundige In- en uitstaptoets en een Individuele Leerlijn bij toekomstige leerkrachten lager onderwijs uniform voor alle lerarenopleidingen in Vlaanderen. KHLeuven: Nadine Bongaerts en Pascale Janssens KHBO Brugge: Luc Blomme KHKempen: Stefan Haesen KHLimburg: Tine Bos en Liesbeth Lefèvre Lessius Mechelen: Marijke Vandeven

2 Doelstellingen Ontwikkelen van een uniforme instap- en uitstaptoetsen voor basiskennis wiskunde Inspelen op de gewijzigde instroom van de studenten via de ontwikkeling van een individuele leerlijn

3 Digitale instaptoets basiskennis wiskunde Individuele analyse van de resultaten Persoonlijke bijsturing Ontwikkelen van een gestandaardiseerde instaptoets. Uitbouwen van flexibele leertrajecten voor studenten met verschillend beginniveau om de gewenste eindnorm te behalen Talentgerichte benadering Tussentijdse digitale oefenpakketten met foutenanalyse en onmiddellijke feedback Uitstaptoets basiskennis wiskunde Ontwikkelen van een gestandaardiseerde uitstaptoets.

4 Operationele doelen Afstemming binnen de hogescholen Ontwikkelen van een blauwdruk Ontwikkelen van een uniforme instaptoets Ontwikkelen van een gestandaardiseerde uitstaptoets Uitbouwen van flexibele leertrajecten Transfer naar andere instellingen 1 ste jaar 2 de jaar

5 I. Eenvormige afstemming binnen de verschillende hogescholen Organisatie Hoe? Wanneer? itembase en toets moeten flexibel inzetbaar zijn Itembase opsplitsen in deelrubrieken volgens het leerplan VVKBaO Bewerkingen Getallenkennis Meetkunde Meten en metend rekenen Absolute normering van 70%

6 Digitale implementatie: QMP voor toets Formatieve Instaptoets Formatieve instaptoets Summatieve Uitstaptoets Summatieve uitstaptoets Toledo voor individuele leerlijn Type vragen: numerische vragen Invulvragen multiple choice correct antwoord 3 afleiders het antwoord is niet gegeven Duur van de toets: totaal 2 uur Naar doelstellingen

7 Formatieve instaptoets Twee standaardversies Voordeel standaardversie versus item-based Kleiner aantal vragen is noodzakelijk Opvolging van niveau instroomstudenten over de jaren Minder veeleisend qua methodologische basis Aantal jaren bruikbaar Nadeel standaardversie versus item-based Geheimhouding van vragen Terug

8 Summatieve uitstaptoets Item-based-toets Toets ad random samengesteld door de computer volgens blauwdruk Voordeel item-based versus standaardtoets Minder kans op uitlekken van toetsen Nadeel item-based-toets versus standaardtoets Itembase aanpassen Meer vragen noodzakelijk Betrouwbaarheid is lager tov standaardtoets Terug

9 Operationele doelen Afstemming binnen de hogescholen Ontwikkelen van een blauwdruk Ontwikkelen van een uniforme instaptoets Ontwikkelen van een gestandaardiseerde uitstaptoets Uitbouwen van flexibele leertrajecten Transfer naar andere instellingen 1 ste jaar 2 de jaar

10 II. Ontwikkelen van een blauwdruk Doel instaptoets: studenten vergelijken hun eigen niveau met het beoogde niveau zelfde vraagstelling, moeilijkheidsgraad en normering voor instap- en uitstaptoets 1 blauwdruk Blauwdruk: Indeling volgens de rubrieken uit het leerplan (getallenkennis, bewerkingen, meten en metend rekenen, meetkunde) Rubrieken worden verder onderverdeeld in deelrubrieken Leerplandoelen Gewicht van verschillende deelrubrieken vastleggen Aantal vragen uit elke deelrubriek vastleggen Tijdsduur van de deelrubrieken in de toets vastleggen

11 Blauwdruk Getallenkennis

12 Blauwdruk overzicht aantal vragen per rubriek

13 Operationele doelen Afstemming binnen de hogescholen Ontwikkelen van een blauwdruk Ontwikkelen van een uniforme instaptoets Ontwikkelen van een gestandaardiseerde uitstaptoets Uitbouwen van flexibele leertrajecten Transfer naar andere instellingen 1 ste jaar 2 de jaar

14 III. Instaptoets Opgesteld volgens de blauwdruk Afgenomen in september/oktober 2011 in partnerinstellingen Statische berekeningen naar betrouwbaarheid validiteit (methodologie) Aanpassingen van de vragen Feedback van de resonantiegroep Aanpassingen op basis van de resonantiegroep Afgenomen in september/oktober 2012 in de partnerinstellingen

15 Methodologische basis Standaardisatie o Enkel gesloten vragen o Even veel punten per vraag o Standaardisatie van afnamecondities o Afnameduur vastgelegd in blauwdruk Moeilijkheidsgraad o Differentiëren tussen studenten: Drie niveaus van vragen Criteria niveaubepaling Moeilijkheidsgraad na toetsafname o Meerkeuzevragen: geloofwaardigheid afleiders nagaan o Aantal vragen per moeilijkheidsgraad wordt vastgelegd in blauwdruk

16 Moeilijkheidsgraad van de vragen Richtlijn: o Moeilijk: < 35% juiste antwoorden o Gemiddeld: tussen 35% en 70% juiste antwoorden o Eenvoudig: > 70% juiste antwoorden o vragen worden verwijderd bij > 95% of < 5% juiste antwoorden

17 Besluit: goede antwoordalternatieven moeilijkheidsgraad van de vraag aanpassen

18 Besluit: antwoordalternatieven zijn allemaal gekozen moeilijkheidsgraad De vragen worden gerangschikt volgens het % studenten die d vraag juist beantwoorden. Hierin moeten de vragen gerangschikt zijn volgens stijgende moeilijkheidsgraad. Indien dit niet het geval is, wordt de vraag opnieuw nagezien en eventueel aangepast.

19 Methodologische basis Standaardisatie Moeilijkheidsgraad Betrouwbaarheid: Halveringsbetrouwbaarheid item-test correlatie Validiteit: Inhoudsvaliditeit: blauwdruk Predictieve validiteit Gelijktijdige validiteit: per item % juiste antwoorden zwakke versus sterke groep studenten IJking of normering van 70%

20 Analyse globale toets cronbach alpha: 0,7 halfwaarde correlatie: 0,53 gemiddelde score zonder normering: 45%

21 Spreiding van de resultaten van de instaptoets in 2011

22 Vergelijking van de resultaten van de instaptoetsen in 2012 Slaagpercentage na normering van 70% niet geslaagd geslaagd instaptoets 1 instaptoets 2

23 Vergelijking van de resultaten van de instaptoetsen in 2012 ResultatenTotale screening %-10% 10%-20% 20%-30% 30%-40% 40%-50% 50%-60% 60%-70% 70%-80% 80%-90% 90%-100% instaptoets 1 instaptoets 2

24 Resultaten van de 2 instaptoetsen per rubriek 2012 Getallenkennis Bewerkingen instaptoets 1 instaptoets 2 0 instaptoets 1 instaptoets 2

25 Resultaten van de 2 instaptoetsen per rubriek Meetkunde Meten en metend rekenen instaptoets 1 instaptoets 2 instaptoets 1 instaptoets 2 Toepassingen instaptoets 1 instaptoets 2

26 Operationele doelen Afstemming binnen de hogescholen Ontwikkelen van een blauwdruk Ontwikkelen van een uniforme instaptoets Ontwikkelen van een gestandaardiseerde uitstaptoets Uitbouwen van flexibele leertrajecten Transfer naar andere instellingen 1 ste jaar 2 de jaar

27 III. Ontwikkelen van een gestandaardiseerde uitstaptoets Itembank volgens de rubrieken van de blauwdruk Meer dan 500 vragen in de itembank Selecteren van vragen volgens blauwdruk en per hogeschool (probleem: curriculum afstemming) Examen afgenomen in partnerinstellingen in juni/september 2011 en 2012 Aanpassing van vragen op basis van methodologische analyse

28 Operationele doelen Afstemming binnen de hogescholen Ontwikkelen van een blauwdruk Ontwikkelen van een uniforme instaptoets Ontwikkelen van een gestandaardiseerde uitstaptoets Uitbouwen van flexibele leertrajecten Transfer naar andere instellingen 1 ste jaar 2 de jaar

29 IV. Ontwikkelen van individuele leerlijn Digitaal oefenpakket op toledo Oefeningen/ toetsen volgens de verschillende rubrieken van het leerplan Keuze uit eenvoudige, gemiddelde en moeilijke oefeningen Feedback bij de oefeningen voor de student Oefeningen worden telkens gegenereerd uit een itembank Uittesten in partnerscholen Studenten vinden dit een grote meerwaarde voor het verwerven van de leerinhouden Student oefent op eigen niveau en tempo

30 Project Voordelen - vroege diagnose - individuele bijsturing - op eigen tempo van de student - uniforme uitstroomcompetenties - slaagkansen van de studenten stijgen - verlagen van de werkdruk Knelpunten - verantwoordelijkheid ligt meer bij de student (begeleiding voorzien) - digitalisatie Computers beschikbaar QMP server capaciteiten QMP beheer - afstemming binnen de hogescholen