Evaluatieplan Adaptief Leren

Evaluatieplan Adaptief Leren Sjoerd de Vries Wendy Krimpen Loes van Oosteren 6 januari 2006. Enschede Contact: Sjoerd de Vries E-Mail: sjoerd.devries@utwente.nl Mob: +31 (0)6 47274565 Tel: +31(0)53 4893952

Inhoudsopgave 1. INLEIDING 3 1.1 Achtergrond 3 1.2 Doel 3 1.3 Verantwoording 3 1.4 Leeswijzer 3 2. ONTWIKKELING VAN ADAPTIEF LEREN 4 2.1 Achtergrond 4 2.2 Omschrijving van instrumenten 5 2.3 Tot besluit 5 3. RESULTATEN VAN ADAPTIEF LEREN 6 3.1 Achtergrond 6 3.2 Aanpak 7 3.3 Planning voor het inzetten van de instrumenten 8 4. PUBLICATIEPLAN 9 4.1 Verplichte rapportages 9 4.2 Online kenniscentrum informatie 9 4.3 Vakpublicaties 9 4.4 Wetenschappelijke publicaties 9 5. DISCUSSIE 10

Adaptief leren evaluatieplan 3 1. INLEIDING 1.1 Achtergrond De Maarten van Rossem implementeert in 2005-2007 adaptief leren in de dagelijkse onderwijspraktijk. Adaptief leren kent veel omschrijvingen. In het kader van dit project zien wij adaptief leren als het aanpassen van leeraanbodniveaus aan leerlingen op basis van individuele blokresultaten. Het aanbod betreft binnen het project de vakken Wiskunde, Engels en Nederlands. Een blok bestaat uit negen weken. Het aanbodniveau kan dus per negen weken verschillen. In dit plan beschrijven we de evaluatie van deze implementatie. 1.2 Doel Het doel van de evaluatie is tweeledig: het bijsturen van de ontwikkeling van het adaptief leren; inzicht krijgen in de resultaten ervan. 1.3 Verantwoording Het bijsturen van de ontwikkeling van adaptief leren vindt plaats op basis van het adaptief leren ontwikkelingsmodel. We onderscheiden twee manieren om de ontwikkeling van het adaptief leren op de MvR te beschrijven. De eerste is op basis van de adaptive structuration theorie en de tweede is de actor-network theory. Beide bieden inzicht in factoren die van invloed zijn op de ontwikkeling ervan. We integreren beide benaderingen tot een praktisch bruikbare onderwijs-innovatie tracking methodiek die inzicht moet geven in de ontwikkeling van een onderwijsinnovatie en aanwijzingen moet geven voor het continu verder verbeteren ervan. Het model wordt uitgebreid beschreven in hoofdstuk 2. Voor het krijgen van inzicht in de resultaten maken we gebruik van een adaptief leren resultatenmodel. Het resultatenmodel is ontleend aan een literatuurstudie en interne projectdiscussies. Centraal staan de verwachte effecten op leerlingen, docenten en organisatie. Het model wordt uitgebreid beschreven in hoofdstuk 3. De projectervaringen met het ontwikkelings- en resultatenmodel dragen bij aan inzicht in complexe innovatiestrajecten in het onderwijs. 1.4 Leeswijzer In hoofdstuk 2 wordt het onderzoek naar de ontwikkeling van adaptief leren beschreven. In hoofdstuk 3 komt het onderzoek naar de resultaten ervan aan de orde. Hoofdstuk 4 beschrijft het publicatieplan. Hoofdstuk 5 sluit het af met een discussie over de gehanteerde aanpak.

Adaptief leren evaluatieplan 4 2. ONTWIKKELING VAN ADAPTIEF LEREN 2.1 Achtergrond De twee theoretische uitgangspunten voor het beschrijven van de ontwikkeling van adaptief onderwijs zijn de: adaptive structuration theorie en de actor-network theory Binnen de adaptieve structuratie theorie gaan we ervan uit dat: het adaptief leren zich continu ontwikkelt op basis van ervaringen en veranderende structuren waarbinnen het plaatsvindt; het gebruik van ict een centrale rol speelt in adaptief leren processen; het adaptief leren kan worden beschreven door middel van aanwezige structuren, sociale interacties, en resultaten ervan. Aanwezige structuren: - Regels - Bronnen ICT - Bruikbaarheid - Verwachte voordelen Onderwijstaken - activiteiten - beperkingen Resultaten - Aantal doublures - Uitvalgetal - consensus - Vakleerrendement - Omgeving - Open leercentrum - acceptatie adaptief leren in school Ontwikkelingen - tussentijdse bevindingen - Producten Adaptief leren structuur - Ontplooiingsmogelijkheden - Capaciteitsaansluitingen - Competenties leerkrachten - Innovatieve houding leerkrachten - Gedeelde mentale modellen - Identificatie met de groep - Mate van duidelijkheid Sociale interactie Ervaren structuren - verschuivingen - waardering - doelen - ondersteuning van elkaar Onderwijsprocessen - Idee ontwikkeling - deelname - conflict management - gedragsbeïnvloeding - taak management Figuur 1 Adaptief leren ontwikkelingsmodel Dit model is nog in ontwikkeling. Het is nog niet duidelijk welke structuren we precies gaan kiezen. Binnen de actor network theorie gaan we ervan uit dat de ontwikkeling kan worden beschreven door een set van samenhangende actor-netwerken. Een actor kan zowel een persoon, afdeling, maar ook een strategiedocument zijn. Bij de keuze ervan gaan we uit van de ast zoals die hiervoor is beschreven.

Adaptief leren evaluatieplan 5 De samenhang tussen beide benaderingen is dat de actor-network de actoren beschrijft terwijl de AST karakteristieken van de actoren benoemd, aspecten van relaties, en samenhang tussen deze karakteristieken en aspecten. 2.2 Omschrijving van instrumenten In onderstaande figuren wordt een overzicht gegeven van instrumenten die worden ingezet voor het verzamelen van data. Voorbeelden van instrumenten zijn: Leerlingweblogs Docentweblogs Managementweblogs Online quick scans Inventarisaties Interviews Participerende observaties... Er wordt gekozen voor met name kwalitatieve en eenvoudig inzetbare technieken. 2.3 Tot besluit Voor de uitvoering van dit onderzoek wordt een afstudeerder binnen TCW aangetrokken.

Adaptief leren evaluatieplan 6 3. RESULTATEN VAN ADAPTIEF LEREN 3.1 Achtergrond Bij de evaluatie van resultaten van adaptief leren wordt gekeken naar effecten op leerlingen, docenten en op de organisatie. Verder wordt ervan uitgegaan dat naast de concrete invulling van adaptief leren, kwaliteiten van leerlingen en docenten en organisatiecultuur medebepalend zullen zijn voor de verwachte effecten. Leerlingen OLC gedragingen VAS profiel RAL Aansluiting bij capaciteiten Ontplooiingsmogelijkheden Vervolgstudiemogelijkheden Leerling: Zelfbeeld; Zelfvertrouwen; Plezier Resultaatprofiel Vakleerwegprofiel Organisatie: Vakrendement; Aantal doublures; Uitvallers Docent Competenties Betrokkenheid Figuur 2 Adaptief leren resultatenmodel We nemen aan dat de inrichting van adaptief leren wordt uitgemaakt door: de mate waarin het onderwijs aansluit bij de capaciteiten van leerlingen; de mate waarin leerlingen zich maximaal kunnen ontplooien; mogelijkheden voor vervolgstudies. De medebepalende kwaliteiten van docenten zijn: de betrokkenheid van leerkrachten; de competenties van docenten. De medebepalende kwaliteiten van leerlingen zijn: OLC-gedragingen; VAS profiel. We verwachten leerlingeffecten ten aanzien van: zelfbeeld; zelfvertrouwen; plezier;

Adaptief leren evaluatieplan 7 rapportresultaten; leerwegprofiel. We verwachten docenteffecten ten aanzien van: betrokkenheid; competentieontwikkeling. We verwachten organisatieeffecten ten aanzien van: vakrendement; aantal doublures; aantal uitvallers. 3.2 Aanpak We gaan uit van drie groepen leerlingen: MvR geen adaptief leren MvR adaptief leren Landelijke gemiddelde We gaan uit van twee groepen docenten: Docenten adaptief Docenten geen adaptief In de volgende tabel wordt een overzicht gegeven van (deel) instrumenten die worden ingezet om de factoren en resultaten te meten. Tabel 1 Overzicht instrumenten Adaptief leren Doelgroepen Landelijk MvR niet adaptief MvR basisvakken Factoren gemiddelde adaptief Leerlingen Leerprestaties algemeen VAS VAS VAS Leerprestaties MvR Rapportcijfers (per 9 wkn) Rapportcijfers (per 9 wkn) Vakleerwegprofiel Wi Eng Ned Leerwegen OLC-vaardigheden - Aangepaste OLC-lijst leerling Aangepaste OLC-lijst leerling Zelfvertrouwen, zelfbeeld, SVL SVL SVL plezier Docenten Competenties SBL feedbackscan SBL feedbackscan Betrokkenheid Van den Berg Interviews Van den Berg Interviews School Vakrendement VAS Rapportcijfers (per 9 wkn) VAS Rapportcijfers (per 9 wkn) VAS Aantal doublures gegevens inspectie? administratie-systeem administratie-systeem Uitvalgetal gegevens inspectie? administratie-systeem administratie-systeem

Adaptief leren evaluatieplan 8 3.3 Planning voor het inzetten van de instrumenten We gaan uit van een project van drie schooljaren, lopende van augustus 2004 tot en met juli 2007. Tabel 2 Tijd Planning onderzoek Adaptief leren Leerlingen instroom 2003 Entreetoets VO SVL Volgtoets Leerlingen Instroom 2004 Docenten sep 2003 nov 2003 mei 2004 sep 2004 Entreetoets VO nov 2004 SVL feb 2005 Adviestoets mei 2005 OLC-lijst leerlingen OLC-lijst leerlingen Volgtoets feb 2006 Adviestoets Van den Berg mei 2006 SVL OLC-lijst leerlingen Tijd Leerlingen instroom 2005 Leerlingen instroom 2006 Docenten sep 2005 nov 2005 Entreetoets VO SVL OLC-lijst Feb 2006 mei 2006 Volgtoets sep 2006 Entreetoets VO nov 2006 (SVL) SVL feb 2007 Adviestoets mei 2007 SVL Volgtoets OLC-lijst SVL SBL Van den Berg SBL Van den Berg OLC-lijst einde Interviews interviews interviews Er wordt zoveel mogelijk gebruik gemaakt van digitale instrumenten.

Adaptief leren evaluatieplan 9 4. PUBLICATIEPLAN We gaan uit van vier soorten publicaties: 1. Interne rapportages die we ook kunnen gebruiken voor het informeren van opdrachtgevers, 2. Online kenniscentrum informatie: publicaties voor geïnteresseerden die onze aanpak en ervaringen willen horen; 3. Vakpublicaties, bedoeld voor tijdschriften voor het professionele veld; 4. Wetenschappelijke publicaties, bedoeld voor wetenschappelijke tijdschriften. 4.1 Verplichte rapportages Deze worden waarschijnlijk gevraagd door de opdrachtgever. De beoogde titels zijn: Kameleon: Eindrapportage Beleidsregel Vooruit 4.2 Online kenniscentrum informatie Deze kunnen we zien als contentontwikkeling voor het beoogde kenniscentrum. We kunnen werken aan: Twee weblogs, een door leerkrachten onderhouden en eentje door leerlingen; Basis informatiesite, deze bestaat uit een goed onderzouden informatiesite die ook verwijst naar de documenten, ervaringen, praktijken, etcetera; Verwijsinformatie, verwijzingen naar relevante links; FAQ: een lijst met veelgestelde vragen en antwoorden over aanpak en ervaringen; Gebruikte vragenlijsten en de beschrijvingen van resultaten; etcetera De beschikbare informatie groeit in de loop van het project, zodra we vinden dat het cetrum publiek kan, gaan we de naam van de site uitgebreid verspreiden. 4.3 Vakpublicaties We gaan uit van minimaal vijf vakpublicaties. De voorgestelde titels zijn: Het realiseren van adaptief leren Adaptief leren in de praktijk Het managen van adaptief leren Resultaten van adaptief leren Rol ICT bij adaptief leren 4.4 Wetenschappelijke publicaties We gaan uit van minimaal twee artikelen. De voorgestelde titels zijn: Ontwikkeling van adaptief leren Resultaten van adaptief leren

Adaptief leren evaluatieplan 10 5. DISCUSSIE Op basis van dit onderzoek hopen we inzicht te krijgen in de ontwikkeling en effecten van adaptief leren in het vmbo.