2. Onderzoek (3) 3. Discussie. Hulpmiddel gebruik in een cursus. Gebruikersprofielen, studentenfactoren en leereffecten.

Transcriptie

1 Hulpmiddel gebruik in een cursus hoger onderwijs: Gebruikersprofielen, studentenfactoren en leereffecten. Griet Lust, Jan Elen, Geraldine Clarebout Centrum voor Instructiepsychologie en Technologie, KU Leuven 1. Probleemstelling 2. Onderzoek (3) 3. Discussie 1

2 1. Probleemstelling 1. Informatie tools 3. Cognitieve tools Leeromgeving = Inhoud + Leertaken + Tools 1.1 Structureren (hulpmiddelen) bvb., slides, web-opnames 1.2 Uitbreiden bvb., weblinks 2. Scaffolding tools 3.1 Informatie verwerking bvb. Mindmap tool 3.2 Testen bvb. tussentijdse test, oefeningen 3.3 Communicatie Bvb. discussiebord Verschilllende tool-types afhankelijk van het soort 2.1 ondersteuning Conceptueel voor het leerproces (Hannafin, Land, & Oliver, bvb., 1999; Advanced Dabbagh organizer & Kitsantas, 2005; Jonassen, 1999) 2.2 Metacognitief bvb., studietips 2.3 Procedureel bvb., informatie m.b.t. de aanwezige tools 1. Probleemstelling Aanbieden tools in een leeromgeving 1. Niet-geïntegreerd in de 2. Geïntegreerd in de leertaken leertaken?: Controle van gebruik = student? Controle van gebruik = gedeeld + Adaptieve ondersteuning + Verhoogde interesse en motivatie + Zelfregulerend leren (Cordova & Lepper, 1996; Goforth, 1994; Kinzie & Sullivan, 1989; Lepper, 1985; Schnotz and Heiß, 2009; Williams, 1996) -Tools worden genegeerd (Clarebout & Elen, 2006) + 100% garantie opmerken tools -Kwalitatief gebruik? (Greene & Land, 2000) 2

3 1. Probleemstelling Ontwerp hulpmiddel Implementatie hulpmiddel Hulpmiddel gebruik Verhoogd, gemotiveerd en zelfregulerend leren Onder gebruik (Clarebout & Elen, 2006) Verkeerd gebruik (Clarebout & Elen, 2006) 1. Probleemstelling Evidentie voornamelijk in gecontroleerde leeromgevingen 1. Timing Tijd genoeg om de modaliteiten in de leeromgeving te leren kennen? Realistische, technologieondersteunende 2. Het type leertaak leeromgevingen (Grabinger, 2008) Gemotiveerd genoeg om te leren? 3. De leereffecten Lange termijn effecten van toolgebruik in kaart gebracht? 3

4 1. Probleemstelling Cursus Hoger Onderwijs - Verhoogde interesse voor en integratie van web-technologieën zoals Toledo (content management system) cf. flexibilisering en schaalvergroting onderwijs => Vb. van een technologieondersteunende, realistische, leeromgeving - Kenmerken: - Rijke toolset t (digital it tools en/of face-to-face f tools) - Niet-geïntegreerde manier 1. Probleemstelling Evidentie m.b.t. toolgebruik in hoger onderwijs cursus is beperkt! (Lust, Juarez Collazo, Elen, & Clarebout, 2012) - Tools worden vaak genegeerd - Studenten verschillen in toolgebruik - Significante leereffecten Meer onderzoek is noodzakelijk - Focus op de volledige toolset - Focus op patronen of tool-use patronen - Focus op beïnvloedende studentenvariabelen 4

5 2. Onderzoek Studentenfactoren Toolgebruik Leereffecten Eerste datacollectie Jan-Jun 10 Tweede datacollectie Jan-Jun Onderzoek: Methodologie Blended leeromgeving Leerinhoud Leertaken -Tools Leren Examen en Instructie, 1 e bachelor pedagogische wetenschappen Feitenkennis - Structurerende Begrip informatie tools i.e., slides, webopnames, -Twee colleges Toepassing delen : - Uitbreidende - Theoretische informatie introductie tools in i.e., de basisconcepten weblinks - Opdracht Cognitieve - Uitbreiding test van tools deze i.e., basisconcepten twee tussentijdse ( testen - Cognitieve wetenschappelijke bijdragen) Kritisch communicatie beargumenteren tools eigen e.g., positie discussieforum op stelling - Scaffolding tools e.g., DOS sessies, online studietips, online leerondersteuning, feedback tussentijdse test 1, planning, voorbereidende oefeningen DOS sessies 5

6 2. Onderzoek: Methodologie Meetinstrumenten: Toolgebruik - Face-to-face tools - Colleges: via kleine opdrachten bvb. vragenlijst, tekenopdrachten. - DOS sessies: registratie - Online tools: logfiles 2. Onderzoek: Methodologie Structurerende informatie tools Uitbreidende informatie tools Cognitieve communicatie tool Cognitieve test tools Scaffolding tools Slides Webopnames Weblinks Discussiebord Tussentijdse test 1 Tussentijdse test 2 Voorbereiding DOS Frequentie = aandacht voor de tool Tijdsduur = intensiteit toolgebruik Manier van bekijken: Non-stop versus strategisch Feedback TT1 - Posten versus lezen - Type bericht: Leer- en studie ondersteuning inhoudelijk, organisatorisch of Planning persoonlijk 6

7 2. Onderzoek: Analyse 1 1) Tool-use patronen en leereffecten Eerste datacollectie Toolgebruik Leereffecten Tool-use patronen Presteren 2. Onderzoek: Analyse 1 Tool-use patronen Techniek: K-means clusteranalyse met 1000 rotaties in R (Steinley, 2003; Tibshirani, Walther, & Hastie, 2001). Knik bij drie cluster oplossing 7

8 2. Onderzoek: Analyse 1 Tool-use patronen Bepaalde 1 tools werden gemiddeld niet gebruikt Intensieve Techniek: - discussiebord (Hammoud et al., 2008; Hoskins & Van Hoof, 2005; Multivariate Huon variantieanalyse et al., 2007) 0,5 => Breed profiel inzake (MANOVA) toolgebruik met de toolvariabelen als afhankelijke - tussentijdse de clusteroplossing testen (Huon et als al., onafhankelijke 2007; Macfayden variabelen. & Dawson, 2004) 1. Actieve 0 versus Passieve discussiebord C1 Studentencontrole 2. Kort gebruik uit drie?? clusters (Azevedo, versus verschillen 2005) Intensief significant gebruik in tussentijdse hun tool-gebruik, test C2 1 Wilks λ=.06, F(30, 278)= 28.22, p<.001, η 2 = ,5 Drie verschillende tool-use patronen i.e., studentenverschillen in Post-hoc toolkeuzes vergelijkingen Niet- C1 (n= 36) niet 2. Selectieve Tool-keuze(Ellis, versus Marcus, Tool-gebruik & Taylor, 2005; Yen & Lee, 2011) -1,5 C2 (n= 67) intensieve 3. Intensieve C1 < C2, C3 C2 > C1, C3 C3 (n= 53) selectieve C3 2. Onderzoek: Analyse 1 Leereffecten 0,4 Niet- < Gebruikers Significante verschillen tussen diverse vormen van toolgebruik? 03 0,3 => Gebruik van hulpmiddelen heeft een educatieve Techniek - 0,2 meerwaarde Tussentijdse testen Multivariate => Significante variantie 23% van analyse impact de studenten met op de score feitenitems, profiteerde op opdracht, F(3, niet 153)= van de 2.61, begripsitems, aanwezige p=.05, 0,1 de feitenitems, leerondersteuning! η²=.05, op toepassingsitems de toepassingsitems, en de totale F(3, 153)= score 2.73, als afhankelijke p=.05, η²= 0 Niet variabelen.05, en en de op tool-use de totale patronen score, als F(3, onafhankelijke 153)= 3.32, p= variabele..02, η²=.05. Intensieve -0,1 Geen significant verschil tussen selectieve en intensieve Selectieve -0,2 Intensieve > Korte => Functionaliteit van enkele online tools bvb. discussiebord, Significant effect van het soort tool-use patroon op het leren, -0,3 tussentijdse testen Wilks - lambda= Discussiebord.85, F(10,300)= 2.58, p=.01, η 2 = ,4-0,5 => Geen Alternatieve significante verklaring: effecten op breed leren, profiel Wilks van lambda= intensieve.93, F(10, 300)= 1.04, η²=.03 Post-hoc vergelijkingen: e.g. Discussionbord, actief versus passief gebruik (e.g. Hoskins & Van Hooff, 2005) e.g. Tussentijdse testen, kort versus intensief gebruik (e.g., Macfayden & Dawson, 2004) 8

9 2. Onderzoek: Analyse 2 2) Tool-use patronen en beïnvloedende studentenfactoren Tweede datacollectie Beperkte aandacht voor beïnvloedende studentenfactoren in huidig onderzoek naar toolgebruik in een hoger onderwijs cursus (Lust, Juarez Collazo, Elen, Clarebout, 2012) 2. Onderzoek: Analyse 2 Perkins (1985), Winne (1982, 2006) 1. Contextuele factor Toolfunctionaliteit Cognitieve belasting Tools Verhoogd leren 2. Adaptief gebruik 2.1 Kennis 2.2 Vaardig 2.3 Motivatie Percepties m.b.t. tool-functionali teit 9

10 2. Onderzoek: Analyse 2 Hypothese 1: Positieve toolpercepties hebben een positieve impact op het toolgebruik Selectieve => Positieve percepties m.b.t. slides en DOS sessies Intensieve => Positieve percepties m.b.t. slides, DOS sessies, webopnames, tussentijdse testen, discussiebord 2. Onderzoek: Analyse 2 Perkins (1985), Winne (1982, 2006) 1. Contextuele factor Toolfunctionaliteit Cognitieve belasting Tools Verhoogd leren 2. Adaptief gebruik 2.1 Kennis 2.2 Vaardig 2.3 Motivatie Perceptie m.b.t. toolfunctionaliteit Self-efficacy opvattingen (Bandura, 1986) 10

11 2. Onderzoek: Analyse 2 Hypothese 2: Positieve self-efficacy opvattingen m.b.t. zelfregulerend leren hebben een positieve impact op het toolgebruik (cf. intensieve ) 2. Onderzoek: Analyse 2 Perkins (1985), Winne (1982, 2006) 1. Contextuele factor Toolfunctionaliteit Cognitieve belasting Tools Verhoogd leren 2. Adaptief gebruik 2.1 Kennis 2.2 Vaardig 2.3 Motivatie Percepties m.b.t. toolfunctionaliteit Self-efficacy opvattingen (Bandura, 1986) Doeloriëntatie (Dweck, 1986; Nicholls, 1984) 11

12 2. Onderzoek: Analyse 2 Hypothese 3: Competentiegerichte doelstellingen hebben een positieve invloed op het vertonen van een intensief i tool-use patroon. Prestatiegerichte doelstellingen hebben een positieve invloed op het vertonen van een selectief tool-use patroon 2. Onderzoek: Analyse 2 Beïnvloedende studentenfactoren -Via vragenlijstonderzoek - Doeloriëntatie (Elliot & Church, 1997; Elliot & McGregor, 2002) - Self-efficacy voor zelfregulerend leren (Zimmerman & Kitsantas, 2005; 2007) - Percepties (1) discussiebord, (2) slides, (3) webopnames, (4) tussentijdse testen en (5) DOS sessies (Sarfo, Elen, Clarebout, & Louw, 2010) Toolpatronen (2 de datacollectie) 12

13 2. Onderzoek: Analyse 2 3 Tool-use patronen 2,5 - Knik bij viercluster oplossing (K-means clusteranalyse) 2 1,5 1 0,5 0-0,5 - MANOVA: Studenten uit de vier clusters verschillen significant in hun toolgebruik, Wilk s lambda=.03, F(72, 464)= 15.49, p=.00, η²=.71. => Post-hoc vergelijkingen: C1 C2 C3 C4-1 C1 < C2, C3, C4 C3 < C1, C2, C4 C4 > C1, C3 C2 > C1, C3, C4 2. Onderzoek: Analyse 2 // analyse 1 - Meerderheid studenten is niet-gebruiker C1 (n= 79) C2 (n= 19) C3 (n= 57) C4 (n= 27) Toolkeuzes Webopnames Alle tools F2F tools Alle tools - Grote groep selectieve Online tools: (excl. - gebruik slides, online DOS_vb, tools met weblinks, expliciete link face-to-face TT1&2. context planning) Toolgebruik Frequent Frequent Oppervlakkig Oppervlakkig Intensief Intensief gebruik gebruik Strategisch - Tool-keuze versus Tool-gebruik => Intensief actieve versus intensief i oppervlakkige Niet Intensief actief Selectieve Intensief oppervlakkige 13

14 2. Onderzoek: Analyse 2 Kennis Discussiebord Slides Webopnames Tussentijdse test DOS sessies Tool-use patronen Motivatie Doeloriëntatie Vaardigheid Self-efficacy Multiple logistische regressie analyse 2. Onderzoek: Analyse 2 Kennis Discussiebord Prestatiegerichtheid -> Selectief versus Intensief oppervlakkig Slides Tool-use patronen Effect op intensieve tool- usepatroon versus niet- Competentiegerichtheid Webopnames -> Intensief actief versus Intensief Onverwachte Tussentijdse relatie test oppervlakkig tool-use patroon DOS sessies Toolgedrag => Doeloriëntatie van studenten als raamwerk werd niet voor gestuurd hoe studenten door de percepties m.b.t. leeromgevingen de toolfunctionaliteit interpreteren voor het en leren. ervaren (Dweck, 1986; Nicholls, 1984) Motivatie => Doeloriëntatie beïnvloedt hoe studenten de leertaken interpreteren en bijgevolg het soort leernoden die ze formuleren Vaardigheid Self-efficacy 14

15 2. Onderzoek: Analyse 3 Focus = timing toolgebruik Cursus bestaat uit verschillende fases (Perry & Winne, 2006; Hadwin et al., 2001) met diverse verwachtingen t.a.v. de studenten en dus verschillende leerbehoeften. 2. Onderzoek: Analyse 3 Cognitieve ontwikkeling (Shuell, 1990) Domein leren (Alexander et al., 2004) Initiële fase Intermediaire fase Finale fase Beginner Verwerven van domeinkennis Oppervlakkige studiestrategieën Betekenisvol maken verworven kennis Hoger orde strategieën Automatiseren kennis Expert Compensatie voor gebrek aan -Domein kennis - Strategieën Induceren van: -reflectie, discussie, structuren Uitbreiding domeinkennis 15

16 2. Onderzoek: Analyse 3 Moment van toolgebruik lijkt belangrijk - Gebruiken van tools die een leertaak niet ondersteunen kan negatieve effecten hebben (Winne, 2006) Regulatie van toolgebruik i.c., het veranderen van tool-use patroon in functie van de cursus fasen, lijkt belangrijk 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Initiele fase Intermediaire fase Cognitieve tool Scaffolding tool Informatie tool (uitbreidend) Informatie tool (basic) 2. Onderzoek: Analyse 3 2 de datacollectie Meten van toolgebruik - per week - week 10: overgang van fase 1 naar fase 2 3,5 Course weeks quency of Average (standardized) freq access 3 2,5 2 1,5 1 0,5 Basic information Elaborated information Communication scaffolding knowledge modelling

17 2. Onderzoek: Analyse 3 Tool-use 0,8 patronen in fase 1 - Knik bij driecluster oplossing (k-means clusteranalyse) 0,6 - MANOVA: Studenten uit de drie clusters verschillen significant in 0,4 hun toolgebruik, Wilks Lambda=.24, F(48, 298)= 6.39, p=.00, η²=.51 0,2 Post-Hoc vergelijkingen: C1 C2 C3 0-0,2-0,4 2. Onderzoek: Analyse 3 Toolkeuze Toolgebruik C1 (n= 119) Colleges Webopnames Intensief Strategisch C2 (n= 20) Alle tools (excl. Webopnames) Intensief C3 (n= 40) Alle tools Intensief gebruik basis informatie en scaffolding tools Niet Intensieve Selectieve 17

18 2. Onderzoek: Analyse 3 1,5 Tool-use patronen fase 2 - Knik bij viercluster oplossing (k-means clusteranalyse) se) 1 0,5 0 - MANOVA: De vier clusters verschillen significant in hun toolgebruik, Wilks Lambda=.01, F(75, 452)= 19.17, p=.00, η²=.76 - Post-hoc vergelijking: C1 C2 C3 C4-0,5-1 -1,5 2. Onderzoek: Analyse 3 C1 (n= 41) Geen tools C2 (n= 106) C3 (n= 15) C4 (n= 17) Toolkeuze Geen F2F tools Alle tools Informatie tools (excl. Colleges) Toolgebruik Intensief Intensief Niet Gelimiteerde Intensieve Selectieve 18

19 2. Onderzoek: Analyse 3 Transitiematrix Fase 1 Fase 2 Niet Gelimiteerde Intensieve Selectieve Niet Intensieve 29% 15% 10% 55% 70% 65% 5% 10% 18% 11% 5% 7% Selectieve 2. Onderzoek: Analyse 3 100% 90% 80% 70% 60% 50% 40% Cognitieve tool Scaffolding tool Informatie tool (uitbreidend) Informatie tool (basic) 30% 20% 10% 0% Initiele fase Intermediaire fase Niet -> Intensieve Selectieve -> Intensieve 19

20 2. Onderzoek: Analyse 3 Transitiematrix Fase 1 Fase 2 Niet Gelimiteerde Intensieve Selectieve Niet Intensieve 29% 15% 10% 55% 70% 65% 5% 10% 18% 11% 5% 7% Selectieve 2. Onderzoek: Analyse 3 Per leerfase => Tool-use patronen Alle studenten reguleren hun toolkeuzes en toolgebruik doorheen de cursus Meest populaire transitie in fase 2 Het gelimiteerde tool-use patroon (59%) <-> Hypothetische patroon (7%) 20

21 2. Onderzoek: Analyse 3 Variabele Tool-regulatie Fase 1 Fase 2 Niet Intensieve Niet Gelimiteerde Intensieve Selectieve Selectieve 2. Onderzoek: Analyse 3 Tool-regulatie Intelligentie Totaal Opdracht Kennis Begrip Toepassing Variantie-analyse 21

22 2. Onderzoek: Analyse 3 Effect op hoger orde leren (opdracht en toepassingsitems) Significant => Toolregulatie effect van categorie toolregulatie 3 (niet op leren, intensieve Wilks Lambda= ).63, F(55, ( > 753)= categorie 1.45, p=.02, 1 η²= (niet.09 niet ), categorie 2 (niet gelimiteerde ), categorie 11 (selectieve Significant intensieve effect ) op score voor de opdracht, F(11, 166)= 2.08, p=.02, η²=.12, voor de toepassingsitems, F(11, 166)= 2.30, p=.01, η²=.13, en in totaal, F(11, 166)= 2.18, p=.02, η²=.13. => Reguleren van toolgebruik // leerbehoeften van de fases is meest adaptief voor leren => Slecht een minderheid van de studenten was hiertoe in staat! 3. Discussie Leeromgeving Inhoud Leertaken Tools Intermediaire i processen Doeloriëntatie Toolkeuze Toolgebruik Toolregulatie Leren 22

23 3. Discussie Problemen met 1) Tool-keuzes - Meerderheid niet-gebruiker of selectieve gebruiker - Mediation deficiency (Reese, 1962) = Onmogelijkheid om media te selecteren in functie van de leerbehoeften => Interventie - Informatie m.b.t. de toolfunctionaliteiten - Informatie m.b.t. de verwachtingen (Butler, 1998; Karabenick, 2004; Newman, 1998) 3. Discussie Problemen met 2) Toolgebruik - Slechts minderheid gebruikt tools correct - Utilization deficiency (Miller & Seier, 1994) = Overslaan van stappen bij het uitvoeren van een cognitieve operatie => Interventie - Training 23

24 3. Discussie Problemen met 3) Tool-regulatie - Minderheid in staat tot reguleren toolgebruik // verwachtingen - Production deficiency (Flavell, 1970) = Fout interpreteren van de hints in de leeromgeving => Interventie - Adaptieve release van tool-types // verwachtingen - Externe regulatie // Interne regulatie 3. Discussie Externe validiteit bevindingen - Vergelijkbare profielen in andere opleidingen? Ontwikkelingsperspectief - Vergelijkbare profielen in andere vakken binnen één opleiding? Systematische interventiestudies Object interventie Timing interventie Motivatie (verwachtingen) versus Percepties tools Adaptief versus Gefixeerd 24