Project New Blends in Education 01-03-2007 Ontwerp flankerend onderzoek 2007 Jos Fransen, Richard Visscher Introductie Naar aanleiding van de vier pilots die in schooljaar 2005-2006 zijn uitgevoerd start in februari 2007 een pilot met de leerpraktijk Actief leren. Deze wordt uitgevoerd op alle vier locaties. Net als de pilot van vorig jaar wordt deze pilot gemonitord via flankerend onderzoek. Het doel ervan is relevante informatie te verzamelen over ervaringen met en effecten van blended learning binnen de leerpraktijk. De lessen die zijn opgedaan in de pilots van vorig jaar zijn verwerkt in de opzet en uitvoering van de leerpraktijk. Dit document beschrijft het ontwerp van het flankerend onderzoek. Ook hier geldt dat het ontwerp bijgesteld en aangescherpt wordt op basis van voortschrijdend inzicht. Kerngegeven is dat het experiment een open karakter heeft en dat we daarin zicht willen krijgen op de effectiviteit van de gekozen inrichting van de leerpraktijk, waarbij die leerpraktijk wordt uitgevoerd op vier locaties met meerdere studentgroepen. Tweede belangrijke vaststelling is dat het experiment voortbouwt op de vorig jaar opgedane ervaringen. Daarmee is er sprake van een meer uitgewerkt conceptueel kader en een daaruit afgeleid ontwerp voor de leerpraktijk. Het experiment kan gedurende de looptijd worden bijgestuurd of verbreed. Het flankerend onderzoek is opgezet vanuit een ervaringsgerichte benadering. Vanuit de behoefte aan informatie die nu bekend is en het conceptueel kader dat er nu ligt, wordt een eerste ontwerp gepresenteerd. Gedurende de looptijd van de experimenten zal het ontwerp zonodig worden bijgesteld of aangevuld op basis van de resultaten, ervaringen en onverwachte opbrengsten. Doel van het flankerend onderzoek Het onderzoek moet vaststellen of de ingerichte leerpraktijk als effectief ervaren wordt. Daarbij ligt de focus op de perceptie van zowel de studenten als de begeleiders (etutoren). Hoe ervaren zij de leerpraktijk? De leerpraktijk is afgebakende situatie waarin de leerweg wordt geconcretiseerd: de doelen, activiteiten en resultaten. De leeromgeving (virtueel bijv. Bb of Onderwijsplein, of fysiek, binnen of buitenschools) is een aspect van de leerpraktijk Vanuit de definitie van blended learning 1 wordt met name de effectiviteit onderzocht van de beschikbare media didactische strategie (waaronder de inzet van peer review) bronnen (aanwezig binnen de leerpraktijk, externe bronnen en/of experts) manier waarop deze bronnen beschikbaar/toegankelijk zijn [= distributiewijze] gebruikte communicatievormen 1 Blended learning omvat een mix van e-learning en andere vormen van onderwijs, waarbij het gaat om de distributiewijze van leerinhouden, vormen van communicatie, didactische strategieën en soorten leeromgevingen in relatie tot type leerprocessen, of om een combinatie hiervan. 3 Ontwerp Flankerend Onderzoek.doc 1
inzet leeromgeving[en] Bij het doen van uitspraken over de effectiviteit wordt wel de kwaliteit van het leerresultaat bekeken maar alleen vanuit het perspectief van de betrokkenen: vinden studenten en etutoren dat de inrichting van de leerpraktijk heeft bijgedragen aan de kwaliteit van het leerresultaat. Daarnaast speelt de vraag of de hiervoor genoemde elementen van de leeromgeving een positieve bijdrage hebben geleverd aan het behalen van de leerdoelstellingen. Het onderzoek dient een antwoord te geven op de vraag of de gekozen inrichting van de leerpraktijk leidt tot het gewenste leerresultaat en overeenstemt met de verwachtingen die studenten en etutoren hebben van de leerpraktijk. Uit het conceptueel kader bleek al dat de leeropbrengst door de veelheid van actoren in het learning en teaching proces, een hoogst individueel karakter heeft. Het doel van het flankerend onderzoek is daarom verder inzicht te ontwikkelen in de wijze waarop de inrichting van de leerpraktijk bijdraagt aan de optimalisering van het leerproces.. Vergelijkbaar met de eerdere pilots zullen studenten een rol hebben bij het ontwerp en de uitvoering van de experimenten. Zij vormen een belangrijke, zo niet meest belangrijke bron van informatie als we meer te weten willen komen over de mate waarin het onderwijs haar doelstellingen waarmaakt, en aansluit bij wensen en behoeften van elke student. Studenten zijn daarom geconsulteerd in de ontwerpfase en tijdens de uitvoeringsfase zullen ze een rol spelen binnen het flankerend onderzoek. Uiteraard wordt alle studenten gevraagd naar hun perceptie en ervaringen, maar binnen elk experiment zal minstens één student als assistent een aanvullende rol hebben in het flankerend onderzoek. Hij staat dichter bij de studenten en kan in die positie effectiever en efficiënter informatie verzamelen over de perceptie van de leerpraktijk door de studenten. Ontwerp van het flankerend onderzoek Ten einde tot een eerste ontwerp van het onderzoek te komen, zal moeten worden bepaald wat de beoogde resultaten moeten zijn. Het onderzoek moet antwoorden geven op de volgende vragen: Is het doel van de leerpraktijk en ook de weg om dat doel te bereiken duidelijk? Biedt de leeromgeving voldoende ondersteuning bij het leerproces? o Welke onderdelen van de leerpraktijk bleken effectief en waaruit bleek dat? Is de instructie duidelijk en wordt het onderwerp adequaat geïntroduceerd? Sluit de begeleiding die wordt geboden aan op de begeleidingsbehoefte? Sloten de verschillende soorten begeleiding goed op elkaar aan? Inhoudelijk Procesmatig (zoals organisatie, modereren) Welke soort peer feedback tussen de studenten wordt door etutor en studenten als helpend en betekenisvol gekenschetst? Welke soort feedback van de etutor wordt door de studenten als helpend en betekenisvol ervaren? Sluit de toetsing aan op het leerproces en zijn de criteria voor toetsing helder? Wordt er iets gemist dat bij zou kunnen dragen aan proces en resultaat? Voor al deze vragen geldt dat ze door elke student anders zullen worden beantwoord naargelang hun perceptie van de leersituatie, hun persoonlijke voorgeschiedenis en kenmerken, hun behoefte aan een bepaalde inrichting van de leerpraktijk, en hun betrokkenheid op het onderwerp. Daarom zal naast de bovengenoemde vragen ook zicht moeten zijn op de kenmerken van de studenten in een leerpraktijk. Daartoe kunnen de volgende vragen als leidraad worden gebruikt: 3 Ontwerp Flankerend Onderzoek.doc 2
Hoe oriënteert de student zich doorgaans op een nieuwe leertaak of opdracht? Wat verwacht een student aan te treffen in de leeromgeving om de taak te kunnen uitvoeren? Wat verwacht de student aan instructie en hoe moet die instructie worden aangeboden? Hoe wil een student begeleid worden en wat verwacht hij van een begeleider in een leerpraktijk? Hoe gaat de student om met feedback en hoe waardevol vindt hij feedback van peers? Welke rol zou de student willen hebben bij vormgeving en uitvoering van toetsingsprocedures? Wat zijn aanvullende persoonlijke wensen van de student in relatie tot de uit te voeren taak? Een vergelijkbare set vragen kan worden geformuleerd voor de docent/etutor die betrokken is bij de introductie en/of begeleiding van de leerpraktijk. Die vragen hebben dan een tweeledig doel, namelijk vaststellen hoe de docent/etutor de leerpraktijk percipieert, de consequenties die hij daaraan verbindt aangaande zijn rol en taken, en de indruk die de docent/etutor heeft van de perceptie van studenten in die leerpraktijk. Met betrekking tot de docent/etutor zijn de volgende vragen belangrijk: Is het doel van de leerpraktijk en ook de weg om dat doel te bereiken duidelijk te maken? Biedt de leeromgeving voldoende ondersteuning bij om het leerproces vorm te geven? Kan voldoende instructie worden gegeven en kan het onderwerp goed worden geïntroduceerd? Kan begeleiding worden geboden naar behoefte en sluit dat aan bij de visie van de etutor? Kan voldoende feedback worden gegeven en kan peer-review effectief worden benut? Kan de toetsing worden verantwoord en is de rol van de student in dat proces duidelijk? Zou de leeromgeving verder kunnen worden verrijkt ter verbetering van de leerpraktijk? Aan de docent/etutor kan vervolgens worden gevraagd hoe hij denkt dat studenten de leerpraktijk percipiëren. Dat kan aan de hand van dezelfde vragen die ook aan de student worden gesteld. De uitkomsten daarvan kunnen worden vergeleken met de antwoorden van studenten, waarmee tot op zekere hoogte kan worden vastgesteld of de perceptie van studenten sterk verschilt van de perceptie van de docent. Tevens bieden de antwoorden van de docent/etutor met betrekking tot zijn inschatting van de perceptie van de leerpraktijk door de studenten, indirect zicht op zijn visie op zijn rol en taken binnen die leerpraktijk. De resultaten moeten echter met de grootste voorzichtigheid geïnterpreteerd worden en mogen alleen als tendens worden aangemerkt. Het onderzoeksinstrumentarium Het onderzoek is opgezet langs twee sporen: een formele lijn van gestructureerde interviews in combinatie met standaard (evaluatie)vragenlijsten. Daarnaast is er een informele lijn, niet verplicht, waarbinnen deelnemers gebruik kunnen maken van een weblog om hun ervaringen uit te wisselen. s en vragenlijsten Omdat het onderzoek zicht moet bieden op de perceptie van de leerpraktijk door studenten en etutor, en omdat die perceptie een sterk individueel karakter heeft, zal er gewerkt worden met een interview. De interviews vinden plaats aan het eind van de onderwijsperiode. De studentinterviews worden gehouden met een focusgroep van 10 studenten. Daarbij gaat het niet om representativiteit maar om informatie levering. De studenten die het meest geschikt zijn om heldere feedback en informatie te geven over het totale proces zullen zitting hebben in de focusgroep. Uiteraard zullen wel alle groepen, vt, dt en digi, vertegenwoordigd zijn. Er worden vier focusgroepen, een per locatie, geformeerd. De interviewer is iemand die niet betrokken is geweest bij het proces (iemand van buiten). Van alle tutoren worden op elke locatie drie mensen individueel geïnterviewd. 3 Ontwerp Flankerend Onderzoek.doc 3
Naast de interviews aan het eind zullen tweemaal evaluaties worden afgenomen via een vragenlijst op de evaluatie site. De daar gehanteerde schaal 1-5 en nvt worden overgenomen. De eerste keer dat studenten en tutoren gevraagd worden deze in te vullen is halverwege het traject. De tweede afname volgt aan het eind van de periode. De vragenlijst vloeit voort uit de doelen van het onderzoek en de vragenlijst voor het interview in de eindfase wordt mede gebaseerd op de opbrengsten van de vragenlijst die halverwege werd afgenomen. Daarnaast moet tijdens het interview de mogelijkheid van onverwachte opbrengst open worden gehouden. Het interview met de etutor is ook halfgestructureerd, omdat ook hier onverwachte opbrengsten mogelijk zijn. Weblogboek en weblog Binnen het flankerend onderzoek hebben de student-assistenten een specifieke rol. Aangezien in de pilots van vorig jaar de rol van student-assistenten nog weinig van de grond is gekomen zal in deze pilot daar meer aandacht voor zijn. Zij participeren in de leerpraktijk en doen zelf ervaring op, maar zij kunnen ook informeel met medestudenten spreken over de leerpraktijk. Dat kan aanvullende informatie opleveren over de perceptie van studenten, met name ten aanzien van begeleiding en ondersteuning. Hiervoor komt een weblogboek beschikbaar. Daarnaast kunnen studenten weblogs (blogs) starten. Het gebruik van het weblogboek is niet verplicht. Student(assistent)en kunnen er gebruik van maken. De verwachting is dat enkelen dat ook zullen doen. Doel van het middel is inzicht te krijgen of en hoe het middel werkt. Dat het instrument er is wordt niet langs formele weg gecommuniceerd: ik en mijn informele leren. Er komt één weblog voor alle studenten beschikbaar. Lopende het onderzoek zal bekeken worden of dit op deze manier bruikbaar is. Zo nodig zal iemand gevraagd worden een blog te starten (deze voorziening is binnen INHOLLAND beschikbaar). Nog te bepalen is of deze blog voor mensen buiten het project benaderbaar is. Vanuit de blog gedachte is dat in elk geval een logische keuze. Het weblogboek is een instrument speciaal voor de student-assistent. Deze kan daarin wekelijks reflecteren op de leerpraktijk op basis van een beperkt aantal vragen. Het gaat om korte omschrijvingen van persoonlijke ervaringen gericht op de werkwijze. Er kunnen ook tips en ideeën in geplaatst worden. Het weblogboek is niet bedoeld voor inhoudelijke discussie. Verschil met de andere begeleidingsinstrumenten is dat het weblogboek en de blogs informeel van aard zijn terwijl de begeleidingsinstrumenten in de leerpraktijk formele tools zijn en bovendien te modereren zijn. De studentassistenten krijgen bij de start van het weblogboek een centrale vraag die gebaseerd is op de hieronder aangegeven eerste vraag maar dan minder formeel geformuleerd. Hoe wordt de leerpraktijk inhoudelijk en procesmatig gewaardeerd door de studenten? Welke knelpunten worden ervaren binnen de leeromgeving in relatie tot het proces? Wat zijn de positieve ervaringen van studenten met de leeromgeving die geboden wordt? Welke problemen worden ervaren ten aanzien van de begeleiding van het leerproces? Wat zijn positieve aspecten van de begeleiding bij het leerproces? Voor de tutor is het wenselijk om de tijdsbesteding bij te houden (alle activiteiten die in het kader van de begeleiding worden uitgevoerd). Op basis van deze informatie wordt inzichtelijk hoeveel tijd de begeleiding werkelijk kost en welke knelpunten er liggen bij voorbereiding en uitvoering. Uiteindelijk worden alle gegevens verzameld en geïnterpreteerd, zowel halverwege, als in de eindfase van de leerpraktijk. De uitkomsten halverwege de periode zouden aanleiding kunnen geven tot 3 Ontwerp Flankerend Onderzoek.doc 4
bijsturing van het experiment. Het flankerend onderzoek wordt afgerond met een rapportage, waarin de data, de analyse en interpretatie, evenals de aanbevelingen worden beschreven. Positionering activiteiten De planning van activiteiten is leidend hoewel er natuurlijk redenen kunnen zijn om hiervan af te wijken als een gegeven situatie dat vereist. Belangrijk is dat wordt beschreven waarom wordt afgeweken van de planning, zodat binnen het onderzoek niet alleen duidelijk is dat wordt afgeweken, maar dat ook inzichtelijk is waardoor dit werd veroorzaakt. Het traject omvat in ieder geval een onderzoek onder de studenten naar hun verwachtingen en ideeën rond de leerpraktijk en een inventarisatie van verwachtingen en ideeën vanuit de groep tutoren. De verschillende activiteiten kunnen als volgt op de tijdbalk worden geplaatst: Analyse van studentgroepen studenten studenten Contextanalyse leerpraktijk docent/etutor docent/etutor Introductie logboek Dataverzameling en registratie in het logboek Rapportage Start leerpraktijk Afronding leerpraktijk Als de opzet van het flankerend onderzoek wordt onderschreven, dan kunnen de vragenlijsten worden gemaakt en kan de inrichting van het logboek [weblog?]worden ontwikkeld. Hier wordt een voorstel gedaan voor deze instrumenten, maar het spreekt voor zich dat een nadere concretisering per experiment gewenst is. 3 Ontwerp Flankerend Onderzoek.doc 5
Uitwerking van activiteiten Analyse van studentgroepen Bij de analyse van studentgroepen gaat het om de volgende aspecten die moeten worden bekeken: Gegevens over leeftijd, vooropleiding en werkervaring; Persoonlijke situaties van de student, zoals nevenwerkzaamheden; Ervaring met werken in een elektronische leeromgeving; Verwachtingen van de student van deze leerpraktijk en de werkwijze. Contextanalyse van de leerpraktijk Bij de contextanalyse gaat het in ieder geval om de volgende aspecten die bekeken moeten worden: Soort leerproces en typering van de leeromgeving; Variaties die aan studenten worden aangeboden; Ruimte voor zelfsturing en flexibiliteit in de uitvoering; Werkvormen, begeleiding en beschikbare media. studenten Bij het interview dat halverwege wordt afgenomen gaat het in ieder geval om de volgende vragen: Is het duidelijk wat de doelen zijn van deze studietaak en hoe weet je dat? Is het duidelijk welke taken je dient uit te voeren en welk resultaat er wordt verwacht? Heb je voldoende informatie kunnen vinden en waar vond je die informatie? Heb je zicht op de leerinhouden en was de introductie die je daarop kreeg voldoende? Werd je voldoende begeleid of ben je daarin tekort gekomen? Zo ja, wanneer en wat? Heb je tijdig feedback gekregen van je begeleider en was die feedback ook zinvol? Was de feedback van medestudenten bruikbaar en vond je zelf feedback geven zinvol? Vond je de toetsing aansluiten bij het leerproces en was je eigen rol daarin duidelijk? Heb je nog specifieke dingen gemist in de ondersteuning of heb je nog tips? Het tweede interview zou naast de voorgaande vragen ook expliciet moeten ingaan op de kwaliteit van het resultaat dat in wording is of reeds is afgerond. In dat licht kan dan teruggekeken worden op de inrichting van de leerweg en leeromgeving om tot het vereiste resultaat te komen. Daarnaast geldt dat in leerpraktijken waarin samenwerkend leren wordt nagestreefd, ook het groepsproces en de wijze waarop dat proces wordt ondersteund in de leeromgeving onderwerpen moeten zijn in het interview. docent/etutor Het interview met de docent/etutor omvat in ieder geval de volgende vragen: Is de leerpraktijk goed ontworpen en kunnen doel en werkwijze goed worden uitgelegd? Biedt de leeromgeving voldoende mogelijkheden om de juiste ondersteuning te bieden? Is de introductie op de leerinhoud zo vormgegeven dat het juiste begrip kan ontstaan? Kun je de begeleiding bieden aan de student[en] die je wenselijk of noodzakelijk acht? Zijn er voldoende mogelijkheden om feedback te geven en peer-review in te zetten? Wordt het instrument van peer-review als zinvol en effectief ervaren? Sluit de toetsing aan bij het leerproces en heeft de student ook een rol in dat proces? Hoe zou de leeromgeving nog verder kunnen worden verrijkt voor dit type leerpraktijk? 3 Ontwerp Flankerend Onderzoek.doc 6
In het tweede interview met de docent/etutor [en overige begeleiders] zou specifiek ingegaan moeten worden op de perceptie van de kwaliteit van het leerresultaat in het perspectief van de verschillende varianten waarin de leerpraktijk werd aangeboden. Rapportage De gegevens van de interviews en van het logboek moeten worden geanalyseerd en geïnterpreteerd, waarna er enkele voorzichtige conclusies kunnen worden getrokken en aanbevelingen kunnen worden gedaan. Dit alles zal worden neergelegd in een beknopte rapportage per uitgevoerd experiment op elke locatie, waarna de resultaten van de vier locaties met elkaar worden vergeleken om significante overeenkomsten of verschillen vast te stellen. Het spreekt voor zich dat de data uit interviews en logboek worden geanalyseerd en geïnterpreteerd in het perspectief van het type leerpraktijk en de kenmerken van de studenten die bij dat experiment betrokken waren. 3 Ontwerp Flankerend Onderzoek.doc 7