Feedback en scripting van peerreview

Transcriptie

1 Feedback en scripting van peerreview Onderzoek naar een herontwerp curriculumonderdeel 2.3 / Onderzoek in de opleiding HTRO/TM Inholland/Locatie Diemen Lectoraat Teaching, Learning & Technology Pieter Swager (redactie) Jeroen Bottema Bob Götte Jos Fransen met medewerking van: Corine Wooning, Wendy Raaphorst, Estella Griffioen en Manon Joosten Final

2 Inhoud Samenvatting Inleiding Aanleiding Probleemanalyse en visie Onderwerp, doel en vraagstelling Relevantie Reikwijdte en afbakening Stakeholders Randvoorwaarden, beperkingen en uitgangspunten Context Methode Typering van het onderzoek Participanten en instrumentatie Procedures voor dataverzameling Aanpak voor data-analyse Validiteit en betrouwbaarheid Resultaten Inleiding Vooronderzoeksfase Ontwerpfase Evaluatiefase Conclusies en aanbevelingen Inleiding Ontwerp en uitvoering Bevestiging relevantie script Ervaren bruikbaarheid Ervaren effectiviteit Sterke punten, minder sterke punten en verbetersuggesties Conclusie met betrekking tot centrale onderzoeksvraag Kritische reflectie en suggesties voor vervolgonderzoek Geraadpleegde bronnen Bijlage 1 Screenshot vragenlijst studenten Bijlage 2 Screenshot vragenlijst docenten Bijlage 3 Protocol focusgroep docenten Bijlage 4 Opzet en script feedback op enquêtevragen (HTRO Diemen)

3 Samenvatting De opleiding HTRO en TM (Engelstalige variant) in het domein Creative Business ontwikkelt met ingang van het studiejaar een nieuw curriculum op basis van een vernieuwd opleidingsprofiel dat per september 2017 wordt ingevoerd. De opleiding dient niet alleen beter aan te sluiten op de ontwikkelingen in het werkveld, ook de inzet op didactische vernieuwing is noodzakelijk met een gerichtheid op actief leren van de student. Activerende didactiek impliceert de ontwikkeling van een scenario [ script ] voor een leerproces in een gegeven leerpraktijk. De opleiding HTRO wordt aangeboden op de locaties Haarlem, Diemen en Rotterdam, TM alleen op locatie Diemen. Het object van onderzoek is de inzet van peerreview, expertreview en weblectures en de wijze waarop de digitale leeromgeving (Blackboard) het leerproces kan ondersteunen. Het doel van het onderzoek is het in samenwerking met betrokken pionier/docent genereren en testen van een concrete uitwerking van het didactisch concept voor een curriculumonderdeel 2.3 / Onderzoek, dat exemplarisch is voor de werkwijze in de opleiding HTRO en waarin activerende werkvormen worden ingezet ter ondersteuning van het leerproces van de student. In de vooronderzoeksfase werden ontwerpspecificaties gegenereerd vanuit de theorie en vanuit de analyse van de praktijk. In de ontwerpfase werd op basis hiervan een ontwerp opgeleverd met als kenmerken: studenten bekijken voorafgaand of tijdens de bijeenkomst de weblecture over het geven van effectieve feedback; richtlijnen voor het geven van effectieve feedback worden tijdens de bijeenkomst besproken; inhoudelijke criteria voor het geven van feedback worden besproken; studenten geven feedback aan medestudenten in de digitale leeromgeving; docent geeft feedback (expertfeedback); tijdens de bijeenkomst wordt de peerfeedback en de feedback van de docent besproken. In de evaluatiefase werd gekeken of het ontwerp is uitgevoerd conform ontwerp en gevraagd naar de ervaren bruikbaarheid en effectiviteit. Tevens werden verbetersuggesties geïnventariseerd. Geconcludeerd kan worden dat het integrale ontwerp (script) niet overal is uitgevoerd conform het ontwerp. Met integraal ontwerp (script) wordt bedoeld: alle vastgelegde onderdelen van het script (inhoud) en de vastgelegde volgorde en tijd waarin deze uitgevoerd moeten worden (routing/planning). Wel kan geconcludeerd worden dat de meeste losse onderdelen van het script zijn uitgevoerd, met de volgende afwijkingen : bekijken weblecture over het geven van effectieve feedback vond niet overal plaats; de weblecture werd tijdens de les bekeken in plaats van online voorafgaande aan de les; niet overal werden tijdens de bijeenkomst algemene begrippen uit de weblecture besproken, niet overal werden de inhoudelijke criteria voor het geven van feedback besproken; peerfeedback vond niet altijd plaats binnen de digitale leeromgeving, de docent gaf niet altijd feedback; niet overal werd feedback tijdens de les besproken (peerfeedback en docentfeedback); De relevantie van het ontwerp (script) werd bevestigd in het onderzoek in de perceptie van de studenten en de docenten. Geconcludeerd kan worden dat het herontwerp (script) over het geheel genomen bruikbaar is in de perceptie van docenten en studenten, maar dat hierbij een aantal nuanceringen gemaakt moet worden. Ook kan geconcludeerd worden dat het herontwerp (script) over geheel genomen effectief is in de perceptie van docenten en studenten, maar dat hierbij een aantal nuanceringen gemaakt moet worden; ook kan worden geconcludeerd dat de volgende onderdelen van het script als meest ondersteunend zijn ervaren: het geven van feedback door de docent, het geven van feedback door studenten (peerfeedback); het bespreken van inhoudelijke criteria voor het geven van feedback. De volgende verbetersuggesties werden gegeven: De weblecture geven van effectieve feedback : in een aangepast script zou een aangepaste weblecture met richtlijnen, voorbeelden en aanwijzingen voor toepassing opgenomen kunnen worden; Communiceren script en rationale: het script moet nog beter gecommuniceerd worden naar docenten en studenten; 3

4 Deelname studenten aan leeractiviteiten: belangrijk is ervoor te zorgen dat deelname onontkoombaar wordt; Digitale leeromgeving: Blackboard kan anders ingericht worden of een andere omgeving kan gebruikt worden; Kleuring script: door variërende omstandigheden (bijvoorbeeld per locatie) voldoet één standaardscript niet, maar zal dat iedereen op basis van een standaardscript een eigen aangepaste versie moeten maken; Feedback geven moet je leren: het geven van feedback door studenten is geen vanzelfsprekendheid: zij zullen dit moeten leren en oefenen. Instructie alleen volstaat daarbij niet: er zal dus ruimte in het script moeten worden opgenomen voor deze leeractiviteit. Een script voor de inzet van peerreview voor curriculumonderdeel 2.3 Onderzoek in de opleiding HTRO/TM is ontworpen en uitgevoerd en beoogde door de inzet van peerreview en expertreview bij te dragen aan de (gepercipieerde) kwaliteit van de leeropbrengsten. Over het geheel genomen waren studenten en docenten positief over het uitgevoerde script. De aanbevelingen/verbetersuggesties hebben dan ook vooral betrekking op het opheffen van belemmeringen. Alle data met betrekking tot vragenlijsten studenten en docenten zijn te vinden op bij het onderzoeksthema feedback. 4

5 1. Inleiding 1.1 Aanleiding De opleiding HTRO en TM (Engelstalige variant) in het domein Creative Business ontwikkelt met ingang van het studiejaar een nieuw curriculum op basis van een vernieuwd opleidingsprofiel. Het nieuwe curriculum wordt vanaf 1 september 2017 ingevoerd. De opleiding dient niet alleen beter aan te sluiten op de ontwikkelingen in het werkveld, ook de inzet op didactische vernieuwing is noodzakelijk met een gerichtheid op actief leren van de student. De opleiding HTRO wordt aangeboden op de locaties Haarlem, Diemen en Rotterdam, TM alleen op de locatie Diemen. 1.2 Probleemanalyse en visie Het vernieuwen van de opleiding is om twee redenen noodzakelijk, namelijk vanwege de ontwikkelingen in het werkveld en de veranderende studentpopulatie. Het werkveld wordt zakelijker en technologie wordt steeds belangrijker. Daarbij is steeds minder sprake van een eenduidig beroepsbeeld en is het lastig te voorspellen hoe het beroepenveld er over vijf jaar uit zal zien. De student moet daarom worden opgeleid om te kunnen opereren in een snel veranderende omgeving en moet zelf kunnen bijdragen aan deze ontwikkelingen in het beroepenveld. Daarnaast vereist het opleiden van de professional van de toekomst een andere didactiek en in het verlengde daarvan is de professionalisering van docenten noodzakelijk. Een belangrijk knelpunt in de uitvoering van het huidige curriculum is dat de didactiek nog onvoldoende gericht is op activering van de student in het participeren in leeractiviteiten en op de ontwikkeling van het zelfsturend vermogen van de student. Activerende didactiek impliceert de ontwikkeling van een scenario [ script ] voor een leerproces in een gegeven leerpraktijk. Dat scenario moet zodanig zijn dat actief participeren onontkoombaar is en niet-participeren onaantrekkelijk is. Feedback is cruciaal voor het sturen van een leerproces en voor het realiseren van de gewenste leeropbrengsten, maar de feedback moet kwalitatief goed zijn, in de juiste vorm en op het juiste moment worden gegeven, en de student moet in staat zijn die feedback te benutten. Daarnaast is het belangrijk dat de student [intrinsieke] feedback krijgt op zijn handelen vanuit de leeromgeving en dat vereist een herontwerp van die leeromgeving. Ten slotte kan de beredeneerde inzet van (peer)feedback bijdragen aan de kwaliteit van de leeropbrengst en aan de actieve participatie van de student in het leerproces, maar daarbij is ook voorwaarde dat dit instrument op het juiste moment en in de juiste mate wordt ingezet en adequaat wordt ondersteund, passend bij de fase van ontwikkeling van de student en het type leerpraktijk. Technologie kan hierbij niet worden gemist vanwege de meerwaarde ervan voor zowel de organisatie als de inhoudelijke kwaliteit van (peer)feedback. De centrale rol van (peer)feedback binnen een leerproces maakt dat dit een goed aangrijpingspunt vormt voor het concretiseren van een herontwerp van het curriculum waarin activering van de student een belangrijk doel is. 1.3 Onderwerp, doel en vraagstelling Het object van onderzoek bij onderzoek HTRO is de inzet van feedback binnen leerpraktijken. Het gaat hierbij om de inzet van peerfeedback en expert(docent)feedback (hierna: expertfeedback) en de wijze waarop de digitale leeromgeving (Blackboard) het proces van peerreview en expertreview kan ondersteunen. De activiteiten zelf worden in dit onderzoek benoemd als peer-feedback en expert-feedback; het proces van feedback geven wordt beschreven als peerreview en expertreview. Doel van het onderzoek is het in samenwerking met betrokken pioniers en docenten genereren en testen van een concrete uitwerking van het didactisch concept voor een specifiek curriculumonderdeel met als basis effectief inzetten van peerreview en expertreview ter ondersteuning van het leerproces van de student. Het onderzoeksproject richt zich op het curriculumonderdeel 2.3 Onderzoek dat exemplarisch is voor de werkwijze in de opleiding HTRO. 5

6 Centrale vraagstelling: Hoe ziet het didactisch ontwerp van curriculumonderdeel 2.3 Onderzoek in de opleiding HTRO/TM eruit waarin beoogd worden dat feedback van de docent en inzet van peerfeedback bijdragen aan de kwaliteit van de leeropbrengsten, en hoe wordt dit didactisch ontwerp ervaren en gewaardeerd door docenten en studenten? 1.4 Relevantie Het onderzoeksproject richt zich op het curriculumonderdeel 2.3 dat exemplarisch is voor de werkwijze in de opleiding HTRO en daarmee kan het ontwerp mogelijk als richtlijn fungeren voor het herontwerp van andere curriculumonderdelen. Ook kan de ervaring met de aanpak die wordt gevolgd om te komen tot dit herontwerp worden benut om de aanpak van het herontwerp van andere curriculumonderdelen vorm te geven. Aanpak en herontwerp kunnen vervolgens inspirerend zijn voor andere opleidingen in de hogeschool met de wens om het onderwijs meer activerend in te richten en daarbij in te zetten op verbetering van de kwaliteit van feedback in leerprocessen en het benutten van peerfeedback daarbij. Dit sluit eveneens aan op de visie van de hogeschool op toekomstgericht onderwijs en de rol die technologie daarin kan vervullen. Dit onderzoeksproject sluit tevens aan bij de landelijke trend in het hoger beroepsonderwijs waarin gepersonaliseerd leren, activerende didactiek en de beredeneerde inzet van technologie belangrijke aandachtspunten zijn. 1.5 Reikwijdte en afbakening Het betreft een onderzoek naar een contextspecifiek herontwerp en dat impliceert dat het herontwerp aansluit bij de condities en randvoorwaarden die gelden in de gegeven context, en bij de visie op didactiek en de beschikbare expertise en middelen in de leeromgeving. Daarmee is het ontwerp, evenals de kennis over de werking van het ontwerp in de gegeven context, niet onverkort te vertalen naar andere opleidingen, maar kan het wel als basis dienen voor een herontwerptraject met betrekking tot een vergelijkbaar curriculumonderdeel in een verwante of niet-verwante opleiding. Het onderzoeksteam Teaching, Learning & Technology verzamelt de gegenereerde kennis uit deze herontwerptrajecten met als doel om daaruit meer generieke ontwerpprincipes af te leiden die bruikbaar zijn binnen ontwerpen van vergelijkbare curriculumonderdelen in opleidingen binnen de hogeschool. De onderzochte leerpraktijk betreft het curriculumonderdeel 2.3 Onderzoek, dat in de derde periode van het 2 e jaar van de HBO-opleiding toerisme wordt uitgevoerd. Het betreft hier voltijdstudenten van de vierjarige opleiding HTRO/TM van de locaties Diemen en Rotterdam. Belangrijkste reden hiervoor is de aanwezigheid van een pionier op beide locaties. Daarnaast is op deze locaties de motivatie aanwezig bij de teams om het onderwijs te vernieuwen. In totaal betreft het meer dan tweehonderd studenten en tien docenten verdeeld over de twee locaties. In Diemen betreft het HTRO studenten van Engelstalige (TM: Tourism Management) en Nederlandstalige variant van de opleiding (HTRO: Hoger Toeristisch en Recreatief Onderwijs). In Rotterdam betreft het alleen Nederlandstalige studenten. Het Engelstalige en Nederlandstalige programma is identiek : het betreft hetzelfde curriculum, dezelfde locatie, dezelfde opdrachten en ook dezelfde docenten. De leeftijd van internationale studenten van TM ligt iets hoger dan bij HTRO, en worden door docenten als iets kritischer omschreven. Omdat het programma hetzelfde is en de docenten dezelfde zijn is ervoor gekozen om in het onderzoek de studentengroep HTRO/TM als één groep gedefinieerd. De leerpraktijk betreft een groepsopdracht waar een vragenlijst ontwikkeld dient te worden die wordt ingezet voor een toeristisch onderzoek in het buitenland aan het eind van dezelfde periode. Naast afbakening van locatie is ook afgebakend op mate van detaillering. Het script dat tot stand kwam en als spoorboekje voor het leerproces diende (in de studiehandleiding) is gedetailleerd en per week wordt beschreven per locaties en per klas welke activiteiten in welke volgorde plaatsvinden. Het onderzoek richt zich op het niveau van algemene kenmerken van de leerpraktijk en de volgorde van (feedback)onderdelen om de kans op transfer van de onderzoeksresultaten te vergroten. 6

7 1.6 Stakeholders In dit onderzoek worden stakeholders onderscheiden op het niveau van het onderzoek of de pilot per opleiding of domein, en op het niveau van onderzoekslijn TLT en hogeschool (zie tabel 1: stakeholders). Tabel 1. Stakeholders, niveau en belang. Stakeholder Niveau Belang in het onderzoek Management van een opleiding/domein Pioniers op locaties Diemen en Rotterdam Docenten HTRO Diemen/ Rotterdam Studenten HTRO Diemen/ Rotterdam Onderzoekers onderzoekslijn TLT Domein/Opleiding HTRO/TM Domein/Opleiding Domein/Opleiding Domein/Opleiding Onderzoeksgroep en Hogeschool Ontwikkeling van toekomstgericht onderwijs [activerend en met meer flexibiliteit voor het bieden van maatwerk] Ontwikkeling van activerend en toekomstgericht onderwijs met effectieve inzet van technologie. Ontwikkeling van activerend en toekomstgericht onderwijs met effectieve inzet van technologie. Participeren in onderwijs dat effectief ondersteunt bij het behalen van leerdoelen met effectieve inzet van technologie. Genereren van valide en toepasbare kennis over de effectieve inzet van technologie in leerprocessen. Dienst Onderwijsbeleid Hogeschool Ontwikkeling van gereedschap voor ontwerp van activerend onderwijs met een beredeneerde inzet van technologie. College van Bestuur van Inholland Hogeschool Ontwikkeling van kwalitatief goed toekomstgericht onderwijs met effectieve inzet van technologie en veel flexibiliteit. 1.7 Randvoorwaarden, beperkingen en uitgangspunten Als randvoorwaarde voorafgaand aan het herontwerpen gold in dit onderzoek dat het moest passen binnen de didactische uitgangspunten van de opleiding HTRO/TM en uitvoerbaar moest zijn binnen de gegeven condities van de beschikbare capaciteit en middelen. Daarbij moest rekening worden gehouden met mogelijke beperkingen ten aanzien van de organiseerbaarheid als gevolg van regelgeving op hogeschoolniveau met betrekking tot de organisatie en planning van het onderwijs. Daarnaast was uitgangspunt de betrokkenheid van het docententeam op locatie bij een herontwerp vanuit de bereidheid om vanuit een gedeelde visie samen te werken aan een voor hen en voor de gegeven locatie uitvoerbaar en effectief ontwerp van curriculumonderdeel 2.3 Onderzoek. Binnen het team moest een pionier aanwezig zijn die al had aangetoond in aanleg te beschikken over de eigenschappen van een pionier en zich verder wilde ontwikkelen als change agent binnen het betrokken docententeam: Een succesvolle pionier vormt het bruggenhoofd in een verbinding met het team. Vanuit die positie reduceert hij, zo mogelijk samen met één of meer vroege gebruikers, de complexiteit van een verandering. Bijvoorbeeld door collega s te trainen en te ondersteunen in het omgaan met de technologie (operationele complexiteit) en door te helpen bij het inzetten van de technologie in het onderwijs, passend bij de visie en werkwijze van de individuele leraar (conceptuele complexiteit). Op deze manier kan de pionier een fundamentele rol spelen bij de acceptatie en duurzame implementatie van een ict-toepassing in een onderwijsorganisatie (2013, p. 19). Zowel teamleden als pionier moesten vanuit de opleiding voldoende worden gefaciliteerd in tijd in het kader van het ontwerptraject en voor hun professionalisering. Voordat het herontwerpen plaatsvond, kon aan genoemde randvoorwaarden en uitgangspunten worden voldaan, waardoor er vooraf uitgegaan kon worden dat geen verstorende factoren op dit gebied een rol spelen. 7

8 1.8 Context Het onderzoek vindt plaats bij de HBO-opleiding Hoger Toeristisch Management Onderwijs (hierna: HTRO) in Diemen en de Engelstalige variant hiervan: Tourism Management (hierna:tm). Het betreft het derde project van het tweede studiejaar aan de opleiding HTRO/TM. Het onderdeel dat onderzocht wordt heet 2.3 Onderzoek. De ervaring van jaar 2 is nodig voor het uitvoeren van het derde jaar waarin studenten stage lopen bij een bedrijf, organisatie of instelling in het werkveld. Gedurende de stage worden opdrachten uitgevoerd zoals onderzoek naar trends, imago, tevredenheid en concurrentie binnen de toeristische branche. In periode 2.3 worden de studenten hierop voorbereid door een onderzoek op te zetten en uit te voeren. Om de opdracht zo beroepsauthentiek mogelijk te maken gaan de studenten in deze periode onderzoek uitvoeren voor een commercieel, toeristisch bedrijf in het buitenland. Het onderzoek betreft de HTRO-locaties Diemen en Rotterdam. De opleiding TM is gehuisvest in Diemen. In totaal betreft het ongeveer 240 studenten HTRO/TM en 10 docenten. 8

9 2. Methode 2.1 Typering van het onderzoek De aanpak kan worden getypeerd als ontwerpgericht onderzoek en dat is een benadering die resulteert in een contextspecifiek herontwerp en kennis over de werking van dat ontwerp in de gegeven praktijk. Het herontwerp kwam tot stand op basis van een vooronderzoeksfase waarin wetenschappelijke kennis over dit type ontwerpen productief werd gemaakt binnen de gegeven context om tot een passend ontwerp te komen dat uitvoerbaar is binnen de gegeven condities. In de prototypingfase werd dat herontwerp getest en geëvalueerd op relevantie, consistentie, bruikbaarheid en effectiviteit en daarbij werd één iteratie doorlopen. Hierbij moet worden aangetekend dat de relevantie van het ontwerp is gebaseerd op de eisen die er vooraf aan gesteld werden. De aanpak is mede gericht op brede acceptatie en duurzame implementatie van het herontwerp en dat vereist dat betrokken docenten zich eigenaar voelen van het gerealiseerde ontwerp en zichzelf in staat achten om dat ontwerp in de praktijk succesvol te implementeren. De betrokkenheid van docenten werd gewaarborgd door te vertrekken vanuit de ervaren handelingsverlegenheid en hen vanaf de voorbereidingsfase nauw te betrekken bij het onderzoekstraject. Professionalisering van docenten is daarmee impliciet verbonden aan het ontwerpen en in de praktijk testen van het herontwerp en sluit aan bij de visie dat effectieve professionalisering alleen is te realiseren door leren en werken met elkaar te verbinden. 2.2 Participanten en instrumentatie De participanten zijn primair de betrokken pionier, docent[en] en studenten HTRO/TM. De instrumentatie is gebaseerd op de volgende onderzoeksvragen: Vooronderzoeksfase 1. Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview? (literatuuronderzoek) 2. Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren? (empirisch onderzoek: ontwerpsessies) Ontwerpfase 3. Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (empirisch onderzoek: ontwerpsessies) Evaluatiefase 4. Is het ontwerp uitgevoerd conform ontwerp? (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? 5. Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp (prototype van het ontwerp) in de perceptie van docenten en studenten (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? 6. Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? Hieronder de argumentatie voor de keuze van onderzoeksinstrumenten en hoe ze tot stand zijn gekomen. De test van het eerste prototype was gericht op het beoordelen van ervaren bruikbaarheid en ervaren effectiviteit van het ontwerp. Het betrof een formatieve evaluatie: daarbij was vooral de uitvoering of de procesgang in de uitvoering belangrijk omdat die de meeste informatie kan opleveren over de consistentie en bruikbaarheid van het ontwerp. Het onderzoek is gericht op input voor het verbeteren van het eerste prototype. Naast instrumenten die in de vooronderzoeks- en ontwerpfase zijn ingezet (literatuuronderzoek, documentanalyse en ontwerpsessie) werden in de evaluatiefase de volgende instrumenten ingezet: 9

10 Vragenlijsten Vragenlijsten hebben een belangrijke rol gespeeld bij de evaluatie van de werking van het prototype in de praktijk, zowel ten aanzien van de ervaringen tijdens de uitvoering als het vaststellen van ervaren effecten. Vragenlijsten omvatten gesloten vragen, stellingen en enkele open vragen. De vragenlijsten voor de studenten en docenten van HTRO/TM zijn opgenomen in de bijlagen 1. en 2. De vragenlijsten zijn samengesteld op basis van de thema s die werden afgeleid uit de theorie over activerende didactiek en de beredeneerde inzet van technologie in leerpraktijken. Daarnaast bevatten de vragenlijsten vragen gerelateerd aan ervaren bruikbaarheid en ervaren effectiviteit van het specifieke ontwerp en gerelateerd aan de specifieke context waarin het ontwerp moet functioneren. Interview Een half-gestructureerd interview is ingezet ten behoeve van de evaluatie van het prototype bij de pionier/ docent HTRO locatie Rotterdam. Onderwerpen waarop de geïnterviewde is bevraagd zijn afgeleid uit het theoretisch kader met betrekking tot activerende didactiek en de inzet van technologie, aangevuld met de bespreekpunten die zijn gerelateerd aan de specifieke kenmerken van ontwerp en context. Daarnaast zijn de meest opvallende resultaten van de vragenlijsten docenten en studenten besproken. Focusgroep Een focusgroep is ingezet bij de evaluatie van uitgevoerde leerpraktijk met pionier/docenten HTRO/TM locatie Diemen. Onderwerpen waarop de pionier/docenten zijn bevraagd zijn afgeleid uit het theoretisch kader met betrekking tot activerende didactiek en de inzet van technologie, aangevuld met de bespreekpunten die zijn gerelateerd aan de specifieke kenmerken van ontwerp en context. Daarnaast zijn de meest opvallende resultaten uit de vragenlijsten docenten en studenten besproken. Het protocol van de focusgroep is opgenomen als bijlage 3. Logboeken Ten behoeve van het registreren van de eerste ervaringen bij de uitvoering door pioniers/docenten is gebruik gemaakt van een logboek binnen een digitale applicatie. Vragen die hierin waren opgenomen: datum/ naam/ locatie/ Wat heb je deze week gedaan en hoe heb je dat ervaren? Wat verliep goed en wat verliep minder goed? Heb je iets aangepast in de uitvoering, en zo ja, wat en waarom? Wat wil je verder nog kwijt over de uitvoering? In totaal hebben 5 pioniers/docenten gebruikt gemaakt van de mogelijkheden hun ervaringen op te tekenen. De inhoud van de logboeken is gebruikt bij het beschrijven van de implementatie van de leerpraktijk. 2.3 Procedures voor dataverzameling Hieronder een korte beschrijving van de procedures die gevolgd zijn bij dataverzameling, ofwel wanneer en op welke wijze welke data zijn verzameld. De logboeken zijn door de pioniers/docenten gebruikt bij aanvang van de uitgevoerde leerpraktijk. Hierbij werd een digitale applicatie in Google Forms gebruikt. De vragenlijsten zijn opgesteld in Google Forms en digitaal door middel van een hyperlink ontsloten. De vragenlijsten voor studenten en docenten zijn online afgenomen aan het eind van de uitgevoerde leerpraktijk. De focusgroep Diemen en het interview in Rotterdam zijn uitgevoerd na verwerking data vragenlijsten studenten en docenten. Ten behoeve van de focusgroep en het interview is gebruik gemaakt van een opgesteld protocol. De sessies duurden beide een uur en zijn opgenomen met behulp van audioapparatuur. Van focusgroepsessie en interview is een samenvattend verslag gemaakt en voor membercheck aangeboden aan betrokkenen. In totaal zijn vijf personen betrokken geweest bij de focusgroep: een pionier/docent, 2 docenten en 2 onderzoekers TLT. Het interview in Rotterdam betrof de pionier/docent die op de locatie als enige betrokken was. 10

11 Tabel 2. Participanten en instrumentatie. Deelvraag Deelonderzoek Participanten Instrumenten Fase onderzoek 1. Wat kan uit de theorie worden afgeleid met betrekking tot scripten van peerreview en expertreview? 2. Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren? 3.Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? 4.Is het ontwerp uitgevoerd conform ontwerp? 5.Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp 6. Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? Literatuurverkenning Contextanalyse Ontwerp prototype Evaluatie prototype Evaluatie prototype Verbetering prototype Onderzoekers TLT Literatuuronderzoek Tijdens vooronderzoeksfase Pioniers/ onderzoekers TLT Pioniers/docenten/ onderzoekers TLT Pioniers/docenten/ studenten Pioniers/docenten/ studenten Pioniers/docenten/ studenten Document-analyse/ ontwerpsessies/ overleg Tijdens vooronderzoeksfase Ontwerpinstrumenten Logboek/vragenlijst docenten + studenten/focusgroep/interview Logboek/vragenlijstd ocenten + studenten/focusgroep/interview Logboek/vragenlijstd ocenten + studenten/focusgroep/interview Tijdens ontwerpfase Tijdens uitvoering (logboek)/na afloop uitvoering (overig) Tijdens uitvoering (logboek)/ na afloop uitvoering (overig) Na afloop van uitvoering 2.4 Aanpak voor data-analyse De kwantitatieve data van gesloten vragen en stellingen uit de vragenlijsten zijn bewerkt en geanalyseerd, waarbij met name frequenties en spreiding werden gerapporteerd. Kwalitatieve data (focusgroep/interview/logboeken) werden gecodeerd op basis van uit de theorie afgeleide aspecten en gerubriceerd op basis van uit ontwerpspecificaties afgeleide rubrieken. 2.5 Validiteit en betrouwbaarheid Validiteit verwijst naar de juistheid van de metingen en richt zich op de vraag of wordt gemeten wat beoogd werd te meten. Validiteit staat onder druk als sprake is van systematische fouten en dat wordt mede bepaald door de robuustheid van opzet en concretisering van het onderzoek. Betrouwbaarheid verwijst naar stabiliteit van metingen en richt zich op de vraag of een meting herhaalbaar is en dan weer tot dezelfde resultaten leidt. De betrouwbaarheid staat onder druk als sprake is van toevallige fouten en dat kan mede voorkomen worden door een zorgvuldige, navolgbare en eenduidige uitvoering van het onderzoek. In dit type onderzoek gaat validiteit voor betrouwbaarheid omdat van herhaalbaarheid van metingen niet of nauwelijks sprake is. Validiteit werd in dit onderzoek versterkt door de theoretische inbedding van het onderzoek, door triangulatie van methoden en onderzoekers, en door een representatieve selectie van respondenten. Verder werden bedreigingen van validiteit en betrouwbaarheid gereduceerd door het vastleggen van data uit focusgroep en interview op geluidsdragers, en door member check. Het vastleggen van keuzes en beslissingen, inclusief de onderliggende argumentatie, alsmede het documenteren van de procesgang van het onderzoek, droeg in dit onderzoek bij aan de navolgbaarheid en transparantie van het onderzoek. Gedragscode praktijkgericht onderzoek voor het hbo Bij de opzet en uitvoering van het onderzoek is de Gedragscode Praktijkgericht Onderzoek voor het hbo leidraad geweest (Commissie Gedragscode Praktijkgericht onderzoek in het hbo, 2010). 11

12 Resultaten 3.1 Inleiding De studentenvragenlijst is ingevuld door 81 studenten, wat overeenkomt met (iets meer dan) één derde van de populatie; de docentenvragenlijst werd ingevuld door 5 docenten, wat (ongeveer) overeenkomt met de helft van de populatie. Het logboek werd ingevuld door 5 docenten. De focusgroep Diemen vond plaats met vier docenten en twee onderzoekers, het interview in Rotterdam vond plaats met de docent die de uitvoering had verzorgd voor de groepen en twee onderzoekers. 3.2 Vooronderzoeksfase Vooronderzoeksfase 1: Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview? (literatuuronderzoek) Peerreview en expertreview Peerreview wordt in dit onderzoek gedefinieerd als een leeractiviteit waarbij studenten het werk van medestudenten (peers) voorzien van formatieve feedback met als doel het leerproces wederzijds te ondersteunen (Götte, 2015). Peerreview is een leeractiviteit die aansluit bij doelstellingen als zelfsturend, activerend en collaboratief leren (Van Zundert, Sluijsmans, & Merriënboer, 2010). Expertreview heeft betrekking op de docent/expert. Hoewel uit onderzoek blijkt dat peerreview het leerproces (Rieber, 2006; Topping, 1998), is dit niet vanzelfsprekend, onder meer door gebrekkige organisatie van het proces (Falchikov, 2005; Nilson, 2003; Rompa & Romme, 2001). De toegevoegde waarde van peerreview wordt beïnvloed door de wijze waarop het wordt ingezet en de mate waarin valkuilen en problemen worden vermeden (Hattie & Timperley, 2007; Nilson, 2003; Shute, 2008). Een beredeneerde inzet van peerreview is dan ook van doorslaggevende betekenis voor effectieve leerpraktijken. De impact van feedback op het leerproces is ruimschoots aangetoond (Hattie, 2009; Shute, 2008). Een veelgenoemde strategie om het effect van feedback op het leerproces te verhogen, is het direct betrekken van studenten bij het feedbackproces (Dochy, Segers, & Sluijsmans, 1999; Topping, Smith, Swanson, & Elliot, 2000). Peerreview wordt daarbij vaak genoemd als leeractiviteit (Falchikov, 2005; Rieber, 2006; Van den Berg, Admiraal, & Pilot, 2006). Met de groeiende aandacht voor peerreview, is de interesse in onderzoek naar de effectieve toepassing ervan toegenomen, alsmede in de rol die technologie daarbij kan vervullen (Laurillard, 2002) Een uitgebreide literatuurverkenning vanuit het lectoraat TLT met betrekking tot de inzet van feedback en scripting van peerreview (Götte, 2015) is beschikbaar op Op basis van de literatuur kunnen de volgende conclusies getrokken worden en implicaties geformuleerd worden (ontwerpeisen) voor het ontwerp: Voorwaarde voor het adequaat ondersteunen van het leerproces door peerfeedback is een goede organisatie van het review-proces (Dennen, 2003; Ladyshewsky, 2013; Van den Berg, Pilot, & Admiraal, 2005); Richtlijnen met betrekking tot het geven van adequate feedback moeten deel uitmaken van het ontwerp (Finn & Garner, 2011; Keh, 1990; Ladyshewsky, 2013; Min, 2005; Nilson, 2003; Sahin, 2008; Topping, 1998); Het geven van feedback moet gebeuren aan de hand van duidelijke, inhoudelijke criteria (Black & Wiliam, 1998a, 1998b; Falchikov, 2005; Finn & Garner, 2011; Juwah et al., 2004; Newkirk, 1984; Rieber, 2006; Sadler, 1989; Van den Berg et al., 2005) 12

13 Volgordelijkheid in het geven van feedback is belangrijk: peerreview moet voorafgaan aan expertreview (Dennen, 2003; Paulus, 1999; Tsui & Ng, 2000; Van den Berg, Admiraal, & Pilot, 2003; Van den Berg et al., 2005) Peerreview kan goed ondersteund worden door inzet technologie (Falchikov, 2005; Kigozi Kahiigi, Vesisenaho, Hansson, Danielson, & Tusubira, 2012; Mory, 2004; Richardson, Ertmer, Lehman, & Newby, 2007; Sahin, 2008; Van den Berg et al., 2005; Williams, Brown, & Benson, 2013) De wijze waarop peerfeedback is gegeven en verwerkt moet (bij voorkeur F2F) worden besproken (Boud, 2000; Juwah et al., 2004; Sadler, 1989; Van den Berg et al., 2003, 2006; Van Seggelen-Damen & Romme, 2014) Vooronderzoeksfase 2: Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren? (empirisch onderzoek: ontwerpsessies)? In de ontwerpsessies en het overleg ter voorbereiding van het ontwerp wordt afgesproken dat peerfeedback en expertfeedback deel moeten uitmaken van het ontwerp en dat de digitale leeromgeving wordt ingezet ter ondersteuning hiervan. Het ontwerp moet beschikbaar zijn voor de HTRO-opleiding en voor de Engelstalige variant TM. Het ontwerp vindt plaats binnen de geldende afspraken voor studieonderdelen uit het OER: geen verplichte deelname aan lesactiviteiten en vigerende toetsing. Het script moest tot stand komen op basis van de ontwerpeisen/randvoorwaarden 1. dat het uitgevoerd moet kunnen worden door de betrokken docenten; 2. dat er volgende draagvlak is voor de werkwijze en 3. dat het uitgevoerd moet worden binnen de daarvoor beschikbare tijd voor studenten en docenten. Hierbij moet worden aangetekend dat het gehele proces van ontwerpen hierbuiten valt, en apart gefaciliteerd werd. Het ontwerp moet draagvlak hebben en dat moet worden gerealiseerd door de pionier per locatie die tevens de collega s moet voorbereiden op de uitvoering en indien nodig moet ondersteunen. 3.3 Ontwerpfase Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (empirisch onderzoek: ontwerpsessies) Ontwerpproces Het herontwerp kwam tot stand in samenspraak tussen een ontwerpteam HTRO (vier personen: pioniers/docenten/coördinator), en twee onderzoekers van het lectoraat TLT. De evidence based uitgangspunten beschreven in 3.2 waren de basis voor het ontwerp. Er vond een vijftal vergaderingen plaats (tevens ontwerpsessies), waarin de basis voor het script werd besproken. Invulling van vergaderingen was mede op basis van de heuristiek van de IBL-designer, een ontwerptool van het lectoraat TLT voor het herontwerpen van leerpraktijken op basis van blended learning. Hierin wordt ten behoeve van het herontwerp een aantal onderwijskundige vragen gesteld op basis waarvan een herontwerp tot stand kan komen, bijv. welke interacties zijn van belang, wie is daarbij betrokken, op welk moment is welke interactie betekenisvol, welke rol kan feedback hierbij spelen op welke wijze kan ICT het leerproces ondersteunen. De leerpraktijk De inhoudelijke basis van het programma was bij alle klassen identiek: het maken van een vragenlijst met een groepje studenten. Na afloop van de lesweken werd deze vragenlijst gebruikt voor een toeristisch onderzoek op een aantal locaties in het buitenland. Hoorcolleges zijn de start van het onderwijsonderdeel. Met de informatie die in het hoorcollege wordt aangeboden, over het maken van een goede vragenlijst, gaan de studenten oefenen in de onderzoekwerkcolleges. Studenten krijgen in deze werkcolleges een bestaande vragenlijst, waar ze in hun rol feedback geven op een enkel aspect. Vervolgens gaan de groepen zelf produceren (vragenlijst), geven peerfeedback, en door consultant wordt de vragenlijst van (expert)feedback voorzien. Het aantal hoor- en werkcolleges en de in te zetten consultancy 13

14 werden niet gewijzigd t.o.v. het jaar daarvoor. Het verschil zat bij het herontwerp in de inzet van feedback ondersteund in de digitale omgeving. Uitvoering Bij de uitvoering van de leerpraktijk zijn docenten betrokken in verschillende rollen: in Diemen verzorgde een docent, tevens medeontwerper van de herontworpen leerpraktijk, de inhoudelijke hoorcolleges over het maken van een vragenlijst; aan deze colleges waren werkcolleges gekoppeld die begeleid werden door andere docenten in de rol van begeleider en consultant. De begeleider gaf expertfeedback aan de studenten. In Rotterdam wordt het gehele onderwijsonderdeel uitgevoerd door één docent. Studenten werken in groepen. De groepen geven elkaar feedback (peerfeedback). Binnen de groep bestaat er een indeling in rollen, die gekoppeld zijn aan specifieke inhoudelijke aspecten waar feedback op gegeven wordt. Een groepslid geeft feedback op één enkel aspect dat betrekking heeft op zijn/haar rol. Een docent reflecteert hierop: de docent geeft dus ook zelf feedback (expertfeedback). Herontwerp: script Het herontwerp is gebaseerd op een script waarin per week staat aangegeven wat de activiteiten van docenten en studenten zijn, welke hoorcolleges en werkcolleges plaatsvinden per week en in welke volgorde. Het script is een scenario voor een leerproces in een gegeven leerpraktijk. De leerpraktijk bestaat uit een aantal activiteiten, gericht op het ondersteunen van feedback met adequate inzet van technologie. Per locatie en per klas moet een script worden gemaakt vanwege verschillende vakantieperiodes op de locaties en curriculumkleuring tussen locaties. Wat betreft de inzet van peerreview en expertreview en de rationale daarachter het volgende: voor HTRO omvatte het script de volgende onderdelen in de volgende volgorde: Voorafgaand of tijdens de bijeenkomst bekijken van de weblecture over het geven van effectieve feedback Het betreft hier een hiervoor door TLT opgenomen weblecture 1 (in het Engels voor HTRO en Engels voor TM) waarin de belangrijkste richtlijnen voor het geven van effectieve feedback in het algemeen worden besproken: hiervan is een Nederlandstalige en Engelstalige versie opgenomen. Het idee hierachter is dat studenten voorafgaand aan het eerste college thuis de weblecture bekijken zodat in het college direct de criteria besproken en toegepast kunnen worden zonder tijdverlies. Collega s die de voorkeur geven aan het vertonen van de weblecture in de klas hebben die mogelijkheid. Tijdens de bijeenkomst bespreken van algemene begrippen uit de weblecture (richtlijnen voor het geven van effectieve feedback); Alleen bekijken van een weblectures geeft geen garantie voor adequate toepassing ervan door studenten. Begrippen zullen daarom moeten worden toegelicht opdat de transfer kan worden gemaakt naar adequate toepassing ervan bij het geven van feedback aan medestudenten. Bespreken van de betreffende inhoudelijke criteria voor het geven van feedback; Belangrijk is de bril waardoor naar producten gekeken wordt c.q. op basis waarvan feedback wordt gegeven: de inhoudelijke criteria. Deze zijn altijd uitgangspunt voor het geven van feedback. Geven van feedback aan medestudenten in de digitale leeromgeving; 1 Aspecten kwaliteit feedback (Nederlandse versie): 14

15 Peerfeedback kan een krachtig middel zijn op voorwaarde dat studenten in staat zijn adequate feedback te geven en het beargumenteerd wordt ingezet. Het proces van peerreview dient daarom duidelijk beschreven te worden: wie geeft wie feedback, wanneer, aan de hand van welke criteria en op welke wijze ondersteund door ICT? Peerfeedback kan een goede aanvulling zijn op expertfeedback: de studenten krijgen meer feedback (dan alleen expertfeedback) en de student is door het geven van feedback op een actieve wijze betrokken bij het leerproces. Geven van feedback door de docent; Na de peerreview volgt de expertreview: de expert (docent) geeft zijn/haar feedback. Deze vindt plaats na de peerreview om te voorkomen dat de peerfeedback zonder bespreking ervan (lees: check) wordt overgenomen en toegepast door de student die feedback ontvangt. Tijdens de bijeenkomst bespreken van de peerfeedback; tijdens de bijeenkomst bespreken van de feedback van de docent. Van groot belang is het bespreken van beide soorten feedback, het liefst face-to face (F2F): wat zijn de verschillen en overeenkomsten? Begrijpt de student de feedback en (belangrijk) kan hij/zij deze toepassen? Een opzet voor het script HTRO Diemen is opgenomen als bijlage Evaluatiefase Algemeen Bij de evaluatie van de uitgevoerde leerpraktijk stonden de volgende onderzoeksvragen centraal: Is het ontwerp uitgevoerd conform ontwerp? Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp (prototype van het ontwerp) in de perceptie van docenten en studenten? Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? Gerapporteerd wordt op basis van de volgende indeling: Scripten in het algemeen, Procesgang en uitvoering, ervaringen met en waardering van onderdelen van het script en verbetersuggesties. In H 4 worden de onderzoekvragen beantwoord. Scripten in het algemeen Uit de focusgroep met docenten Diemen komt naar voren dat men positief is over het scripten van peerreview. Ik geloof hier wel in, aldus één van hen. Het scripten van peerreview is volgens de docenten echter wel iets dat in het DNA van de docenten moet komen. Maar daar komt wel bij het belang van de juiste vorm waarin het georganiseerd wordt: de taak moet duidelijk zijn en het werkt volgens de docenten alleen als het onontkoombaar wordt gemaakt. Het is wel zoeken naar de invulling van de rol van de docent als begeleider van deze processen. Docenten geven vervolgens voorbeelden van eigen scripts ten aanzien van peerfeedback zoals dat bij afstudeerkringen waar studenten binnen een afstudeerkring een buddy zoeken en feedback organiseren voor een onderzoeksvoorstel. Uit de focusgroep komt ook naar voren dat het feedbackproces spannend is. Studenten kunnen door slechte feedback te geven elkaar zo het bos in sturen : Ze beïnvloeden elkaar zonder dat jij daar grip op hebt, en dat moet je kunnen loslaten. Besproken wordt dat je studenten wel die kans moet geven, om elkaar het bos in te sturen, maar dat het vervolgens wel van belang is dat je daar goede expertfeedback tegenover stelt. Om die reden is het van belang dat in het script de expertreview volgt op de peerreview. Uit het interview met de pionier/docent in Rotterdam komt naar voren dat studenten het scripten zoals hier is toegepast gewoon vinden. Ze waren daardoor ook niet meer gemotiveerd. Het is voor de studenten ook niet zo n big deal, aldus de docent. De docent geeft aan veel gebruik te maken van activerende werkvormen en dus ook van peerreview. Voor studenten betrof het geen grote verandering, behalve dat één en ander online werd georganiseerd. 15

16 Procesgang en uitvoering Uit de resultaten van de vragenlijsten van studenten en docenten blijkt dat niet alle onderdelen van het programma in alle klassen zijn uitgevoerd: Iets meer dan de helft van de student-respondenten (hierna: studenten) geeft aan dat Voorafgaand aan de bijeenkomst bekijken van de weblecture over het geven van feedback deel uitmaakte van het uitgevoerde programma. Enkelen geven aan dat ze Tijdens de bijeenkomst de weblecture moesten bekijken. In totaal zegt iets meer dan de helft van de studenten dat ze de weblecture hebben bekeken. Volgens ongeveer één derde van de studenten werden tijdens de bijeenkomst algemene begrippen uit de weblecture besproken. Volgens iets minder dan de helft zijn in de klas de inhoudelijke criteria voor het geven van feedback besproken. Bijna drie kwart van de respondenten geeft aan dat zij feedback aan medestudenten moesten geven in de digitale leeromgeving. Iets meer dan de helft van de studenten geeft aan dat de docent feedback heeft gegeven. Ongeveer één derde van de studenten geeft aan dat tijdens de bijeenkomst de peerfeedback besproken werd. Ook ongeveer één derde van de studenten geeft aan dat tijdens de bijeenkomst de feedback van de docent besproken werd. Uit het de focusgroep met docenten en pionier in Diemen (hierna: docenten Diemen) komen de volgende zaken naar voren met betrekking tot de uitvoering van onderdelen van het programma: In één geval heeft een docent zelf een light-versie van het script uitgevoerd en daarbij sommige onderdelen (peerreview werd genoemd) wegens tijdgebrek overgeslagen. Er wordt door alle deelnemers aangegeven dat men niet uitkwam met de tijd. Docenten geven aan dat het werken met de groepsindeling en feedback geven op deelaspecten snel verwaterde. In de plenaire bespreking van de oefenopdracht in de onderzoekwerkcolleges met studenten blijkt al snel dat studenten het jammer vinden om op een enkel aspect feedback te geven, omdat ze ook iets te zeggen hebben over de andere aspecten. En als dat gebeurt, wordt dat niet beloond, omdat dit niet in de opdracht zit. Het probleem kan opgelost worden door in zo n situatie de studenten met dezelfde rol bij elkaar te plaatsen, te laten discussiëren en een gezamenlijke uitkomst te laten presenteren, maar daar ontbrak de tijd voor. Het feit dat docenten HTRO in verschillende rollen betrokken zijn bij het programma, maakt het complex. Uit de focusgroep komt naar voren dat niet iedereen op de hoogte is wat een andere rol uitvoert in het programma. Het verschilt per klas of het script precies zo is uitgevoerd als beschreven. Verschillen zijn ook afhankelijk van ervaring docent/werkgroepbegeleider/consultant, de groep studenten en in hoeverre docenten bekend zijn met het idee achter de opzet en of ze zich bekwaam achten zo n feedbackproces mede vorm te geven en te begeleiden. Eén docent geeft aan dat je bij de derde klas die je uitvoert al veel meer zicht hebt op de valkuilen dan bij de eerste. De inzet van de weblecture (met algemene richtlijnen voor het geven van adequate feedback) is ondergesneeuwd : er is daar relatief weinig aandacht aan besteed, soms opende de weblecture niet binnen Blackboard en soms was niet bekend dat de weblecture bekeken moest worden. Door gebrek aan tijd is de gegeven feedback (peerfeedback en expertfeedback) niet besproken en dus ook niet de vergelijking tussen gegeven peerfeedback en expertfeedback. Uit het logboek van een docent uit Diemen is op te maken dat in de TM klassen (Engelstalig) de weblecture pas na het 1 e college beschikbaar was, waardoor voorafgaand aan 1 e college of tijdens 1 e college bekijken van video niet mogelijk was. 16

17 Uit de vragenlijsten van studenten en docenten komen ook de volgende zaken naar voren met betrekking tot de uitvoering van onderdelen van het programma: Studenten en docenten vinden beiden dat de aanpak in dit studieonderdeel met inzet van feedback goed paste bij de opdracht die moest worden uitgevoerd. Docenten vonden tevens dat studenten zich hielden zich aan de deadlines voor het geven van feedback. Studenten vinden ook dat ze zich goed aan de deadlines voor het geven van feedback hebben gehouden. Volgens de studenten hielden de docenten zich goed aan de deadlines voor het geven van feedback. Docenten vinden ook dat ze zich goed aan de deadlines hebben gehouden. Studenten vinden dat ze gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van medestudenten. Docenten zijn verdeeld over de vraag of studenten gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van medestudenten. Studenten vinden dat ze gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van de docent. Docenten vinden dat ook. Studenten vinden dat ze gedurende het onderwijsonderdeel genoeg feedback hebben gegeven aan medestudenten. Studenten vinden dat ze gedurende het onderwijsonderdeel meer feedback hebben gegeven dan gekregen. Studenten en docenten vinden dat in de lessen niet voldoende werd ingegaan op de feedback die in de digitale omgeving gegeven was. Studenten zijn verdeeld over de vraag of de verhouding feedback door docent en feedback door medestudenten precies goed was. Docenten vonden die verhouding in orde. Studenten zijn verdeeld over de vraag of de opbrengst van de lessen hoger was door de feedbackactiviteiten in de digitale omgeving, met andere woorden: of ze van de lessen meer hebben geleerd door feedback van docent en studenten Docenten vonden wel dat de opbrengst hierdoor hoger was. Uit de focusgroep met docenten Diemen komt naar voren dat het voor docenten pas kort (een paar dagen) voor de start van het onderwijsonderdeel duidelijk werd dat het script moest worden uitgevoerd. Sommige docenten voelden zich wat overvallen. Sommigen wilden in eerste instantie daarom niet meewerken, wat later wel weer het geval was, na het doornemen van het programma door de pionier/docent. Alle docenten geven aan dat er geen sprake was van een optimale start. Als je onzeker bent, straal je dat vervolgens ook uit naar studenten, aldus één van de docenten. In het logboek van de pionier/docent in Diemen wordt beschreven dat het lastig was met alle betrokkenen afspraken te maken. Ook dat aanpassingen in het script gemaakt moesten worden i.v.m. ziekte van collega s. Volgens de betrokken pionier/docent kostte de implementatie erg veel tijd, vooral vanwege de twee talen die een rol speelden en de vele collega s die betrokken waren bij dit onderwijsonderdeel. Een collega uit Diemen meldde in het logboek dat niet alles kon worden uitgevoerd vanwege praktische zaken: zo was bijvoorbeeld de weblecture ter voorbereiding van de eerste les pas na de deze les beschikbaar. Ook waren nog niet alle materialen vertaald in het Engels. De pionier/docent in Rotterdam geeft in het logboek aan dat tijdens de uitvoering aanpassingen zijn verricht in het script: zo heeft betrokkene de weblecture over het geven van effectieve feedback in de les mondeling voorzien van voorbeelden opdat de studenten daarmee een beter begrip zouden krijgen dan wanneer alleen de weblecture door hen bekeken zou zijn. Betrokkene geeft ook aan dat tijdens de uitvoering studenten zijn g d met aanvullende instructie omdat deze ontbrak in het script. Uit het interview met de pionier/docent in Rotterdam komen de volgende zaken naar voren met betrekking tot de implementatie van het script: De docent heeft, in tegenstelling tot collega s bij de uitvoering op locatie Diemen, de activiteiten in het script alleen uitgevoerd. In Rotterdam bestaat de rol van consultant niet. Er waren wel twee projectbegeleiders 17

18 betrokken die actief waren als procesbegeleiders, maar die hebben niet expliciet geparticipeerd in het uitvoeren van de activiteiten van het ontworpen script. Wat enkele onderdelen van het script betreft: de docent is bekend met het organiseren van peer- en expertreview en past dit met regelmaat toe in haar onderwijs/lessen. Dit kost de docent dan ook geen extra tijd. Het verschil zat deze keer in het online organiseren van peerreview, wat wel extra inzet voor docent kost. De docent is positief verrast over het aantal studenten dat daadwerkelijk geparticipeerd heeft in het proces. Voor de studenten is het handig om alles op één plek te hebben. De docent geeft aan dat Blackboard geen ideale leeromgeving is. De docent heeft alle activiteiten van het script uitgevoerd, maar omdat de studenten de weblecture vooraf niet bekeken hadden, besloot de docent de weblecture tijdens de les te laten zien. Toen daarbij bleek dat de weblecture niet aansloot bij hun belevingswereld (te abstract) besloot de docent bij de andere twee klassen de inhoud van de weblecture mondeling over te brengen i.p.v. via de weblecture. Dat hield in het uitleggen van criteria voor het geven van effectieve feedback en deze voorzien van voorbeelden. Dat werkte goed. Volgens de docent was er sprake van een hoge opkomst van studenten bij de lessen in Rotterdam. De docent geeft aan dat er altijd sprake is van een hoge opkomst, mede ook door de wijze waarop de lessen worden aangeboden. De docent richt het onderwijs anders in dan op locatie Diemen en Haarlem, waardoor het script dan ook afwijkt. Er is bijvoorbeeld in Rotterdam geen sprake van onderscheid hoor- en werkcolleges. Docent organiseert in principe werkcolleges met daaraan verbonden de theorie, en via werkvormen wordt aangesloten op de projecten van de studenten. Het is één geheel, en studenten zien dat als een toegevoegde waarde van deze bijeenkomsten. De verschillende wijzen van uitvoering van het curriculum per locatie is de couleur locale. Ervaringen met en waardering van onderdelen van het script Weblecture voor geven van feedback Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot de weblecture met algemene richtlijnen voor het geven van effectieve feedback: Studenten zijn verdeeld over de vraag of ze de weblecture met algemene richtlijnen voor het geven van effectieve feedback als ondersteunend hebben ervaren. Docenten vinden niet dat de studenten de weblecture met algemene richtlijnen voor het geven van effectieve feedback als ondersteunend hebben ervaren. Tijdens de focusgroep met docenten Diemen worden deze uitkomsten genuanceerd: door het ontbreken van de optie niet van toepassing in de vragenlijsten die studenten zouden moeten kiezen als ze de weblectures niet bekeken hadden, ontstaat een negatiever beeld. Uit de focusgroep komt naar voren dat er soms geen of te weinig aandacht is besteed aan de weblecture (en dus aan de inhoud ervan: de criteria voor het geven van adequate feedback) in de instructie naar studenten tijdens de hoorcolleges. Er was geen tijd om in de bijeenkomst naar de weblecture te kijken, en dus heeft het geen expliciete aandacht gekregen. Ook wordt opgemerkt dat er technische problemen waren. Sommige studenten hadden problemen met het bekijken van de video: een aantal strandden bij het inloggen. Daarnaast zijn sommige studenten nog niet goed bekend met weblectures, en kregen ze geen instructie bij het inloggen. Docenten geven ook aan dat het een knijterdrukke periode was: er was sprake van een volle inroostering waar heel veel moest gebeuren. Eén van de docenten: Ik had gewoon extra lessen moeten laten inroosteren om het onderdeel weblecture te laten doen. Docenten zijn van mening dat het goed zou kunnen dat niet de weblecture slecht was, maar dat door de drukte en technische problemen de weblecture niet aan bod kwam. Verder wordt nog opgemerkt dat studenten niet allemaal uit zichzelf de weblecture zullen bekijken, dit dient onontkoombaar gemaakt te zijn. Zeker in de meest hectische week van de periode is dit de enige manier om 18

19 zeker te weten dat studenten de weblecture hebben bekeken. Een docent merkt op dat je bijvoorbeeld op zo n video kunt terugkomen door bij de start van een bijeenkomst even te quizzen via een digitale tool. In het interview met de pionier/docent in Rotterdam geeft de docent geeft aan dat de richtlijnen uit de weblecture voor feedback niet direct bruikbaar waren. De weblecture is te abstract en te theoretisch. Een dergelijke kennisclip moet voor de studenten op een ander niveau. Docent heeft zelf een instructie verzorgd over richtlijnen voor feedback, op basis van de weblecture, waarbij voorbeelden zijn aangedragen. Tevens heeft de docent duidelijk gemaakt aan studenten wat er van hen verwacht werd ten aanzien van deze richtlijnen. Uit de vragenlijsten van studenten en docenten komen ook de volgende zaken naar voren: Studenten en docenten zijn verdeeld (neigend naar licht positief) over de vraag of medestudenten goed gebruik hebben gemaakt van de algemene richtlijnen voor het geven van effectieve feedback. Studenten vinden dat ze zelf goed gebruik hebben gemaakt van de richtlijnen voor het geven van feedback. Digitale leeromgeving Blackboard Uit de vragenlijsten van studenten en docenten komen de volgende zaken met betrekking het gebruik van de digitale leeromgeving Blackboard naar voren: Studenten zijn verdeeld over de vraag of ze de digitale omgeving (Blackboard) als ondersteunend hebben ervaren bij het geven van feedback. Volgens de docenten hebben studenten de digitale omgeving (BB) als ondersteunend ervaren. Uit de focusgroep met docenten Diemen komt naar voren dat er betere alternatieven zijn dan wat Blackboard kan bieden. Sommigen hebben bijvoorbeeld de workshop-functie in Moodle bekeken en vinden dat dat is wat ze nodig hebben. Ook komt naar voren dat volgens sommigen het geven van feedback op elkaars stukken middels een forum op Blackboard onmogelijk is: dit als mogelijke verklaring waarom studenten neutraal antwoorden. Het is een onvriendelijke manier, aldus één van hen. Genoemd wordt dat studenten moeite hebben met de structuur van de opzet in het forum: desondanks is het feedback geven wel gelukt volgens één van de docenten: Ze vinden het, en ze hebben het allemaal gedaan! Opgemerkt wordt dat het ook wel heel bepalend is voor studenten van wie ze feedback krijgen. Uit de focusgroep met docenten Diemen komt naar voren dat sommige studenten specifieke eisen hadden ten aanzien van de indeling van de groepen voor de peerreview: studenten willen serieuze feedback, en weten precies wie wel of niet serieus is. Sommige studenten worden ook boos over de inzet van andere groepen, als ze zelf serieus feedback hebben gegeven en dan slechte feedback terug krijgen. In de focusgroep kwam naar voren dat het feit dat sommige studenten een rol hadden waar ze niets mee konden mogelijk een rol speelde en dat maakte dat er wat frustratie was bij enkele studenten. Ondanks alle belemmeringen is er wel feedback gegeven in het forum in de digitale omgeving en kon duidelijk worden gezien wie wel/niet feedback heeft gegeven. Uit het interview met de pionier/docent in Rotterdam komt naar voren dat Blackboard geen ideale omgeving is voor het geven van feedback. Volgens de docent levert het organiseren van peerfeedback in een forum te lange discussielijnen op die één en ander onoverzichtelijk maken. Bovendien is de omgeving vrij rigide. De docent geeft aan dat studenten een opmerkingen maakten ten aanzien van de indeling in groepen. Groepen maakten vragenlijsten over verschillende thema s. Studenten geven aan dat zij een indeling in thema s beter vinden: dus feedback geven aan een groep met hetzelfde thema. Ten eerste omdat de studenten dan beter in de stof zitten, ten tweede omdat dit inzichten oplevert voor de eigen vragenlijst. Voor de studenten is dit de eerste keer in het werken met een online discussieforum op Blackboard. De docent geeft aan dat de inzet van social media, bijvoorbeeld een groepspagina in Facebook, effectiever kan zijn, omdat dit beter aansluit bij de belevingswereld van de student. De docent geeft aan dit zelf geen probleem te vinden, via social media is de docent net zo goed als in Blackboard in staat om het proces te volgen en te controleren. De docent geeft wel aan 19

20 in principe verder te willen gaan met Blackboard en is benieuwd of één en ander beter uitpakt als er sprake is van een andere indeling in groepen, op thema s. Peerfeedback Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot het onderdeel feedback: Studenten zijn verdeeld (neigend naar positief) over de vraag of ze de feedback van medestudenten als ondersteunend hebben ervaren bij het maken van de opdracht (maken goede vragenlijst). Docenten vinden dat het geven van feedback door de studenten hen geholpen heeft bij het maken van de opdracht. Uit de focusgroep met docenten Diemen komt naar voren dat volgens de docenten de mindset van de studenten belangrijk is: het gaat niet alleen om het ontvangen van feedback, maar juist het geven van feedback. Ze moeten leren dat het om hun eigen rol gaat. Opgemerkt wordt dat studenten onzeker zijn: ze willen precies weten zo moet het, en dat lukt niet altijd met peerfeedback. Wat het ook lastig maakt is dat een student ervan uitgaat dat iets goed is, als er geen (peer)feedback op gegeven is, terwijl het onmogelijk is overal feedback op te geven. Er is vaak tijdsdruk: Ze moeten door. Ook wordt opgemerkt dat studenten moeten leren omgaan met het feit dat er verschillende, tegenstrijdige feedback wordt gegeven. Alle docenten vinden dat het belangrijk is bij peerfeedback dat deze altijd wordt besproken en vergeleken wordt met de expertfeedback. Dat is echter vrijwel nergens gebeurd, o.a. door tijdgebrek. Uit het interview met de pionier/docent in Rotterdam komen de volgende zaken naar voren: Op de vraag of de feedback die studenten elkaar gaven ondersteunend was maakt de docent de volgende opmerkingen. De docent kan het overwegende negatieve beeld ten aanzien van deze ondersteuning wel verklaren. Docenten zijn al snel geneigd om negatief te oordelen over de feedback die studenten elkaar geven, omdat het niveau altijd lager is dan de expertfeedback. Er zijn ook grote verschillen bij studenten zichtbaar: de één steekt er serieus tijd in, de andere doet het even vlug. De docent geeft aan dat peer-pressure een grotere rol zou moeten spelen om deze verschillen kleiner te maken. Verder merkt de docent op dat er ook geen mogelijkheid/tijd is om alle peerfeedback op kwaliteit te beoordelen, en dat dit ook niet de bedoeling kan zijn. De docent geeft aan haar aandacht te richten op de expertfeedback, met steekproefsgewijs een controle op de peerfeedback van studenten voor eigen beeldvorming. De docent geeft aan dat de studenten goed kunnen omgaan met de onzekerheid van feedback, dus niet alleen gefixeerd zijn op het juiste antwoord. De studenten hebben ervaring met peerfeedback, en hebben zicht op de bredere functie van peerfeedback. De docent merkt nogmaals op dat ze verrast is over de mate waarin de studenten hebben geparticipeerd in het online geven van feedback. De student wordt toch uit een lessituatie getrokken, komt in een andere modus. Op school zitten ze in de werkmodus. Dat is een belangrijke meerwaarde van het organiseren van peerreview in de les, een gerichtere houding van de studenten en meer controlemogelijkheden als docent. Uit de vragenlijsten van studenten en docenten komen ook de volgende zaken naar voren: Studenten vinden dat het geven van feedback ze geholpen heeft bij het maken van de opdracht. Studenten hebben de feedback van de docent als ondersteunend ervaren bij het maken van de opdracht. Uit de vragenlijsten van studenten en docenten komen ook de volgende zaken naar voren: Studenten en docenten zijn verdeeld over de vraag of de feedback van medestudenten van voldoende kwaliteit was. Uit de focusgroep met docenten Diemen komt de volgende mogelijke verklaring hiervoor naar voren: studenten zijn op zoek naar het juiste antwoord, maar zitten in een onzeker traject waar ze de feedback die ontvangen wordt, moeten waarderen en beoordelen. Eng om op elkaar te vertrouwen: Hoe kan jij mij nu feedback geven 20

21 terwijl je niet in het hoorcollege bent geweest?. De docenten geven aan dat het ook gaat om vertrouwen in elkaar, en dat is lastig want de studenten hebben een sterke mening over elkaar: die is wel of niet serieus. Anonieme feedback zou dit kunnen oplossen. Het complicerende van periode 2.3 is ook dat er studenten wegvallen met een BSA hebben. Een projectgroep gaat dan bijvoorbeeld van zeven naar vijf. Je kan wel concluderen dat periode 2.3 een hele hectische periode waarin je dit organiseert en het is een heel complex project met heel veel tijdsdruk. Om de peerreview hanteerbaar te houden (ook organisatorisch) is gekozen om met rollen te werken. Maar feedback is niet anoniem, in een groep kunnen ze toch achterhalen wie welke feedback heeft gegeven. In de focusgroep wordt geconcludeerd dat inzetten op het geven van goede feedback belangrijker is dan anoniem feedback geven, wat niet haalbaar is in kleine groepen. Uit de focusgroep komt naar voren dat in het onderwijsonderdeel meer de nadruk gelegd moet worden op de professionaliteit van de studenten in het geven en ontvangen van feedback. Ook omdat ze elkaar goed kennen, moeten ze over bepaalde zaken heen kunnen stappen en ze moeten serieus omgaan met het geven van feedback. Er wordt een succesvol voorbeeld genoemd waarin in de les peerreview was georganiseerd: studenten zitten tegen over elkaar en krijgen een halfuur tijd hiervoor. Old school, maar het werkt wel, aldus één van de docenten. Dat dwingt ze ook om er meer aandacht aan te besteden in plaats van dit in de kostbare eigen tijd te laten doen. Het levert ook een betekenisvolle discussie op. Ondanks de kennis dat via online peerreview studenten zelf kunnen bepalen wanneer ze feedback kunnen geven en dus beter kunnen nadenken over de feedback die ze formuleren en dus betere feedback geven. Eén docent merkt op dat veel studenten geen feedback geven omdat ze het zien als huiswerk, en dat is volgens de docent nog een argument waarom een dergelijke werkwijze gekoppeld zou moeten zijn aan contacturen. Het positieve van de peerreview-actie is volgens de docenten dat er ondanks alles, toch communicatie is en dat er activiteiten zijn! En studenten spreken er elkaar ook op aan, aldus één van de docenten. Docent(expert)feedback Uit de vragenlijsten van studenten en docenten komt het volgende naar voren met betrekking tot de kwaliteit van de feedback van de docent: Studenten en docenten vonden dat de feedback van de docent van voldoende kwaliteit was. Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot de feedback in de digitale leeromgeving Blackboard: Studenten en docenten zijn verdeeld over de vraag of de digitale omgeving (Blackboard) geschikt is voor het geven van feedback. Studenten zijn verdeeld (neigend naar positief) over de vraag of de digitale omgeving (Blackboard) een aantrekkelijke leeromgeving is. Docenten vinden NIET dat de digitale omgeving (Blackboard) een aantrekkelijke leeromgeving is. Studenten zijn verdeeld (neigend naar positief) over de vraag of de digitale omgeving (Blackboard) een gebruikersvriendelijke leeromgeving is. Docenten vinden NIET dat de digitale omgeving (Blackboard) een gebruikersvriendelijke leeromgeving is. Algemene waardering aanpak Uit de vragenlijsten van studenten en docenten komt het volgende naar voren: De algemene waardering van studenten en docenten voor de werkwijze (feedbackactiviteiten) van dit onderwijsonderdeel is: ruim voldoende (docenten: 7; voor studenten iets meer dan 7). 21

22 Bespreken feedback in de les Uit de vragenlijsten van studenten en docenten komt het volgende naar voren: Studenten en docenten zijn verdeeld (neigend naar positief) over de vraag of het bespreken van de gegeven feedback in de les ze geholpen heeft in het leerproces. Uit de focusgroep met de docenten Diemen komt naar voren dat docenten zich afvragen of dit bespreken wel genoeg is gebeurd. Een docent merkt op: Het is nooit voldoende voor de student. Lastig is dat de studenten zeer taakgericht zijn, op zoek naar het goede antwoord, terwijl de docenten juist niet precies zeggen hoe het moet. Studenten weten niet goed dat het proces van feedback gericht is op verificatie en elaboratie, dus niet op het juiste antwoord geven maar op de studenten verder helpen tot het juiste antwoord te komen. Geconcludeerd wordt in de focusgroep dat met studenten besproken moet worden dat feedback niet gaat om het goede antwoord geven, maar iemand helpen om tot het goede antwoord te komen. Opgemerkt wordt dat de studenten op reis gaan waar de vragenlijst daadwerkelijk wordt ingezet en dat ze niet met een foute vragenlijst (de opdracht) de deur uit willen gaan. Ze hebben dus behoefte aan goede feedback. Een docent: Studenten komen in een latere fase van het onderwijsonderdeel ook terug met opmerkingen als maar dit is goedgekeurd door de docent. Uit het interview met de pionier/docent in Rotterdam komt het volgende naar voren: de docent heeft niet helemaal scherp of ze de feedback daadwerkelijk in detail heeft besproken en verwijst naar haar logboek. Docent heeft feedback online geplaatst, en generieke inzichten besproken tijdens de les, om vervolgens te vragen naar ervaringen en beleving van studenten. Hieruit bleek bijvoorbeeld dat aantal studenten geen feedback hebben gegeven, omdat een aspect, n.l. de verbinding tussen de vragenlijst en doelstelling/centrale vraag/deelvragen ontbrak. Verder heeft de docent een positief beeld. Het geven van individuele feedback op een groepsproduct Uit de vragenlijsten van studenten en docenten komt het volgende naar voren: Studenten en docenten vinden dat het geven van individuele feedback op een groepsproduct (hier: vragenlijst) het leerproces ondersteunt. Waarde geven van feedback in de digitale omgeving (Blackboard) Uit de vragenlijsten van studenten en docenten komt het volgende naar voren: Studenten zijn verdeeld over de vraag (neigend naar positief) of het geven van feedback in de digitale omgeving (Blackboard) waardevol is voor het leerproces. Docenten vinden dat het wel waardevol is. Uit de focusgroep met de docenten Diemen komt naar voren dat sommige docenten zeer kritisch zijn over de inzet van Blackboard als digitale leeromgeving. Daar komt bij dat inzet van Blackboard op deze wijze nieuw is voor studenten. Studenten zijn nog niet gewend aan actieve leeractiviteiten in de digitale omgeving, aldus een docent. Een andere docent geeft aan dat soms de instructie onduidelijk wat niet helpt in de waardering van de student. Een andere docent geeft aan dat in sommige gevallen studenten liever hun eigen social media inzetten: Blackboard wordt steeds minder gebruikt, ze gebruiken het liever helemaal niet meer. Docenten geven aan dat als studenten hun informele social media gebruiken voor het geven van feedback, de inzet van de formele leeromgeving Blackboard ze juist uit hun comfortzone trekt. Een docent merkt op dat er veel gewerkt wordt door studenten met Google Docs, een prima alternatief, maar dat vraagt weer extra handelingen van de docent. Met Google Docs zit je wel in hun comfortzone, en dat zou mogelijk opwegen tegen allerlei extra handelingen. 22

23 Aanpak onderwijsonderdeel Uit de vragenlijsten van studenten en docenten komt het volgende naar voren: Studenten en docenten vinden dat de aanpak van het onderwijsonderdeel ondersteunend is bij het uitvoeren van de opdracht. Studenten zijn verdeeld (neigend naar positief) over de vraag of ze de aanpak in dit onderwijsonderdeel motiverend vonden. Docenten vonden de aanpak motiverend. Meest geholpen Uit de vragenlijsten van studenten en docenten komt het volgende naar voren dat studenten en docenten vinden dat de volgende drie activiteiten het meest geholpen hebben in het leerproces (meest gekozen bovenaan): Geven van feedback door docent Geven van feedback door studenten (peerfeedback) Bespreken van inhoudelijke criteria voor het geven van feedback. Docenten vonden geven van feedback door docent + door student even helpend. Sterke punten Als sterke punten in de aanpak en uitvoering werden in de studentenvragenlijsten vooral genoemd aspecten die te maken hebben met feedback: Efficiëntie: (feedback algemeen): Sterke punten zijn dat je goede feedback krijgt en binnen korte tijd veel feedback krijgt. Effectiviteit: (docentfeedback): sterk punt is dat je feedback krijgt van de docent. Effectiviteit/ activering/motivering (Peerfeedback): sterke punten zijn de feedback naar elkaar toe (geven en ontvangen: omdat je dan twee dingen tegelijk hebt geleerd), je kon ook zien hoever anderen waren en dit zelf verbeteren en het was leuk om in een bepaalde rol (hier: archivaris: taal/formuleringsfouten, schrijfstijl etc.) feedback te geven. Als sterke punten werden in de docentenvragenlijsten genoemd: Systematische aanpak: beter dan lossere planning. Efficiëntie: peerfeedback online scheelt docent tijd. Motivatie: peerfeedback geven geeft student competentiegevoel. Effectiviteit: feedback van medestudenten maakt meer indruk. Passende vorm: peerfeedback paste goed bij opdracht (vragenlijst maken). Motivering/activering: door peerfeedback te geven denkt student op andere manier na over stof. Motivering/activering: duidelijk/zichtbaar werd of iedereen feedback had gegeven waardoor aanspreken mogelijk was. Minder sterke punten Als minder sterke punten in aanpak en uitvoering werden in de studentenvragenlijsten genoemd (tussen haakjes de frequentie als een onderdeel meer dan 2 keer werd genoemd): Feedback algemeen: Andere groep deed vrij weinig aan de feedback ; Keeping the feedback within project groups or only for project groups with the exact same subject ; Time to think about the feedback and more information about the other project. Peerfeedback: Feedback van medestudenten was niet goed/niet relevant/ had te weinig kwaliteit (6x); Medestudenten hadden er blijkbaar totaal geen zin in en er is geen bruikbare feedback gegeven ; Er werd zeer laks om gegaan met deadlines, dat mag iets strakker gehouden worden volgende keer : wij hadden namelijk de feedback nodig van onze klasgenoten op onze vragenlijst om verder te kunnen ; 23

24 Voelt als verplichting, dus sommige mensen deden maar wat ; Je krijgt feedback van iedereen ; The feedback from fellow students is useless most of the time ; A form where feedback for fellow group could have been filled in would have been handy ; People don't take it seriously ; Students are busy enough with their own project to be worrying about someone else's. Expertfeedback: Feedback between the teacher and student it is helpful, but between the students there isn't enough feedback to be actually helpful. Digitale omgeving Blackboard: Moeilijk te vinden op Blackboard, rommelig/ lastig feedback geven/ onoverzichtelijk/ chaotisch/onhandig (11x); Feedback persoonlijk geven of via mail of dropbox is beter ; Easier way of giving feedback, not through Blackboard, A class where the feedback can be given personally helps to understand what the other person means plus its easier and quicker. Weblectures: De weblectures zijn meestal te langdradig ; A few teachers should keep on practicing their weblecture skills. Overig: Soms nog onduidelijkheid over de inhoud, soms een beetje onoverzichtelijk, verkeerde moment van op excursie gaan, te drukke periode hiervoor, andere lessen sloten niet helemaal aan op het project, waardoor de planning regelmatig veranderde, This whole approach should be more explained throughout the programme (3x), Find a way to get students to care ; More structured. Als minder sterke punten werden in de docentenvragenlijsten genoemd: Belevingswereld studenten: weblecture sloot niet aan bij belevingswereld studenten. Techniek: weblecture deed het niet overal. Digitale leeromgeving: omgeving te laat ingericht, omgeving Blackboard is niet ideaal. Kwaliteit peerfeedback: controle op kwaliteit peerfeedback is te tijdrovend. Motivatie/activering: Sommige studenten gaven geen feedback (straf: geen expertfeedback). Organisatie: programma is te vol, te weinig tijd om peerfeedback te bespreken in de les, te veel verschillende mensen (docenten) betrokken, tijdsplanning lastig door vakantie tussendoor. Verbetersuggesties Als verbetersuggesties werden in de studentenvragenlijsten genoemd (tussen haakjes de frequentie als een onderdeel meer dan twee keer werd genoemd): Onontkoombaarheid: Ervoor zorgen dat meer studenten naar de les komen en motiveren zodat alle studenten feedback geven (3x) Geen: alles is goed/ niks verbeteren Kwaliteit peerfeedback: betere feedback, Er kan nauwkeuriger feedback gegeven worden door medestudenten De enige feedback die wij kregen was: 'Ziet er goed uit', Digitale leeromgeving: andere manier voor digitale feedback, misschien niet via Blackboard, geen aparte feedback via Facebook, verduidelijken op Blackboard, probeer het meer als dropbox in elkaar te zetten: dat is overzichtelijker. Uitleg en communicatie: betere uitleg, betere communicatie docenten onderling, Organisatie: minder grote klassen, meer tijd tussen feedback om stuk te verbeteren, minder rommelig organiseren. Controle/motivatie/activering: dichter op de studenten zitten. Gewenning werkwijze: misschien vaker gebruiken zodat het makkelijker wordt en dat het iedereen het gaat snappen, Verhouding on line face to face: meer ondersteuning in de lessen, feedback personally is more effective than digitally where they are out of context. Effectiviteit peerfeedback: peerfeedback afschaffen/minder tijd aan besteden / It didn't help at all en Too much time was spent on this part. 24

25 Als verbetersuggesties werden in de docentenvragenlijsten genoemd: Betere en tijdiger uitleg werkwijze voor docenten: docenten eerder informeren, Betere uitleg werkwijze voor studenten: duidelijke en beknopte info voor studenten wat er gedaan moet worden, ook meer info aan studenten over belang en nut, Studenten eerder informeren over werkwijze, bijv. bij kick off. Andere digitale leeromgeving: aantrekkelijker digitale omgeving inzetten. Effectiviteit peerfeedback: les inroosteren waarin feedbackweblecture en items met oefenen feedback centraal staan. Betere faciliteiten docenten: uitvoerende docenten meer uren voor uitvoering. Uit de focusgroep met de docenten Diemen kwamen de volgende verbetersuggesties naar voren. Betere en tijdiger uitleg werkwijze voor docenten en studenten: een kick-off voor docenten maar ook een kick-off voor studenten, als het gaat om de peerfeedback. Het gaat om verwachtingsmanagement, het creëren van draagvlak. De functie van het geven van peerfeedback dient geïntroduceerd te worden, bijvoorbeeld via een college, meer tijd nemen om programma goed met collega s te bespreken, betere instructie, meer tijd nemen om nut en noodzaak te bespreken zodat alle docenten hier iets mee kunnen zodat zij dat ook kunnen uitstralen naar de studenten en draagvlak kunnen creëren met studenten: een voorbeeld is bijvoorbeeld de collega docent-pionier bij Communicatie, die zijn collega s informeert over de rationale achter de pilot via een document. Organisatie en inhoud: inbouwen met 1 a 2 uur extra: oefenen met peerfeedback en bespreken van peerfeedback; Omdat er geen tijd was voor het bespreken van peer- en expertfeedback, is dat niet gebeurd. Planning op periode-niveau: goed nadenken over geschikte periode en de context van de gehele onderwijseenheid: het is enorm druk, en er zijn veel activiteiten die plaatsvinden, is periode 2.3 wel een geschikt voor deze werkwijze, niet elders al introduceren?, keuze van het project kan ook een belangrijk aspect zijn. Wellicht al mee beginnen in jaar 1. Focus: hameren op het feit dat de focus in het onderwijsonderdeel ligt op het geven van feedback. Kosten en baten: goed kijken naar de kosten en baten. De kosten zijn de tijd en de organisatie, maar het resultaat is er nog niet naar, aldus een docent. Uit het interview met de pionier/docent in Rotterdam kwamen de volgende verbetersuggesties naar voren. Inhoud script: in het script dient sprake te zijn van een directe koppeling tussen de vragenlijst en doelstelling/centrale vraag/deelvragen, zodat alle studenten feedback kunnen geven. Gebruik Blackboard: op Blackboard moet de docent de peerreview anders organiseren en gebruik maken van een indeling op thema. Inhoud weblecture richtlijnen feedback: de weblecture over richtlijnen voor het geven van effectieve feedback moet inhoudelijk beter aansluiten op de doelgroep, bovendien denkt de docent dat het effectiever is als de weblecture klassikaal wordt bekeken en besproken, vervolgens kunnen studenten, indien gewenst of noodzakelijk, de weblecture altijd nog bekijken. Kleuring script: wat betreft advies van de docent naar collega s op locatie Diemen: de docent kiest duidelijk voor een andere insteek dan die op locatie Haarlem en Diemen. Haar aanpak sluit aan bij principes over activerende didactiek. De docent is in dit opzicht kritisch over aanpak met hoor- en werkcolleges, plus bijbehorende rollen, zoals in Diemen. Dit leidt volgens haar tot fragmentatie van het proces en dan wordt het geven van peerfeedback een moetje, een losse actie. De docent geeft aan niet achter deze opzet te kunnen staan. Inbedding en juiste leercultuur: creëer de juiste cultuur binnen de klas, iets als peerfeedback moet echt ingebouwd worden, vanaf bijeenkomst 1, bespreek nut en noodzaak met studenten, creëer een houding bij studenten. 25

26 Organisatie: De docent benoemt een aantal zaken waar tegenaan gelopen wordt. Projectbegeleiders geven ook feedback aan de student, maar hebben daar meer tijd voor. Deze feedback is gedetailleerder dan de feedback die de docent geeft, en soms spreekt de feedback elkaar ook tegen. Tijd: de docent geeft aan dat de wijze waarop zij één en ander aanpakt eigenlijk niet past binnen de tijd die er voor gegeven is. Dit heeft te maken met het hectische karakter van periode 2.3, maar ook met de keuzes die zij zelf maakt om buiten de tijd om door te gaan met het geven van feedback. Als de docent dit niet doet, dan past het wel binnen de tijd, en wellicht moet het belang van peer-pressure van studenten een grotere rol spelen in het peerfeedbackproces. 26

27 4. Conclusies en aanbevelingen 4.1 Inleiding In de vooronderzoeksfase werden op basis van twee onderzoeksvragen ontwerpeisen gegenereerd vanuit de literatuur en vanuit de praktijk. In de Ontwerpfase leverde dit een ontwerp op, op basis van geformuleerde ontwerpeisen. De belangrijkste kenmerken van het herontwerp (script) HTRO: 1. Voorafgaand of tijdens de bijeenkomst bekijken van de weblecture over het geven van effectieve feedback; 2. Tijdens de bijeenkomst bespreken van algemene begrippen uit de weblecture (richtlijnen voor het geven van effectieve feedback); 3. Bespreken van de betreffende inhoudelijke criteria voor het geven van feedback; 4. Geven van feedback aan medestudenten in de digitale leeromgeving (peerfeedback); 5. Geven van feedback door de docent (expertfeedback); 6. Tijdens de bijeenkomst bespreken van de peerfeedback en de feedback van de docent (expertfeedback). In de Evaluatiefase werd onderzocht of het ontwerp is uitgevoerd conform ontwerp en het ontwerp werd beoordeeld op ervaren bruikbaarheid en ervaren effectiviteit. Tevens werden verbetervoorstellen geïnventariseerd. 4.2 Ontwerp en uitvoering Geconcludeerd kan worden dat het integrale ontwerp (script) niet overal exact is uitgevoerd conform ontwerp. Met integrale ontwerp (script) wordt bedoeld alle vastgelegde onderdelen van het script (inhoud) en de vastgelegde volgorde en tijd waarin deze uitgevoerd moeten worden (routing/planning). Wel kan geconcludeerd worden dat de meeste losse onderdelen van het script zijn uitgevoerd, in de beschreven volgorde, met de volgende afwijkingen : bekijken weblecture over het geven van effectieve feedback vond niet overal plaats; de weblecture werd tijdens de les bekeken i.p.v. on line voorafgaande aan de les; niet overal werden tijdens de bijeenkomst algemene begrippen uit de weblecture besproken, niet overal werden de inhoudelijke criteria die van toepassing waren voor het geven van feedback besproken; peerfeedback vond niet altijd plaats binnen de digitale leeromgeving, de docent gaf niet altijd feedback; niet overal werd feedback tijdens de les besproken (peerfeedback en docentfeedback); soms werd een light versie van het script gehanteerd, d.w.z. dat de volgorde van activiteiten in het script werd gevolgd maar dat enkele onderdelen niet werden uitgevoerd. Uit het onderzoek blijkt dat de reden voor afwijking van het script vooral tijdgebrek was. Ook verwaterde het geven van feedback soms. Daarnaast werd de complexiteit van de uitvoering vergroot door deelname van verschillende docenten in verschillende rollen binnen het curriculumonderdeel waardoor het overzicht ontbrak van wie wat doet. Ook onbekendheid met het programma speelde een rol hierbij, blijkt uit het onderzoek, maar ook afwijkende vakantieperiodes op de verschillende locaties waardoor het script moest worden aangepast. Uit het bovenstaande volgt dat geen conclusies kunnen worden getrokken met betrekking tot het integrale script (inhoud/volgorde/planning) omdat het niet overal exact is uitgevoerd conform ontwerp, maar dat wel uitspraken gedaan kunnen worden over het scripten in het algemeen, over het ontwerp in zijn geheel en over de separate onderdelen van het script die zijn uitgevoerd. 27

28 4.3 Bevestiging relevantie script De relevantie van het ontwerp (script) (in de perceptie van studenten en docenten) werd bevestigd in het onderzoek. Docenten zijn positief zijn over het scripten van de peerreview; studenten vinden over het algemeen het scripten van peerreview en expertreview zoals toegepast gewoon ( niks bijzonders ). De relevantie van het scripten van peerreview, die tijdens de vooronderzoeksfase werd geborgd door theoretische onderbouwing, contextanalyse, behoefteanalyse en betrokkenheid pioniers/docenten bij ontwerp, werd hiermee bevestigd. 4.4 Ervaren bruikbaarheid Geconcludeerd kan worden dat het herontwerp (script) over het geheel genomen bruikbaar is in de perceptie van docenten en studenten, maar dat hierbij een aantal nuanceringen gemaakt moet worden. Studenten en docenten vinden de aanpak van het onderwijsonderdeel (werken met een script) ondersteunend bij het uitvoeren van de opdracht. Docenten vinden de aanpak ook motiverend; de studenten zijn daarover verdeeld. Als waardering voor de werkwijze in dit studieonderdeel (feedback activiteiten) geven studenten en docenten een ruim voldoende. De docenten moeten wel wennen aan de veranderende rol van begeleider van de peerreview. Het begeleiden van peerreview moet geleerd worden en studenten kunnen elkaar met peerfeedback het bos insturen : daarom is volgtijdelijkheid zo belangrijk bij feedback: bijvoorbeeld dat expertfeedback volgt op peerfeedback. Docenten en studenten vinden beiden dat de aanpak met inzet van feedback goed paste bij de opdracht. Inzet digitale leeromgeving Blackboard Geconcludeerd kan worden dat er twijfel is of de digitale omgeving Blackboard ondersteunend is geweest voor de studenten. Er zijn twijfels over de bruikbaarheid van Blackboard bij peerreview: lastige structuur, rigide, er zijn betere alternatieven. Met betrekking tot het geven van feedback binnen de digitale leeromgeving Blackboard kan worden geconcludeerd dat zowel studenten als docenten twijfelen of de digitale omgeving (Blackboard) geschikt is voor het organiseren en ondersteunen van peerreview. Docenten vinden niet dat de digitale omgeving (Blackboard) een aantrekkelijke en gebruikersvriendelijke leeromgeving is; studenten zijn hierover verdeeld. Geconcludeerd kan worden dat in de perceptie van docenten het geven van feedback in de digitale omgeving (Blackboard) waardevol is voor het leerproces; studenten zijn hierover verdeeld daarover. Een verklaring voor deze twijfel kan zijn dat studenten (maar ook docenten) kritisch zijn over de inzet van Blackboard, en niet noodzakelijk over de inzet van een digitale leeromgeving ter ondersteuning van het geven van feedback. Geconcludeerd kan worden dat het in het algemeen voor studenten belangrijk is van wie (van de studenten) ze feedback krijgen: niet iedereen neemt de taak even serieus en ook de kwaliteit van de peerfeedback kan sterk verschillen. Algemene conclusie met betrekking tot inzet digitale leeromgeving Blackboard: in deze opzet was digitale leeromgeving niet goed bruikbaar: of de omgeving moet worden aangepast of een alternatief moet worden gezocht volgens studenten en docenten. Hierbij moet het volgende worden aangetekend: inmiddels (na afronding dataverzameling onderzoek) is een nieuwe updated version van Blackboard in gebruik genomen. Het gebruik van Blackboard was in dit ontwerp een ontwerpeis (ontwerpbeperking) omdat binnen de vigerende leeromgeving een ontwerp gemaakt moest worden. Niet duidelijk is of de nieuwe Blackboard-versie de genoemde bezwaren kan wegnemen. 4.5 Ervaren effectiviteit Geconcludeerd kan worden dat het herontwerp (script) over geheel genomen effectief is in de perceptie van docenten en studenten, maar dat hierbij een aantal nuanceringen gemaakt moet worden; tevens dat de onderdelen van het script 1. Geven van feedback door docent, 2. Geven van feedback door studenten (peerfeedback) en 3. Bespreken van inhoudelijke criteria voor het geven van feedback het meest ondersteunend zijn geweest. Hieronder volgen deelconclusies op basis van aspecten van het ontwerp. 28

29 Weblecture voor geven van effectieve feedback Geconcludeerd kan worden dat de weblecture Richtlijnen voor het geven van effectieve feedback niet ondersteunend geweest is omdat deze in de huidige vorm te abstract is en niet aansluit bij de belevingswereld van de studenten. Daarnaast waren er technische problemen zodat niet iedereen de weblecture kon bekijken en was het een erg drukke onderwijsperiode waardoor ook de richtlijnen niet overal in de klas besproken konden worden: de laatste twee aanvullende opmerkingen betreffen feitelijk de bruikbaarheid: niet de weblecture staat hier centraal maar de implementatie en uitvoering. Feedback in het algemeen Geconcludeerd kan worden dat de opvattingen van studenten en docenten op een aantal aspecten niet overeenkwamen: Studenten vinden dat ze genoeg feedback hebben gekregen van medestudenten: docenten zijn hierover verdeeld; Docenten vinden de verhouding feedback door docent en feedback door medestudenten in orde; studenten zijn hierover verdeeld; Docenten vinden de opbrengst van de lessen hoger door de feedbackactiviteiten in de digitale omgeving; studenten zijn hierover verdeeld. Verder kan geconcludeerd worden dat studenten gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van de docent, dat studenten in hun perceptie genoeg feedback hebben gegeven aan medestudenten, dat studenten vinden dat ze meer feedback hebben gegeven dan gekregen en dat in de lessen niet voldoende werd ingegaan op de feedback die in de digitale omgeving gegeven was. Tevens vinden docenten en studenten beiden dat beiden zich over het algemeen hielden aan de deadlines voor het geven van feedback. Peerfeedback Geconcludeerd kan worden dat in de perceptie van docenten het geven van feedback door de studenten hen geholpen heeft bij het maken van de opdracht en dat studenten verdeeld zijn of het ze geholpen heeft. Mogelijk komt dit door onzekerheid van studenten met betrekking tot het geven van feedback of door het moeten leren omgaan met feedback die niet eenduidig is of niet duidelijk; er was niet altijd tijd om de feedback te bespreken waardoor mogelijk onduidelijkheid optrad wat nu juist was en niet; daarnaast was de peerfeedback in de perceptie van docenten en studenten niet altijd van goede kwaliteit. Duidelijk is dat het geven van goede feedback geleerd moet worden. Ook kan geconcludeerd worden dat in de perceptie van studenten het geven van feedback ze geholpen heeft bij het maken van de opdracht en dat ook de feedback van de docent ondersteunend was bij het maken van de opdracht. Daarnaast kan geconcludeerd worden dat studenten en docenten verdeeld zijn over de vraag of de feedback van medestudenten van voldoende kwaliteit was. Mogelijk speelt bij dit laatste punt een rol dat studenten nog niet gewend zijn feedback te ontvangen en te beoordelen. Daarbij speelt mogelijk ook een rol de samenstelling van de groep: krijgen studenten feedback van goede of minder goede studenten? Geconcludeerd kan worden dat ondanks de niet optimale peerfeedback door de peerreview toch communicatie en een gesprek tot stand kwam over de opdrachten. Docent(expert)feedback Geconcludeerd kan worden dat studenten en docenten tevreden waren over de kwaliteit van de feedback van de docent. Bespreken feedback in de les Geconcludeerd kan worden dat studenten en docenten niet overtuigd zijn dat het bespreken van de gegeven feedback in de les ze geholpen heeft in het leerproces. Een mogelijke verklaring hiervoor is dat dit te weinig gebeurd is, wat af te leiden is uit het onderzoek. Daarnaast moeten studenten wellicht ook wennen aan het feit dat goede feedback geven niet betekent dat je direct het juiste antwoord geeft, wat ze graag willen volgens de docenten, maar dat je de studenten verder helpt om tot het juiste antwoord te komen. 29

30 Het geven van individuele feedback op een groepsproduct Geconcludeerd kan worden dat studenten en docenten vinden dat het geven van individuele feedback op een groepsproduct, zoals hier het geval was (hier: vragenlijst), het leerproces ondersteunt. Meest ondersteunende onderdelen Geconcludeerd kan worden dat studenten en docenten de volgende drie leeractiviteiten (onderdelen uit het script) het meest ondersteunend hebben gevonden in het leerproces: Geven van feedback door docent, Geven van feedback door studenten (peerfeedback) en Bespreken van inhoudelijke criteria voor het geven van feedback. 4.6 Sterke punten, minder sterke punten en verbetersuggesties Sterke punten Geconcludeerd kan worden dat de sterke punten van het script volgens studenten vooral liggen op het gebied van het aspect feedback en dan met name de efficiëntie ervan (veel feedback van docent + studenten in korte tijd), effectiviteit (docentfeedback) en motivatie (geven van feedback in een bepaalde rol, ontvangen van feedback). Geconcludeerd kan worden dat bij de docenten vooral een aantal sterke punten van het script naar voren kwam: veel hadden betrekking op feedback: naast efficiëntie (peerfeedback online scheelt docent tijd), effectiviteit (feedback van medestudenten maakt meer indruk), motivatie (peerfeedback geven geeft student competentiegevoel en student denkt hierdoor op een andere manier na over de stof) ook de systematische aanpak (die beter werkt dan de gebruikelijke lossere planning), passende vorm (peerfeedback paste goed bij opdracht) en motivering/activering (duidelijk/zichtbaar werd of iedereen feedback had gegeven waardoor aanspreken mogelijk was). Minder sterke punten Geconcludeerd kan worden dat de minder sterke punten van het script volgens studenten net als bij de sterke punten betrekking hebben op feedback, maar dan met name op de uitvoering van de peerreview. Het lijkt minder te gaan over de inzet van peerreview in het algemeen. De minder sterke punten betreffen kwaliteit peerfeedback, houden aan deadlines, gebrek aan tijd, het feit dat deelname eraan voelde als een verplichting. Daarnaast werd als minder sterk punt genoemd de digitale omgeving: vooral het aspect gebruikersvriendelijkheid werd genoemd: de omgeving vinden ze rommelig, chaotisch, zaken zijn moeilijk te vinden, er zijn volgens hen betere manieren. Geconcludeerd kan worden dat de minder sterke punten van het script volgens docenten waren: gebruikersonvriendelijkheid en tijdstip inrichting Blackboard (omgeving niet ideaal, te laat ingericht); techniek (niet alle weblectures deden het), bruikbaarheid (weblecture algemene richtlijnen voor het geven van effectieve feedback was te abstract), uitvoerbaarheid (controle op kwaliteit peerfeedback is te tijdrovend, programma is te vol, er is te weinig tijd om peerfeedback te bespreken in de les, te veel verschillende mensen (docenten) zijn betrokken, tijdsplanning (lastig door vakantie tussendoor) en motivatie/activering/vrijblijvendheid (sommige studenten gaven geen feedback). Verbetersuggesties Door docenten en studenten: Het onontkoombaar maken van deelname aan lessen en het geven van feedback aan medestudenten staat bovenaan bij de studenten (ervoor zorgen dat meer studenten naar de les komen en ze motiveren zodat alle studenten feedback geven). Ook kunnen volgens studenten worden verbeterd: kwaliteit peerfeedback, bruikbaarheid van de digitale leeromgeving, afstemming tussen alle betrokken docenten, verbeteren organisatie van het studieonderdeel en voorbereiding van studenten op deze nieuwe werkwijze. De verbetersuggesties van docenten zijn de volgende: meer aandacht voor uitvoering nieuw onderwijs (betere en tijdiger uitleg werkwijze voor docenten en studenten inclusief opstellen rationale achter studieonderdeel), inzetten andere digitale leeromgeving (aantrekkelijker/overzichtelijker), meer aandacht voor randvoorwaarden (uitvoerende docenten meer uren voor uitvoering), verhogen effectiviteit studieonderdeel (peerfeedback: les 30

31 inroosteren waarin feedback-weblecture en items met oefenen feedback centraal staan), planning op periodeniveau (goed nadenken over geschikte periode en de context van de gehele onderwijseenheid: het is een drukke periode, misschien niet optimaal geschikt voor deze werkwijze, moet peerreview niet elders al geïntroduceerd worden?, moet er wellicht al mee begonnen worden in jaar 1), aanpassen inhoud weblecture algemene richtlijnen voor het geven van effectieve feedback (weblecture moet inhoudelijk beter aansluiten op de doelgroep), en kleuring script per locatie (iedere locatie moet de mogelijkheid hebben van couleure locale ), waardoor per locatie op details afgeweken kan worden van ontwerp (script). Conclusies met betrekking tot verbetersuggesties Om de bovengenoemde verzameling verbetersuggesties te ordenen wordt onderstaande indeling gebruikt: Factoren met betrekking tot bruikbaarheid ontwerp Factoren met betrekking tot effectiviteit van het ontwerp Factoren met betrekking tot randvoorwaarden: o Factoren die niet beïnvloedbaar zijn: dat betreft contextvariabelen die als startcondities gedefinieerd kunnen worden om de kans op succesvolle uitvoering en implementatie groter maken, maar die niet kunnen worden beïnvloed vanuit het onderzoek; o Factoren die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als functionele eisen, want de functionele eis dat peerreview op een bepaalde wijze wordt ingezet leidt alleen tot een effectief ontwerp als ook aan de voorwaarde wordt voldaan dat studenten in staat zijn om goede feedback te geven en te benutten. Het ontwerp zou moeten voorzien in het waarborgen van die voorwaarden opdat het ontwerp effectief kan zijn; o Factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie: daarbij gaat het om randvoorwaarden in de context die de uitvoering conform het ontwerp in de weg staan, maar die wel kunnen worden beïnvloed vanuit het onderzoek. Met betrekking tot verbetersuggesties van docenten en studenten kan het volgende worden geconcludeerd: Weblecture geven van effectieve feedback (bruikbaarheid): De weblecture met richtlijnen voor het geven van effectieve feedback is niet door iedereen als waardevol ervaren, terwijl het toepassen van de richtlijnen cruciaal is voor het geven van adequate feedback. In het aangepast script zou een aangepaste weblecture met richtlijnen, voorbeelden en aanwijzingen voor toepassing opgenomen kunnen worden. Daarnaast kan een kort programmaonderdeel tijdens de les worden opgenomen waarin de gekeken wordt of (1) de studenten de richtlijnen voor het geven van effectieve feedback begrijpen en (2) kunnen toepassen in hun situatie. Communiceren script en rationale (randvoorwaarden: factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie): Het script moet nog beter gecommuniceerd worden naar docenten en studenten. Het kan het draagvlak ervoor verhogen bij docenten en de motivatie bij studenten. Het schrijven van een korte rationale achter het script zou hiertoe kunnen bijdragen, De rationale zou ook opgenomen kunnen worden in de studiehandleiding voor de student. Deelname studenten aan leeractiviteiten (bruikbaarheid/effectiviteit): Over het geheel genomen hebben studenten redelijk goed geparticipeerd in de leeractiviteiten die deel uitmaakten van het script. Belemmerend hierbij werkte dat lessen niet verplicht zijn: het script moet deelname onontkoombaar maken, hoe lastig dat ook is: als je meedoet, ben je beter af. Afgedwongen kan deelname niet worden; het zal dus vooral afhangen van kwaliteit programma (script) en de wijze waarop de docent de studenten kan motiveren deel te nemen: hoe waarborg je dat studenten inderdaad ervaren dat ze beter af zijn als ze deelnemen. Digitale leeromgeving (randvoorwaarden: factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie): De inzet van Blackboard als digitale leeromgeving heeft de motivatie van de studenten niet bevorderd. Onder andere vanwege onoverzichtelijkheid en gebruikersonvriendelijkheid verdwijnt motivatie om de omgeving te gebruiken. Omdat Blackboard nog steeds de vigerende leeromgeving is zou wellicht door een 31

32 overzichtelijker indeling binnen het Discussionboard (op BB) toch nog gewerkt kunnen worden met Blackboard. Alternatief zou kunnen zijn een andere digitale omgeving. Niet duidelijk is of de nieuwe versie van Blackboard (zie 4.4.2) de bezwaren kan wegnemen. Niet peerreview via social media zoals werd voorgesteld door enkele docenten omdat daarmee de regie vanuit de opleiding verdwijnt. Ook in plaats van de digitale omgeving het inruimen van tijd tijdens de les om ter plekke peerfeedback te geven, uit te wisselen en te bespreken zoals werd gesuggereerd tijdens het onderzoek lijkt niet wenselijk en effectief omdat dan wordt voorbijgegaan aan een belangrijk doel van het script, namelijk activering van de student ook buiten de reguliere contacttijd en verlenging van de effectieve onderwijstijd. Dat laat onverlet dat het geven van goede feedback de eerste keer geoefend moet worden in de les: ook dit onderdeel maakt dan deel uit van het script. De eerste feedback die gegeven wordt in digitale leeromgeving moet ook stevig ondersteund worden: deze ondersteuning neemt af als studenten in staat blijken te zijn on line goede feedback te geven. Kleuring script (bruikbaarheid): Door variërende omstandigheden (bijvoorbeeld per locatie) voldoet één standaardscript niet, maar zal dat iedereen op basis van een standaardscript een eigen aangepaste versie moeten maken. Het gaat hier vooral over locatiegeboden, praktische zaken zoals vakantieperiodes en inzet docenten. De genoemde onderdelen van het script en de volgorde zullen daarbij overal gelijk moeten zijn. De inkleuring betreft dan praktische uitvoering per locatie. Feedback geven moet je leren (factoren die beïnvloedbaar zijn via het ontwerp/bruikbaarheid/effectiviteit): Het geven van feedback door studenten is geen vanzelfsprekendheid: zij zullen dit moeten leren en oefenen. Instructie alleen volstaat daarbij niet: er zal dus ruimte in het script moeten worden opgenomen voor deze leeractiviteit. 4.7 Conclusie met betrekking tot centrale onderzoeksvraag Een eerste versie van een script voor de inzet van peerreview voor curriculumonderdeel 2.3 Onderzoek in de opleiding HTRO is ontworpen en uitgevoerd en beoogde door de inzet van peerreview en expertreview bij te dragen aan de (gepercipieerde) kwaliteit van de leeropbrengsten. Over het geheel genomen waren studenten en docenten positief over het uitgevoerde script. De aanbevelingen/verbetersuggesties hebben betrekking op bruikbaarheid en effectiviteit van het script en op het opheffen van belemmeringen zoals hiervoor beschreven. 32

33 5. Kritische reflectie en suggesties voor vervolgonderzoek Reflectie op conclusies Geconcludeerd werd in hoofdstuk 4 dat het beoogde doel van het script (door de inzet van peerreview en expertreview bij te dragen aan de kwaliteit van de leeropbrengsten) deels bereikt is, maar dat verschillende types randvoorwaardelijke factoren een belemmerende rol hebben gespeeld. Voor een bruikbaar en effectief script is het cruciaal dat aan de noodzakelijke randvoorwaarden wordt voldaan. Bij de conclusies met betrekking tot verbetersuggesties zijn deze randvoorwaardelijke factoren opgesplitst naar drie categorieën: 1. Variabelen die niet beïnvloedbaar zijn: in deze casus bijvoorbeeld het commitment bij de docenten voor de aanpak waardoor het ontwerp kan worden uitgevoerd conform. Duidelijk is dat er streng op moet worden toegezien dat aan deze randvoorwaarden kan worden voldaan: ze is voorwaarde voor een succesvol onderzoekstraject. Bij het ontbreken van deze randvoorwaarden moet heroverwogen worden of het werken met een script zinvol is in het kader van de verbetering van de kwaliteit van het onderwijs. 2. Variabelen die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als functionele eisen: in deze casus bijvoorbeeld adequate uitleg over het script aan studenten en docenten, adequate voorbereiding op het geven van effectieve feedback door studenten, bespreken van algemene en inhoudelijke criteria voor het geven van feedback, adequate voorbereiding op de begeleiding van het feedbackproces aan docenten en een realistische planning van de feedbackactiviteiten. 3. Variabelen die beïnvloedbaar zijn in de voorbereiding van de uitvoering en/of implementatie: daarbij gaat het om randvoorwaarden in de context die de uitvoering conform het ontwerp in de weg staan: in deze casus bijvoorbeeld adequate inrichting digitale leeromgeving en communiceren script en rationale. Voordeel van het onderscheid is dat bruikbaarheidsaspecten en effectiviteitsaspecten gescheiden konden worden van randvoorwaarden. De relevantie van het script was vooraf geborgd en werd daarom ook niet apart onderzocht; zij werd wel bevestigd door het onderzoek. De consistentie van het ontwerp werd ook niet apart onderzocht: door analyse context en de theoretische basis zou deze geborgd moeten zijn in de ontwerpfase, maar in een vervolgonderzoek zou het beter zijn consistentie apart te onderzoeken door expert appraisal of focusgroep docenten voordat de uitvoering plaatsvindt. Reflectie op het uitgevoerde onderzoek De vragenlijst voor studenten is tekortgeschoten met betrekking tot de antwoordoptie n.v.t die gewenst was, maar die ontbrak. Daarom is wellicht is sommige gevallen negatief geantwoord op stellingen die n.v.t. waren of bij de resultaten was niet duidelijk waarom de vraag niet was ingevuld. Ontwerp Het ontwerp (script) is tot stand gekomen binnen de vigerende randvoorwaarde met betrekking tot deelname: geen verplichting. Een ontwerp (hier: script) is het meest bruikbaar en effectief als er alignment is tussen doelen, leeractiviteiten en toetsing (Biggs, 2003). Omdat er geen verplichting is voor deelname, moet het script zo worden ontworpen dat deelname aan alle leeractiviteiten de grootste kans oplevert voor een succesvolle afronding van het studieonderdeel. De leeractiviteiten zouden dus nog meer dan nu het geval is onontkoombaar moeten zijn, met andere woorden dat het volgen van alle onderdelen noodzakelijk is om de doelen te bereiken. Voorwaarden voor uitvoering programma Randvoorwaarde voor het ontwerp was dat het uitvoerbaar moest zijn binnen de beschikbare capaciteit en middelen. Uit het onderzoek blijkt dat dit bij deze eerste uitvoering niet mogelijk was. Dit is niet zo verwonderlijk aangezien het onderdeel nieuw was en voor het eerst werd uitgevoerd. Als het ontwerp wordt aangepast op basis van de ervaringen van het afgelopen jaar, is de verwachting dat aan die randvoorwaarde kan worden voldaan 33

34 omdat dit jaar reeds ervaring is opgedaan met wijze van werken: de extra tijd zat nu vooral in extra overleg en afstemming, inwerken op nieuwe werkwijze, tijd voor evaluatie, etc. Uitgangspunt van het script is dat in een normale situatie de beschikbare tijd voor docenten toereikend is. Uitvoering conform ontwerp Het uitgangspunt van het onderzoek was dat door vooraf veel aandacht te besteden aan de randvoorwaarden de kans vergroot zou worden dat het ontwerp ook conform ontwerp zou worden uitgevoerd. Uit het onderzoek blijkt dat niet overal het ontwerp (script) exact is gevolgd, wel dat de meeste onderdelen zijn uitgevoerd in de beschreven volgorde. De reden voor afwijking van het script was volgens de docenten vooral tijdgebrek en het feit dat veel verschillende docenten betrokken waren bij de uitvoering waardoor de kans op afwijkingen toenam. Om adequaat te onderzoeken of een script bruikbaar en effectief is, is het noodzakelijk dat het ontwerp exact wordt uitgevoerd conform ontwerp. Dat was hier niet (helemaal) het geval. Gelukkig konden wel uitspraken gedaan worden over onderdelen van het script in de beschreven volgorde. Een script is een consistent samenhangend ontwerp, of het beoogt dat te zijn; wijk je hier vanaf, dan loop je de kans dat het hele concept bij voorbaat onderuit gehaald wordt waardoor onderzoek naar bruikbaarheid en effectiviteit niet meer goed mogelijk is. Draagvlak en uitvoering Bij de uitvoering van het script traden allerlei complicaties op, inherent aan werken in de praktijk. Het script dat gemaakt werd, moest per locatie worden aangepast vanwege locatieomstandigheden zoals de afwijkende vakantieperiodes. Daarnaast moest er overal draagvlak worden gecreëerd voor het uitvoeren van zo n script, omdat de docenten niet gewend waren een vooraf vastgelegd script te volgen, wat door sommigen wellicht als een keurslijf werd ervaren. Wellicht werd er te gemakkelijk van uitgegaan dat dat draagvlak aanwezig is. Wellicht moet in het vervolg hier nog meer dan nu het geval was, aandacht aan worden besteed. Effectieve peerreview en technologie Uit het onderzoek blijkt dat peerreview door technologie ondersteund in deze leerpraktijk niet overal heeft gewerkt. Sommige docenten namen daarom hun toevlucht tot een peerreviewproces dat in de les werd uitgevoerd, waardoor het voordeel van verlengde leertijd door inzet technologie geheel verviel. Meer aandacht had er moeten zijn voor de randvoorwaarden voor het adequaat uitvoeren van het ontwerp op dit gebied, waardoor er tijdens de les tijd zou vrijkomen om dieper op de materie in te gaan. Suggesties voor vervolgonderzoek Op basis van de onderzoeksresultaten en de ervaringen bij de uitvoering kan het programma door HTRO worden aangepast. Als 1. het aangepaste programma voorzien wordt van een korte rationale waarin de ideeën en uitgangspunten achter het ontwerp uiteengezet worden, 2. de rationale en het script besproken kunnen worden met de docenten op de locaties (commitment) en 3. als de implementatie adequaat begeleid zou kunnen worden, dan is de kans het grootst dat het ontwerp conform ontwerp kan worden uitgevoerd. Dit wil niet zeggen dat vervolgonderzoek zich hierop moet richten. De complexiteit van ontwerp en de complexiteit van de context maken ook dat gekozen kan worden voor onderzoek naar een specifiek aspect/onderdeel van het script. Wellicht heeft inzoomen op onderdelen van het gehele ontwerp daarom een grotere impact en wellicht kan daarop vervolgonderzoek plaatsvinden (zie volgende alinea). De resultaten van het onderzoek geven aan dat de inzet van peerfeedback het leerproces kan ondersteunen. Toch geven studenten en docenten aan dat niet door alle studenten feedback werd gegeven aan medestudenten en dat niet alle peerfeedback van hoge kwaliteit is geweest. Vervolgonderzoek zou zich kunnen richten op de wijze waarop het geven van (1.) peerfeedback van (2.) goede kwaliteit en 3. onontkoombaar is, waarbij de vrijblijvendheid verminderd kan worden. Hierbij moet dan ook gekeken worden naar de organisatorische voorwaarden die correcte uitvoering van het script mogelijk maakt/ belemmert, maar ook naar de meer complexe voorwaarden die samenhangen met kenmerken van de gebruikers 34

35 (docenten en studenten). Daarbij spelen een belangrijke rol het inbouwen van activiteiten die zicht geven op het vermogen van studenten om goede feedback te geven en daarna het inbouwen van activiteiten die aansluiten op dat vastgestelde niveau. Dan wordt de kans verhoogd dat het script daadwerkelijk bruikbaar en effectief is. Uit het onderzoek blijkt dat de weblecture met richtlijnen voor het geven van effectieve feedback niet door iedereen als waardevol is ervaren, terwijl het toepassen van de richtlijnen cruciaal is voor het geven van adequate feedback. Vervolgonderzoek zou zich ook kunnen richten op de wijze waarop door middel van uitleg en voorbeelden de richtlijnen beter gecommuniceerd en toegepast/geoefend kunnen worden. Uit het onderzoek blijkt dat niet in alle gevallen de gegeven feedback mondeling is besproken tijdens de les, vaak door tijdgebrek. In vervolgonderzoek zouden in het herontwerp van een leerpraktijk werkvormen opgenomen en geëvalueerd kunnen worden waarmee feedback wel besproken kan worden tijdens de les. Ten slotte Door het scripten van de feedbackactiviteiten (door peerreview en expertreview) kan beter worden nagedacht over alle aspecten met betrekking tot het uit te voeren programma. Dat studenten door het uitgevoerde ontwerp in een actieve modus zijn gekomen is alleen maar toe te juichen. Het ontwerp kan daarmee een bijdrage leveren aan de didactische vernieuwing die noodzakelijk is met een gerichtheid op actief leren van de student. Toch zal na aanpassing script gewerkt moeten worden aan een aantal randvoorwaarden voor succesvolle toepassing om het script uiteindelijk breed te kunnen implementeren op alle locaties. 35

36 Geraadpleegde bronnen Biggs, J. (2003). Teaching for quality learning at university: what the student does (Second ed.). New York: Open University Press. Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 7(74). Black, P., & Wiliam, D. (1998b). Inside the Black Box Raising Standards Through Classroom Assessment. Phi Delta Kappan, 80(2), Boud, D. (2000). Sustainable assessment: Rethinking assessment for the learning society. Studies in Continuing Education, 22(2), Commissie Gedragscode Praktijkgericht onderzoek in het hbo. (2010). Gedragscode praktijkgericht onderzoek voor het hbo. Gedragscode voor het voorbereiden en uitvoeren van praktijkgericht onderzoek binnen het Hoger Beroepsonderwijs in Nederland. Den Haag: HBO-raad. Dennen, V. (2003). Designing peer feedback opportunities into online learning experiences. Paper presented at the 19de Annual Conference on distance teaching and learning., Madison, Wisconsin. Dochy, F., Segers, M., & Sluijsmans, D. (1999). Co-assessment in higher education: a review. Studies in Higher Education, 24(3). Falchikov, N. (2005). Improving assessment through student involvement: practical solutions for aiding learning in higher and further education. New York: RoutledgeFalmer. Finn, G. M., & Garner, J. (2011). Twelve tips for implementing a successful peer assessment. Medical teacher, 33(6), Fransen, J. (2013). De pionier als bruggenbouwer. W4: Weten Wat Werkt en Waarom, 2(3). Götte, B. (2015). Cirkelen rond peerreview: Een ontwerpgericht onderzoek naar een scenario voor de inzet van peerreview in de afstudeerfase van de hogere beroepsopleiding Communicatie van Hogeschool Inholland Diemen. Hogeschool Inholland, Den Haag. Hattie, J. A. C. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. New York: Routledge. Hattie, J. A. C., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), Juwah, C., Macfarlane-Dick, D., Matthew, B., Nicol, D., Ross, D., & Smith, B. (2004). Enhancing student learning through effective formative feedback. York: The Higher Education Academy (Generic Centre). Keh, C. L. (1990). Feedback in the writing process: a model and methods for implementation. ELT Journal, 44(4), Kigozi Kahiigi, E., Vesisenaho, M., Hansson, H., Danielson, M., & Tusubira, F. F. (2012). Modelling a peer assignment review process for collaborative e-learning. Journal of Interactive Online Learning, 11(2), Ladyshewsky, R. K. (2013). The role of peers in feedback processes. In D. Boud & M. E (Eds.), Feedback in Higher and professional education: understanding it and doing it well (pp ). Laurillard, D. (2002). Rethinking university teaching: a conversational framework for the effective use of learning technologies. Londen: RoutledgeFalmer. Min, H.-T. (2005). Training students to become successful peer reviewers. System, 33(2), Mory, E. H. (2004). Feedback research revisited. In D. H. Jonassen (Ed.), Handbook of research on educational communications and technology (2 ed., pp ). London: Lawrence Erlbaum Associates, Publishers. Newkirk, T. (1984). Direction and misdirection in peer response. College Composition and Communication, 35(3), Nilson, L. B. (2003). Improving student peer feedback. College teaching, 51(1),

37 Paulus, T. (1999). The effect of peer and teacher feedback on student writing. Journal of Second Language Writing, 8(3), Richardson, J. C., Ertmer, P. A., Lehman, J., & Newby, T. J. (2007). Using peer feedback in online discussions to improve critical thinking. Paper presented at the The Annual Meeting of the Association for Educational Communications and Technology. Rieber, L. J. (2006). Using peer review to improve student writing in business courses. Journal of Education for Business, Rompa, R. M. G., & Romme, A. G. L. (2001). Samenwerking en leerprestaties in afstudeerkringen. Pedagogische Studien, 78(5), Sadler, D. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), Sahin, S. (2008). An application of peer assessment in higher education. The Turkish Online Journal of Educational Technology, 7(2). Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(153), Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68(3), Topping, K., Smith, E., Swanson, L., & Elliot, A. (2000). Formative peer assessment of academic ariting between postgraduate students. Assessment & Evaluation in Higher Education, 25(2). Tsui, A. B., & Ng, M. (2000). Do Secondary L2 Writers Benefit from Peer Comments? Journal of Second Language Writing, 9(2), Van den Berg, I., Admiraal, W., & Pilot, A. (2003). Peer assessment in university teaching. An exploration of useful designs. Assessment & Evaluation in Higher Education, 31(1), Van den Berg, I., Admiraal, W., & Pilot, A. (2006). Designing student peer assessment in higher education: analysis of written and oral peer feedback. Teaching in Higher Education, 11(2), Van den Berg, I., Pilot, A., & Admiraal, W. (2005). Peer assessment als leermiddel. Voorbeelden uit het hoger onderwijs. Utrecht: Universiteit Utrecht (IVLOS). Van Seggelen-Damen, I. C., & Romme, A. G. L. (2014). Reflective questioning in management education: lessons from supervising thesis projects. SAGA Open, 4(2), Van Zundert, M., Sluijsmans, D., & Merriënboer, V. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20, Williams, B., Brown, T., & Benson, R. (2013). Feedback in the digital environment. In D. Boud & E. Molloy (Eds.), Feedback in higher and professional education: understanding it and doing it well (pp ). London: Routledge. 37

38 Bijlage 1 Screenshot vragenlijst studenten Integrale vragenlijsten en alle data zijn te vinden op bij onderzoekslijn feedback. 38

39 Bijlage 2 Screenshot vragenlijst docenten Integrale vragenlijsten en alle data zijn te vinden op bij onderzoekslijn feedback. 39