Scripting van peer-review in een leerpraktijk in de opleiding Communicatie

Transcriptie

1 Scripting van peer-review in een leerpraktijk in de opleiding Communicatie Rapportage over test en evaluatie van een herontwerp van het project De Communicatiecyclus op de locaties Diemen/Den Haag/ Rotterdam Teaching, Learning & Technology Bob Götte Pieter Swager Met medewerking van: Jeroen Bottema Jos Fransen Final 10/2016

2 Inhoud Samenvatting 3 1. Inleiding Aanleiding Probleemanalyse en visie Onderwerp, doel en vraagstelling Relevantie Reikwijdte en afbakening Stakeholders Randvoorwaarden, beperkingen en uitgangspunten Context 8 2. Methode Typering van het onderzoek Participanten en instrumentatie Procedures voor dataverzameling Aanpak voor data-analyse Validiteit en betrouwbaarheid Gedragscode praktijkgericht onderzoek Resultaten Inleiding Vooronderzoeksfase Ontwerpfase Evaluatiefase Conclusies en aanbevelingen Inleiding Ontwerp en uitvoering Bevestiging van de relevantie van het script Ervaren bruikbaarheid Ervaren effectiviteit Sterke punten, minder sterke punten en verbetersuggesties Conclusies met betrekking tot de centrale onderzoeksvraag Kritische reflectie en suggesties voor vervolgonderzoek Reflectie op conclusies Reflectie op het uitgevoerde onderzoek Ontwerp Voorwaarden voor uitvoering programma Uitvoering conform ontwerp Effectieve peerreview en technologie Suggesties voor vervolgonderzoek Ten slotte 36 Referenties 37 Bijlage A Planning van het project De Communicatiecyclus 39 Bijlage B Screenshots vragenlijst studenten en vragenlijst docenten 42 Bijlage C Protocol focusgroep docenten 43 Bijlage D Voorbeeld vragenlijst voor peerreview 46 Bijlage E Voorbeeld verantwoordingsvragen na peerreview 47 2

3 Samenvatting Aanleiding. Het nieuwe curriculum van de opleiding Communicatie in het domein Creative Business gaat uit van activerende didactiek opdat studenten worden gestimuleerd meer betrokken te raken bij en meer regie te nemen over hun eigen leerproces. Dit vraagt een didactisch herontwerp van curriculum-onderdelen. Feedback en de inzet van peerreview zijn belangrijke instrumenten in een didactische aanpak omdat het effect hiervan op leerprocessen groot kan zijn, mits de feedback kwalitatief goed is en de inzet van peerreview adequaat wordt georganiseerd. De opleiding wordt aangeboden op de locaties Diemen, Den Haag en Rotterdam. Probleemanalyse en visie. De opleiding Communicatie wordt met ingang van het studiejaar didactisch verder ontwikkeld. De noodzaak hiervan ligt in de ervaringen met de huidige studentpopulatie en de naderende accreditatie. Het opleiden van de communicatieprofessional van de toekomst vereist een andere didactiek en de professionalisering van docenten is hiervoor noodzakelijk. Knelpunt in de uitvoering van het huidige curriculum is dat de didactiek nog onvoldoende gericht is op de activering van de student in het participeren in leeractiviteiten en op de ontwikkeling van hun zelfsturend vermogen. Activerende didactiek impliceert de ontwikkeling van een scenario (script) voor een leerproces in een gegeven leerpraktijk. Onderwerp, doel en vraagstelling. Het object van onderzoek betreft de inzet van feedback binnen leerpraktijken. Het gaat hierbij om de inzet van peerfeedback en expert(docent)feedback (hierna: expertfeedback), en de wijze waarop de digitale leeromgeving (Moodle) het proces van peer- en expertreview kan ondersteunen. Het resultaat van de activiteiten wordt in dit onderzoek benoemd als peerfeedback en expertfeedback; het proces van feedback geven wordt beschreven als peerreview en expertreview. Doel van het onderzoek is het in samenwerking met de betrokken pioniers en docenten testen van een concrete uitwerking van het didactisch concept voor een specifiek curriculumonderdeel, met als basis effectief inzetten van peerreview en expertreview ter ondersteuning van het leerproces van de student. Het onderzoeksproject richt zich op het project De Communicatiecyclus, dat in de basis een oefening is voorafgaand aan de afstudeerfase. De vraag in deze studie luidt: Hoe ziet het didactisch ontwerp van het project De Communicatiecyclus in jaar 3 van de opleiding Communicatie eruit waarin feedback van de docent en inzet van peerreview bijdragen aan de kwaliteit van de leeropbrengst in de perceptie van alle betrokkenen, en waarbij docenten zich eigenaar voelen van het ontwerp en zich in staat achten de uitvoering conform het ontwerp te realiseren? Resultaten. In de vooronderzoeksfase werden op basis van twee onderzoeksvragen ontwerpeisen gegenereerd vanuit de literatuur en de praktijk. In de ontwerpfase werd op basis van ontwerpeisen een ontwerp ontwikkeld. De belangrijkste kenmerken van het herontwerp (script) zijn: voorafgaand of tijdens de bijeenkomst bekijken van de weblecture over het geven van effectieve feedback (1); tijdens de bijeenkomst bespreken van de algemene begrippen uit de weblecture en richtlijnen voor het geven van effectieve feedback (2); bespreken van inhoudelijke criteria voor het geven van feedback (3); geven van feedback aan medestudenten in de digitale leeromgeving via peerreview (4); geven van feedback door de docent via expertreview (5); Tijdens de bijeenkomst bespreken van de peerfeedback en de expertfeedback (6). In de evaluatiefase werd gekeken of het ontwerp is uitgevoerd conform ontwerp. Het ontwerp werd daarnaast geëvalueerd met betrekking tot de ervaren bruikbaarheid en de ervaren effectiviteit. Tevens werden verbetersuggesties geïnventariseerd. Conclusies. Geconcludeerd kan worden dat het integrale ontwerp (script) in grote lijnen werd uitgevoerd conform ontwerp. Met integraal ontwerp (script) wordt bedoeld alle vastgelegde onderdelen van het script (inhoud) en de vastgelegde volgorde en tijd waarin deze uitgevoerd moeten worden (routing/planning). In sommige gevallen is een aantal onderdelen van het script niet uitgevoerd conform ontwerp, waarbij de volgende afwijkingen werden geconstateerd: het bekijken weblecture over het geven van effectieve feedback vond niet plaats; de weblecture werd tijdens de les bekeken in plaats van online voorafgaande aan de kringbijeenkomst; tijdens de bijeenkomst werden de algemene begrippen uit de weblecture niet besproken; de inhoudelijke criteria voor het geven van 3

4 feedback werden niet besproken; de docent gaf geen feedback; de feedback per individuele student werd niet in de les besproken (peerfeedback en docentfeedback). De in eerdere fase van het onderzoeksproject vastgestelde relevantie van het ontwerp in de perceptie van de studenten en docenten, werd bevestigd in het onderzoek. In de perceptie van docenten en studenten werd de bruikbaarheid van het script zowel positief als negatief beoordeeld. Het herontwerp (script) werd in algemene zin als effectief ervaren door docenten en studenten, maar hierbij moet een aantal nuanceringen worden gemaakt. De volgende onderdelen van het script werden als meest ondersteunend ervaren: geven van feedback door de docent (1); bespreken van de expertfeedback tijdens de les (2); bespreken van peerfeedback; geven van peerfeedback (4). Verbetersuggesties van betrokkenen. De weblecture over geven van effectieve feedback moet worden aangepast zodat deze meer aansluit bij het kennisniveau van de studenten en dient richtlijnen, voorbeelden en aanwijzingen voor toepassing te bevatten (1). Het begrip van de richtlijnen en toepassing door studenten dient voorafgaand aan de uitvoering van de peerreview getoetst te worden (2). Betere afstemming van het script op het leerproces in de gegeven leerpraktijk op locatie (3). Begeleiding van de feedbackloops met aandacht voor de veranderende rol van de docent tijdens die feedbackloops en de wijze waarop feedbackloops worden begeleid door de docent (4). Meer aandacht voor het ontwikkelen van begrip van de nieuwe werkwijze door het doorgronden van de opdracht en de werkwijze regelmatiger en uitgebreider aan de orde te stellen (5). Het werken met een script beter voorbereiden, onder meer door het aanbieden van een uitgeschreven rationale bij het script (6). De digitale omgeving: anders te werk gaan met deadlines zodat ze als minder dwingend worden ervaren en vergroten van overzichtelijkheid van de forums (7). Stem frequentie van expertreview af op de behoefte aan expertfeedback (8). Train docenten in het geven van kwalitatief goede inhoudelijke feedback en organiseer kalibratiesessies om een eenduidigere opvatting over de kwaliteitseisen te ontwikkelen (9). Train studenten in het geven van feedback en beperk het niet tot alleen instructie, wat impliceert dat het script ook in die training moet voorzien (10). Benoem monitoring van de kwaliteit van peerfeedback door de docent nadrukkelijker in het script en stel verwerking van de peerfeedback uit tot na de bespreking ervan (11). Conclusie met betrekking tot centrale onderzoeksvraag. Een eerste prototype van een script voor de inzet van peerreview bij het project De Communicatiecyclus in de opleiding Communicatie is ontworpen en getest in de praktijk op drie locaties en geconcludeerd kan worden dat dat doel deels (op onderdelen van het script) is bereikt, maar dat een aantal belemmeringen werd ervaren die daarmee inzicht geven in belangrijke voorwaarden die het uitvoeren van het script zoals bedoeld mogelijk maken. Het succesvol uitvoeren van het script vereist daarnaast een betere afstemming tussen het script, de opdracht, en de organisatie en uitvoering van deze leerpraktijk. Voor een optimale bruikbaarheid en effectiviteit is het cruciaal dat daarnaast aan een aantal randvoorwaarden wordt voldaan. De datasets met betrekking tot de vragenlijsten studenten en docenten zijn te vinden op bij Onderzoekslijn feedback. 4

5 1. Inleiding 1.1 Aanleiding De opleiding Communicatie in het domein Creative Business heeft sinds studiejaar een nieuw curriculum met een vernieuwd competentieprofiel. Het nieuwe curriculum gaat meer dan het vorige uit van een activerende didactiek opdat studenten worden gestimuleerd meer betrokken te raken en meer regie te nemen over hun eigen leerproces. De opleiding Communicatie heeft zich daarom in het studiejaar willen richten op de didactische innovatie binnen het curriculum, waarbij de aandacht vooral gericht is op activerende didactiek. De opleiding wordt aangeboden op de locaties Diemen, Den Haag en Rotterdam. De opleiding wil een didactisch herontwerp van curriculumonderdelen, en met name van de startbekwame fase, en hanteert onontkoombaarheid als sleutelbegip ten aanzien van actieve betrokkenheid bij en participatie van de student in het leerproces. Actieve deelname moet vanzelfsprekend zijn voor studenten en ze moeten daartoe niet alleen worden verleid, het didactisch ontwerp moet niet participeren ook onaantrekkelijk maken. Daarmee wordt bijgedragen aan de ontwikkeling van een professionele attitude en van het zelfsturend vermogen van studenten. Feedback en peerreview zijn belangrijke instrumenten in een didactische aanpak omdat het effect hiervan op het leren groot is, mits de feedback kwalitatief goed is, op het juiste moment gegeven wordt en in de juiste vorm, en mits peerreview beredeneerd wordt ingezet en goed wordt georganiseerd. 1.2 Probleemanalyse en visie De opleiding Communicatie wordt in het studiejaar didactisch verder ontwikkeld. Die innovatie is noodzakelijk vanwege de ervaringen met de huidige studentpopulatie en de naderende accreditatie. Daarnaast vereist het opleiden van de professional van de toekomst een andere didactiek en is in het verlengde daarvan professionalisering van docenten noodzakelijk. In de opleidingsteams is de inhoudelijke expertise op het brede terrein van communicatie in ruime mate vertegenwoordigd, maar teams verschillen nogal sterk ten aanzien van de beschikbare, didactische expertise die noodzakelijk is om innovaties vorm te geven en te realiseren. Ook de onderwijskundige visie van teams verschilt wellicht per locatie. Meer specifiek verschillen docenten in opvatting over onderzoek en dat heeft geleid tot de keuze om docenten in de startbekwame fase samen te laten werken in de begeleiding van de studenten bij het uitvoeren van praktijkgericht onderzoek. Vanaf het derde jaar worden onderzoeksprojecten hiertoe georganiseerd rondom Communities of learners. Binnen communities of learners neemt peerreview als leeractiviteit een belangrijke plaats in (Aitchison, 2003, 2009; Riel, Rhoads, & Ellis, 2005; Romme, 1998; Romme & Nijhuis, 2000; Rompa & Romme, 2001). Een belangrijk knelpunt in de uitvoering van het huidige curriculum is dat de didactiek nog onvoldoende gericht is op activering van de student in het participeren in leeractiviteiten en op de ontwikkeling van het zelfsturend vermogen van de student. Activerende didactiek impliceert de ontwikkeling van een scenario [ script ] voor een leerproces in een gegeven leerpraktijk. Dat scenario moet zodanig zijn dat actief participeren onontkoombaar is en niet participeren onaantrekkelijk wordt. Feedback is cruciaal voor het sturen van een leerproces en voor het realiseren van de gewenste leeropbrengsten, maar de feedback moet kwalitatief goed zijn en in de juiste vorm en op het juiste moment worden gegeven, en de student moet in staat zijn die feedback te benutten. Daarnaast is het belangrijk dat de student impliciete feedback krijgt op het handelen vanuit de leeromgeving en dat vereist een herontwerp van de leeromgeving. Ten slotte kan de beredeneerde inzet van peerreview bijdragen aan de cohesie binnen een community of learners, aan de kwaliteit van de leeropbrengst en aan de actieve participatie van de student in het leerproces. Daarbij is voorwaarde dat dit instrument op het juiste moment en in de juiste mate wordt ingezet en adequaat wordt ondersteund, passend bij de ontwikkeling van de student en de leerpraktijk. Technologie kan in het proces van peerreview niet worden gemist vanwege de meerwaarde ervan voor zowel de organisatie, de inhoudelijke kwaliteit van peerreview als de efficiënte benutting van contacttijd. De centrale rol van feedback en peerreview binnen een leerproces maakt dat dit een goed aangrijpingspunt vormt voor het 5

6 concretiseren van een herontwerp van het curriculum waarin activering van de student een belangrijk doel is, vooral in de startbekwame fase van de opleiding. In een ontwerponderzoek (Götte, 2015) van een docent uit het team van Diemen, dat werd uitgevoerd in het kader van het behalen van de mastergraad, is een script ontwikkeld voor peerreview dat nog getest moet worden in de praktijk en op basis daarvan kan worden doorontwikkeld om te worden benut op de andere locaties. De verwachting is dat het leerproces van de studenten kan worden geoptimaliseerd op basis van de uitvoering van dat script, met als beoogd effect dat het vereiste niveau sneller wordt bereikt. 1.3 Onderwerp, doel en vraagstelling Doel van het onderzoek is het in samenwerking met betrokken pionier en docenten testen en door-ontwikkelen van een strategie voor de inzet van peerreview in de startbekwame fase opdat dit kan fungeren als exemplarische aanpak voor de vormgeving van de startbekwame fase en als inspirerend voorbeeld voor de ontwikkeling van andere curriculumonderdelen. In het tweede semester van studiejaarjaar 3 vindt curriculumonderdeel project De Communicatiecyclus plaats. Dit project is in de basis een oefening voor het afstuderen: studenten werken als een community of learners in kringen van 10 tot 15 studenten, begeleid door twee docenten, aan individuele opdrachten waarbij ze de stappen van de communicatiecyclus doorlopen (analyse, plan, creatie, uitvoering). In het licht van de nog te herontwerpen afstudeerfase wordt dit project als vingeroefening gebruikt in het kader van dit onderzoek. Centrale vraagstelling: Hoe ziet het didactisch ontwerp van het project De Communicatiecyclus in jaar 3 van de opleiding Communicatie eruit waarin feedback van de docent en inzet van peerreview bijdragen aan de kwaliteit van de leeropbrengst in de perceptie van alle betrokkenen, en waarbij docenten zich eigenaar voelen van het ontwerp en zich in staat achten de uitvoering conform het ontwerp te realiseren? 1.4 Relevantie Het onderzoeksproject richt zich op curriculumonderdeel project De Communicatiecyclus dat exemplarisch is voor de gewenste werkwijze bij de opleiding Communicatie. Daarmee kan het ontwerp mogelijk als blauwdruk fungeren voor het herontwerp van andere curriculumonderdelen. Ook kan de ervaring met de aanpak die wordt gevolgd om te komen tot dit herontwerp worden benut om de aanpak van het herontwerp van andere curriculumonderdelen vorm te geven. Aanpak en herontwerp kunnen vervolgens inspirerend zijn voor andere opleidingen in de hogeschool met de wens om het onderwijs meer activerend in te richten en daarbij in te zetten op verbetering van de kwaliteit van feedback in leerprocessen en het benutten peerreview daarbij. Dit sluit eveneens aan op de visie van de hogeschool op toekomstgericht onderwijs en de rol die technologie daarin kan vervullen. Dit onderzoeksproject sluit tevens aan bij de landelijke trend in het hoger beroepsonderwijs waarin gepersonaliseerd leren, activerende didactiek en de beredeneerde inzet van technologie belangrijke aandachtspunten zijn. 1.5 Reikwijdte en afbakening Het betreft een contextspecifiek herontwerp en dat impliceert dat het herontwerp aansluit bij randvoorwaarden die gelden in de gegeven context en bij de visie op didactiek. Daarmee is het ontwerp niet onverkort te vertalen naar andere opleidingen, maar het kan wel als inspiratie dienen voor de inrichting van afstudeerfase in andere opleidingen. Het onderzoeksteam Teaching, Learning & Technology verzamelt de genereerde kennis uit deze herontwerptrajecten met als doel om daaruit generieke ontwerpprincipes af te leiden die bruikbaar zijn binnen ontwerpontwerpen van vergelijkbare curriculumonderdelen in andere opleidingen binnen de hogeschool. De onderzochte leerpraktijk betreft het curriculumonderdeel project De Communicatiecyclus, dat in de 6

7 derde periode van het 3e jaar van de HBO-opleiding Communicatie wordt uitgevoerd. Het betreft hier voltijdstudenten van de vierjarige opleiding Communicatie van de locaties Diemen, Den Haag en Rotterdam. Het onderzoek is uitgevoerd op basis van een eerste iteratie van het prototype. Het script is daarom niet opleidingsbreed is getest, maar als try-out door een selectie van de doelgroep binnen de normale praktijksituatie gebruikt (Nieveen, Folmer, & Vliegen, 2012). Een tweede reden om de try-out met een selectie van de doelgroep uit te voeren, is de noodzaak van de aanwezigheid van een pionier op de locaties met de motivatie om het onderwijs te vernieuwen. Een andere reden is de haalbaarheid van het onderzoek binnen de beschikbare tijd. Bij het onderzoek zijn acht docenten betrokken en circa 60 studenten, verdeeld over de drie locaties. De leerpraktijk betreft een individuele onderzoeksopdracht waarbij op basis van een zelf verworven communicatiepraktijkopdracht op systematische wijze naar een communicatieoplossing moet worden gezocht. Hierbij voert de student onder andere een probleemverkenning uit, levert een onderzoek en oplossingskader op en werkt op basis van de uitkomsten Contentcreatie en een implementatieplan uit. De gehele opdracht neemt een onderwijssemester in beslag. In het ontwerp is enigszins afgebakend op mate van detaillering. Het ontworpen script (bijlage A) dat opgenomen wordt in de studiehandleiding is ontwikkeld op basis van gedetailleerde scenario s uit het onderzoek van Götte (2015). Per week wordt per locatie in het script beschreven welke activiteiten in welke volgorde plaatsvinden. Daarmee is het script nog steeds zeer gedetailleerd, maar minder gedetailleerd dan de oorspronkelijke scripts. Het onderzoek richt zich op het niveau van algemene kenmerken van de leerpraktijk en de volgorde van (feedback)onderdelen om de kans op transfer van de onderzoeksresultaten te vergroten. 1.6 Stakeholders In dit onderzoek worden stakeholders onderscheiden op het niveau van het onderzoek of de pilot per opleiding of domein, en op het niveau van onderzoekslijn TLT en hogeschool (zie tabel 1: stakeholders). Tabel 1. Stakeholders, niveau en belang. Stakeholder Niveau Belang in het onderzoek Management van een opleiding/domein Pioniers op locaties Diemen, Den Haag en Rotterdam Docenten Communicatie Diemen/ Den Haag / Rotterdam Studenten Communicatie Diemen/ Den Haag / Rotterdam Onderzoekers onderzoekslijn TLT Domein/Opleiding Communicatie Domein/Opleiding Domein/Opleiding Domein/Opleiding Onderzoeksgroep en Hogeschool Ontwikkeling van toekomstgericht onderwijs [activerend en met meer flexibiliteit voor het bieden van maatwerk] Ontwikkeling van activerend en toekomstgericht onderwijs met effectieve inzet van technologie. Ontwikkeling van activerend en toekomstgericht onderwijs met effectieve inzet van technologie. Participeren in onderwijs dat effectief ondersteunt bij het behalen van leerdoelen met effectieve inzet van technologie. Genereren van valide en toepasbare kennis over de effectieve inzet van technologie in leerprocessen. Dienst Onderwijsbeleid Hogeschool Ontwikkeling van gereedschap voor ontwerp van activerend onderwijs met een beredeneerde inzet van technologie. College van Bestuur van Inholland Hogeschool Ontwikkeling van kwalitatief goed toekomstgericht onderwijs met effectieve inzet van technologie en veel flexibiliteit. 7

8 1.7 Randvoorwaarden, beperkingen en uitgangspunten Randvoorwaarde is dat het herontwerp past bij de didactische uitgangspunten van de opleiding Communicatie en uitvoerbaar is binnen de gegeven condities van beschikbare capaciteit en middelen. Daarbij moet rekening worden gehouden met mogelijke beperkingen die gelden ten aanzien van organiseerbaarheid als gevolg van regelgeving op hogeschoolniveau met betrekking tot de organisatie en planning van het onderwijs. Uitgangspunt is de betrokkenheid van een docententeam op locatie bij het herontwerp vanuit de bereidheid om vanuit een gedeelde visie samen te werken aan een voor hen, en voor de gegeven locatie, uitvoerbaar en effectief ontwerp van de inzet van feedback en peerreview in curriculumonderdeel project de Communicatiecyclus. Binnen het team dient een pionier aanwezig te zijn die heeft aangetoond in aanleg te beschikken over de eigenschappen van een pionier en zich verder wil ontwikkelen tot change agent binnen de opleiding. Betrokken teamleden en pionier moeten vanuit de opleiding voldoende worden gefaciliteerd in tijd voor het ontwerptraject en voor professionalisering. Fransen (2013, p. 19) stelt samenvattend dat: ( ) een succesvolle pionier het bruggenhoofd vormt in een verbinding met het team. Vanuit die positie reduceert hij, zo mogelijk samen met één of meer vroege gebruikers, de complexiteit van een verandering. Bijvoorbeeld door collega s te trainen en te ondersteunen in het omgaan met de technologie (operationele complexiteit) en door te helpen bij het inzetten van de technologie in het onderwijs, passend bij de visie en werkwijze van de individuele leraar (conceptuele complexiteit). Op deze manier kan de pionier een fundamentele rol spelen bij de acceptatie en duurzame implementatie van een ict-toepassing in een onderwijsorganisatie. Voordat de micro-evaluatie plaatsvond, kon aan genoemde randvoorwaarden en uitgangspunten worden voldaan, waardoor er vooraf geen verstorende factoren op dit gebied een rol speelden. 1.8 Context Het onderzoek vindt plaats bij de HBO-opleiding Communicatie van hogeschool Inholland. Het betreft het project uit het tweede semester van het derde jaar van de opleiding (hierna: 3sem2). Het onderdeel dat onderzocht wordt heet project de Communicatiecyclus. De ervaring van jaar 2 en van het eerste semester van jaar 3 (de stage) is nodig voor het uitvoeren van de opdracht. Studenten hebben in het eerste en tweede jaar van hun opleiding verschillende groepsopdrachten in projecten uitgevoerd en trainingen en cursussen gevolgd op het gebied van onderzoek opzetten en uitvoeren. De studenten zijn in het eerste semester van jaar 3 gaan stagelopen bij een organisatie binnen de communicatiebranche. Daar hebben ze verschillende communicatieopdrachten voor uitgevoerd. Vanuit de opleiding werd als kader meegegeven dat zij met één van de opdrachten van de organisatie de communicatiecyclus (in het klein) doorlopen. Daarnaast ontvingen zij de opdracht vanuit school om via of tijdens hun stageperiode een opdracht voor project de Communicatiecyclus te acquireren en in een startdocument te beschrijven. Door met praktijkopdrachten te werken is getracht de opdracht voor 3sem2 zo beroepsauthentiek mogelijk te maken. Het onderzoek betreft de Communicatie-locaties Diemen, Den Haag en Rotterdam. Het onderzoek betreft een deel van de totale populatie: - drie kringen uit Den Haag (=60% van de populatie); - één kring uit Rotterdam (=25% van de populatie); - twee kringen uit Diemen (=50% van de populatie). In totaal waren bij het onderzoek betrokken ongeveer 65 studenten en 8 docenten. 8

9 2. Methode 2.1 Typering van het onderzoek De aanpak kan worden getypeerd als ontwerpgericht onderzoek en dat is een benadering die resulteert in een contextspecifiek herontwerp en kennis over de werking van dat ontwerp in de gegeven praktijk. Het herontwerp komt tot stand op basis van een vooronderzoeksfase waarin wetenschappelijke kennis over dit type ontwerpen productief wordt gemaakt binnen de gegeven context om tot een passend ontwerp te komen dat uitvoerbaar is binnen de gegeven condities. In de prototypingfase wordt dat herontwerp getest en geëvalueerd op ervaren bruikbaarheid en effectiviteit en daarbij wordt één iteratie doorlopen. Hierbij moet worden aangetekend dat de relevantie van het ontwerp is gebaseerd op de eisen die er vooraf aan gesteld werden. De aanpak is mede gericht op brede acceptatie en duurzame implementatie van het herontwerp en dat vereist dat betrokken docenten zich eigenaar voelen van het gerealiseerde ontwerp en zichzelf in staat achten om dat ontwerp in de praktijk succesvol te implementeren. De betrokkenheid van docenten werd gewaarborgd door te vertrekken vanuit de ervaren handelingsverlegenheid en hen in een vroeg stadium te betrekken bij het onderzoekstraject. Professionalisering van docenten is impliciet verbonden aan het ontwerpen en in de praktijk testen van het herontwerp en sluit aan bij de visie dat effectieve professionalisering alleen is te realiseren door leren en werken met elkaar te verbinden. 2.2 Participanten en instrumentatie De participanten zijn primair de betrokken pionier, docent[en] en studenten Communicatie. De instrumentatie is gebaseerd op de volgende onderzoeksvragen: Vooronderzoeksfase Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview? (literatuuronderzoek) Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren? (empirisch onderzoek: ontwerpsessies) Ontwerpfase Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (empirisch onderzoek: ontwerpsessies) Evaluatiefase Is het ontwerp uitgevoerd conform ontwerp? (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp (prototype van het ontwerp) in de perceptie van docenten en studenten (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? Hieronder de argumentatie voor de keuze van onderzoeksinstrumenten en hoe ze tot stand zijn gekomen. De test van het eerste prototype was gericht op het beoordelen van relevantie, consistentie, ervaren bruikbaarheid en ervaren effectiviteit van het ontwerp. Het betrof een formatieve evaluatie: daarbij was vooral de uitvoering of de procesgang in de uitvoering belangrijk omdat die de meeste informatie kan opleveren over de consistentie en bruikbaarheid van het ontwerp. Dit onderzoek is gericht op input voor het verbeteren van het eerste prototype op basis van de ervaren bruikbaarheid en ervaren effectiviteit. 9

10 Vragenlijsten Vragenlijsten hebben een belangrijke rol gespeeld bij de evaluatie van de werking van het prototype in de praktijk, zowel ten aanzien van de ervaringen tijdens de uitvoering als het vaststellen van ervaren effecten. Vragenlijsten omvatten gesloten vragen, stellingen en enkele open vragen. De vragenlijsten voor studenten en docenten Communicatie zijn opgenomen in de bijlagen B. en C. Vragenlijsten zijn samengesteld op basis van de thema s die werden afgeleid uit de theorie over activerende didactiek en de beredeneerde inzet van technologie in leerpraktijken. Daarnaast bevatten de vragenlijsten vragen gerelateerd aan de ervaren bruikbaarheid en ervaren effectiviteit van het specifieke ontwerp en gerelateerd aan de specifieke context waarin het ontwerp moet functioneren. Focusgroep Een focusgroep is ingezet bij de evaluatie van uitgevoerde leerpraktijk met pionier/docenten Communicatie (Diemen en Rotterdam). Onderwerpen waarop de pionier/docenten zijn bevraagd, zijn afgeleid van het theoretisch kader met betrekking tot activerende didactiek en de inzet van technologie, aangevuld met de bespreekpunten die zijn gerelateerd aan de specifieke kenmerken van ontwerp en context. Daarnaast zijn de meest opvallende resultaten uit de vragenlijsten docenten en studenten besproken. Logboek Ten behoeve van het registreren van de eerste ervaringen bij de uitvoering door pioniers/docenten is gebruik gemaakt van een logboek binnen een digitale applicatie. In totaal hebben twee pioniers/docenten gebruikt gemaakt van de mogelijkheden hun ervaringen op te tekenen. De inhoud van de logboeken is benut bij het beschrijven van de implementatie van de leerpraktijk. Tabel 2. Participanten en instrumentatie. Deelvraag Deelonderzoek Participanten Instrumenten Planning 1. Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview? Literatuurverkenning onderzoekers TLT literatuurstudie tijdens vooronderzoeksfase 2. Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren? contextanalyse Pioniers/ onderzoekers TLT Documentanalyse /ontwerpsessies/ overleg tijdens vooronderzoeksfase 3. Hoe ziet het ontwerp eruit op basis van ontwerpeisen uit de vooronderzoeksfase? ontwerp prototype pioniers/docenten, onderzoekers TLT ontwerpinstrumenten Tijdens ontwerpfase 4. Is het ontwerp uitgevoerd conform ontwerp? evaluatie van prototype pioniers/docenten/ studenten logboek/vragenlijsten docent en student/focusgroep/interview tijdens uitvoering (logboek) en na afloop uitvoering (overig) 5.Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp (prototype van het ontwerp) in de perceptie van docenten en studenten? evaluatie prototype pioniers/docenten/ studenten logboek/vragenlijsten docent en student/focusgroep tijdens uitvoering (logboek) en na afloop uitvoering (overig) 6. Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? (empirisch onderzoek: interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)? Verbetering prototype Pioniers/ docenten, studenten logboek/vragenlijsten docent en student/focusgroep/interview Na afloop van de uitvoering 10

11 2.3 Procedures voor dataverzameling Hieronder een korte beschrijving van de procedures die gevolgd zijn bij dataverzameling, ofwel wanneer en op welke wijze welke data zijn verzameld. De logboeken zijn door de pioniers/docenten gebruikt bij aanvang van de uitgevoerde leerpraktijk. Hierbij werd een digitale applicatie in Google Forms gebruikt. De vragenlijsten zijn opgesteld in Google Forms en digitaal door middel van een hyperlink ontsloten. De vragenlijsten voor studenten en docenten zijn online afgenomen aan het eind van de uitgevoerde leerpraktijk. De focusgroep is uitgevoerd na verwerking data vragenlijsten studenten en docenten. Ten behoeve van de focusgroep en het interview is gebruik gemaakt van een opgesteld protocol (bijlage D). De sessie duurde een uur en vijftien minuten en is opgenomen met behulp van audioapparatuur. Van de focusgroepsessie is een samenvattend verslag gemaakt en voor membercheck aangeboden aan betrokkenen. In totaal zijn vijf personen betrokken geweest bij de focusgroep: één pionier/docent, vier docenten en twee onderzoekers TLT. 2.4 Aanpak voor data-analyse De kwantitatieve data van gesloten vragen en stellingen uit de vragenlijsten zijn bewerkt en geanalyseerd, waarbij met name frequenties en spreiding werden gerapporteerd. Kwalitatieve data (focusgroep/interview/logboeken) werden gecodeerd op basis van uit de theorie afgeleide aspecten en gerubriceerd op basis van uit ontwerpspecificaties afgeleide rubrieken. 2.5 Validiteit en betrouwbaarheid Validiteit verwijst naar de juistheid van de metingen en richt zich op de vraag of wordt gemeten wat beoogd werd te meten. Validiteit staat onder druk als sprake is van systematische fouten en dat wordt mede bepaald door de robuustheid van opzet en concretisering van het onderzoek. Betrouwbaarheid verwijst naar stabiliteit van metingen en richt zich op de vraag of een meting herhaalbaar is en dan weer tot dezelfde resultaten leidt. De betrouwbaarheid staat onder druk als sprake is van toevallige fouten en dat kan mede voorkomen worden door een zorgvuldige, navolgbare en eenduidige uitvoering van het onderzoek. In dit type onderzoek gaat validiteit voor betrouwbaarheid omdat van herhaalbaarheid van metingen niet of nauwelijks sprake is. Validiteit werd in dit onderzoek versterkt door de theoretische inbedding van het onderzoek, door triangulatie van methoden en onderzoekers, en door een representatieve selectie van respondenten. Verder werden bedreigingen van validiteit en betrouwbaarheid gereduceerd door het vastleggen van data uit focusgroep en interview op geluidsdragers, en door member check. Het vastleggen van keuzes en beslissingen, inclusief de onderliggende argumentatie, alsmede het documenteren van de procesgang van het onderzoek, droeg in dit onderzoek bij aan de navolgbaarheid en transparantie van het onderzoek. 2.6 Gedragscode praktijkgericht onderzoek Bij de opzet en uitvoering van het onderzoek is de Gedragscode Praktijkgericht Onderzoek voor het hbo leidraad geweest (Commissie Gedragscode Praktijkgericht onderzoek in het hbo, 2010). 11

12 3. Resultaten 3.1 Inleiding De studentenvragenlijst is ingevuld door 30 studenten, wat overeenkomt met iets meer dan 40% van de populatie; de docentenvragenlijst werd ingevuld door zeven van de acht docenten. De pionier koos, als ontwerper van het script, er bewust voor de vragenlijst niet in te vullen. Het logboek werd ingevuld door twee docenten. De focusgroep vond plaats met vier docenten, de pionier en twee onderzoekers. 3.2 Vooronderzoeksfase Vraag: Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview? (literatuuronderzoek) Feedback en peerfeedback Peerreview wordt in dit onderzoek gedefinieerd als leeractiviteit waarbij studenten het werk van medestudenten (peers) voorzien van formatieve feedback met als doel het leerproces wederzijds te ondersteunen (Götte, 2015). Peerreview is een leeractiviteit die aansluit bij doelstellingen als zelfsturend, activerend en collaboratief leren (Van Zundert, Sluijsmans, & Merriënboer, 2010). Hoewel uit onderzoek blijkt dat peerreview het leerproces (Rieber, 2006; Topping, 1998), is dit niet vanzelfsprekend, onder meer door gebrekkige organisatie van het proces (Falchikov, 2005; Nilson, 2003; Rompa & Romme, 2001). De toegevoegde waarde van peerreview wordt beïnvloed door de wijze waarop het wordt ingezet en de mate waarin valkuilen en problemen worden vermeden (Hattie & Timperley, 2007; Nilson, 2003; Shute, 2008). Een beredeneerde inzet van peerreview is dan ook van doorslaggevende betekenis voor effectieve leerpraktijken. De impact van feedback op het leerproces is inmiddels ruimschoots aangetoond (Hattie, 2009; Shute, 2008). Een veelgenoemde strategie om het effect van feedback op het leerproces te verhogen, is het direct betrekken van studenten bij het feedbackproces (Dochy, Segers, & Sluijsmans, 1999; Topping, Smith, Swanson, & Elliot, 2000). Peerreview wordt daarbij vaak genoemd als leeractiviteit (Falchikov, 2005; Rieber, 2006; Van den Berg, Admiraal, & Pilot, 2006). Met de groeiende aandacht voor peerreview, is de interesse in onderzoek naar de effectieve toepassing ervan toegenomen, alsmede in de rol die technologie daarbij kan vervullen (Laurillard, 2002). Een uitgebreide literatuurverkenning vanuit het lectoraat TLT met betrekking tot de inzet van feedback en scripting van peerreview is beschikbaar op Op basis van de literatuur kunnen de volgende conclusies getrokken worden en implicaties geformuleerd (ontwerpeisen) voor het ontwerp: Voorwaarde voor het adequaat ondersteunen van het leerproces door peerfeedback is een goede organisatie van het review-proces (Dennen, 2003; Ladyshewsky, 2013; Van den Berg, Pilot, & Admiraal, 2005); Richtlijnen met betrekking tot het geven van adequate feedback moeten deel uitmaken van het ontwerp (Finn & Garner, 2011; Keh, 1990; Ladyshewsky, 2013; Min, 2005; Nilson, 2003; Sahin, 2008; Topping, 1998); Het geven van feedback moet gebeuren aan de hand van duidelijke, inhoudelijke criteria (Black & Wiliam, 1998a, 1998b; Falchikov, 2005; Finn & Garner, 2011; Juwah et al., 2004; Newkirk, 1984; Rieber, 2006; Sadler, 1989; Van den Berg et al., 2005); Volgordelijkheid in het geven van feedback is belangrijk: peerreview moet voorafgaan aan expertreview (Dennen, 2003; Paulus, 1999; Tsui & Ng, 2000; Van den Berg, Admiraal, & Pilot, 2003; Van den Berg et al., 2005); Peerreview kan goed ondersteund worden door inzet technologie (Falchikov, 2005; Kigozi Kahiigi, Vesisenaho, Hansson, Danielson, & Tusubira, 2012; Mory, 2004; Richardson, Ertmer, Lehman, & Newby, 2007; Sahin, 2008; Van den Berg et al., 2005; Williams, Brown, & Benson, 2013); 12

13 De wijze waarop peerfeedback is gegeven en verwerkt moet (bij voorkeur face to face) worden besproken (Boud, 2000; Juwah et al., 2004; Sadler, 1989; Van den Berg et al., 2003, 2006; Van Seggelen-Damen & Romme, 2014). Vraag: Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren? (empirisch onderzoek: ontwerpsessies) In de vooronderzoeksfase is vastgesteld dat peerfeedback en expertfeedback deel uit moeten maken van het ontwerp en dat de digitale leeromgeving (Moodle) wordt ingezet ter ondersteuning hiervan. Het ontwerp moet beschikbaar zijn voor de Communicatie-opleiding op de locaties Diemen, Den Haag en Rotterdam. Het ontwerp vindt plaats binnen de geldende afspraken voor studieonderdelen uit het OER: verplichte deelname aan lesactiviteiten en vigerende toetsing. Het script moest tot stand komen op basis van de volgende ontwerpeisen/randvoorwaarden: 1. dat het uitgevoerd moet kunnen worden door de betrokken docenten; 2. dat er voldoende draagvlak is voor de werkwijze onder de uitvoerende docenten; 3. dat het uitgevoerd moet worden binnen de constellatie van de community of learners en binnen de daarvoor beschikbare tijd voor studenten en docenten. Hierbij moet worden aangetekend dat de gehele vooronderzoeksfase en ontwerpfase hierbuiten valt. Het prototype voor de try-out moet draagvlak hebben onder de uitvoerende docenten en dat moet worden gerealiseerd door de pionier per locatie die tevens de collega s moet voorbereiden op de uitvoering en moet ondersteunen indien nodig. 3.3 Ontwerpfase Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (empirisch onderzoek: ontwerpsessies) Ontwerpproces Aan de basis van het script lag een ontwerponderzoek van een docent uit het team van Diemen (Götte, 2015) dat in het kader van het behalen van zijn mastergraad is uitgevoerd. In dit onderzoek is een gedetailleerd scenario ontwikkeld voor de inzet van peerreview in de afstudeerfase dat nog getest moet worden in de praktijk en op basis daarvan kan worden doorontwikkeld om te worden benut op de andere locaties. Götte fungeerde zelf als pionier binnen dit onderzoek. Het gedetailleerde scenario uit het onderzoek werd door de pionier vertaald naar een hanteerbaar script (bijlage A) voor het curriculumonderdeel project De Communicatiecyclus waarbij de feedbackactiviteiten zijn gecombineerd met de overige leeractiviteiten die in de handleiding van het curriculumonderdeel beschreven staan en de roosterinput. Het script is voor expert-appraisel voorgelegd aan twee onderzoekers van het lectoraat TLT en op basis van de feedback verder uitgewerkt. Vervolgens heeft de pionier met de docenten die in de try-out participeren een walkthrough gehouden waarbij het script wordt doorlopen om zodoende adequaat gebruik ervan te stimuleren (Nieveen et al., 2012). Gedurende de uitvoering van het script ontvingen de docenten geregeld ondersteunende mails van de pionier. Deze richtten zich voornamelijk op procesaspecten en toelichting op de leeractiviteiten, verantwoord vanuit het onderzoek. De leerpraktijk De leerpraktijk betreft het individueel uitvoeren en 13 Figuur 1. De Communicatiecyclus

14 rapporteren van een praktijkopdracht waarmee alle fasen van de communicatiecyclus (figuur 1.) worden doorlopen. De opdracht is verworven tijdens de stageperiode in het eerste semester van het studiejaar en goedgekeurd via een startdocument door de studieloopbaanbegeleider. De module start met een gemeenschappelijke kick-off. Daarna komen de studenten in kringen van ongeveer 15 studenten. Het aantal kringbijeenkomsten loopt gaandeweg terug van wekelijkse bijeenkomsten naar tweewekelijkse bijeenkomsten. Voorafgaand aan een kringbijeenkomst posten de studenten hun werk op Moodle. Moodle biedt studenten de gelegenheid om buiten de kringbijeenkomsten om vragen aan de kringleden te stellen of werk voor te leggen. Op drie objecten wordt een geplande peer- en expertreview georganiseerd: de Probleemverkenning, het concept Onderzoek en Oplossingskader en het concept Content creatie en Implementatie. De peerreviews worden voorgestructureerd aan de hand van een set vragen (zie het voorbeeld in bijlage E). De vragen bij de probleemverkenning richten zich op belangrijke onderdelen uit het beoordelingsformulier. Ter ondersteuning van het uitvoeren van de opdracht worden workshops Onderzoek, Conceptontwikkeling en Implementatie gegeven. De module heeft een looptijd van een semester en kent een studielast van 16 European credits (EC s). Uitvoering De kringen worden begeleid door twee docenten, waarbij wordt gestreefd naar de combinatie van een docent met expertise op het gebied van onderzoek en een docent met expertise op het gebied van conceptontwikkeling en content creatie. De peer- en expertreviewactiviteiten zijn georganiseerd volgens het stroomschema voor peerreview van Götte (2015, zoals beschreven in Wegman, 2016). De feedbackloop begint met het in de kring bespreken van het feedbackformulier. Vervolgens wordt de peerreview buiten de kringbijeenkomst om uitgevoerd. Hiertoe worden drie studenten aan elkaar toegewezen. De wijze waarop dit gebeurt kan per kring verschillen. De peerreviews worden door de feedbackgever op de digitale omgeving Moodle geplaatst, de ontvanger verwerkt de feedback en plaatst zijn laatste versie opnieuw op Moodle. Daarbij beantwoordt hij verantwoordingsvragen (bijlage F) waarin hij aangeeft welke feedback waarom wel of niet is overgenomen en welke vragen hij op basis van de gegeven feedback heeft. In de eerstvolgende kringbijeenkomst wordt de verwerking van de feedback aan de hand van de verantwoordingsvragen besproken. De student werkt verder aan zijn praktijkopdracht en plaats zijn laatste versie voor expertreview. De docent geeft vervolgens expertfeedback en plaatst deze op Moodle. De student verwerkt de feedback en plaatst zijn laatste versie op Moodle voor aanvang van de eerstvolgende kringbijeenkomst. Bij het onderzoek en oplossingskader en bij Contentcreatie en Implementatie kiest de student zelf op welke onderdelen hij feedback wil ontvangen. Hiervoor maakt hij een keuze uit de topics van het beoordelingsformulier. Het Onderzoek en Oplossingskader en de Contentcreatie en Implementatie wordt beoordeeld door een externe examinator uit een spiegelkring. De beoordeling van het Onderzoek en Oplossingskader vindt in week 12 plaats. De beoordeling van de Content creatie en Implementatie vindt in week 18 plaats. Het gehele semester telt 24 studieweken. Herontwerp: script Het herontwerp is gebaseerd op een script waarin per week staat aangegeven wat de activiteiten van docenten en studenten zijn, welke workshops en kringbijeenkomsten plaatsvinden per week en in welke volgorde. Het script is een scenario voor een leerproces in een gegeven leerpraktijk. De leerpraktijk bestaat uit een aantal activiteiten, gericht op het ondersteunen van feedback met adequate inzet van technologie. Voor de drie locaties moesten twee aparte scripts worden gemaakt vanwege verschillende vakantieperiodes op de locaties. De inhoudelijke basis van het programma was op alle locaties identiek: het uitvoeren en rapporteren van een onderzoeksmatige praktijkopdracht waarbij de communicatiecyclus (figuur 1.) geheel wordt doorlopen. De roostering van de kringen, inpunten en belendende workshops werden niet gewijzigd ten opzichte van het jaar daarvoor. 14

15 Wat betreft de inzet van peerfeedback en expert(docent)feedback en de rationale daarachter het volgende: voor de opleiding Communicatie omvatte het script de volgende onderdelen in de volgende volgorde: Voorafgaand of tijdens de bijeenkomst bekijken van de weblecture over het geven van effectieve feedback Het betreft hier een hiervoor door TLT opgenomen weblecture 1 waarin de belangrijkste richtlijnen voor het geven van effectieve feedback in het algemeen worden besproken. Het idee hierachter is dat studenten voorafgaand aan het eerste college thuis de weblecture bekijken zodat in het college direct de criteria besproken en toegepast kunnen worden zonder tijdverlies. Collega s die de voorkeur geven aan het vertonen van de weblecture in de klas hebben die mogelijkheid. Tijdens de bijeenkomst bespreken van begrippen uit de weblecture (richtlijnen voor het geven van effectieve feedback); Alleen bekijken van een weblectures geeft geen garantie voor adequate toepassing ervan door studenten. Begrippen zullen daarom moeten worden toegelicht opdat de transfer kan worden gemaakt naar adequate toepassing ervan bij het geven van feedback aan medestudenten. Bespreken van de betreffende inhoudelijke criteria voor het geven van feedback; Belangrijk is de bril waardoor naar producten gekeken wordt c.q. op basis waarvan feedback wordt gegeven: de inhoudelijke criteria. Deze zijn uitgangspunt voor het geven van feedback. Geven van feedback aan medestudenten in de digitale leeromgeving; Peerfeedback kan een krachtig middel zijn op voorwaarde dat studenten in staat zijn adequate feedback te geven en het beargumenteerd wordt ingezet. Het proces van peerreview dient daarom duidelijk beschreven te worden: wie geeft wie feedback, wanneer, aan de hand van welk criteria en op welke wijze ondersteund door ICT? Peerfeedback kan een goede aanvulling zijn op expertfeedback: de studenten krijgen meer feedback (dan alleen expertfeedback) en de student is door het geven van feedback op een actieve wijze betrokken bij het leerproces. Tijdens de bijeenkomst bespreken van de peerfeedback en de verwerking ervan; Van groot belang is het bespreken van de peer-feedback, het liefst face-to face: welke feedback was bruikbaar, welke feedback is niet overgenomen, welke vragen heeft de student aan de feedbackgever. Door de peerfeedback na te bespreken kan worden voorkomen dat de student door de feedback op een dwaalspoor wordt gebracht. Daarnaast helpt het misconcepties bij de feedbackgever op te sporen. Tot slot vergroot het nabespreken van de peerfeedback de kans dat de opdracht serieus wordt uitgevoerd en daarmee de onontkoombaarheid van de leeractiviteit. Om de bespreking voor te structureren vulden de studenten een korte vragenlijst in (bijlage H). Geven van feedback door de docent (expertfeedback); Na de peerreview volgt de expertreview: de docent geeft zijn/haar feedback. Dit vindt plaats na de bespreking en verwerking van de peerreview om te voorkomen dat de peerfeedback wordt genegeerd. 3.4 Evaluatiefase Algemeen Bij de evaluatie van de uitgevoerde leerpraktijk stonden de volgende onderzoeksvragen centraal: Is het ontwerp uitgevoerd conform ontwerp? 1 Aspecten kwaliteit feedback: 15

16 Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp (prototype van het ontwerp) in de perceptie van docenten en studenten? Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? De evaluatiefase wordt gerapporteerd op basis van aspecten van de fases voorbereiding, ontwerp en uitvoering van het ontwerp. Scripten in het algemeen Uit de focusgroep met docenten komt naar voren dat men zowel positieve als negatieve kanten heeft ervaren aan het werken met scripts in het algemeen. Het is enerzijds een fantastisch houvast waardoor je precies weet wat wanneer de bedoeling is, anderzijds is het een keurslijf waar je soms knettergek van werd, aldus één docent. Ook een andere docent geeft aan dat zij het script als erg strak heeft ervaren en dat het script de vrijheid er een beetje uit haalt : Ik vind de vrijheid wel een tikkie lastig, maar dat kan misschien ook niet anders bij zoveel kringen. Een andere docent geeft aan dat het script positief is ontvangen, juist omdat het script structuur biedt: Het script dwingt je als docent om door te pakken, waar je voorheen wellicht deadlines naar achter schoof. Door het werken met het script is er geen sprake meer van uitstellen. Volgens deze docent maakt het script zichtbaar wie de opdracht wel en niet aankunnen. Studenten die het niet aankunnen, kunnen al snel naar een ander moment in de module worden verwezen om te participeren, en dat wordt volgens de docent dan ook geaccepteerd: Dit is het tempo, en als je het niet aankunt, dan mis je de boot. Het voordeel is dat je je dan niet eindeloos hoeft bezig te houden met de achterblijvers. De docent voegt eraan toe dat het allemaal wel erg krap is. Een andere docent onderschrijft dit: het script dwingt tot het behalen van de harde deadlines, dat is in het begin niet erg fijn, totdat je zag wat het opleverde, en dan zag je dat het allemaal wel zin heeft gehad. Na het verschuiven van een deadline, zie je ook snel weer de paniek bij studenten: daar zie je dan het bewijs dat het script wel erg klopte. Eén docent vindt de opmerkingen van zijn collega s herkenbaar. Hij vindt de vorm prima, hoewel hij wel wat vraagtekens heeft bij de inhoud. De pionier vraagt zich af of de docenten denken dat een bijgesteld script dat wel de grote lijnen bevat en minder gedetailleerd is beter zou werken. Een docent betwijfelt dit en geeft aan dat het misschien wel ver gaat, te ver, maar dat het ook een kwestie van wennen is: Het keurslijf dwingt namelijk wel tot leveren. Zoeken waar je vrijheid kunt nemen. Het is heel dubbel, niet terug gaan naar het gerommel. Twee docenten vinden dat het script ook voorkomt dat er in verschillende kringen iets anders wordt gedaan: Het voedt ons op. Volgens een van deze docenten is er altijd sprake van een cultuur van vrijblijvendheid binnen de opleiding, daar willen we van af, en die haal je er nu uit. Volgens de docent draagt het script ertoe bij dat docenten als team gaan opereren en niet als individuen: en dat is gezond. De docent stelt voor om te kijken of een dergelijke aanpak (het scripten) ook bij sommige andere vakken kan worden ingezet. Een docent geeft aan vraagtekens te hebben gehad bij de inhoud van de module en de structuur dan als heel storend te ervaren: Bij een script met wat meer vrijheid zou je dat kunnen wijzigen. Dat kan nu niet omdat je maken hebt met een script dat door iedereen hetzelfde moet worden uitgevoerd. De pionier is het hier mee eens: Er is nu sprake van een forced fit, door de inpunten (inlevermomenten) te moeten combineren met de reviews. Meer vrijheid in de cyclus maakt je wat flexibeler. Procesgang en uitvoering Uit de resultaten van de vragenlijsten van studenten en docenten blijkt dat niet alle onderdelen van het programma in alle klassen zijn uitgevoerd: Iets minder dan twee derde van de student-respondenten (hierna: studenten) en bijna alle docenten geven aan dat Voorafgaand aan de bijeenkomst bekijken van de weblecture over het geven van feedback deel uitmaakte van het uitgevoerde programma. 16

17 Iets minder dan de helft van de studenten geeft aan de weblecture Tijdens de bijeenkomst is bekeken. Ruim de helft van de docenten geeft aan dat dit gebeurd is. In totaal zegt iets meer dan de helft van de studenten dat ze de weblecture hebben bekeken. Bij iets meer dan de helft van de studenten werden tijdens de bijeenkomst algemene begrippen uit de weblecture besproken. Er is slechts één docent die aangeeft dat dit gebeurd is. Volgens ruim 85% van de studenten en docenten zijn in de klas de inhoudelijke criteria voor het geven van feedback besproken. Alle respondenten geven aan dat zij feedback aan medestudenten moesten geven in de digitale leeromgeving. Bijna alle docenten geven dit aan. Vrijwel alle studenten geven aan dat de docent feedback heeft gegeven. Alle docenten geven dit aan. Vrijwel alle studenten en bijna alle docenten geven aan dat tijdens de bijeenkomst de peerfeedback besproken werd. Vrijwel alle studenten geven aan dat tijdens de bijeenkomst de feedback van de docent besproken werd. Alle docenten geven dit aan. Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot de uitvoering van onderdelen van het programma: Studenten en docenten vinden dat de aanpak in dit studieonderdeel met inzet van feedback goed paste bij de opdracht die moest worden uitgevoerd. Studenten en docenten vinden dat de (mede)studenten zich aan de deadlines voor het geven van feedback hielden. Studenten en docenten vinden dat zij zich goed gehouden hebben aan de deadlines voor het geven van feedback. Studenten en docenten vinden dat de docent zich goed hield aan de deadlines voor het geven van feedback. Studenten zijn verdeeld over de vraag of ze gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van medestudenten. Docenten vinden wel dat studenten voldoende feedback van medestudenten hebben gekregen. Studenten en docenten vinden dat ze gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van de docent. Studenten vinden dat ze gedurende het onderwijsonderdeel genoeg feedback hebben gegeven aan medestudenten. Docenten zijn het daarmee eens. Studenten zijn verdeeld over de vraag of ze gedurende het onderwijsonderdeel meer feedback gegeven hebben dan gekregen. Studenten en docenten vinden in de lessen voldoende werd ingegaan op de feedback die in de digitale omgeving gegeven was. In de focusgroep wordt deze laatste uitspraak iets genuanceerd: twee docenten geven aan dat het bespreken van de feedback wel is gescript, maar dat ze er in de praktijk onvoldoende aan toe zijn gekomen. Een van de docenten zegt: de luxe om te reflecteren op de cumulatieve feedback, die tijd was er niet. Volgens de docent gaven de collega s aan dat er onvoldoende tijd was om de peer- en expertfeedback uitgebreid te bespreken met de studenten. Een andere docent onderschrijft de uitspraak: het is een intensief traject gebleken, waarin veel moest gebeuren. We moeten steeds door naar het volgende onderdeel van het script. Daarom moesten compromissen worden gesloten, aldus de docent: Geeft wel een onbevredigend gevoel. Een docent geeft aan dat het beter is om het proces van peerfeedback te monitoren, om vervolgens daar interventies op los te laten. Daarnaast is het volgens de docent van belang om de expertreview zo kort mogelijk te laten volgen op de peerreview: Anders knappen ze af op het geven van peerfeedback. Een andere docent reageert hierop door aan te geven dat dat kan worden opgevat als een extra ronde expertreview en daar ontbreekt de tijd voor. Hierop antwoord de andere docent dat dat niet hoeft: Je doet het steekproefsgewijs. 17

18 Twee andere docenten geven aan dat zij juist begonnen met het bespreken van de feedback. Een van de twee docenten geeft aan ook niet te hebben ervaren dat studenten peer- en expertfeedback tegenstrijdig vonden En het was altijd formatieve feedback in de vorm van een vraagstelling, aldus de docent. De twee docenten geven hierbij wel aan dat zij ook wel een hele goede kring hadden. We bespraken enkele vraagstukken die ook van toepassing waren op de hele kring, en dan hoef je niet iedereen te behandelen, aldus een van de docenten. Deze twee docenten hebben dan ook niet de behoefte om de peerreview extra te monitoren en ze kwamen ook niet in tijdnood. Studenten vinden niet dat de verhouding feedback door docent en feedback door medestudenten precies goed was. Docenten vonden wel dat deze verhouding precies goed was. Studenten en docenten vinden dat de opbrengst van de lessen hoger was door de feedbackactiviteiten in de digitale omgeving, met andere woorden: beide vinden dat de studenten meer van de lessen hebben geleerd door feedback van docent en studenten. Uit de focusgroep komt naar voren dat de docenten alle onderdelen uit het script herkennen. Alle docenten geven aan de onderdelen te hebben uitgevoerd en volgens alle docenten hebben alle studenten in meer of mindere mate feedback gegeven. De lessen waren verplicht. Een docent vraagt zich af wat er zou zijn gebeurd als de lessen niet verplicht waren geweest: Nu moesten de studenten wel. Een andere docent reageert hierop en geeft aan dat men actieve participatie promoot. In het begin komt dan ook iedereen en gedurende de periode is aanwezigheid geen issue geweest, hoewel er altijd enkelen zijn die niet aanwezig zijn. Die studenten zie je vaak ook wegvallen tijdens de periode. Twee docent gaven aan dat hun groep een soort van samenwerkingscontract met elkaar heeft opgesteld. Die groep stelde ook voor: Trakteren als je te laat komt, aldus een van de docenten. De andere docent geeft aan dat zij ook wel een fantastische groep hadden. Een andere docent geeft aan dat ook hij een fijne groep had. Weer een andere docent geeft aan dat haar groep minder intrinsiek gemotiveerd was. Ervaringen met en waardering van onderdelen van het script Weblecture voor geven van feedback Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot de weblecture met algemene richtlijnen voor het geven van effectieve feedback: Studenten en docenten zijn verdeeld over de vraag of de weblecture met algemene richtlijnen voor het geven van feedback ondersteunend was. Tijdens de focusgroep licht een docent toe dat studenten die het feedback geven al in zich hebben ook geholpen zijn met de weblecture, maar dat studenten die het echt niet in zich hebben, en ook niet gaan krijgen, ook de weblecture niet gaan gebruiken. Een andere docent geeft aan dat hij de studenten de weblecture heeft laten bekijken, vervolgens de richtlijnen heeft doorgenomen en ze van voorbeelden heeft voorzien. Dat zie je, volgens de docent, dan ook terug in de peerfeedback: iedereen gaat daar dan mee aan de slag. Maar als je deze strategie dan loslaat, en je denkt het gaat wel vanzelf, dan zie je in een latere fase het niveau weer inzakken. Op de vraag of men zich herkent in de uitspraak van een andere opleiding dat de weblecture ver boven de werkelijkheid stond, wordt het volgende geantwoord: één docent vond de weblecture wel wat te professioneel ingestoken : lastig voor studenten om te bevatten. Andere docenten herkennen zich niet in deze uitspraak en geven aan geen problemen met de weblecture te hebben gehad: De ene student begrijpt het wel, de andere niet, aldus een docent. Zij hebben geen fundamentele kritiek op de weblecture. Een docent geeft aan dat de eerste ronde peerfeedback goed ging: Ze bekeken de weblecture en gingen aan de slag, knap hoe we dat hebben gedaan. Uit de vragenlijsten van studenten en docenten komen ook de volgende zaken naar voren: 18

19 Studenten en docenten zijn verdeeld over de vraag (docenten neigend naar negatief) of de studenten goed gebruik hebben gemaakt van de algemene richtlijnen voor het geven van feedback. Studenten vinden dat ze zelf goed gebruik gemaakt hebben van de richtlijnen voor het geven van feedback. De docenten zijn verdeeld (neigend naar negatief) of de studenten goed gebruik gemaakt hebben van de richtlijnen voor het geven van feedback. Digitale leeromgeving Moodle Uit de vragenlijsten van studenten en docenten komen de volgende zaken met betrekking tot het gebruik van de digitale leeromgeving Blackboard naar voren: Studenten hebben de digitale omgeving (Moodle) als ondersteunend ervaren bij het geven van feedback. De docenten zijn verdeeld of digitale omgeving (Moodle) ondersteunend was. Uit de focusgroep komt naar voren dat sommige docenten de vraag in de vragenlijst vreemd geformuleerd vonden. Maar zij constateren wel dat feit blijft dat de scores negatief gespreid zijn. Een docent geeft aan dat het op een gegeven moment niet eenvoudig is alles bij te houden: Moodle vraagt veel maintenance, en dat onderschat je snel. Volgens een andere docent kwam er te veel mail binnen: een stortvloed aan notificaties vanuit Moodle, ook informatie uit courses waar je niets mee te maken had. Voor studenten wordt Moodle volgens een andere docent op een gegeven moment de plek waar steeds die deadlines staan. Volgens een docent kunnen vragen over de digitale leeromgeving mogelijk ook beantwoord zijn vanuit een al aanwezige weerstand tegen het werken in een digitale leeromgeving: Bij sommige collega s zit dat diep. De docent geeft aan dat hij op een gegeven moment toch ook de weg kwijtraakte: hoe verder je komt, hoe eerder je verdwaalt. Over de discussiefora waar studenten hun werk posten en de discussielijn die dan ontstaat is de docent wel tevreden: prima, goed te volgen!. Twee docenten geven aan dat zij te maken hadden met een kritische kring, waar studenten zelf oplossingen gingen bedenken: We plaatsen het hier wel. Moodle vraagt een gestructureerd mens, aldus één van de twee docenten. Peerfeedback Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot het onderdeel feedback: Studenten hebben de feedback van medestudenten als ondersteunend ervaren bij het maken van de opdracht. Docenten zijn het daarmee eens. Studenten en docenten vinden dat het geven van feedback de studenten geholpen heeft bij het maken van de opdracht. Tijdens de focusgroep wordt dit punt iets genuanceerd. Een docent geeft aan dat er wel sprake was van een kantelpunt: Het geven van feedback wordt gezien als een twijfelachtige activiteit, omdat ze het steeds drukker krijgen. In het begin moet je dus iets meer doorzetten zodat ze zien hoe waardevol het is en dat er ook betrokkenheid ontstaat. Het is mij niet gelukt om het niveau van het begin door te zetten. Toch ziet deze docent wel terug in de verslagen van de studenten dat de rol van coaches en medestudenten wel als heel waardevol worden gezien in het proces: Of dat nu puur komt door de peerfeedback weet ik niet, maar ze hebben wel betrokkenheid en samenwerking ervaren. Uit de vragenlijsten van studenten en docenten komen ook de volgende zaken naar voren: Studenten zijn verdeeld over de vraag of de feedback van medestudenten van voldoende kwaliteit was. Docenten vinden de feedback niet van voldoende kwaliteit. Uit de focusgroep komen verschillende mogelijke verklaringen hiervoor naar voren. Een docent geeft aan dat het vreselijk moeilijk is om feedback te geven: Dat vraagt al aandacht in de jaren hiervoor. Het trainen van het geven 19

20 van feedback, maar ook de betrokkenheid van studenten bij dit onderdeel, dat moet eigenlijk al aanwezig zijn. Volgens een andere docent ligt daar voor een deel de pijn: Het voorland op dit terrein is deels onbekend. Een docent geeft aan dat in sommige vakken het aspect van feedback geven wel aanwezig is, gekoppeld aan bijvoorbeeld Project De redactie. Deze docent signaleert wel dat het erg afhankelijk is van de individuele docent. Op de vraag waarom er dan geen transfer plaatsvindt, antwoordt een docent dat je het moet blijven herhalen, omdat het anders wegzakt. Het zou wel mooi zijn, volgens deze docent, als ze met een andere houding ten opzichte van het geven van feedback binnen komen. Volgens een docent zijn studenten het peerreviewen niet gewend: Het is hartstikke nieuw, we overvallen ze met deze taak. Deze docent geeft aan dat Feedback geven een bepaalde inhoudelijkheid vraagt: En sommige studenten hebben dat niet. En dan moet je feedback gaan geven op studenten die beter zijn dan jij. Ga er maar aanstaan. Een andere docent is van mening dat studenten het elkaar geven van feedback niet zinvol vinden. Wellicht in het begin nog wel, maar dan al snel de taak afzetten tegen alle andere dingen die ze nog moeten doen. Deze houding is van invloed. Bij het geven van peerfeedback liepen de gemoederen volgens de docent soms hoog op. Docent(expert)feedback Uit de vragenlijsten van studenten en docenten komt het volgende naar voren met betrekking tot de kwaliteit van de feedback van de docent : Studenten en docenten vinden dat de feedback van de docent van voldoende kwaliteit was. Studenten hebben de feedback van de docent als ondersteunend ervaren bij het maken van de opdracht. Docenten hebben ook de indruk dat deze ondersteunend was. De digitale omgeving Uit de vragenlijsten van studenten en docenten komen de volgende zaken naar voren met betrekking tot de feedback in de digitale leeromgeving Moodle: Studenten en docenten vinden dat de digitale omgeving (Moodle) geschikt is voor het geven van feedback. Studenten en docenten zijn verdeeld over de vraag of de digitale omgeving (Moodle) een aantrekkelijke leeromgeving is. Studenten en docenten zijn verdeeld over de vraag of de digitale omgeving (Moodle) gebruikersvriendelijk is. In de focusgroep wordt besproken hoe het kan dat er sprake is van een negatieve score op het geven van feedback in Moodle, maar dat tegelijk iedereen het erover eens dat de digitale omgeving het geven van feedback ondersteunt. Uit de focusgroep komt de volgende mogelijke verklaring hiervoor naar voren: er moet volgens één docent onderscheid gemaakt worden tussen inhoud en techniek: Misschien zijn studenten niet tevreden over de techniek, maar hebben ze wel zicht op de inhoud. De negatieve scores met betrekking tot Moodle komen volgens de docent vaak voort uit de basale zaken als problemen met navigatie. Maar studenten vinden een dergelijke werkwijze wel zinvol. Een andere docent vult aan: maar dan liever op Facebook. Maar op Facebook heb je als docent geen grip op het leerproces, geeft een andere docent aan. Daarom de keuze voor een formele digitale omgeving. Eén docent vindt dat de twee soorten platforms prima naast elkaar kunnen bestaan. Zij vindt het ook belangrijk om studenten daarin de ruimte te geven: Je hoeft als docent niet alles te monitoren. Een andere docent geeft aan met de studenten te hebben besproken dat het werken in Moodle een voordeel met zich meebrengt: juist dát docenten kunnen meekijken. De docent geeft aan dat Facebook wel is overwogen, maar dat er allerlei juridische problemen aan de inzet ervan kleefden. Volgens een docent is de rol van de docent in de omgeving heel belangrijk. Volgens deze docent is het cruciaal dat er sprake is van gespiegelde beoordeling, waar je dus begeleider bent maar niet de beoordelaar: Dan ben je one of the guys/ girls. In het team Rotterdam is echter besloten om niet gespiegeld te beoordelen: men durfde dat niet 20

21 aan. En dat zorgt voor hele andere verhoudingen, en dat is ook zichtbaar in de interactie in de digitale omgeving: de vrijheid voor studenten om vrij te reageren is dan weg. Eén docent reageert hierop en geeft aan dat hij het soms ook onplezierig vond om niet de beoordelaar te zijn: Studenten willen namelijk precies weten wat het antwoord is. En van mij krijgen ze een antwoord, maar hoe interpreteert de beoordelaar dat? De docent geeft aan daarom af en toe ruggenspraak te hebben gehouden met beoordelende collega? Een andere docent geeft juist aan deze sec begeleidende rol heerlijk te vinden. Een andere docent vult aan: Het dwingt studenten om een zelfstandige houding aan te nemen. Een docent merkt op dat het wel een probleem was als de begeleiders het onderling niet met elkaar eens waren, en dus verschillende feedback gaven: Je kan aangeven bij de student dat dat nu eenmaal de realiteit is, en leer er dus maar mee omgaan, maar soms betreffen het verschillen op een fundamenteel niveau. Een tweede docent nuanceert: Vaak zit het meer in de wijze van formulering, en bedoelen wij hetzelfde, de verschillen zijn dan niet heel groot. De eerste docent stelt dat dat niet uitmaakt: Studenten ervaren dubbele communicatie al snel als ruis. Als je expertreview geeft, dan verwachten ze ook van je dat je de expert bent. En daar hoort geen ruis bij. Een andere docent geeft aan dat het team dergelijke zaken bespreekt: we doen het studenten niet aan om niet op een lijn te zitten als docenten. Algemene waardering aanpak Uit de vragenlijsten van studenten en docenten komt met betrekking tot de waardering van de algemene aanpak het volgende naar voren: Als algemene waardering voor de werkwijze (feedbackactiviteiten) van dit onderwijsonderdeel geven studenten en docenten het cijfer 7 (op een 10 puntenschaal). Bespreken feedback in de les Uit de vragenlijsten van studenten en docenten komt het volgende naar voren met betrekking tot het bespreken van feedback in de les: Studenten en docenten vinden dat het bespreken van de gegeven feedback in de les de studenten geholpen heeft in het leerproces. Uit de focusgroep komt naar voren dat docenten zich afvragen of dit bespreken wel genoeg is gebeurd. Een docent merkt op: Het is nooit voldoende voor de student. Waarde geven van feedback in de digitale omgeving (Moodle) Uit de vragenlijsten van studenten en docenten komt het volgende naar voren: Studenten en docenten vinden dat het geven van feedback in de digitale omgeving (Moodle) waardevol is voor het leerproces. Aanpak onderwijsonderdeel Uit de vragenlijsten van studenten en docenten komt het volgende naar voren met betrekking tot de aanpak van het onderwijsonderdeel: Studenten en docenten vinden dat de aanpak van het onderwijsonderdeel ondersteunend is bij het uitvoeren van de opdracht. Studenten en docenten zijn verdeeld over de vraag of ze de aanpak in dit onderwijsonderdeel motiverend vinden (de docenten neigend naar positief). Uit de focusgroep komt naar voren dat één docent vond dat de lijsten te uitgebreid waren. De docent benoemt dat hij het inleveren en geven van feedback op één middag heeft georganiseerd: Dan is het maar even een corveeklusje, maar dat deden ze dan wel. Kort en strak, maar het werkte veel beter dan als er meer ruimte tussen de activiteiten zat. 21

22 Meest geholpen in het leerproces Uit de vragenlijsten van studenten en docenten komt naar voren dat: Studenten en docenten vinden dat de volgende drie activiteiten het meest geholpen hebben in het leerproces (meest gekozen bovenaan): 1. geven van feedback door de docent; 2. Bespreken van docentfeedback tijdens de les; 3. Bespreken van peerfeedback van studenten tijdens de les. Op de 4 e plaats komt geven peerfeedback, gevolgd door 5. Bespreken van algemene criteria voor het geven van effectieve feedback en 6. Kijken van weblecture over het geven van effectieve feedback. Tijdens de focusgroep worden de volgende verklaringen gegeven voor het feit dat peerfeedback op de vierde plaats staat: Studenten hechten meer waarde aan expertfeedback van de docent, aldus één docent. Een andere docent vult aan: studenten hebben de peerfeedback als minder zinvol ervaren, en dat vind ik misschien zelf ook wel. Een docent geeft aan dat Peerfeedback ook lastig is, zeker als er grote verschillen zijn: Wij hebben op een gegeven moment gekozen om de sterke studenten en de zwakke studenten in hun eigen groep te plaatsen. Een docent reflecteert op zijn rol als expert. Hij vindt dat hij de expertrol ook duidelijk uitstraalt naar studenten. Deze houding maakt deel uit van zijn stijl als begeleider. Hij denkt dat hij daarmee minder het belang van de peerreview uitstraalt. Een andere docent vindt dit een mooie constatering: autoriteit van de begeleider speelt een rol. Echter, bij zijn kring ziet hij ook wel dat studenten het soms overnemen. En hij geeft aan dat zij daar ook wel bewust op hebben gestuurd. Een tweede docent bevestigt dit: we maken het bespreekbaar. Het blijft volgens alle docenten een uitdaging om de rollen van expert en begeleider te combineren. Twee docenten geven aan het heel erg open gehouden te hebben en geen autoritaire rol te hebben gespeeld. Ze geven aan wel de goede studenten uit het oog verloren te hebben doordat ze zich moesten richten op de klagers die alle aandacht opzuigen. Sterke punten Als sterke punten in de aanpak en uitvoering werden in de studentenvragenlijsten genoemd (tussen haakjes de frequentie als een onderdeel meer dan 1 keer werd genoemd): Efficiëntie: (feedback algemeen): De feedback. Anders loop je soms echt vast., Het krijgen van feedback tijdens het gehele proces., Veel mogelijkheden om vragen te stellen., Wat ik sterk vond was de mogelijkheid tot individuele aandacht bij het verbeteren van je onderzoek., Persoonlijke feedback is erg belangrijk daar kan meer aandacht aanbesteed worden., De hoeveelheid feedback momenten, dit hielp enorm. Toegang tot werk en feedback van anderen: Het kijken naar feedback van anderen was ook een leerzame toevoeging., Het sterke onderdeel van dit onderwijsonderdeel vond ik het bespreken van het werk van anderen. Hierdoor kon ik punten in mijn eigen dossier ook aanpassen., Het was heel fijn om andermans werk te kunnen inzien en daar inspiratie uit opdoen., het bespreken van elkaars stukken., Kringgesprekken waar discussies plaats konden vinden over jouw stuk en dat van anderen, Ik vond het bespreken van elkaars werk zeer waardevol. Leren van elkaars werk en aanpak. Effectiviteit/rol van de docent: (docentfeedback): De feedback van de docenten (expertfeedback) was waardevol, nuttig (5). Docenten gaven goede feedback. De theorie van de docenten. Feedback eindbeoordeling was heel helder!, Wat betreft de begeleiding tijdens het project via Moodle en tijdens de contactmomenten: Top! 22

23 Dat we aan de ene kant ontzettend veel begeleiding kregen, maar aan de andere kant ook weer niet., Krijgen en geven van feedback, dan wist ik hoe ik iets kon verbeteren. Effectiviteit/Activering/motivering/ondersteuning (Peerfeedback): Feedback van studenten & docenten krijgen en geven, omdat je samen brainstormt over welke richting je in moet., Ook is het elkaar feedback geven zeker een leer moment, vooral als je ongeveer zelfde probleemstellingen hebt en hierdoor elkaar kan helpen en ondersteunen., Medestudenten die met je mee denken., Zelf oplossend denken wordt aangespoord en feedback kan sneller verwerkt worden., Door feedback te krijgen en te geven krijg je nieuwe inzichten die bijdragen aan de kwaliteit van je eigen O&O., Tijdens de les bespreken van peerfeedback en aanvulling van docent., Sterke punten waren dat de feedback besproken werden in de klas, zo kon je checken of je goed op weg was en of je wel waardevolle feedback had. Maar ook of de gekregen feedback wel juist was., De docent die feedback geeft na de peerreviews onderling vind ik ook een slimme manier van lesgeven. Hierdoor kan de docent zich beter richten tot complexere problemen., Het geven van feedback aan medestudenten. Hierdoor denk je zelf actief mee over de vorm en inhoud van het onderzoeksverslag., Feedback geven en krijgen want op die manier kijk je toch weer op een andere manier naar je eigen werk., Het geven van feedback was een sterke punt maar dan moet het wel van twee kanten komen. De opzet met feedback geven op je mede studenten is effectief, maar gedurende de periode neemt de frequentie en kwaliteit van de feedback af. Systematische aanpak: Door de deadlines en de afspraken die erover gemaakt zijn, hou je jezelf op peil. Dit is wel erg fijn., Vaste deadlines., De wekelijkse terugkoppeling op mijn werk., feedbackdeadlines., Het enige fijne wat ik vond is dat er verplichte inleverdata zijn waardoor je in dit proces toch enigszins houvast had. Groepsgrootte: De kleine kringgroep, In kleine groepen werken. Als sterke punten werden in de docentenvragenlijsten genoemd: Motivering/activering: Sterk punt vind ik dat je studenten eerst verplicht elkaar feedback te geven en daarna expert feedback., samen optrekken., Er niet alleen voor staan., Eerst peerfeedback en daarna feedback van de docent in de les. Effectiviteit: Nadruk op strak geregisseerde peerfeedback waardoor studenten kritischer naar eigen werk kijken. Systematische aanpak: Duidelijk script dat helpt de regie te houden en bij de les te blijven., De combinatie [docentnaam], script model en ik ging super. Minder sterke punten Als minder sterke punten in aanpak en uitvoering werden in de studentenvragenlijsten genoemd (tussen haakjes de frequentie als een onderdeel meer dan 1 keer werd genoemd): Feedback algemeen: Aan het einde van dit project te weinig aandacht voor individuele studenten. Kwaliteit/relevantie/motivatie/betrouwbaarheid (Peerfeedback): De feedback van de studenten was vaak onbruikbaar/niet zinvol (2)., Peerreview vond ik niet altijd even succesvol omdat ik van mening ben dat we allemaal maar wat doen en je snel van de wijs kan laten brengen door feedback van iemand die er net zoveel verstand van heeft als jij., Het geven van feedback aan studenten, want dit heeft veel tijd gekost en uiteindelijk gaf de docent er ander feedback op waardoor het onnodig was., De feedback van medestudenten heeft mij niet extra gemotiveerd en heb ik alleen maar als negatief ervaren., De feedback die werd gegeven door medestudenten., De feedback die je krijgt van medestudenten wordt niet heel erg gecontroleerd (2), Sommige klasgenoten gaven 2 zinnen feedback waar je niks aan had, anderen gingen echt het verslag na en probeerden wel degelijk nuttige feedback te geven., Tussentijdse feedback heb ik inhoudelijk weinig aan gehad en omdat de opdracht gedurende de weken duidelijker wordt, is het geven van feedback aan medestudenten nog lastig. Ziet er al snel goed uit., Feedback nam in kwaliteit af. 23

24 Expertfeedback: Eerste keer bij expertreview was alles goed, tweede keer werd hetzelfde nagekeken stuk foutief beoordeeld. De laatste feedback was ongeveer een week voor definitief inlevermoment, dus misschien eerder de expertreviews houden zodat tegenstrijdige feedback van docenten snel verwerkt kan worden. Weinig feedback van docenten in Moodle, Ik kreeg niet altijd het antwoord op mijn gestelde vragen tijdens de Expertreviews van de docenten terwijl dát mij juist verder zou helpen binnen mijn onderzoek., De beperkte expertfeedback mogelijkheden., Allereerst vond ik de feedback van [docentnaam] en [docentnaam] te wisselend. [Docentnaam] zegt dat alles goed is, en [docentnaam] legt je juist uit wat je verkeerd doet. Heel onhandig. Ik heb liever dat de docenten een lijn trekken., Als je een conceptversie moet en wil inleveren voor feedback, moeten de docenten de feedback ook geven. Wij kregen de laatste kring te horen, er was geen tijd om het na te kijken. Dit vind ik geen excuus. Als je feedback belooft moet je dat ook geven als docent. Wij als studenten moeten het ook altijd op tijd inleveren en af hebben. Ik had graag nog feedback gekregen op mijn O&O, dit heb ik nooit gehad. Digitale omgeving: Moodle werkte niet altijd even handig mee (3) Ik werd soms nogal wat vermoeid van Moodle. Er is te veel geplaatst wat je soms niet meekrijgt waardoor je overzicht verliest. Ik zou hier graag een betere structuur in terugzien., Moodle is niet overzichtelijk., Continu deadlines op Moodle., Verder vind ik het gebruikte systeem (Moodle) naast dat het ontzettend lelijk is niet erg gebruiksvriendelijk., Moodle is per telefoon niet te bereiken., Expertfeedback op digitale omgeving: Weinig feedback van docenten in Moodle, Daarnaast kreeg ik nooit feedback via Moodle van de docenten., De aanwezigheid van de leraar op Moodle. Feedback tijdens kringbijeenkomsten: Wat ik minder vond was het bespreken van elkaars feedback omdat dat ontzettend veel tijd koste. Hierdoor kwam niet iedereen aan de beurt., Geen 1 op een tijd met docent voor feedback geen extra lessen. Bijeenkomsten en tijd voor feedback les tijd die te kort is om iedereen even veel tijd te geven voor feedback ect., De inhoud van de lessen, alleen feedback bespreken was handig., Te weinig tijd in de lessen/bijeenkomsten (2), Meer sparmomenten met de docent, vooral onderdeel C&I weinig bijeenkomsten., Ook is het handiger één onderzoeksdocent en één creatieve docent in 1 team te doen zodat studenten van beiden iets kunnen leren. Weblectures: Die weblectures hebben we trouwens ook nooit bekeken, we hebben er maar een bekeken. De instructie: De hele opdracht van de communicatiecyclus was niet voldoende uitgelegd van tevoren, dit werd veel te laat gedaan en te veel opgedeeld per les., De deadlines waren steeds verwarrend., Workshops heb ik niet als super nuttig ervaren voor het project, wel leuk eerste workshop concept!, Het zou fijner zijn geweest meer aandacht aan het laatste onderdeel te besteden niet alle studenten zijn creatief. Organisatie: Ik vond dat er in het begin te veel tijd werd ingenomen voor de probleemstelling (4 weken. Hierdoor vind ik dat je in het begin weinig doet (in mijn geval aangezien mijn probleemstelling duidelijk was) en je dan ineens hard aan de bak moet voor je onderzoek., Veel in het begin over de probleemverkenning en dan opeens moest alles heel snel gebeuren voor mijn gevoel., Daarnaast hadden we echt veel te weinig les, bleven we enorm lang in de probleemverkenning hangen en moeten we nu de laatste weken soort van 'afraffelen.', Sommige niet realistische deadlines, Voor de probleemverkenning kregen we meer tijd dan O&O en andersom was veel beter geweest, want voor dat tweede deel kregen we te weinig tijd., aan het einde te weinig bijeenkomsten., Te weinig kringbijeenkomsten. Als minder sterke punten werden in de docentenvragenlijsten genoemd: Kwaliteit peerfeedback: Ik heb totaal geen kans gehad om de peerfeedback te volgen op Moodle. Ik heb geen idee van de kwaliteit van de peerfeedback. Wel van wat er in de kringen is besproken aan peerfeedback. Ik denk dat de kwaliteit van de peerfeedback heel laag is en daar helpt geen weblecture bij. Organisatie: Deadlines zijn veel te krap, onhaalbare timing, Sommige punten in het script zijn in de praktijk onhaalbaar., De timing van conceptaanpak en uitvoering is wel erg krap. Betere facilitering docenten: Volgens mij klopt de urentoekenning voor week 1 t/m 10 niet. Ben er meer tijd mee kwijt geweest dan er voor stond. Zeker 20%. Tijdsdruk en feedback van studenten en 100 keer feedback 24

25 moeten geven. Digitale omgeving: Alleen Moodle, ook lastig om te volgen voor docenten de peerfeedback tussen studenten. Verbetersuggesties Als verbetersuggesties werden in de studentenvragenlijsten genoemd (tussen haakjes de frequentie als een onderdeel meer dan twee keer werd genoemd): Geen: Als ik het hier over de vorm van lesgeven moet hebben waarbij gebruik gemaakt wordt van peerreview middels Moodle weet ik daar geen verbeterpunten te noemen. Controle/effectiviteit/motivatie/activering peerfeedback: Ervoor zorgen dat medestudenten strenger feedback durven te geven., Meer ondersteuning in het geven van kwalitatieve feedback., Dat de peerfeedback beter gecontroleerd wordt door de docenten... dat wel iedereen evenveel nuttige feedback krijgt. Anders is het eigenlijk oneerlijk tegenover de persoon die zelf goede feedback geeft, maar zelf die 2 zinnen waar hij/zij niks mee kan. Controle van peerfeedback., Studenten mogen wat mij betreft meer actief zijn op Moodle., Digitale leeromgeving: Moodle, Moodle gebruiksvriendelijker maken (2) en ervoor zorgen dat iedereen op Moodle kan., Ik vind Moodle zelf geen fijn programma om mee te werken. Dus misschien een ander programma?, Overzichtelijkheid van Moodle, teveel verschillende fora. Duidelijkheid, eenduidigheid (De instructie): Sneller het onderzoek doorlopen, zodat er eerder duidelijk is wat er van de student wordt verwacht., Veel meer duidelijkheid en dat docenten op 1 lijn zitten., Docenten horen elkaar te ondersteunen ipv elkaar tegenspreken, Meer duidelijkheid onder docenten (een richtlijn houden) jullie moeten meer met elkaar vergaderen en één richtlijn houden!, In les 1 beginnen met vertellen wat de deadlines zijn en precies wat er van studenten verwacht wordt, de handleiding is veel te vaag en doordat dit niet bij les 1 is verteld zaten de studenten constant met vragen, Docent die zichzelf tegenspreekt in kringen is verwarrend. Ene keer dit, andere keer dat, lastig werken., Ik vind het echt van belang dat er docenten worden geselecteerd die het met elkaar eens zijn, en zo niet, dat ze niet beiden compleet andere feedback geven. Organisatie: Niet bij alle vakken van deze feedbackrondes houden. Bij schrijven en visualiseren kan de docent het beste feedback geven en bij de paper ook., De lessen waren vrij kort voor elke bijeenkomst. Hierdoor moest er bij sommige bijeenkomsten er snel doorheen gejaagd worden., In plaats van 1 lang kringmoment, meerdere korte momenten of individuele meeting met docenten., 9 van de 10 keer werd je werk pas tijdens de les bekeken, waarom zijn er dan deadlines?, Meer kringbijeenkomsten., Deadline staat vast op maandag om 09:00 - terwijl wij op vrijdag de bijeenkomst hebben. Ten eerste is 09:00 uur een vervelende tijd en kan beter wat later ingepland worden (12:00 of in de avond) en ten tweede heeft de ene groep begin van de week een bijeenkomst en de andere aan het einde van de week, daarmee heeft de latere groep minder tijd voor het onderzoek. Meer aandacht voor het laatste onderdeel, Sneller de probleemstelling laten verlopen., Grotendeels ging het over de hoofdstukken tot de resultaten, natuurlijk van belang maar dit had veel eerder afgerond kunnen/moeten worden om voldoende tijd aan de resultaten te kunnen werken. Minder lang op de theorie ingaan en sneller aan de gang gaan met het 'echte' werk. Verder meer tijd voor onderzoeksrapport!! Gewenning werkwijze: Ik vond het lastig om zelfstandig aan de slag te gaan. Ik had liever iets meer directe begeleiding van docenten gehad., Men moet nog leren omgaan met Moodle, dus hier moet wel rekening mee worden gehouden. Expertfeedback: Vaker expertreview moment invoeren en laatste expertreview moment dichter op laatste deadline, De hoeveelheid expertfeedback, Meer inhoudelijke feedback geven, Op tijd tussentijdse feedback ontvangen en waar ik echt iets mee kan, met het oog op het afstuderen. Eerste moment waarop je dossier echt goed inhoudelijk wordt bekeken., Het zou handig zijn als de docenten tijdig feedback geven in Moodle, 25

26 en niet alleen in de lessen. Of alleen al laten weten dat ze het hebben doorgelezen en er tijdens de les op terugkomen. Als verbetersuggesties werden in de docentenvragenlijsten genoemd: Organisatie feedback: Feedbackloops korter en vaker. Bij het geven van de feedback op concept O&O bleek dat 80% nog geen resultaten had kunnen verwerken., Script blijven verbeteren. Veel te vaak feedback geven. Kan echt minder. Je hebt niet gevraagd naar behapbaarheid. Feedback geven aan 3 parallelkringen heeft tot gevolg dat het wat oppervlakkig wordt, denk ik. Het volume is ook de reden dat ik niet toekom om de peerfeedback te bekijken die ze elkaar geven., De timing van conceptaanpak en uitvoering is wel erg krap. De digitale omgeving: Digitale leeromgeving gebruiksvriendelijker, Moodle is een wankel systeem en eigenlijk niet meer dan een online forum zoals dat dienstdeed in Inclusief gedateerde bugs., Inholland breed zou er een digitale leeromgeving moeten worden gebouwd. Voorbereiding/ training: Docenten trainen op deze vorm van onderwijs., Betere voorbereiding door studenten en docenten. Voor studenten een paar dagen lessen vooraf met literatuur en workshops om alles op te frissen. Ze zijn de stof van school kwijt na de stage. Voor docenten een training feedback geven. Uit de focusgroep met de docenten kwamen de volgende verbetersuggesties naar voren: Bruikbaarheid script: Het script is volgens één docent inhoudelijk een onwerkbaar ding, er ontstaat tijdgebrek waardoor er geen tijd is om één en ander te verwerken. Een tweede docent geeft aan dat het ook wel eens te maken kan hebben met uitstelgedrag en onvoldoende studieplanning van de student: met een dergelijk script wordt er dan al snel afgerekend. De pionier brengt in dat de bron het uiteindelijk script van zijn masterthesis was, en dat hij dit en de bijbehorende uitgangspunten in het programma heeft geplakt. Met als gevolg dat hij studenten hink-stap-sprongen ziet maken van deadline naar deadline. De vraag die volgens hem gesteld moet worden luidt: hoe flexibel maken we het voor de student, en hoe maken we het relevant? Haalbaarheid/Organisatie: Eén docent geeft aan dat studenten niet in staat zijn om in twee weken een analyse te schrijven. Ook een tweede docent geeft aan dat de studenten meer tijd nodig hebben om het product te maken. De pionier geeft aan dat hij als leidend principe heeft gehanteerd dat als je een student vraagt om iets in te leveren er minimaal een docent naar gekeken moet hebben: Als je dan een meetpunt in het midden hebt, dan kom je al snel in de knel met je tijd. Niets veranderen: Een docent is er voor om het script zo te laten en heeft geen concrete aanbevelingen, die gaan meer over de inhoud. Motivatie/aansluiten bij student: Een docent geeft aan dat zij de lol bij de studenten mist en dat ze het idee heeft dat ze er niets aan vinden. En dat heeft ook te maken met de manier hoe wij hen met het script benaderen. Een andere docent reageert hierop. Hij kan dit argument moeilijk relateren aan het script. Een tweede docent is het daar mee eens. Volgens hem vinden studenten het erg zwaar, worden ze er enorm onzeker van, maar zien ze uiteindelijk wel de meerwaarde als het gaat om de voorbereiding op het afstuderen: er is sprake van een gecontroleerde hardship. Het is echt leren en kneiterhard werken. Hij heeft enkele studenten hierover gesproken en die ervaren het ook als zeer gestructureerd en van een hoog niveau. Er zijn dus meer factoren die een rol spelen, maar het is wel van belang om goed te kijken hoe we kunnen aansluiten bij de student. Voorbereiding /training: een docent geeft aan dat ook zij als docenten er beter in moeten worden, met name in het combineren van de rol begeleider expert: Wij moeten leren om dit proces van peerreview te begeleiden. Zijn er bijvoorbeeld allerlei didactische tools beschikbaar? Daar heeft ze wel behoefte aan. Een andere docent vult aan: Hij heeft die kennis wel, maar ervaart dat op het moment zelf deze kennis niet altijd paraat is. 26

27 4. Conclusies en aanbevelingen 4.1 Inleiding In de vooronderzoeksfase werden op basis van twee onderzoeksvragen ontwerpeisen gegenereerd vanuit de literatuur en vanuit de praktijk. In de ontwerpfase is vanuit de ontwerpeisen toegewerkt naar het herontwerp. Belangrijkste kenmerken van het herontwerp (script) voor de opleiding Communicatie zijn: voorafgaand aan of tijdens de bijeenkomst bekijken van de weblecture over het geven van effectieve feedback, tijdens de bijeenkomst bespreken van algemene begrippen uit de weblecture (richtlijnen voor het geven van feedback), bespreken van de inhoudelijke criteria voor het geven van feedback, geven van feedback aan medestudenten in de digitale omgeving (peerfeedback), geven van feedback door de docent (expertfeedback) en tijdens de bijeenkomst bespreken van de feedback. In de evaluatiefase werd onderzocht of het ontwerp is uitgevoerd zoals bedoeld en het ontwerp werd beoordeeld op ervaren bruikbaarheid en ervaren effectiviteit. Tevens werden verbetervoorstellen geïnventariseerd. 4.2 Ontwerp en uitvoering Geconcludeerd kan worden dat het integrale ontwerp (script) in grote lijnen is uitgevoerd conform ontwerp, maar dat een aantal onderdelen van het script in sommige gevallen niet is uitgevoerd conform ontwerp. Met integrale ontwerp (script) wordt bedoeld: alle vastgelegde onderdelen van het script (inhoud) en de vastgelegde volgorde en tijd waarin deze uitgevoerd moeten worden (routing/planning). De volgende afwijkingen werden geconstateerd: Het bekijken weblecture over het geven van effectieve feedback vond niet overal plaats; De weblecture werd tijdens de les bekeken in plaats van online voorafgaande aan de kringbijeenkomst; Niet overal werden tijdens de bijeenkomst algemene begrippen uit de weblecture besproken; In een enkel geval werden de inhoudelijke criteria voor het geven van feedback niet besproken. Met betrekking tot het script in algemene zin is de conclusie dat de docenten alle onderdelen herkennen en van mening zijn dat alle studenten in meer of mindere mate feedback hebben gegeven. Docenten vragen zich daarbij wel af in hoeverre de verplichte actieve participatie daartoe heeft bijgedragen. Zowel docenten als studenten geven aan dat de peerfeedback tijdens de bijeenkomst voldoende besproken werd, maar dit wordt door de docenten genuanceerd. Ze geven aan dat ze door tijdgebrek niet altijd toekwamen aan het bespreken van de peer- en expertfeedback. Met betrekking tot een oordeel over het gehanteerde script op basis van de uitvoering kan worden geconcludeerd dat over het integrale ontwerp (script) geen uitspraken gedaan kunnen worden omdat het script niet overal werd uitgevoerd conform het ontwerp (1), dat wel uitspraken gedaan kunnen worden over het scripten in het algemeen (2), en ook uitspraken kunnen worden gedaan over bepaalde onderdelen van het script die zijn uitgevoerd (3). 4.3 Bevestiging van de relevantie van het script Geconcludeerd kan worden dat de relevantie van het herontwerp (in de perceptie van de docenten en studenten) is bevestigd. Docenten zijn positief over scripten van de peer- en expertreview. De relevantie van scripten van peerreview, die tijdens de vooronderzoeksfase werd geborgd door de theoretische onderbouwing, contextanalyse, behoefteanalyse en formatieve evaluatie van het eerste prototype, werd hiermee bevestigd. 4.4 Ervaren bruikbaarheid Geconcludeerd kan worden dat de bruikbaarheid van onderdelen van het script zowel positief als negatief ervaren werden door docenten en studenten. Zowel studenten als docenten vonden de aanpak passend bij de opdracht die moest worden uitgevoerd. Positief 27

28 vonden zij de houvast en structuur die het script bood en het dwingende karakter dat ertoe bijdroeg dat deadlines gehaald werden en de voortgang van studenten transparant werd gemaakt. Het gebrek aan vrijheid (het keurslijf) dat het script veroorzaakte, werd zowel positief als negatief ervaren. Positief vond men dat het script ook docenten disciplineert in de uitvoering van hun onderwijs, de vrijblijvendheid terugdringt, en hen dwingt samen te werken. Als negatief werd ervaren dat de gedetailleerde planning het onmogelijk maakt om als docent wijzigingen aan te brengen. Door de combinatie van strikte deadlines en het feedbackscript, verliest het project haar flexibiliteit. Digitale leeromgeving Moodle Geconcludeerd kan worden dat studenten en docenten de digitale leeromgeving Moodle geschikt vinden voor het geven van feedback, maar de digitale omgeving niet als aantrekkelijk en gebruiksvriendelijk ervaren. Een mogelijke verklaring voor de tegengestelde scores is dat studenten wel het nut in zien van de werkwijze via de digitale leeromgeving, maar niet tevreden zijn over de techniek, de gehanteerde functionaliteiten van de omgeving of de navigatie binnen de omgeving: ze doen het liever in Facebook. Daarnaast zijn de rol en de activiteiten van de docent in de digitale omgeving bepalend voor de waardering van die leeromgeving. Studenten ervaren de digitale leeromgeving Moodle als ondersteunend bij het geven van feedback. Docenten zijn hierover verdeeld. Docenten geven aan dat Moodle veel onderhoud en structurering vraagt en te veel (irrelevante) notificaties oplevert. Daarnaast ervaren studenten Moodle (volgens docenten) al snel als plek waar al die deadlines moeten worden gehaald. Over de discussiefora zijn de docenten tevreden. Algemene conclusie met betrekking inzet elektronische leeromgeving Moodle: in deze opzet was de elektronische leeromgeving in principe bruikbaar, maar de omgeving wordt niet als uitnodigend en gebruiksvriendelijk ervaren. Aanpak onderwijsonderdeel Docenten en studenten beoordelen de werkwijze (feedbackactiviteiten) met ruim voldoende (7 op de schaal van 10) en geven aan dat zij de aanpak als ondersteunend hebben ervaren bij het uitvoeren van de opdracht. Docenten en studenten zijn verdeeld over de vraag of de aanpak motiverend is, docenten neigen hierbij naar positief. 4.5 Ervaren effectiviteit Geconcludeerd kan worden dat het herontwerp (script) over geheel genomen effectief is in de perceptie van de docenten en studenten, maar dat hierbij een aantal nuanceringen moeten worden aangebracht. De navolgende onderdelen van het script werden tijdens de leerpraktijk als meest ondersteunend ervaren: het geven van feedback door de docent (1), het bespreken van docentfeedback tijdens de les (2), het bespreken van de peerfeedback van studenten (3), en het geven en bespreken van peerfeedback (4). Nuanceringen die ten aanzien van de effectiviteit van het script gemaakt kunnen worden, hebben betrekking op: De weblecture voor geven van effectieve feedback Docenten en studenten verschillen van mening over de ondersteunende werking van de weblecture, omdat die in de huidige vorm te professioneel is en daardoor voor studenten lastig is te begrijpen. Alleen de studenten die het feedback geven al in zich hadden, hebben volgens docenten baat bij de weblecture, en anderen niet. Feedback in het algemeen De opvattingen van studenten en docenten over feedback in het algemeen kwamen niet helemaal overeen: - studenten vinden dat ze niet genoeg feedback hebben gekregen van medestudenten, docenten vinden dat studenten wel voldoende feedback van elkaar hebben ontvangen; - studenten zijn verdeeld over de vraag of zij meer feedback hebben gekregen dan ontvangen en studenten vinden de verhouding feedback door docent en feedback door medestudenten niet in orde, docenten vinden dat de verhouding precies goed was; - studenten en docenten vinden dat het geven van feedback in de digitale leeromgeving waardevol was voor het leerproces en dat studenten meer geleerd hebben van de bijeenkomsten door de feedbackactiviteiten; - docenten zijn verdeeld over de vraag of het noodzakelijk is de peerreviews te monitoren. 28

29 Peerfeedback Studenten en docenten zijn over het algemeen tevreden over de hoeveelheid (peer)feedback die studenten elkaar hebben gegeven en de mate waarin studenten deadlines voor het geven van feedback zijn nagekomen. Studenten en docenten zijn verdeeld, neigend naar negatief, over de vraag of studenten ook gebruik hebben gemaakt van de algemene richtlijnen voor het geven van feedback. Studenten vinden wel dat zij goed gebruik hebben gemaakt van de richtlijnen. In de perceptie van studenten en docenten ondersteunde het geven en ontvangen van peerfeedback de studenten bij het maken van de opdracht, maar dat verdient nuancering: - wanneer de werkdruk voor studenten toeneemt, kan de zinvolheid van het uitvoeren van peerreviews door studenten meer in twijfel getrokken worden en neemt de kwaliteit mogelijk af; - studenten oordelen wisselend over de kwaliteit van de peerfeedback en docenten vinden die kwaliteit niet voldoende. Als oorzaak wordt door docenten genoemd dat het geven van feedback voor studenten lastig is. Ook is het nieuw voor hen, want in de jaren voorafgaand aan het project werd slechts incidenteel aandacht besteed aan leren geven van feedback. Daarnaast ontberen sommige studenten mogelijk de inhoudelijke bagage om adequate feedback te geven. Docent(expert)feedback Studenten en docenten vinden dat docenten zich goed houden aan de deadlines voor het geven van feedback, en dat de expertfeedback van voldoende kwaliteit is en als ondersteunend wordt ervaren bij het maken van de opdracht. Studenten vinden dat zij voldoende feedback van de docent ontvangen. Hierbij kan wel een aantal kanttekeningen geplaatst worden: studenten ervaren soms dat docenten niet op één lijn zitten. Mogelijk is dit vooral te wijten aan verschillen in de formulering, maar studenten ervaren het als hinderlijke ruis die tussen docenten niet mag voorkomen. De kans op ruis wordt mogelijk versterkt doordat de begeleidende docent niet de beoordelaar is. Studenten lijken hier moeilijk mee om te kunnen gaan omdat ze precies willen weten wat het juiste antwoord is. Ook docenten lijken soms moeite te hebben met de gescheiden rol van begeleider en beoordelaar (gespiegelde beoordeling). Op één locatie is van de gescheiden rollen afgeweken: men durfde het niet aan. Het bespreken van de feedback in de les Studenten vinden dat tijdens de kringbijeenkomsten voldoende is ingegaan op de feedback die in de digitale leeromgeving Moodle gegeven was en dat die bespreking hen heeft geholpen in het leerproces. Ook docenten vinden dat, maar twijfelen daarbij of het bespreken van de feedback vanuit het perspectief van de student ook genoeg heeft plaatsgevonden. Meest ondersteunende onderdelen Studenten en docenten hebben in volgorde van belangrijkheid de volgende drie leeractiviteiten (onderdelen uit het script) als meest ondersteunend ervaren in het leerproces: geven van feedback door de docent (1), bespreken van de expertfeedback tijdens de les (2), bespreken van de peerfeedback tijdens de les 93); het geven van feedback aan medestudenten (4). Mogelijke oorzaken dat geven van feedback aan medestudenten op de vierde plaats staat zijn: goede studenten ervaren minder meerwaarde van het ontvangen van peerfeedback (van zwakkere studenten), en de docent blijft te veel in zijn expertrol aanwezig, waardoor studenten de meerwaarde van peerfeedback minder ervaarden. Tot slot kan het zijn dat studenten überhaupt minder waarde toekennen aan feedbackactiviteiten met medestudenten dan aan feedbackactiviteiten waarbij de docent betrokken is. 29

30 4.6 Sterke punten, minder sterke punten en verbetersuggesties Sterke punten Geconcludeerd kan worden dat de sterke punten van het script volgens studenten vooral liggen op het gebied van het aspect feedback. De efficiëntie die ontstaat door de vele mogelijkheden om feedback te ontvangen wordt gewaardeerd evenals de mogelijkheden om elkaars werk en feedback in te zien en te bespreken. Ook het zelf geven van feedback wordt door studenten gezien als waardevol. Studenten geven aan door de feedbackactiviteiten nieuwe inzichten te hebben gekregen, hun werk hebben kunnen controleren en te zijn aangezet tot kritisch denken. De effectiviteit van de feedback van de docent wordt eveneens regelmatig genoemd als sterk punt. Tevens kan worden geconcludeerd dat de systematische aanpak (werken met vaste deadlines) als sterk punt is ervaren. Docenten noemen de volgende sterke punten met betrekking tot het aspect feedback en de werking van het script: dat studenten eerst elkaar van feedback voorzien voordat de docent zelf feedback geeft, dat de strak geregisseerde feedback studenten kritischer naar het eigen werk laat kijken, dat het script ook ondersteunend werkte voor de docenten (houden van regie, bevorderen van de samenwerking), en dat studenten er door de feedbackactiviteiten niet alleen voor staan, maar samen optrekken. Minder sterke punten Studenten noemen ook minder sterke punten en die hebben betrekking op de feedback, de organisatie van de leerpraktijk en de leeromgeving. Minder sterke punten betroffen de kwaliteit van de peerfeedback, de relevantie van de peerfeedback en de betrouwbaarheid ervan (gebrek aan controle op de feedback). Met betrekking tot de expertfeedback betreffen de minder sterke punten de kwantiteit van de expertfeedback (te weinig schriftelijke feedbackmomenten, te weinig schriftelijke feedback in Moodle, te weinig feedback tijdens de kringbijeenkomsten), en verschillen in feedback tussen docenten onderling. Ook de organisatie van de leerpraktijk wordt als minder sterk punt genoemd, en dan vooral de onevenwichtige tijdsverdeling voor het uitvoeren van de leeractiviteiten (te veel tijd voor het O&O, te weinig tijd voor C&I), het beperkte aantal kringbijeenkomsten (aan het einde) en onduidelijkheid over de opdracht. Daarnaast wordt de digitale omgeving Moodle genoemd als minder sterk punt (gebrekkige overzichtelijkheid, gebruiksvriendelijkheid en de hoeveelheid communicatie en deadlines). Minder sterke punten van het script volgens docenten hadden betrekking op de feedback, de organisatie en de leeromgeving. Het betrof het gebrek aan controle op de peerreview en de lage kwaliteit van de peerfeedback, de onrealistische timing van de leeractiviteiten (met te krappe deadlines), de krappe facilitering van de docenten (te weinig tijd voor de werkzaamheden), en de onoverzichtelijke digitale leeromgeving (lastig om de peerfeedback te volgen). Verbetersuggesties Door docenten en studenten. De organisatie van het project als leerpraktijk staat bij studenten bovenaan de lijst van verbeterpunten. Er is behoefte aan meer tijd voor en een meer evenwichtige tijdsverdeling tussen alle uit te voeren leeractiviteiten en de frequentere en langere kringbijeenkomsten. Daarnaast moeten alle concurrerende leeractiviteiten bij andere curriculumonderdelen daarop worden afgestemd. Studenten willen dat de docenten eenduidiger instructie geven en hen meer ondersteunen bij het uitvoeren van de nieuwe werkwijze volgens het script. De expertfeedback mag van studenten meer inhoudelijke kwaliteit hebben en de studenten willen dat er meer controle is op de kwaliteit van de peerfeedback die wordt gegeven. Docenten zijn verdeeld over de aspecten die verbeterd moeten worden. Eén verbetersuggesties ligt bij de bruikbaarheid/uitvoerbaarheid van het script. Aan de ene kant wordt het script met alle strikte deadlines ervaren als een keurslijf, aan de andere kant draagt het ertoe bij dat studenten minder uitstelgedrag kunnen vertonen. Een docent stelt meer, kortere feedbackloops voor, een andere juist minder omdat 30

31 controle op de feedback door het volume nu niet haalbaar is. Aansluitend hierop wordt door docenten gevonden dat het probleem mogelijk niet in het script zelf zit, maar in de uitvoerbaarheid van de projectopdracht. Volgens sommige docenten vermindert het strakke script het plezier in het leren voor studenten, andere docenten vinden echter dat studenten door het script leren wennen aan het nieuwe, kneiterharde werken en zijn achteraf positief over het niveau. Er zou volgens docenten betere aansluiting bij de student moeten worden gezocht en aanwezige kennis zou eerst moeten worden geactiveerd. Docenttraining op de begeleiding van het reviewproces is genoemd als verbeterpunt en docenten noemen de gebruiksvriendelijkheid van de digitale omgeving als aandachtspunt. Conclusies met betrekking tot de verbetersuggesties Ordening van de verbetersuggesties. Om de bovengenoemde verzameling verbetersuggesties te ordenen wordt onderstaande indeling gebruikt: Factoren met betrekking tot de bruikbaarheid van het ontwerp Factoren met betrekking tot de effectiviteit van het ontwerp Factoren met betrekking tot de randvoorwaarden, met als onderscheid: o Factoren die niet beïnvloedbaar zijn: dat betreft contextuele condities die als startcondities gedefinieerd kunnen worden om de kans op succesvolle uitvoering en implementatie groter maken, maar die niet kunnen worden beïnvloed vanuit het onderzoek. o Factoren die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als functionele eisen, want de functionele eis dat peerreview op een bepaalde wijze wordt ingezet, kan alleen leiden tot een effectief ontwerp als ook aan de voorwaarde wordt voldaan dat studenten in staat zijn om feedback te geven en te benutten. Het ontwerp zou moeten voorzien in het waarborgen van die voorwaarden opdat het ontwerp effectief kan zijn; o Factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie: daarbij gaat het om condities in de context die de uitvoering conform het ontwerp in de weg staan, maar die wel kunnen worden beïnvloed vanuit het onderzoek. Met betrekking tot verbetersuggesties van docenten en studenten kan het volgende worden geconcludeerd: a. Weblecture geven van effectieve feedback (bruikbaarheid) De weblecture met richtlijnen voor het geven van effectieve feedback is niet door iedereen als waardevol ervaren, terwijl het toepassen van de richtlijnen cruciaal is voor het geven van adequate feedback. In het aangepaste script zou een verbeterde weblecture opgenomen kunnen worden die meer aansluit bij het kennisniveau van studenten en die richtlijnen, voorbeelden en aanwijzingen voor toepassing bevat. Daarnaast kan een oefening tijdens de les worden opgenomen waarin gekeken wordt of de studenten de richtlijnen voor het geven van effectieve feedback begrijpen en kunnen toepassen in hun situatie. b. Afstemming van organisatie en script op het leerproces (randvoorwaarde: factor die beïnvloedbaar is via het ontwerp): Binnen de huidige organisatie van de module is het script onvoldoende bruikbaar en effectief. Verbeteringen hierin kunnen deels via het script worden aangebracht, maar liggen deels ook buiten de invloedsfeer van het script of zijn hooguit te beïnvloeden via de voorbereiding van de implementatie en uitvoering, onder meer door het script beter af te stemmen op de leeractiviteiten in een gegeven situatie op locatie. Aan een volgende versie van het script zou een herontwerp van de module vooraf moeten gaan, zodat een realistisch leerproces kan ontstaan. Zo zou onder andere de keuze met betrekking tot de frequentie en lengte van de kringbijeenkomsten opnieuw moeten worden bekeken en ook de tijd die beschikbaar is voor de uitvoering van de verschillende leeractiviteiten. 31

32 c. De begeleiding van de feedbackloops (randvoorwaarde: factor die beïnvloedbaar is via het ontwerp) De docenten hebben de behoefte om meer handelingsbekwaam te worden in het begeleiden van de feedbackloops. Om docenten te ondersteunen in de begeleiding van de feedbackloops zouden alle leeractiviteiten in het script kunnen worden voorzien van ingebouwde docentondersteuning. Te denken valt bijvoorbeeld aan specifieke uitgewerkte voorbeelden van de leeractiviteit. Deze voorbeelden geven de docent houvast tijdens de begeleiding en leveren daarnaast vergelijkingsmateriaal op waarop de docent zijn eigen handelen kan afstemmen. (randvoorwaarden: factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie) Voorafgaand en tijdens de uitvoering van het aangepaste script zouden docenten kunnen worden getraind in het leren werken met de beschikbare digitale tools binnen Moodle (zoals de workshop-tool) die het organiseren ervan eenvoudiger maken en in het schakelen tussen en uitvoeren van de verschillende rollen die de docent inneemt tijdens de feedbackloops, zoals instrueren, modelleren, motiveren, activeren, bijstellen en monitoren. Daarnaast kan worden geoefend in de wijze waarop studenten kunnen worden getraind en op maat ondersteund in het adequaat feedback geven aan elkaar. Ook hier kunnen uitgewerkte voorbeelden van verschillende begeleidingsactiviteiten bijdragen aan het vergroten van de handelingsbekwaamheid van de docent. d. Begrip van de nieuwe werkwijze (randvoorwaarde: factor die beïnvloedbaar is via het ontwerp): Zowel studenten als docenten ervaren meer tijd/ondersteuning nodig te hebben om aan de nieuwe werkwijze te wennen. Zowel docenten als studenten geven aan dat de nieuwe werkwijze (werken in kringen, peerfeedbackloops, Moodle) gewenning vraagt van studenten en docenten. In een aangepast script zou de wijze waarop het feedbackproces verloopt via een specifiekere beschrijving van de rollen, leerprocessen en sequenties kunnen worden beschreven (social scripting). Daarnaast zou bij de activiteiten, bij wijze van rationale, kunnen worden aangegeven welke cognitieve en meta-cognitieve processen wenselijk en/of noodzakelijk zijn in de uitvoering van de leeractiviteiten (cognitive scripting). Hierdoor kan ook het draagvlak voor de uitvoering van het script bij de docenten worden verhoogd, evenals de motivatie bij studenten. e. De digitale omgeving (randvoorwaarden: factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie) De huidige inzet van Moodle als digitale leeromgeving blijkt onvoldoende ondersteunend bij het uitvoeren van de feedbackloops en opdracht. Vooral het gebrek aan overzichtelijkheid (hoeveelheid fora) en gebruiksvriendelijkheid maken het werken in de digitale omgeving volgens studenten en docenten onprettig. Daarnaast heeft het aantal deadlines een negatieve invloed op de motivatie van studenten en hebben docenten moeite om het overzicht te behouden. Uitwijken naar een andere leeromgeving is op dit moment niet wenselijk, omdat de opleiding al haar onderwijs in Moodle organiseert en binnen Inholland geen beter alternatief voor handen is. In een volgend script kan worden gekeken of de reviews op andere wijze in Moodle kunnen worden georganiseerd, bijvoorbeeld via de, meer geëigende workshop-tool. Deze tool vraagt echter meer technische vaardigheden van de docent en is om die reden bij deze pilot niet benut. Daarnaast kan gekeken worden of op meer flexibele wijze met de deadlines kan worden gewerkt, zodat ze als minder dwingend worden ervaren. Tot slot kan worden gekeken of de hoeveelheid fora kan worden gereduceerd. f. Kwaliteit en frequentie docentenfeedback (effectiviteit) Studenten ervaren de feedback van docenten als tegenstrijdig en ondervinden daar last van. Daarnaast mist de student soms expertfeedback of vindt de expertfeedback te weinig inhoudelijk. Daarnaast geldt als voorwaarde dat docenten getraind moeten worden in het geven van effectieve, inhoudelijke feedback. Tot slot zouden docenten, als randvoorwaarde voor adequate uitvoering, aan de hand van de expertreviews, via collegiale intervisie kunnen 32

33 werken aan het ontwikkelen van een meer eenduidige opvatting van de inhoudelijke kwaliteitseisen. g. Kwaliteit van en controle op de peerfeedback (effectiviteit) Studenten hebben behoefte aan meer controle op de kwaliteit van de peerfeedback. Studenten willen voorkomen dat ze door een peer de verkeerde kant op worden gestuurd. In het aangepaste script zou het monitoren van de peerfeedback kunnen worden opgenomen. Wanneer dit via Moodle plaatsvindt, verdient het zeker aanbeveling om peerreview te organiseren via de workshop-tool. Het monitoren van reviews via de fora is immers (te) tijdrovend. Via de workshop-tool zijn alle reviews via een dashboard te overzien. Daarnaast kan worden gewerkt met ratings op de reviews, waardoor de docent selectiever naar reviews met opvallende scores kan kijken. Daarnaast kan worden overwogen om de studenten de peerfeedback nog niet te laten verwerken, maar de verwerking uit te stellen tot na de bespreking van de peerfeedback tijdens een kringbijeenkomst. De behoefte aan controle komt mogelijk voort uit het geconstateerde gebrek aan kwaliteit van de feedback. In een volgend script zou mogelijk meer aandacht aan de voorbereiding op de taak (training) kunnen worden besteed. Het geven van feedback door studenten is geen vanzelfsprekendheid: zij zullen dit moeten leren en oefenen. Instructie alleen volstaat daarbij niet: er zal dus ruimte in het script moeten worden opgenomen voor deze leeractiviteit. 4.7 Conclusies met betrekking tot de centrale onderzoeksvraag Een eerste versie van het script voor de inzet van peerreview binnen het project De Communicatiecyclus in de opleiding Communicatie is ontworpen en uitgevoerd en beoogde door de inzet van peerreview en expertreview ter ondersteuning van het leerproces. Geconcludeerd kan worden dat het doel deels (op onderdelen van het script) bereikt is, maar dat een aantal (voorwaardelijke) kwesties een belemmerende rol speelden. Aan een deel van deze voorwaarden kan worden voldaan door het script verder te ontwikkelen: zo kan het leren geven van kwalitatief goede feedback door studenten als leeractiviteit aan het script worden toegevoegd. Een dergelijke leeractiviteit kan indirect ook bijdragen aan de professionalisering van docenten op dit gebied. Daarnaast kan een verbetering worden aangebracht door een betere afstemming tussen het script, de opdracht en de leeractiviteiten, waarbij een realistisch tijdspad voor de leeractiviteiten het uitgangspunt moet zijn. Voor de optimale bruikbaarheid en effectiviteit is het cruciaal dat aan een aantal randvoorwaarden wordt voldaan, zoals het vergroten van de handelingsbekwaamheid van docenten in relatie tot de begeleiding van feedbackloops, het voorbereiden op en begeleiden van docenten tijdens het uitvoeren van gescript onderwijs, het bevorderen van een eenduidige visie op de kwaliteitseisen van de opdracht bij docenten, een adequate ondersteuning van studenten bij het doorgronden van de nieuwe werkwijze in deze onderwijsmodule, het meer op maat trainen van studenten in het geven van effectieve feedback, het aanbrengen van begrip van de inhoudelijke kwaliteitseisen van de opdracht voor het geven van feedback bij studenten, en het faciliteren van het bespreken van de feedback tijdens kringbijeenkomsten. Het script zelf zou moeten worden aangepast op de volgende onderdelen: specifieker aandacht besteden aan de voorbereiding op de feedbackloops, het bespreken van de feedback zodanig plannen dat controle op de feedback is uitgevoerd voor de feedback wordt verwerkt, meer flexibiliteit in het script aanbrengen zodat de planning van alle leeractiviteiten tijdens de uitvoering van het project beter kan worden afgestemd op de individuele leertrajecten van de studenten. Over het geheel genomen waren studenten en docenten positief over het uitgevoerde script. De aanbevelingen en verbetersuggesties kunnen in een tweede versie van het script worden doorgevoerd, waarna het script opnieuw kan worden ingezet en getest. 33

34 5. Kritische reflectie en suggesties voor vervolgonderzoek 5.1 Reflectie op conclusies In de conclusies is aangegeven dat het beoogde doel van het script (door de inzet van peerreview en expertreview het leerproces te ondersteunen) deels (op onderdelen) bereikt is, maar dat de verschillende types voorwaardelijke factoren een belemmerende rol hebben gespeeld. Voor een bruikbaar en effectief script is het cruciaal dat aan de noodzakelijke voorwaarden wordt voldaan. Bij de conclusies zijn deze voorwaardelijke factoren opgesplitst naar drie categorieën: 1. Variabelen die niet beïnvloedbaar zijn: in deze casus betreft dat bijvoorbeeld het commitment bij de docenten en de tijdsdruk die docenten ervaren door alle werkzaamheden die buiten deze leerpraktijk vallen. Duidelijk is dat er strenger op moet worden toegezien dat aan deze randvoorwaarden kan worden voldaan: ze zijn voorwaardelijk voor een succesvol herontwerptraject. Bij het ontbreken van deze randvoorwaarden moet heroverwogen worden of het werken met een script zinvol is in het kader van de verbetering van de kwaliteit van het onderwijs. 2. Variabelen die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als functionele eisen. In deze casus bijvoorbeeld adequate uitleg over het script aan studenten en docenten, adequate voorbereiding op het geven van effectieve feedback door studenten, bespreken van algemene, inhoudelijke criteria voor het geven van feedback, adequate voorbereiding op de begeleiding van het feedbackproces aan docenten, een realistische planning van feedbackactiviteiten, en in het verlengde daarvan de fine tuning van het script op het scenario van leeractiviteiten en de routing ervan in de gegeven leerpraktijk. 3. Variabelen beïnvloedbaar in de voorbereiding van de uitvoering en/of implementatie: daarbij gaat het om alle voorwaarden in de context die de uitvoering conform het ontwerp in de weg staan. In deze casus bijvoorbeeld de adequate inrichting digitale leeromgeving en de afstemming tussen alle interventies die het script voorschrijft ten aanzien van het proces van peerreview en expertreview en het type en volgorde van leeractiviteiten met daarvoor beschikbare tijd in de gegeven leerpraktijk. Voordeel van het onderscheid is dat bruikbaarheidsaspecten en effectiviteitsaspecten gescheiden konden worden van randvoorwaarden. 5.2 Reflectie op het uitgevoerde onderzoek Bij de vragenlijst voor studenten ontbrak de antwoordoptie n.v.t en daardoor is wellicht is sommige gevallen niet mee eens of niet mee oneens geantwoord op stellingen die voor de student eigenlijk niet van toepassing waren, of mogelijk werd in deze situaties een vraag niet beantwoord. Voorzichtigheid is dus geboden met betrekking tot het trekken van conclusies ten aanzien van de scores op deze middenpositie. De kwantitatieve opbrengsten van het logboek vielen tegen. Dit kan mogelijk worden verklaard doordat daar in de voorbereiding op de pilot en tijdens de uitvoering te weinig aandacht voor is gevraagd. 5.3 Ontwerp Het ontwerp is tot stand gekomen binnen de vigerende randvoorwaarden met betrekking tot de uitvoering van de opdracht. De deadlines en roostering stonden vast voordat het script werd ontwikkeld. Er is getracht de beoogde feedbackactiviteiten in te passen, maar daarbij is de uitvoerbaarheid mogelijk te veel onder druk komen te staan. Als dat zo is, betreft het ook hier randvoorwaarden die een rol speelden en die wellicht via flexibilisering van het script en/of fine tuning in de voorbereiding kunnen worden beïnvloed. Het script is zeer gedetailleerd (bijlage A) in de beschrijving van leeractiviteiten en deadlines. Dit heeft mogelijk in combinatie met genoemde roostering de uitvoerbaarheid (en daarmee de bruikbaarheid) verminderd en de stress tijdens de uitvoering mogelijk verhoogd. De stress kan evenwel ook zijn veroorzaakt door onvoldoende tijd in te ruimen om aan de nieuwe werkwijze te wennen. Welke factoren op welke wijze stress-verhogend werken zou in een vervolgonderzoek kunnen worden onderzocht. Daarnaast lijkt bij de strakke planning van het script en bij de 34

35 organisatie van het project zelf onvoldoende rekening te zijn gehouden met de uiteenlopende leertrajecten van individuele studenten. 5.4 Voorwaarden voor uitvoering programma Voorwaarde voor het ontwerp was dat het uitvoerbaar moest zijn binnen de beschikbare capaciteit en middelen. Ondanks dat bij het script een zeer gedetailleerde berekening van docentbelastingsuren (dbu s) is gemaakt, lijkt het erop dat docenten niet hebben ervaren dat de uitvoering van (activiteiten binnen) het script binnen de gestelde randvoorwaarden mogelijk was. Dit kan mogelijk worden verklaard doordat het onderdeel nieuw was en voor het eerst werd uitgevoerd. Als het ontwerp wordt aangepast op basis van de ervaringen van deze eerste test, dezelfde docenten kunnen worden ingezet en tijd kan worden ingeruimd voor fine tuning van het script op de leerpraktijk in het kader van de voorbereiding van de uitvoering, dan is de verwachting dat aan de voorwaarde uitvoerbaarheid binnen docent dbu s kan worden voldaan. Een andere verklaring kan zijn dat de strakke planning van het script te weinig ruimte bood voor regie op de individuele agenda; dat kan het gevoel van werkdruk hebben verhoogd. 5.5 Uitvoering conform ontwerp Uit het onderzoek blijkt dat het ontwerp wel in grote lijnen, maar niet overal exact is uitgevoerd conform ontwerp. Oorzaken voor afwijking van het script waren tijdgebrek en het feit dat veel verschillende docenten, verdeeld over verschillende locaties, betrokken waren bij de uitvoering en de pionier niet op alle locaties fysiek aanwezig kon zijn, waardoor de kans op afwijkingen toenam. Daarnaast betrof het te onderzoeken leertraject een complexe en ook langlopende leerpraktijk met veel variabelen die de uitvoering van het script kunnen bemoeilijken (zie Conclusies). Het vasthouden aan een script, zeker als op enig moment aan de bruikbaarheid wordt getwijfeld, vraagt een grote mate van commitment van de docenten. Om de bruikbaarheid en effectiviteit van het script als geheel te kunnen onderzoeken is het echter noodzakelijk dat het ontwerp wordt uitgevoerd zoals bedoeld. Hierbij moet wel worden aangetekend dat een script dat als zeer bruikbaar wordt ervaren, wellicht ook eerder zal worden uitgevoerd zoals het is bedoeld. 5.6 Effectieve peerreview en technologie Uit het onderzoek blijkt dat de peerreview door technologie ondersteund in deze leerpraktijk niet overal optimaal heeft gewerkt. Door gebrek aan gebruiksvriendelijkheid en overzichtelijkheid en in enkele gevallen door gebrek aan actieve participatie van de docent in de digitale omgeving, is het voordeel van de verlengde leertijd door inzet technologie gereduceerd. Er had meer aandacht moeten zijn voor de voorwaarden voor het adequaat uitvoeren van het ontwerp op dit gebied, waardoor de toegevoegde waarde van de digitale omgeving mogelijk meer zou zijn benut. 5.7 Suggesties voor vervolgonderzoek Op basis van de onderzoeksresultaten en de ervaringen bij de uitvoering kan het programma worden aangepast. Hierbij zou het aangepaste script kunnen worden voorzien van een rationale waarin de ideeën en uitgangspunten achter het ontwerp uiteengezet worden, die met docenten op alle locaties besproken kan worden (voor inzicht en commitment), en moet de implementatie adequaat begeleid worden. Dan is de kans groter dat het ontwerp ook wordt uitgevoerd op alle locaties zoals het is bedoeld. Dit wil niet zeggen dat het vervolgonderzoek zich op al deze aspecten moet richten; er kunnen keuzes gemaakt worden. Daarbij is het in ieder geval van belang om aandacht te schenken aan zowel de condities die via het script te beïnvloeden zijn als aan de condities die in de voorbereiding aandacht vragen. De resultaten van het onderzoek geven aan dat de inzet van peerreview het leerproces kan ondersteunen., maar toch geven studenten en docenten aan dat niet door alle studenten feedback werd gegeven aan medestudenten en dat niet alle peerfeedback van hoge kwaliteit is geweest. Vervolgonderzoek kan ook gericht worden op de wijze 35

36 waarop het geven van feedback van goede kwaliteit kan worden bevorderd, op het geven van kwalitatief goede feedback effectief kan worden ondersteund en onontkoombaar kan worden gemaakt, waarbij de vrijblijvendheid verminderd kan worden, of op hoe het monitoren van de kwaliteit door de docent mogelijk kan worden gemaakt. Uit het onderzoek blijkt dat de weblecture met richtlijnen voor het geven van effectieve feedback niet door alle betrokkenen als waardevol is ervaren, terwijl het toepassen van de richtlijnen cruciaal is voor het geven van goede feedback. Vervolgonderzoek zou zich ook kunnen richten op de wijze waarop door middel van uitleg en op niveau afgestemde uitgewerkte voorbeelden deze richtlijnen beter gecommuniceerd, geoefend en toegepast kunnen worden. Uit het onderzoek blijkt dat niet in alle gevallen de gegeven feedback mondeling (in voldoende mate) is besproken tijdens de les, vaak door tijdgebrek. In vervolgonderzoek zou het script en de activiteiten in de leerpraktijk beter op elkaar moeten worden afgestemd zodat voldoende tijd beschikbaar is voor het in bijeenkomsten bespreken van de ontvangen feedback. Uit het onderzoek blijkt dat zowel studenten als docenten moeite hebben ervaren bij het aanhouden van het script. Dit kan deels te maken hebben met een gebrek aan flexibiliteit in het script, deels met onwennigheid in het werken met een script (en de frequentie van deadlines daarbinnen), en deels met de noodzaak tot fine tuning tussen het script en de leeractiviteiten. Uit vervolgonderzoek moet blijken welke aspecten in welke mate aangepast dienen te worden. 5.8 Ten slotte Door het scripten van de feedbackactiviteiten (door peerreview en expertreview) kan beter worden nagedacht over aspecten met betrekking tot het uit te voeren programma als onderdeel van een curriculum. Het scripten draagt ertoe bij dat knelpunten in de organisatie en uitvoering van het onderwijs zichtbaar worden gemaakt. Het ontwerp kan daarmee een bijdrage leveren aan de didactische innovatie van het curriculum gericht op actief leren van de student. Uit de reguliere (periodieke) evaluatie van de opleiding zelf blijkt dat de waardering bij studenten met betrekking tot het project De Communicatiecyclus over alle locaties gemiddeld goed scoort op punten als belang van de module is duidelijk (4.3), tevredenheid over de wijze waarop het onderwijs door de docent is gegeven (gemiddeld 3.8), veel van de module geleerd (gemiddeld 4.1), en de wijze waarop ik bij deze module beoordeeld wordt (3.6). Een onvoldoende scoort de module is goed te doen in de tijd die er voor staat (gemiddeld 2.5). Een oorzakelijk verband tussen de leeropbrengsten en het werken met scripting van peerreview kan uiteraard nog niet worden gelegd, maar het is zeker reden om die relatie nader te verkennen in vervolgonderzoek. Volgens de teamleider en de periodeleider heeft het scripten er tevens toe geleid dat meer studenten hun werk op tijd aanleverden en dat sluit aan bij wat ook uit de data kon worden afgeleid, namelijk dat het werken met deadlines studenten helpt om hun leerproces beter te organiseren en te sturen. 36

37 Referenties Aitchison, C. (2003). Thesis writing circles. Hong Kong Journal of Applied Linguistics, 8(2), Aitchison, C. (2009). Writing groups for doctoral education. Studies in Higher Education, 34(8), Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 7(74). Black, P., & Wiliam, D. (1998b). Inside the Black Box Raising Standards Through Classroom Assessment. Phi Delta Kappan, 80(2), Boud, D. (2000). Sustainable assessment: Rethinking assessment for the learning society. Studies in Continuing Education, 22(2), Commissie Gedragscode Praktijkgericht onderzoek in het hbo. (2010). Gedragscode praktijkgericht onderzoek voor het hbo. Gedragscode voor het voorbereiden en uitvoeren van praktijkgericht onderzoek binnen het Hoger Beroepsonderwijs in Nederland. Den Haag: HBO-raad. Dennen, V. (2003). Designing peer feedback opportunities into online learning experiences. Paper presented at the 19de Annual Conference on distance teaching and learning., Madison, Wisconsin. Dochy, F., Segers, M., & Sluijsmans, D. (1999). Co-assessment in higher education: a review. Studies in Higher Education, 24(3). Falchikov, N. (2005). Improving assessment through student involvement: practical solutions for aiding learning in higher and further education. New York: RoutledgeFalmer. Finn, G. M., & Garner, J. (2011). Twelve tips for implementing a successful peer assessment. Medical teacher, 33(6), Fransen, J. (2013). De pionier als bruggenbouwer. W4: Weten Wat Werkt en Waarom, 2(3). Götte, B. (2015). Cirkelen rond peerreview: Een ontwerpgericht onderzoek naar een scenario voor de inzet van peerreview in de afstudeerfase van de hogere beroepsopleiding Communicatie van Hogeschool Inholland Diemen. (Master), Hogeschool Inholland, Den Haag. Götte, B., Fransen, J., & Swager, P. (2016). Peerreview ter ondersteuning van het leerproces in de afstudeerfase: Ontwerpgericht onderzoek naar een peerreviewscenario voor het afstudeertraject van de opleiding Communicatie van Inholland. In I. Wegman (Ed.), Praktijkgericht onderzoek inspireert (pp ). Den Haag. Hattie, J. A. C. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. New York: Routledge. Hattie, J. A. C., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), doi: / Juwah, C., Macfarlane-Dick, D., Matthew, B., Nicol, D., Ross, D., & Smith, B. (2004). Enhancing student learning through effective formative feedback. York: The Higher Education Academy (Generic Centre). Keh, C. L. (1990). Feedback in the writing process: a model and methods for implementation. ELT journal, 44(4), Kigozi Kahiigi, E., Vesisenaho, M., Hansson, H., Danielson, M., & Tusubira, F. F. (2012). Modelling a peer assignment review process for collaborative e-learning. Journal of Interactive Online Learning, 11(2), Ladyshewsky, R. K. (2013). The role of peers in feedback processes. In D. Boud & M. E (Eds.), Feedback in Higher and professional education: understanding it and doing it well (pp ). Laurillard, D. (2002). Rethinking university teaching: a conversational framework for the effective use of learning technologies. Londen: RoutledgeFalmer. Min, H.-T. (2005). Training students to become successful peer reviewers. System, 33(2), Mory, E. H. (2004). Feedback research revisited. In D. H. Jonassen (Ed.), Handbook of research on educational communications and technology (2 ed., pp ). London: Lawrence Erlbaum Associates, Publishers. 37

38 Newkirk, T. (1984). Direction and misdirection in peer response. College Composition and Communication, 35(3), Nieveen, N., Folmer, E., & Vliegen, S. (2012). Het evaluatiematchboard. Enschede: SLO. Nilson, L. B. (2003). Improving student peer feedback. College teaching, 51(1), Paulus, T. (1999). The effect of peer and teacher feedback on student writing. Journal of Second Language Writing, 8(3), Richardson, J. C., Ertmer, P. A., Lehman, J., & Newby, T. J. (2007). Using peer feedback in online discussions to improve critical thinking. Paper presented at the The Annual Meeting of the Association for Educational Communications and Technology, Anaheim, CA. Rieber, L. J. (2006). Using peer review to improve student writing in business courses. Journal of Education for Business, Riel, M., Rhoads, J., & Ellis, E. (2005). Culture of critique: Online learning circles & peer review in gratuate education Paper presented at the AERA, Montreal Canada. Romme, A. G. L. (1998). Naar samenwerkend leren in het universitair onderwijs. TVHO, 16(2), Romme, A. G. L., & Nijhuis, J. (2000). Samenwerkend leren in afstudeerkringen. Groningen: Wolters-Noordhoff. Rompa, R. M. G., & Romme, A. G. L. (2001). Samenwerking en leerprestaties in afstudeerkringen. Pedagogische Studien, 78(5), Sadler, D. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), Sahin, S. (2008). An application of peer assessment in higher education. The Turkish Online Journal of Educational Technology, 7(2). Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(153), doi: / Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68(3), Topping, K., Smith, E., Swanson, L., & Elliot, A. (2000). Formative peer assessment of academic ariting between postgraduate students. Assessment & Evaluation in Higher Education, 25(2). Tsui, A. B., & Ng, M. (2000). Do Secondary L2 Writers Benefit from Peer Comments? Journal of Second Language Writing, 9(2), Van den Berg, I., Admiraal, W., & Pilot, A. (2003). Peer assessment in university teaching. An exploration of useful designs. Assessment & Evaluation in Higher Education, 31(1), Van den Berg, I., Admiraal, W., & Pilot, A. (2006). Designing student peer assessment in higher education: analysis of written and oral peer feedback. Teaching in Higher Education, 11(2), Van den Berg, I., Pilot, A., & Admiraal, W. (2005). Peer assessment als leermiddel. Voorbeelden uit het hoger onderwijs. Utrecht: Universiteit Utrecht (IVLOS). Van Seggelen-Damen, I. C., & Romme, A. G. L. (2014). Reflective questioning in management education: lessons from supervising thesis projects. SAGA Open, 4(2), doi: / Van Zundert, M., Sluijsmans, D., & Merriënboer, V. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20, Williams, B., Brown, T., & Benson, R. (2013). Feedback in the digital environment. In D. Boud & E. Molloy (Eds.), Feedback in higher and professional education: understanding it and doing it well (pp ). London: Routledge. 38

39 Bijlage A Planning van het project De Communicatiecyclus Week Activiteiten bijeenkomsten Studie-activiteiten 0 *Opdracht: meld je aan op Moodle en stel jezelf voor in de COFFEECORNER *Opdracht: vul de probleemverkenning (PV) in en plaats hem de WERKPLAATS [Deadline MAANDAG week 1 om 09.00] *Opdracht: lees de geplaatste PV s van je kringgenoten op Moodle. [Deadline MAANDAG week 1 om 09.00] 1 Kick-off (2 lesuren) *Introductie onderzoekstraject Kring (2 lesuren) *Kennismaking: presentatie PV s. Feedback via TAG-methode *Werkwijze bespreken (Community of Learners, feedbackloops, Moodle en participatieregistratie) *Beoordelingsformulier (O&O) en voorbeelden (PV, PR) bespreken *Kringdiscussie: de rol van theorie in je onderzoek *Samenwerkingsafspraken vastleggen (Moodle) *Planning doorlopen (handleiding) *Opdracht: Bekijk de instructiefilm over effectief feedback geven op Moodle in het KENNISCAFE [Deadline MAANDAG week 2 om 09.00] *Opdracht: Theorie verkennen & verwerken in PV. *Opdracht: plaats de 2 e versie van je PV, inclusief theorie op Moodle in de WERKPLAATS [Deadline MA week 2/09.00] Workshop Onderzoek (2 lesuren) *Het rapport O&O 2 Kring (2 lesuren) *Resultaten theorieverkenning (via PV s op Moodle) *Kringdiscussie: van probleemverkenning naar onderzoeksvragen *Individuele casuïstiek bespreken *Inventarisatie individuele verbeteracties PV *Planning peereviews en samenwerkingsafspraken doorlopen 3 Kring (3 lesuren) *Terugkoppelingsgesprekken verwerking peerreview tussen reviewers en gereviewden *Kringdiscussie: Onderzoeksmethoden en kwaliteitscriteria *Inventarisatie individuele verbeteracties PV *Planning peereviews en samenwerkingsafspraken doorlopen Tijdens de workshop wordt het template Onderzoek en Oplossingskader (O&O) doorgenomen. *Opdracht: Ga verder met theorie verkennen. Verwerk de theorie in je PV en voer de verbeteracties uit de kringbijeenkomst uit. Plaats de derde versie van je in de REVIEWROOM [Deadline in overleg met kring] *Opdracht: Peerreview de PV s (2 st.) en upload je peerfeedback in de REVIEWROOM [Deadline in overleg met kring] *Opdracht: Verwerken peerfeedback in je PV, beantwoorden verantwoordingsvragen en upload je werk op Moodle in de REVIEWROOM] [Deadline MAANDAG week 3 om 09.00] *Opdracht: Ontwikkel je onderzoeksinstrumentarium en verwerk dit in je PV Plaats de vierde van je PV in de REVIEWROOM voor expertreview [Deadline in overleg met kring] 39

40 Week Activiteiten bijeenkomsten Studie-activiteiten 4 Kring (2 lesuren) *Terugkoppelingsgesprekken verwerking expertfeedback PV *Onderzoeksinstrumenten bespreken (subgroepen) *Kringdisussie: Onderzoek uitvoeren en verwerken *Inventarisatie individuele verbeteracties Onderzoeksinstrumenten (gehele kring) *Planning en samenwerkingsafspraken doorlopen *Opdracht: Voer verbeteracties op onderzoeksinstrumenten uit *Opdracht: Bereid de uitvoering van je onderzoek voor 5 Zelfstudieweek *Opdracht: Uitvoeren onderzoek *Opdracht: Data verwerken *Opdracht: Zet je PV om naar eerste hoofdstukken van je O&O upload het rapport, inclusief verwerking eerste onderzoeksresultaten in de WERKPLAATS [Deadline MA week 6] 6 Kring (2 lesuren) *Bespreken hoofdstukken rapport en eerste dataverwerking(via rapport O&O op Moodle) *Inventarisatie individuele vervolgacties *Kringdiscussie: Data verwerken en analyseren *Beoordelingsformulier (O&O) en opdracht peerreview O&O bespreken *Planning en samenwerkingsafspraken doorlopen *Opdracht: Uitvoeren onderzoek, Data verwerken, data analyseren *Opdracht: Resultaten beschrijven in het O&O, uploaden rapport in de WERKPLAATS [Deadline in overleg met kring] 7 -Geen kringbijeenkomst *Opdracht: Formuleer twee op basis van het beoordelingsformulier twee vragen aan je peer voor peerreview op je O&O. Upload je eerste versie O&O op Moodle in de REVIEWROOM voor peerreview [Deadline in overleg met kring] *Opdracht: Voer peerreview uit op de toegewezen O&O s (2 st.) en upload je feedback in de REVIEWROOM [Deadline in overleg met kring] *Opdracht: Verwerk de ontavngen peerfeedback in je O&O en beantwoord de verantwoordingsvragen. Uploaden in de REVIEWROOM [Deadline MAANDAG week 8 om 09.00] Workshop Onderzoek (2 lesuren) *Rapporteren van resultaten, conclusies en advies 8 Kring (3 lesuren) *Terugkoppelingsgesprekken verwerking peerfeedback O&O *Kringdiscussie: conclusies en adviezen *Inventarisatie individuele verbeteracties *Planning en samenwerkingsafspraken doorlopen *Opdracht: Aanpassen tweede versie O&O op basis van input uit kringbijeenkomst *Opdracht: Schrijven van conclusies en advies 9 *Opdracht: Uploaden concept O&O voor expertreview in de REVIEWROOM [Deadline MAANDAG week ] *Opdracht: Intussen verder werken aan afronding O&O 10 *Opdracht: Verder afronden O&O *Opdracht: Verwerken expert-feedback O&O en beantwoorden verantwoordingsvragen. Upload je O&O + verantwoordingsvragen in de REVIEWROOM [Deadline MAANDAG week 11 om 09.00] 11 Kring (3 lesuren) *Terugkoppelingsgesprekken verwerking expertfeedback O&O *Inventarisatie individuele verbeteracties *Planning en samenwerkingsafspraken doorlopen *Opdracht: Uitvoeren verbeteracties en uitwerken O&O 40

41 Week Activiteiten bijeenkomsten Studie-activiteiten 12 - *Opdracht: Uploaden O&O voor beoordeling via het inpunt [O&O EERSTE KANS] [Deadline MAANDAG week 12 om 09.00] *Opdracht: Concept ontwikkelen Workshop Conceptontwikkelen / creatie (2 lesuren) *Van ontwerpeisen naar ontwerp 13 Kring (2 lesuren) *Kringdiscussie: ontwikkelen van een prototype *Inventarisatie individuele verbeteracties *Planning en samenwerkingsafspraken doorlopen *Opdracht: Concept ontwikkelen en prototype creëren Workshop Conceptontwikkelen / creatie (2 lesuren) *Testen van je prototype 14 Zelfstudieweek *Opdracht: Concept ontwikkelen en prototype creëren. Upload de eerste versie van je C&I in de REVIEWROOM voor peerreview [Deadline in overleg met kring] *Opdracht: Peerreviewen C&I (2 st.) en uploaden peerfeedback in de REVIEWROOM [Deadline in overleg met kring] *Opdracht: Verwerken peerfeedback in C&I+ beantwoorden verantwoordingsvragen en uploaden op Moodle in de REVIEWROOM [Deadline MA wk15 om 09.00] 15 Kring (2 lesuren) *Terugkoppelingsgesprekken verwerking peerfeedback C&I *Kringdiscussie: Onderdelen implementatieplan *Inventarisatie individuele verbeteracties *Planning en samenwerkingsafspraken doorlopen *Opdracht: Implementatieplan uitwerken Inzagebijeekomst O&O (1 lesuur) Workshop Implementeren (2 lesuren) *Planning en Accountability 16 - *Opdracht: Uploaden concept C&I in de REVIEWROOM voor expertreview [Deadline MAANDAG week 16 om 09.00] *Opdracht (optioneel): Uploaden O&O HERKANSING voor beoordeling via inpunt [O&O TWEEDE KANS] [Deadline VRIJDAG week 16 om 18.00] *Opdracht: Verder afronden C&I 17 Kring (2 lesuren) *Inventarisatie individuele verbeteracties *Planning en samenwerkingsafspraken doorlopen *Opdracht: Verwerken expert-feedback C&I *Opdracht: Verder afronden C&I 18 - *Opdracht: Uploaden C&I voor beoordeling via inpunt [C&I EERSTE KANS] [Deadline VRIJDAG week 18 om 18.00] *Opdracht: Implementatie Inzagebijeekomst C&I (1 lesuur) *Opdracht (optioneel): Uploaden C&I HERKANSING voor beoordeling via inpunt [C&I TWEEDE KANS] [Deadline VRIJDAG week ] Inzagebijeekomst C&I herkansing (1 lesuur) tt DE COMMUNICATIECYCLUS tt WORKSHOPS NB. Dit is het overzicht van activiteiten in het project zonder de kolom met flankerende lessen, studiebelastingsuren en docentbelastingsuren. 41

42 Bijlage B Screenshots vragenlijst studenten en vragenlijst docenten Integrale vragenlijsten en alle data zijn te vinden op bij onderzoekslijn feedback. Integrale vragenlijsten en alle data zijn te vinden op bij onderzoekslijn feedback. 42