Kernpunten uit de pilotrapportages compleet (jan 2014) Op basis van de pilotrapportages van de 9 ULO s (laatste ontvangen eind november) eerste bespreking tijdens de werkconferentie op 2 oktober. In alle verscheidenheid van formulering van de doelen zijn er 5 aandachtsgebieden te onderscheiden waarbinnen de verschillende opleidings pilots doelen hebben gesteld. Uit de pilot rapportages zijn in een aantal van die gebieden de doelen behaald in een aandachtsgebied (werkdruk vermindering) zijn doelen deels bereikt. Bereikte doelen: 1) Criteria voor het maken van een uitvoerbaar onderzoeksplan van master niveau (2 pilots) zijn opgesteld. Dit heeft weliswaar niet geleid tot (beter) zicht op het tempo / voortgang van de onderzoeksplannen zoals bij aanvang bedoeld. 2) Het opstarten, verbeteren, verhelderen van het proces, vorm en inhoud van onderzoeksplannen is door 4 pilots nagestreefd en bereikt: de studenten doorlopen een betere aanloopfase van het onderzoek en leveren een betere plannen aan. 3) Peer feedback en peer beoordeling als leerdoel voor studenten al dan niet om de samenwerking te verbeteren (5 pilots). 4 pilots geven aan hun doelstelling bereikt te hebben met peer feedback. Peer beoordeling (uitbrengen van een eindoordeel) is uiteindelijk in geen van de pilots uitgevoerd, onder andere vanwege de ervaren werkdruk bij studenten. 4) Gebruik maken van digitale (peer) feedback om de kwaliteit van de onderzoeken te verhelderen (criteria), de dialoog tussen student en opleider over kwaliteit op gang te brengen en ervaring op te doen met feedback (5 pilots). Eén pilot beoogde ook externen te kunnen betrekken bij de onderzoeksplannen; de peer feedback is echter bij deze pilot om organisatorische redenen alleen ingevoerd bij het ontwerponderzoek waar geen sprake is van externe beoordelaars. De peer feedback is in één geval digitaal (met Turnitin) uitgevoerd hetgeen, gezien de kleine aantallen studenten, in een lerarenopleidingsgroep weinig rendement leverde. De andere pilots hebben de feedback via mail en vooral ook mondeling tijdens een bijeenkomst uitgevoerd. deels bereikt en deels niet bereikt: 5) Doelstellingen om de werkdruk te verminderen van de opleiders en studenten zijn voor 7 pilots op diverse manieren geformuleerd. Bij 4 pilots is dit doel niet behaald, bij 3 pilots zijn ze deels wel behaald en is er mogelijk wel sprake van een vermindering van werkdruk op lange termijn; in één pilot is de feedbacktijd van de opleiders afgestaan aan de studenten waardoor er wel sprake is van verminderde werkdruk. Als neveneffect van (digitale) peer feedback op de onderzoeksplannen wordt genoemd: - Organisatie: het vereist een strakke(re) tijdsplanning om studenten de gelegenheid te bieden een tweede conceptplan te schrijven op basis van de peer feedback. Zeker als er meerdere rondes van peer feedback zijn en er een diversiteit aan studenten hierin meedoet, levert dit en aantal organisatorische problemen en een grotere werkdrukervaring bij studenten. - Kwaliteit: de peer feedback zet geeft studenten soms valse hoop dat ze op de goede weg zitten: de verbetersuggesties van peers zijn niet altijd de goede. - Taakzwaarte: de peerfeedback vervangt niet de formele feedback van de begeleiders; het is een extra taak om uit te voeren, tegelijk levert het voordelen op voor het leerproces van zowel de gever als ontvanger van de feedback.
- Schaal uitvoering: niet alle betrokken opleiders konden of wilden mee doen aan de peerfeedback in de pilot waardoor de uitvoering beperkt bleef in omvang. - Digitaal: om peer feedback digitaal uit te kunnen voeren is een geschikte ELO nodig. Nu heeft maar één pilot digitaal de peer feedback kunnen uitvoeren middels Turnitin. Het is de vraag in hoeverre opleidingen over de geschikte ELO beschikken, die functionaliteit kennen dan wel voldoende studenten hebben in een onderwijsgroep om digitale uitvoering te verantwoorden. De pilot ervaring leert dat de meerwaarde van de peerfeedback toeneemt naarmate er minder digitaal gewerkt wordt. Daarentegen werken we op de lerarenopleidingen met relatief kleine aantallen studenten en digitalisering heeft dan ook minder zin dan in zeer studentrijke opleidingen. De feedback van tevoren digitaal te geven heeft wel als voordeel dat studenten beter voorbereid komen op de bijeenkomst (Digitale) peer feedback op onderzoeksplannen brengt meerwaarde: - studenten ervaren de peer feedback als zinvol - de extra striktere deadlines die nodig zijn voor de peer feedback worden positief ervaren door studenten (heldere verwachtingen) - de rubric/criteria verschaft duidelijkheid omtrent de vorm en inhoud van het te maken onderzoeksplan en zorgt ervoor dat docenten hun kwaliteitscriteria scherper kunnen expliciteren. - het oefenen met feedback geven is een zinvolle opdracht voor docenten. - een van te voren goed uitgewerkt planningstraject (nodig om peer feedback te kunnen uitvoeren) wordt door studenten goed gewaardeerd. - Bij enkele pilots wordt de mondelinge peer feedback als een succes. - Het uitwisselen en delen van criteria tussen de SURF partners wordt positief. Toekomst: Bijna alle opleidingen geven aan door te willen gaan met het gebruik van de rubrics en de procedure van peer feedback: het verschaft helderheid en is leerzaam voor de studenten. Ook het scheiden van onderzoeksplan fase van het uitvoering van het onderzoek, waardoor er een duidelijk beoordelingsmoment op ongeveer een derde van het traject blijft bij velen gehandhaafd. Verbeter mogelijkheden liggen in: - handhaving van deadlines - duidelijke instructies (oefening) rondom het geven van feedback/feed forward. - experimenten met online feedback, naast de bestaande mondelinge feedback - Het geven van feedback als voorwaarde om het plan in te kunnen dienen. - Specifieke producten om op de website van Non Satis Scire te plaatsen: - Verschillende feedback procedures (met deadlines): welke? - Rubric in 3 versies - Twee of drie handleidingen - Screen cast van digitale peer feedback. - Voorbeelden van peer feedback op onderzoeksplannen.
COLUU: 1) Richtlijnen / criteria voor het maken van een uitvoerbaar onderzoeksplan van master niveau TUE: 1) Beter overzicht/inzicht in kwaliteit en tempo (voortgang) van onderzoeksplannen van studenten door zowel docenten als studenten (helderder criteria) bereikt Bereikt: Criteria voor kwaliteit. Maar: niet direct tot meer inzicht in de voortgang van studenten. UvT 1) Procedure opstarten onderzoek doen Ja: handleiding helder, rubrics goed te hanteren, vergroot ook de betrouwbaarheid, validiteit en snelheid van beoordeling (volgens de vakdocenten). Gaat volgend jaar mogelijk ook gehanteerd worden bij de beoordeling van de onderzoeken van de onderzoeksdocenten van de AOS. UvT 3) Aansluiten bij onderzoek op school, helderheid voor school en student COLUU 2) Verhelderen proces van oz planning ja Bereikt COLUU 3) verhelderen van vorm en inhoud van Ozplannen voor alle betrokken incl begeleiders op school ICLON-UL 2) Verbeteren inzicht studenten in criteria voor onderzoeksplan UTW: 1) Beta studenten ondersteunen bij opzetten sociaal wetenschappelijk onderzoek. COLUU 4) Ondersteuning van peer feedback tijdens planning fase RUG 3) Voor studenten: leren van elkaar door elkaar feedback te geven op producten. TUD 1) Studenten vaker feedback op elkaars halfproducten laten geven TUD: 2) Studenten een eindoordeel laten opstellen, dat naast het oordeel van de opleiders wordt gelegd bereikt Ja, d.w.z. het is gebleken dat de studenten die met de criteria hebben gewerkt en/of daarvan kennis hadden genomen, een redelijk goed zicht hebben op waar hun onderzoeksplan aan moet voldoen, en een vrij goed uitgewerkt plan aanleveren. Ja, studenten worden gedwongen eerst een beschrijving en onderzoeksplan te maken. Ook sparren ze met medestudenten en staf in de aanloop over wat ze van plan zijn en hoe ze dat zouden kunnen onderzoeken. Hiertoe wordt een overzicht gegeven van kwalitatieve en kwantitatieve methoden. Studenten hebben een betere aanloopfase van het onderzoek doorlopen Bereikt Dit doel is bereikt. De studenten geven aan dat het geven van feedback hun op ideeën bracht om het eigen onderzoeksplan te verbeteren. Daarnaast vonden studenten de feedback van hun medestudenten zinvol. Voor een groot aantal studenten was het ontvangen van peer-feedback motiverend: het had een positieve invloed op de studiehouding. Peer feedback had over het algemeen geen invloed op het studietempo. In sommige gevallen werkte het vertragend omdat de peer-feedback niet tijdig werd ontvangen. Ja. 1) De studenten hebben elkaar twee maal formeel tijdens het vak feedback gegeven, halverwege het vak en op het eind. Tussendoor overlegden studenten en gaven elkaar informeel feedback. Ja 2) De opleiders hebben de feedback van studenten meegenomen in het eindoordeel over de onderzoeksvoorstellen. Er is geen sprake van meewegen volgens een formule o.i.d. om het eindcijfer voor het vak te bepalen. TUE 3) Meer variatie in feedbackbronnen voor studenten (naast docenten ook collega studenten) i.e. studenten leren feedback op onderzoeksplannen geven UTw: 2)Studenten meer in gezamenlijkheid door onderzoeksfase laten werken. Het doel met betrekking tot de variatie in feedbackbronnen en elkaar feedback leren geven is bij een deel van de studenten (het deel dat al zover was dat er een conceptplan lag / op een conceptplan gereageerd kon worden) bereikt. Zoals uit bovenstaande alinea al blijkt, was helaas slechts een deel, namelijk ongeveer een kwart van de studenten zover dat er tijdens de collegereeks feedback gegeven kon worden. Deels. Sommige studenten hebben in tweetallen een onderwerp aangepakt. Dat pakt soms goed uit als men elkaar versterkt, soms is het lastig als een van de twee vertraging oploopt. Wat verder lastig is dat de studenten uit fase zijn, sommigen starten in juni of oktober met het Onderzoek van Onderwijs en dan komen de bijeenkomsten niet op het juiste moment.
ICLON-UL 1) Verbetering feedbackvaardigheden studenten bij onderzoeksplannen RUG 1) Binnen de opleiding ervaringen opdoen digitale feedback ILS-RU 1) Via deze pilot de kwaliteit van de beoordeling van het onderzoeksplan verder verbeteren. ILS-RU 2) Via deze pilot wil ILS-RU de dialoog tussen studenten en opleiders over de kwaliteit van het onderzoeksplan stimuleren. UvT: 2) Beoordelingsformulier/ criteria opstellen UvA 1) Betrokkenheid van externe beoordelaars (opdrachtgevers) bij beoordeling vergroten via digitale beoordeling ICLON-Ul 4) Tijdsbesparing voor opleiders wat betreft feedback op onderzoeksplannen Ja. Het is gebleken dat de studenten die hebben gewerkt met de rubric voor het onderzoeksplan daarmee goed uit de voeten konden; gebruik van de rubric voor het onderzoeksplan lijkt de peerfeedback te hebben gefaciliteerd. Overigens bleek de tijd die in de bijeenkomsten beschikbaar was voor de peerfeedback beperkt, zodat het oefenen met peerfeedback niet helemaal tot z n recht kwam. Dit doel is bereikt. We hebben binnen de opleiding ervaring opgedaan met digitaal peer-feedback geven. JA JA ja deels Ja. Het eerste conceptplan hoeft bij gebruik van de peerfeedbackprocedure nog niet door de docent van feedback te worden voorzien; het plan dat na de peerfeedbackronde wordt ingeleverd, is vervolgens al van redelijke kwaliteit. De betrokken opleiders geven doorgaans op het tweede conceptplan met name op de consistentie van het plan, de theoretische inbedding en de geplande methoden nog aanvullende feedback. ICLON UL 3) Meer voortgang van studenten bij uitvoering ontwerponderzoek UvA 2) Slagingspercentage eerste kans vergroten door representatie van de taak te verbeteren: peer feedback op bestaande plannen als oefening in eerste colleges van planvorming via digitale systeem UTw 3) Studenten op tijd onderzoek laten afronden (minder vertraging) RUG 2) Voor docenten: verminderen werkdruk doordat studenten commentaar geven op elkaars eerste conceptversie van het onderzoeksvoorstel. TUE 2) Minder en efficiëntere inzet van beoordelingstijd door begeleiders/opleiders Ten dele. De plannen zijn, over het geheel bekeken voor de groep die met de criteria heeft gewerkt, eerder klaar, maar verderop in het onderzoek treedt regelmatig alsnog stagnatie op. deels Deels. Het helpt dat studenten veel eerder over het onderwerp gaan nadenken, een onderzoeksplan en onderzoeksvraag op tijd opstellen. Dat levert winst op in het vervolg van het onderzoek van onderwijs. Voor de uit-fase studenten kunnen we deze werkwijze 1-op-1 ook toepassen, eerst een goede start en dan pas verder. De blackboardsite met onderzoeksonderwerpen en de OvO-handleiding zijn ook door het jaar heen bruikbaar. Wat blijft is dat studenten die al werken altijd eerder de dagelijkse deadlines volgen ipv het afronden van een onderzoek. Dat vraagt ook wat tijd voor reflectie, een schaars goed voor al werkende studenten. Maar, het begin van de verbetering is ingezet Dit doel is niet bereikt. De werkdruk voor de docenten is niet verminderd door het digitaal peer-feedback geven. Het doel met betrekking tot het besparen van tijd door de inzet van peerfeedback is niet gehaald. Wij hadden ook dit jaar, zoals in onze opleiding gebruikelijk is, te maken met een grote diversiteit op het gebied van planningen van studenten voor het uitvoeren van hun onderzoek. Bij het indelen van de groepjes voor de peerfeedback was hiermee weliswaar rekening gehouden, maar desalniettemin bleken slechts enkele studenten op het daarvoor geplande moment al zover te zijn dat er peerfeedback gegeven kon worden. De feedback is daardoor vooral door docenten gegeven.
ILS RU 3) de werkdruk voor opleiders rondom de (formatieve) beoordeling van het onderzoeksplan verminderen COLUU 5) werkdruk regulering voor studenten en opleiders (waarschijnlijk) niet. niet bereikt