KATHOLIEKE UNIVERSITEIT LEUVEN FACULTEIT INGENIEURSWETENSCHAPPEN KASTEELPARK ARENBERG 1 B-3001 LEUVEN Verkorte facultaire nota FEEDBACK Bevindingen en aanbevelingen van de facultaire werkgroep Feedback - Facultaire POC Ingenieurswetenschappen -
Inhoud 1 Inleiding... 3 2 Good practices... 3 2.1 Feedback op toetsen en examens... 3 Mondelinge examens... 3 Schriftelijke examens... 4 Tussentijdse toetsen... 4 2.2 Feedback bij specifieke werkvormen... 6 Hoorcollege... 6 Werkcollege... 6 Oefenzitting... 6 Ontwerpen (architectuur)... 7 P&O en andere langdurige projecten... 8 Verslagen, presentaties en opdrachten... 8 Masterproef... 9 3 Implementatie... 10 3.1 Hoe ga je als opleiding hiermee aan de slag?... 10 3.2 Hoe ga je als docent aan de slag rond feedback?... 10 3.3 Meer weten?... 11 4 Referenties... 11 2
1 Inleiding Met deze verkorte nota wil de faculteit via voorbeelden en good practices opleidingen materiaal aanbieden waarmee ze aan de slag kunnen om feedback in de dagdagelijkse praktijk te optimaliseren. Het kan tevens als kader dienen voor onderling overleg en informatie-uitwisseling over feedback en te voeren beleid. Meer achtergrondinformatie kan je terugvinden in de uitgebreide versie van deze nota. 2 Good practices 2.1 Feedback op toetsen en examens Een examen is een evaluatiemoment. Feedback maakt van het examen echter ook een leermoment voor de student. Belangrijk is om steeds na te gaan welke soort van feedback de student nodig heeft en hoe je die kan organiseren. Probeer tijdens de feedback verder te gaan dan enkel inzage in het examen, bespreek de examenvragen en antwoorden met de student en geef indien nodig feedback op de gehanteerde studeerstrategie. Mondelinge examens Bij het afnemen van mondelinge examens kan het gebruik van een evaluatieformulier of beoordelingsschema per student, helpen om meer objectiviteit en overzicht te bewaren. Ditzelfde formulier kan dan eveneens gebruikt worden om achteraf feedback te verschaffen aan de student, analoog aan het zogenaamde inkijken van examenkopij bij schriftelijk examens (zie 4.2). Strikt juridisch gezien mag er tijdens of onmiddellijk na het examen zelf geen expliciete feedback gegeven worden. Dit mag pas nadat het resultaat van het examen werd vastgesteld door een examencommissie. Uiteraard blijft het mondeling examen een interactief vraaggesprek waar de docent aan de hand van gerichte vragen peilt naar de kennis en het inzicht van de student. Opmerking: Wanneer een opleidingsonderdeel verzorgd wordt door een team van docenten, is de invulling van de evaluatie een gezamenlijke verantwoordelijkheid. Naast het gezamenlijk opstellen van de examenmodaliteiten, is het opstellen van de beoordelingsregels en een beoordelingsschema uiteraard ook een gezamenlijke verantwoordelijkheid. 3
Schriftelijke examens Volgende werkwijze kan als voorbeeld dienen. Het ter beschikking stellen van een modeloplossing via Toledo geeft de studenten vooral inhoudelijke feedback. Afhankelijk van het soort examenvragen (open versus gesloten) is deze vorm van feedback meer of minder aangewezen. Het inkijken van de eigen examenkopij is vervolgens zeer waardevol. Inzage in hun eigen examenkopij maakt het beoordelingsproces transparanter. Afhankelijk van de grootte van de groep studenten en de aard van de feedback zijn verschillende opties mogelijk. - In eerste instantie kan de student zijn examenkopij inkijken op het secretariaat. De student krijgt zo de kans om zijn eigen antwoorden te evalueren en maakt kennis met de wijze waarop een schriftelijk examen wordt verbeterd. Studenten die op zoek zijn naar een verantwoording van hun score op het examen, hebben vaak voldoende aan zo n inzage zonder commentaar. Dit is des te waardevoller wanneer de docent tijdens het verbeteren feedback noteerde op de kopij. - Een korte bespreking met de docent van het vak geeft de student meer feedback over de achterliggende redeneringen. Vaak wordt hier ook ingegaan op hoe deze redeneringen leiden tot de verkregen score. Deze bespreking wordt bij voorkeur georganiseerd in de vijf werkdagen na de bekendmaking van de punten, zodat de student in het geval hij zijn resultaat betwist, nog de kans heeft om een beroepsprocedure op te starten. - Een uitgebreidere bespreking met een monitor (voor vakken van de eerste fase), assistent of docent geeft de student gedetailleerde inhoudelijke feedback over de gevolgde en de te volgen werkwijze en een diepgaandere bespreking van de leerdoelen en leerstrategieën van de student. Deze uitgebreide feedback focust voornamelijk op het motiveren van de student en zijn studievoortgang. Tussentijdse toetsen In de eerste fase van de opleiding worden halverwege elk semester tussentijdse toetsen (of TTT s) georganiseerd. Deze TTT s zijn schriftelijk en werden ingevoerd met het oog op meerdere doelen: - De starters kunnen zo kennismaken met de manier van toetsen, het is daarom belangrijk dat de toets voldoende representatief is. Opmerking: Gezien het tijdstip (halverwege het semester) is het opstellen van een representatieve toets geen eenvoudige opdracht. Wanneer een didactisch team voluit kiest voor een toets, representatief voor het eindexamen, is er gevaar dat die toets niet echt zal peilen naar de kennis en vaardigheden die studenten op dat moment reeds moeten beheersen, maar eerder naar het niveau vereist op het eindexamen. Dit kan demotiverend werken, waardoor de toets zijn effect mist op het vlak van motivering en activering. Het is 4
voor ieder didactisch team dus zoeken naar een evenwicht waarbij de drie doelstellingen voldoende bereikt worden. - Door de organisatie van formele testen willen we de startende studenten activeren en aansporen om vroeg genoeg in het semester aan de slag te gaan met de leerstof. - De starters krijgen feedback over hoe ver ze staan ten aanzien van de vooropgestelde leerdoelen. Zowel inhoudelijke feedback is van belang, als feedback over hun leerstrategie. Met deze feedback willen we opnieuw de startende studenten motiveren. Aangezien het activeren van studenten een belangrijke doelstelling is van de TTT, heeft de faculteit ervoor gekozen om studenten die een goede TTT afleggen hiervoor te belonen onder volgende voorwaarden: - De student is geslaagd voor de tussentijdse toets. - Het resultaat op de tussentijdse toets is beter dan het resultaat tijdens de eerstvolgende examenperiode. Dit houdt in dat er geen verrekening van de tussentijdse toetsen gebeurt bij resultaten behaald in de derde examenperiode. Indien voldaan werd aan deze voorwaarden, worden resultaten behaald op tussentijdse toetsen verrekend in het eindresultaat tijdens de eerstvolgende examenperiode, en wel in een verhouding 1/4 voor de tussentijdse toets en 3/4 voor het examen in de examenperiode. Omwille van de grote groep van starters kunnen niet alle studenten elke toets meedoen. In de week voor de toetsen wordt er geloot tussen de studentengroepen. Na de TTT s komen de opgaven op Toledo. Zo krijgen studenten de kans om zelfstandig de toetsen van de andere groep op te lossen. Ook flexibele studenten die nog een opleidingsonderdeel uit 1 e fase volgen kunnen hiervan gebruik maken. In de week na de TTT s wordt een gezamenlijk feedbackmoment georganiseerd voor alle toetsen. De studenten kunnen in kleine groepjes samenwerken aan de niet-opgeloste toetsen onder begeleiding van de monitoren. De modeloplossingen worden verspreid via Toledo en/of kort besproken in het hoorcollege. 5
2.2 Feedback bij specifieke werkvormen Hoorcollege In het hoorcollege kan feedback worden gegeven aan een grote groep studenten tegelijk. Deze manier van feedback geven is bijgevolg vooral bruikbaar voor: - het behandelen van voorbeeldexamenvragen; waarbij een goed en slecht antwoord worden getoond en toegelicht; - het geven van toelichting bij modeloplossingen; - het bespreken van veelvoorkomende fouten; - het geven van een algemene vragensessie. De docenten kunnen dan rechtstreeks inspelen op de vragen die ze van studenten krijgen. - het collectief bespreken van de behaalde resultaten op een toets of een examen. Wanneer de docent in het hoorcollege toelichting geeft bij de gemiddeld behaalde score of het histogram van behaalde scores, verkrijgen de studenten meer inzicht in hun studievoortgang. Werkcollege Tijdens een werkcollege kan de docent samen met de studenten de oplossingsstrategie voor het maken van complexe (examen)oefeningen doorlopen. De oefeningen worden collectief gemaakt, door een grote groep studenten tegelijk, begeleid door een docent, eventueel aangevuld met één of twee leden van het didactische team. De docent verduidelijkt voor de grote groep de opeenvolgende stappen. Tussenin is er steeds tijd voorzien waarin de studenten zelfstandig een deel van de oefening oplossen. Op die manier krijgen de studenten in groep inhoudelijke feedback over de manier van aanpak van een typische examenoefening. Daarenboven is er tussendoor ook tijd voor individuele feedback op hun eigen oplossingsmethoden en gemaakte fouten. Oefenzitting Voor een toekomstig ingenieur is het uitermate belangrijk dat hij/zij niet alleen kennis opbouwt, maar ook dat hij/zij de nodige vaardigheden ontwikkelt om de kennis toe te passen op nieuwe problemen. De werkvorm oefenzittingen speelt hier een cruciale rol. De oefenzittingen worden traditioneel georganiseerd in groepen van 20 à 30 studenten en begeleid door (jonge) doctoraatsstudenten. Tip: Beginnende doctorandi kunnen binnen de facultaire assistentenvorming een sessie met feedback als thema volgen. Tijdens deze sessie krijgen ze tips and tricks voor het geven van feedback tijdens de zitting zelf. 6
De eigenheid van deze werkvorm maakt dat dit het moment bij uitstek om de studenten inhoudelijke feedback te geven. De diepte en aard van de nodige feedback is echter afhankelijk van de mate waarin de individuele student gevorderd is in zijn leerproces en de individuele leerstrategie van de student zelf. Het verspreiden en/of bespreken van modeloplossingen op het einde of na afloop van een oefenzitting is een vorm van feedback die door studenten vaak wordt verkozen en aangemoedigd. De docententeams zijn het echter niet allemaal eens over het nut hiervan in functie van het leerproces van de student. De faculteit is van mening dat ook hierbij geldt dat het verspreiden van modeloplossing enkel wenselijk is wanneer het ten goede komt aan het activeren van studenten en het behalen van de vooropgestelde leerdoelen. Met andere woorden, men moet hierbij zoeken naar de meeste gepaste vorm en wijze en ook hier is een uitgebreid scala aan mogelijkheden: - Bespreken van voorbeeld bij het begin van de zitting. - Het bespreken en/of verspreiden van een uitgewerkte modeloplossing op het einde van de zitting. - Het verspreiden van een uitgewerkte modeloplossing onmiddellijk of enige tijd na de oefenzitting. - Het verspreiden van enkel numerieke oplossingen. - Het verspreiden van oplossingsstrategieën zonder de volledige uitgewerkte oplossing. Gequoteerde oefenzittingen zijn een bijzondere vorm van oefenzittingen, die worden georganiseerd om de studenten te activeren. De student verkrijgt meteen ook feedback over hoe ver hij/zij staat in haar leerproces. Belangrijk is wel dat de student niet enkel een cijfer krijgt als terugkoppeling, maar dat hij ook de kans krijgt om meer inhoudelijke feedback te bekomen. Ontwerpen (architectuur) In de opleiding architectuur is men er zich van bewust dat feedback op ontwerpen naast heel wat objectieve aspecten ook steeds een aantal subjectieve elementen bevat. Steeds wordt er naar gestreefd de objectieve aspecten aan te geven en de subjectieve evaluatie te kaderen. Niet alleen het eindproduct maar ook het leerproces wordt geëvalueerd. Dit laatste krijgt minder aandacht over de jaren heen. Het is mogelijk dat bij het begin van de opleiding het eindproduct nog niet aan alle eisen voldoet maar dat ontwerpvaardigheden significant werden aangescherpt. Omwille van het belang van feedback over proces en eindproduct wordt er voor de ontwerpvakken, bovenop de consultatiemomenten en tussentijdse en finale jury s (waarbij studenten vaak ook leren van het werk en de evaluaties van anderen) op het einde van elke examenreeks een Feedbackmoment ontwerpen georganiseerd. De studenten krijgen individuele inhoudelijke commentaar op hun ontwerp. Deelpunten kunnen worden meegedeeld, maar de eindscore voor het opleidingsonderdeel niet. Een eindscore bleek vaak de aandacht af te leiden van de inhoudelijke onderbouwing. Daarenboven wordt voor de studenten die een ontwerp moeten herkansen een 7
opstartgesprek voorzien waarbij aangegeven wordt welke aspecten moeten verbeterd worden om de einddoelstelling van de specifieke opdracht te halen. P&O en andere langdurige projecten De dagelijkse begeleiders van P&O-projecten geven vaak en veel dagelijkse, tussentijdse feedback. Deze feedback is echter niet altijd geformaliseerd, waardoor studenten het ook niet altijd even ernstig opvatten. Deze dagelijkse feedback kan beter worden georganiseerd, door bv. het gebruik van een standaard feedbackformulier (dat de verschillende feedback-onderwerpen aangeeft) en/of een systeem met kleurcodes (groen = goed, geel = matig, rood = onvoldoende). Op die manier kan op een meer uniforme manier feedback gegeven worden door verschillende begeleiders. Opmerking: Hetzelfde systeem met standaard feedbackformulieren en kleurcodes wordt ook door de studenten zelf gebruikt als vorm van self- en peer-feedback. Vaak wordt er wel tussentijds, in de helft van het project, op een meer formele manier feedback gegeven aan de hand van een tussentijds verslag en/of tussentijdse demonstratie. Op het einde van het P&O-project wordt er relatief weinig inhoudelijke feedback gegeven op het eindproduct zelf. Nochtans hechten de studenten hier zelf veel belang aan. Het zou bijgevolg wenselijk zijn als er, naast feedback op het verslag en de presentatie, meer aandacht gaat naar inhoudelijke feedback op het eindproduct. Dit kan bv. door een feedbackmoment te organiseren na de eindpresentatie van een P&O-project, waarbij de dagelijkse begeleider en/of de verantwoordelijke docent mondelinge feedback geven op het project. Verslagen, presentaties en opdrachten Deze werkvormen lenen zich bij uitstek tot het geven van feedback. Er worden hierbij immers vaardigheden geoefend die doorheen de opleiding terugkeren. Net omwille van het grote belang van feedback, zijn studenten bij deze werkvormen vaak vragende partij voor geïndividualiseerde directe feedback op zijn of haar prestaties of die van de groep. Opmerking: Aan de faculteit loopt een onderwijsproject [RAPPING]: Leerlijn rond RAPPorteren in de INGenieursopleiding, dat van start ging in december 2011 en docenten het nodige wil aanreiken voor het geven van feedback op schrijf- en presentatievaardigheden. TUSSENTIJDSE FEEDBACK Dit maakt dat de student zijn proces kan bijsturen nog voor hij/zij beoordeeld wordt, waardoor het eindresultaat tot een hoger niveau kan worden getild. Deze tussentijdse feedback kan zowel individueel als collectief gegeven worden. Bv. Kleinere opdrachten gedurende het semester geven gevolgd door feedback in plaats van een grote paper op het einde, draftversie laten indienen, enkele algemene aandachtspunten die opvallen doorheen de opdrachten/papers/presentaties. 8
De feedback op een projectverslag in P&O1 kan als voorbeeld dienen: - De studenten krijgen richtlijnen omtrent zowel de inhoud van het verslag als tips voor het schrijven van wetenschappelijke verslagen. Een template geeft de verschillende onderdelen van het verslag aan. - Aan de hand van een checklist krijgen de studenten feedback op hun verslag. Hierbij wordt een onderscheid gemaakt tussen feedback op de schrijfvaardigheden van de studenten en inhoudelijke feedback op de uitgevoerde opdracht. De checklist zorgt ervoor dat alle studenten op een uniforme feedback krijgen op hun werk. Daarenboven vergemakkelijkt deze checklist het verbeterwerk omwille van de grote groep starters. Opmerking: Dezelfde checklist wordt ook door de studenten zelf gebruikt als vorm van peerfeedback. - Om reflectie te stimuleren, worden de studenten aangemoedigd om hun verslag te verbeteren op basis van de gekregen feedback. Ook hier staan een deel van de punten op. WERKEN MET BEOORDELINGSROOSTERS Dit is ook bij deze werkvormen uitermate zinvol. Dit kan gebruikt worden als feed-forward door deze aan het begin van de opdracht te voorzien, kan gebruikt worden om peer-feedback te geven, kan fungeren als middel om feedback nadien te voorzien voor de student, Tip: Feedback op opdrachten kan betrekking hebben op leerinhouden, vorm, taalgebruik en kwaliteit en structuur van bv. argumentatie. Tip: Feedback op presentaties kan te maken hebben met verstaanbaarheid, begrijpelijk een boodschap kunnen overbrengen, PEER FEEDBACK Dit kan zowel op inhoudelijke en vormelijke aspecten als op vaardigheden, groepsproces, Bv. Studenten geven 3 positieve en 3 negatieve kenmerken van elkaars presentatie, studenten verbeteren elkaars paper aan de hand van het beoordelingsrooster en worden beloond indien zij dit correct en grondig doen, studenten evalueren enkele vaardigheden zoals samenwerking, inzet enz. tijdens groepswerken. Masterproef Ook tijdens en na de masterproef neemt feedback een belangrijke plaats in. Over het algemeen gelden hier dezelfde aanbevelingen als deze die eerder in de nota werden opgesomd. Momenteel heeft ieder departement of afdeling zijn eigen gewoontes en richtlijnen. Dit maakt ook dat er niet overal feedback gegeven wordt op het eindresultaat. De manier van quoteren en berekenen van het eindresultaat kan erg verschillen tussen de verschillende departementen. Om deze verschillen faculteitsbreed te bekijken werd de facultaire werkgroep masterproef opgericht. In eerste instantie werden een aantal richtlijnen geformuleerd en werd er een template ontworpen. Een volgende stap bestaat er in om te werken aan generieke doelstellingen en een beoordelingsrooster. Alle informatie en documenten inzake de masterproef kunnen worden teruggevonden op de facultaire website. 9
3 Implementatie 3.1 Hoe ga je als opleiding hiermee aan de slag? Om opleidingen te helpen zijn hieronder een aantal richtvragen geformuleerd, die kunnen gebruikt worden wanneer opleidingen rond het thema feedback wensen te werken 1 : - Wat is de plaats van feedback in de opleiding? - Waar, wanneer en hoe krijgen studenten feedback ter ondersteuning van hun leerproces? (bv. tussentijds of op het einde, in navolging van opdrachten, vrijblijvend of verplicht ) - Hoe verhouden feedbackmomenten zich tot de evaluatiemomenten? - Hoe wordt ervoor gezorgd dat studenten actief aan de slag gaan met feedback? - Op welke manier vindt er in de opleiding overleg plaats over feedback in de verschillende opleidingsonderdelen? - Is er een schriftelijke neerslag gebaseerd op onderbouwde keuzes rond het topic feedback? Is hierbij geëxpliciteerd hoe deze visie gekoppeld is aan of vertaald is uit/in de facultaire visie? 3.2 Hoe ga je als docent aan de slag rond feedback? Volgende stappen kunnen hierbij inspirerend werken: - Neem de leerdoelen en leerinhouden van je opleidingsonderdeel bij de hand en ga na voor welk leerdoel/leerinhoud je mogelijkheden voor feedback ziet. Een vraag die hierbij kan helpen is: met welke zaken hebben studenten vaak moeite, waar zou extra ondersteuning goed van pas komen? - Leg in een (semester)planning vast op welke momenten feedback geïntegreerd kan worden. Denk hierbij aan mogelijkheden tijdens en/of buiten de contactmomenten. - Ga na welk type en inhoud van feedback meest geschikt alsook haalbaar is. Denk aan de verschillende varianten (collectief/individueel, mondeling/elektronisch/schriftelijk, ). Denk hierbij aan de aanbevelingen (paragraaf 2.2) en haal inspiratie uit de good practices (hoofdstuk 4). - Werk één feedbackmoment concreter uit (bv. een voorbeeldexamenvraag met antwoordmodel, feedback bij een voorbeeldopdracht, vragen met feedback voor een 1 Deze werden reeds geformuleerd binnen het document Werken aan een toetsbeleid: een ondersteuningsinstrument, uit gewerkt door de Dienst Universitair Onderwijs (DUO) van KU Leuven. 10
tussentijdse oefentoets, een format voor peer-feedback, ). Bespreek eventueel met een collega, een assistent uit je didactisch team of een onderwijsondersteuner. - Een docent kan met betrekking tot de nieuwe werkvorm ook zelf feedback vragen aan de studenten. De studenten kunnen dan aangeven wat hun ervaringen waren met de werkvorm en wat er in de toekomst kan worden verbeterd. 3.3 Meer weten? https://www.bvdatabank.be Op deze website zijn steekkaarten met richtlijnen en adviezen over innovatieve onderwijsbenaderingen, werkvormen en evaluatiemethoden binnen het hoger onderwijs te vinden. Omtrent feedback zijn er een aantal inspirerende voorbeelden beschreven. https://www.kuleuven.be/duo/steekkaarten.html Voor meer informatie over het verschil tussen formatieve-summatieve evaluatie, verschillende feedbackvormen enz.: zie de steekkaart feedback. 4 Referenties Bloxham, S. & Boyd, P. (2007). Developing Effective Assessment in Higher Education. A Practical Guide. Berkshire:Open University Press. Clement, M. & Laga, E. (Eds) (2006). Steekkaarten doceerpraktijk. Antwerpen: Garant. Dienst Universitair Onderwijs (DUO). Werken aan een toetsbeleid: een ondersteuningsinstrument. Gibbs, G. & Simpson, C. ( 2004). Conditions Under Which Assessment Supports Students Learning. Learning and Teaching in Higher Education, 1(05). McKeachie teaching tips. Strategies, research and theory for college and university teachers. Nicol, D.J., Macfarlane, D., (2006). Formative assessment and self- regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education. Vol. 31, No2, pp199-218. Overzichtsreview van Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), pp. 81-112. 11