Peer evaluatie: dé manier om van elkaar iets te leren

Transcriptie

1 Peer evaluatie: dé manier om van elkaar iets te leren Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion Delft University of Technology Challenge the future

2 Context Faculteit Luchtvaart- en Ruimtevaarttechniek studenten in BSc en MSc In BSc wordt veel gebruikt gemaakt van Projectonderwijs (ca. 35 ECTS) Studenten werken in groepen van 8 10 studenten aan zeer diverse projecten 2

3 Probleem: Beoordeling Onder docenten grote behoefte aan assistentie bij beoordelen Grootste problematiek: Wie heeft wat gedaan? Hoe groot is de individuele bijdrage geweest? Wat is de kwaliteit van de bijdrage? Hoe heeft een persoon bijgedragen aan het groepsproces? 3

4 Werken in een project Formulering Project doel Project resultaat Evaluatie Tijd 4

5 Werken in project onderwijs projecten Formulatie Project doel Project resultaat Leer resultaat Tijd 5

6 Oplossing: Peer & Zelf evaluaties Peer evaluatie: Het beoordelen van leden van het eigen project team op hun bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen. Zelfevaluatie: Het beoordelen van de eigen bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen. 6

7 Type peer evaluaties Drie types peer evaluatie: 1. Ranking (van beste tot slechtste) 2. Pot verdelen (een pot punten of geld door het team onderling laten verdelen) 3. Rubrics (aan de hand van opgestelde criteria studenten elkaar laten beoordelen) Voor projectonderwijs in het HO is op LR ervaren dat optie 3 het beste werkt. 7

8 Uitvoering Gekozen voor een bestaande set rubrics zoals gebruikt op de United States Air Force Academy in their project Een Rubric is een scoringsvorm waarbij je iemand punten geeft gebaseerd op van te voren opgestelde criteria 8

9 Criteria Op L&R aan de TU Delft worden 5 criteria gebruikt: Job performance Attitude Initiative Communication Management of Resources 9

10 Job Performance Attitude Leadership/Initiative Management of Communication Resources Consistently does more than required. Work is of exceptional quality. Positive and professional attitude which favorably influences other company members. Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project. Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule. Oral and written skills excellent. Very effective within the group and to reviewers. Sometimes does more than required. Work is of high quality. A producer. Positive attitude toward project and the team. Readily accepts tasks, sometimes seeks more work. Gets involved in the project. Uses time effectively in and of group. Completes all tasks on time. Usually effective. Performs all assigned tasks. Quality of work is acceptable. Neutral attitude. Gets involved enough to complete tasks. Does his/her share. Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time. Generally gets the point across. Tries to improve in weak areas. Performs all assigned tasks. Work must be redone or repaired to meet standards. Negative attitude toward project and/or project. Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good. Wastes most of group time. Seldom seen doing productive work. Some tasks completed late. Skills ineffective. Makes an effort to improve. Performs some assigned tasks. Work must be redone by others to meet standards. Negative attitude which adversely affects other company members or project. Lets others do the work; does the minimum he/she thinks is needed to get by. Does little useful work in group or out; wastes his/her time and others. Work is constantly late. Skills ineffective. Makes little or no effort to improve. 10

11 Criteria: Job Performance Consistently does more than required. Work is of exceptional quality Sometimes does more than required. Work is of high quality. A producer Performs all assigned tasks. Quality of work is acceptable. Performs all assigned tasks. Work must be redone or repaired to meet standards Performs some assigned tasks. Work must be redone by others to meet standards. 11

12 Criteria: Attitude Positive and professional attitude, which favourably influences other team members. Positive attitude toward project and the team Neutral attitude. Negative attitude toward team and/or project. Negative attitude which adversely affects other team members or project. 12

13 Criteria: Initiative Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project. Readily accepts tasks, sometimes seeks more work. Gets involved in the project. Gets involved enough to complete tasks. Does his/her share. Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good. Lets others do the work; does the minimum he/she thinks is needed to get by. 13

14 Criteria: Management of Resources Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule. Uses time effectively in and of group. Completes all tasks on time. Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time. Wastes most of group time. Seldom seen doing productive work. Some tasks completed late. Does little useful work in group or out; wastes his/her time and others. Work is constantly late. 14

15 Criteria: Communication Oral and written skills excellent. Very effective within the group and to reviewers. Usually effective. Generally gets the point across. Tries to improve in weak areas. Skills ineffective. Makes an effort to improve. Skills ineffective. Makes little or no effort to improve. 15

16 IT systeem implementatie eisen Web based, systeem onafhankelijk Exporteerbare files Batch enroll functie Neutrale interface Criteria kunnen aangepast en aangevuld worden Ratings zijn niet terug te voeren op individuen Docent is regisseur en beslist wat er met de data gebeurt 16

17 Hoe in te vullen? Per teamlid en voor zichzelf het meest van toepassing zijnde hokje invullen voor iedere categorie Mogelijkheid tot het geven van een toelichting via commentaar box Commentaar kan private of public worden gegeven 17

18 Data beheer Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem. Alle studenten loggen in met NetID Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 3 niveaus voor publicatie: de hele groep de staf de administrator 18

19 Ervaringen met Peer evaluaties Om optimaal gebruik te kunnen maken van peer evaluaties moeten ze min. twee keer per project worden uitgevoerd (halverwege en aan het eind) Commentaar functie wordt als zeer nuttig ervaren Omdat de resultaten niet in een cijfer wordt omgezet wordt het systeem door studenten geaccepteerd als eerlijk Een goede IT infrastructuur is onontbeerlijk om de administratieve lasten voor docenten te beperken 19

20 Gebruik tot nu toe Vanaf 2000 met eigen systeem gewerkt Gemaakt door student assistenten Aantal gebruikers van systeem groeit hard Steeds moeilijker systeem in eigen beheer te houden en te updaten: continuïteit komt in gevaar Eind 2009 is besloten om met externe partner in zee te gaan: Parantion 20

21 Parantion Enquêtes: Web Survey Ontwikkeling: Scorion 21

22 Scorion: voorbeelden van modules Ontwikkeling zichtbaar maken Reflectie (360 graden feedback) Formatief toetsen Matchen Formulier gedreven portfolio Peer Evaluatie Dus: Faciliteert en visualiseert leer- en ontwikkelprocessen 22

23 Voortgang 23

24 360 graden feedback 24

25 Formatief toetsen (evt. competenties) 25

26 Matchen Matching student competenties en competenties te behalen in project. Student kiest project en solliciteert. 26

27 (Medisch) Portfolio:formulier gestuurd: maart

28 Peer evaluaties in Scorion Group Aantal vragenlijsten: 2x2 Self Self Peer Peer 28

29 Hoeveel vragenlijsten zou.8 29

30 Dus: L&R voor één vak Projectonderwijs L&R 80 groepen 8 studenten per groep X 8 vragenlijsten

31 Demo/screenshots 31

32 Self Peer 32

33 Feedback 33

34 Koppelingen 34

35 Toekomstplannen Succesvolle implementatie bij TUDelft eind 2010 Kwalitatieve en kwantitatieve ontwikkeling op alle niveaus 35

36 Conclusies Peer evaluaties zijn een hele nuttige tool bij het beoordelen van individuele bijdrages in projectonderwijs IT-infrastructuur voor dit type projecten moet professioneel worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te garanderen Met hulp van het Scorion systeem van Parantion kan dit bereikt worden 36

37 Vragen? Dr. Ir. Gillian N. Saunders-Smits Drs. R.A. Smabers Drs. R.J. Smeenk 37