Voorlopig Onderzoeksplan Bachelorscriptie

Transcriptie

1 Voorlopig Onderzoeksplan Bachelorscriptie Probleemstelling SimSE is een educatief computerspel dat studenten van systeem ontwikkeling vakken de kans geeft de geleerde kennis in de praktijk te brengen als projectmanager in een virtueel softwarehuis. Het doel van het spel is het succesvol afronden van een software ontwikkeling project. De speler kan dit doel bereiken door de verschillende virtuele teamleden opdrachten te geven, zoals het opstellen van requirements, programmeren en testen. De makers van dit spel beweren dat studenten door het spelen van het spel praktijkervaring krijgen met het software ontwikkeling proces. Kunnen studenten deze kennis echter ook gebruiken buiten het spel? Dit brengt ons op de hoofdvraag: Wat is de educatieve effectiviteit van SimSE? Om deze vraag te beantwoorden, wordt eerst een antwoord gezocht op de volgende twee deelvragen: 1. In hoeverre gebruiken studenten software ontwikkeling kennis bij het spelen van SimSE? 2. In hoeverre kan de kennis die wordt opgedaan tijdens het spelen van SimSE buiten het spel toegepast worden? Verantwoording Software ontwikkeling is een vak dat als doel heeft studenten inzicht te verschaffen in het proces van systeemontwikkeling. Bij een standaard software ontwikkeling cursus worden theorieën en concepten in een aantal colleges uitgelegd en voeren studenten een kleine praktijkopdracht uit. Op deze manier komen de studenten echter niet in aanraking met een aantal kritieke problemen die in een echt software ontwikkeling proces kunnen ontstaan. SimSE is ontworpen om dit gemis te verhelpen. Er is echter nog niet onderzocht of studenten daadwerkelijk kennis opdoen door het spelen van het spel die ze daarna buiten het spel toe kunnen passen.

2 Theoretisch kader Wat is serious gaming in educatieve context? Susi, Johanneson en Backlund [1] omschrijven serious games als: spellen gebruikt voor andere doeleinden dan louter entertainment. Deze spellen geven studenten de mogelijkheid situaties te ervaren die onmogelijk of onpraktisch na te bootsen zijn in de echte wereld maar de speler wel helpen bij het ontwikkelen van verschillende vaardigheden. Game based learning is onderdeel van serious gaming waarbij het gaat om een toevoeging van spellen aan het leerproces om zo docenten een mogelijkheid te geven studenten te motiveren, de effectiviteit van leren te verhogen. Door het toevoegen van educatieve spellen aan de standaard Software Engineering colleges kunnen studenten in aanraking komen met de uitdagingen die het managen van een systeemontwikkeling project in de praktijk met zich meebrengt. Eerder onderzoek SimSE is meerdere malen op verschillende manieren geëvalueerd. [4] In eerste instantie werd het spel getest door het door een aantal studenten te laten spelen waarna ze een vragenlijst moesten invullen over hun ervaringen, zoals spelplezier en of ze het gevoel hadden iets van het spel geleerd te hebben. Later werd SimSE getest door middel van een pre- en post-test vergelijkend onderzoek waarbij het effect van SimSE vergeleken werd met het lezen van een boek of het volgen van colleges. In weer een ander onderzoek werden de ervaringen van studenten met SimSE onderzocht met onderzoek waarbij individuele studenten geobserveerd werden terwijl ze SimSE speelden waarna ze geïnterviewd werden over hun ervaringen. Wat zijn indicatoren voor de leerzaamheid van een serious game? Michael en Chen [2] noemen de volgende uitdagingen voor het meten van de educatieve effectiviteit van serious games: - Traditionele methoden van testen meten veelal of de studenten een groot aantal feiten kunnen onthouden, in plaats van of ze het (software ontwikkeling) proces begrijpen. - In simulaties zijn er vaak meerdere oplossingen om tot het gewenste eindresultaat te komen. Dit maakt het moeilijk om te bepalen in hoeverre een oplossing een "correcte" oplossing is. De drie vormen van meten van leren die momenteel het meest gebruikt worden bij serious games zijn: - afronding - Heeft de student het doel van het spel behaald? - beoordeling tijdens het spelen - Hoe koos de student zijn of haar acties? - beoordeling van de docent - Denkt de docent -gebaseerd op observaties die hij gemaakt heeft terwijl de student het spel speelde- dat de student de stof begrijpt? Greitzer, Kuchar en Huston [6] laten spelers hardop uitleggen waarom ze een bepaalde keuze maken terwijl ze het spel spelen. Met deze informatie kan later bepaald worden of de acties van de student gebaseerd zijn op kennis die door het spel is aangeleerd.

3 Methode Om een oordeel te kunnen vellen over de educatieve effectiviteit van SimSE wordt een aantal studenten gevraagd hardop na te denken tijdens het spelen van SimSE. Dit geeft informatie over het denkproces van de speler voordat een bepaalde keuze in het spel gemaakt wordt. [7] Zogeheten think-aloud protocols worden veel gebruikt in de cognitieve psychologie om het oplossen van problemen te onderzoeken. Tegenwoordig wordt deze methode ook veel gebruikt bij het onderzoeken van het gebruik van software [8,9]. De studenten worden gekozen op hun kennis van de waterval ontwikkelmethode, wat betekent dat de proefpersonen masterstudenten of derdejaars bachelorstudenten zijn. Er wordt gebruik gemaakt van de waterval procesmethode versie van het spel, aangezien deze in eerder onderzoek [3,4,5] ook gebruikt is. Voor het onderzoek wordt bij een deel van de studenten individueel een interview afgenomen om het gemiddelde kenniveau met betrekking tot de waterval methode van de groep te bepalen. Voor het spelen worden de proefpersonen ingelicht over het gebruik van het spel. Tijdens het spelen van het spel worden ze echter niet geholpen, tenzij dat absoluut noodzakelijk is voor de voortgang van het onderzoek. Alle studenten spelen het spel afzonderlijk van elkaar. De waterval versie van SimSE duurt tussen de 30 en 1 minuten [10]. Om te zorgen dat alle proefpersonen even veel ervaring met het spel hebben, spelen alle studenten precies 30 minuten. Om het spelverloop naderhand te kunnen analyseren wordt er een video gemaakt van het spel en worden alle acties en events in het spel opgeslagen in een logbestand. Naderhand kunnen de acties van de speler vergeleken worden met een "ideale" lijst van acties Na het spel vullen alle proefpersonen een korte enquete in over hun ervaring en mening over het spel. Aan enkele proefpersonen wordt voor het spelen van SimSE enkele scenario's voorgelegd die te maken hebben met situaties die in het waterval ontwikkelingsproces voorkomen en zodoende ook vertegenwoordigd zijn in SimSE. Hierna wordt gevraagd door middel van discussie tot een gezamenlijke oplossing voor de beschreven situatie te komen. Bij anderen gebeurt dit na het spelen van SimSE. Deze discussies worden opgenomen. De tijd die de groep erover doet om tot een gezamenlijk antwoord te komen wordt gemeten en de argumenten van de deelnemers worden geanalyseerd.

4 Referenties Bart Leusink - 1 april Tarja Susi, Mikael Johannesson, Per Backlund, "Serious Games - An Overview", februari Sande Chen, David Michael, "Proof of Learning: Assessment in Serious Games", oktober Emily Oh Navarro, "Teaching Software Engineering Through Simulation" 4. Emily Oh Navarro, André van der Hoek, "Multi-Site Evaluation of SimSE" 5. Emily Oh Navarro, André van der Hoek, "SimSE: An Interactive Simulation Game for Software Engineering Education" 6. Frank Greitzer, Olga Kuchar, Kristy Huston, "Cognitive Science Implications for Enhancing Training Effectiveness in a Serious Gaming Context" 7. Clayton Lewis, John Rieman, "Task-centered user interface design - A practical Introduction", hoofdstuk 5: "Testing the design with users" 8. Miguel Lara, Rodney Myers, Theordore Frick, Sinem Aslan, Theodora Michaelidou, "A Design Case: Developing an Enhanced Version of the Diffusion Simulation Game" 9. Deborah Cotton, Karen Gresty, "Reflecting on the think-aloud method for evaluating e-learning" 10.

5 Tijd- en faseringsschema Ik doe de 6 ects variant van de bachelorscriptie. Aangezien 1 ects staat voor 26,7 uur werk is er een totaal van 160 uur te verdelen. week activiteit geplande uren gemaakte uren Literatuurstudie Schrijven voorlopig onderzoeksplan Schrijven onderzoeksvraag onderbouwing inleveren onderzoeksvraag Schrijven voorlopig onderzoeksplan Inleveren voorlopig onderzoeksplan Voorbereiden (pilot) SimSE studie Schrijven van definitief onderzoeksplan Inleveren definitief onderzoeksplan SimSE studie met proefpersonen Verwerken resultaten onderzoek Schrijven van opzet voor beantwoording van eerste deelvraag Schrijven van opzet voor beantwoording van tweede deelvraag Inleveren eerste versie scriptie Verder uitwerken van eerste deelvraag Verder uitwerken van tweede deelvraag 23 Schrijven van conclusie Afwerking scriptie Inleveren tweede versie scriptie 5 25 Verwerken commentaar tweede versie scriptie Inleveren definitieve versie scriptie voorbereiden presentatie presentatie 5