Quick scan method to evaluate your applied (educational) game. Validated scales from comprehensive GEM (Game based learning Evaluation Model)

Transcriptie

1

2 WHAT IS LITTLE GEM? Quick scan method to evaluate your applied (educational) game (light validation) 1. Standardized questionnaires Validated scales from comprehensive GEM (Game based learning Evaluation Model) 2. Canvas to define game specific learning outcomes 3. Data analysis tool

3 Learner LITTLE GEM MODEL (BASIC) Input Proces Output Design features Personal features Learning features Learning outcomes

4 Learner LITTLE GEM METHOD Measure features from every block / colour (but not all features within a block) Input Proces Output Design features Feedback Challenge Control Social interaction Rules & Goals Usability Game world Big game Personal features Bio/demographical Education/experience Learning features Intrinsic motivation Self-efficacy Value/usefulness Engagement/ concentration Perceived choice Effort Learning outcomes Self-assessment Assessment (knowledge, skills, attitutes)

5 PERSONAL FEATURES Only most basic information Name Age Gender Level / class / function

6 LEARNING FEATURES Choose the most important features for your game 5-7 items per feature, 5point Likert Scale Summary with example items (English) Intrinsic motivation The game was fun to do Self-efficacy I was pretty skilled at this subject Value/usefulness I was pretty skilled at this subject Engagement/concentration During the game I was completely focused Perceived choice I felt like I had to do this (R) Effort I put a lot of effort into this

7 LEARNING FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens mee oneens neutraal mee eens helemaal mee eens Intrinsic motivation 1 Ik speelde de game met veel plezier 2 De game boeide me niet (R) 3 Tijdens de game bedacht ik me hoe leuk ik het vond 4 Ik vond de game saai (R) 5 Ik vond de game best plezierig 6 De game was leuk 7 Ik vond de game heel interessant Self-efficacy 1 Ik vind mezelf aardig goed in het onderwerp 2 Ik denk dat ik het onderwerp best goed deed in vergelijking met andere leerlingen 3 Na een tijdje oefenen met het onderwerp had ik het gevoel dat ik er aardig goed in was 4 Ik ben tevreden met mijn prestaties tijdens de game 5 Ik was tijdens de game best goed met het onderwerp 6 Ik ben niet zo goed in het onderwerp (R) 7 Ik vind mezelf aardig goed in het onderwerp Value / usefulness 1 Ik denk dat de game belangrijk was om met het onderwerp te oefenen 2 Ik zou bereid zijn om de game opnieuw te doen omdat ik het waardevol vind 3 Ik denk dat het spelen van de game me helpt om het onderwerp te beheersen 4 Ik geloof dat het spelen van de game me iets oplevert 5 Ik denk dat het een belangrijke training is 6 Ik geloof dat de game waardevol voor mij is 7 Ik denk dat de game nuttig is om met het onderwerp te oefenen

8 LEARNING FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens mee oneens neutraal mee eens helemaal mee eens Engagement / concentration 1 Tijdens de game zat ik er helemaal in 2 Ik voelde me betrokken bij wat ik deed tijdens de game 3 Tijdens de game was mijn aandacht volledig gericht op het onderwerp 4 Ik kon tijdens de game mijn aandacht vasthouden 5 Tijdens de game was ik volledig geconcentreerd Perceived choice 1 Ik geloof dat ik enige keuze had over het spelen van de game 2 Ik voelde dat het niet mijn eigen keuze was om deze game te spelen (R) 3 Ik had niet echt een keuze om de game te spelen (R) 4 Ik had het gevoel dat ik dit moest doen (R) 5 Ik speelde de game omdat ik geen keuze had (R) 6 Ik speelde de game omdat ik dat wilde 7 Ik speelde de game omdat ik moest (R) Effort 1 Het was belangrijk voor me om goed te presteren tijdens de game 2 Ik heb erg mijn best gedaan tijdens de game 3 Ik heb niet veel energie gestoken in het spelen van de game (R) 4 Ik heb niet erg mijn best gedaan om goed te presteren tijdens de game (R) 5 Ik heb een hoop energie gestopt in de game

9 DESIGN FEATURES Choose the most important features for your game 5 items per feature, 5point Likert Scale Summary with example items (English) Feedback I knew how to get better Challenge The goal of the game was achievable Control I felt in control Social interaction I learned from my peers Rules & goals I knew (eventually) what the goal was Usability I could quickly get started with the game Game world I thought the game was attractive Big game The game fitted the curriculum well

10 DESIGN FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens mee oneens neutraal mee eens helemaal mee eens Feedback 1 Ik wist hoe goed ik het deed 2 Ik heb zelf ervaren hoe ik de game beter kan spelen 3 Tijdens het spelen van de game werd ik steeds beter 4 Mijn acties hadden een effect in de game 5 Ik wist hoe ik beter kon worden Control 1 Ik kon niet de acties uitvoeren die ik verwachtte (R) 2 Ik kon zelf kiezen hoe ik het doel wilde bereiken 3 Ik werd beperkt in wat ik wilde doen (R) 4 Ik heb zelf ervaren wat goed werkte in de game 5 Ik had het gevoel dat ik controle had Challenge 1 De game was voor mij te moeilijk (R) 2 De game bleef voor mij uitdagend 3 De game sloot aan bij mijn niveau 4 De game was voor mij te makkelijk (R) 5 Het game-doel was haalbaar Social interaction 1 Ik vond het prettig om de game samen te spelen 2 Er waren genoeg mogelijkheden om samen te spelen 3 Het was nuttig om de game samen te spelen 4 Ik heb geleerd van medespelers 5 Samen spelen droeg niet bij aan het behalen van het doel (R)

11 DESIGN FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens mee oneens neutraal mee eens helemaal mee eens Rules & Goals 1 Ik wist (uiteindelijk) wat het doel was 2 De spelregels waren (uiteindelijk) duidelijk 3 Ik wist wat ik wilde bereiken in de game 4 Ik wist hoe ik het doel kon bereiken 5 Ik begreep niet hoe ik de game moest spelen (R) Game world 1 Ik vond de game aantrekkelijk 2 Ik vond de game voldoende realistisch 3 De game sloot aan bij mijn belevingswereld 4 Ik ging helemaal in de gamewereld op 5 Ik had een interessante rol in de game Usability 1 Ik kon snel met de game aan de slag 2 De werking van de game was duidelijk 3 Ik kon niet alle mogelijkheden van de game gebruiken(r) 4 Het duurde lang voordat ik begreep hoe de game werkte (R) 5 Ik vond de game gemakkelijk uit te voeren Big game 1 Ik begreep waarom we de game zijn gaan spelen 2 De game sloot goed aan bij de lesstof 3 Ik vond de discussie achteraf nuttig. 4 Wat ik in de game geleerd kan ik erbuiten toepassen 5 Ik begreep niet wat de game met de lesstof te maken had (R)

12 DESIGN FEATURES Open questions 1. What was striking about the game or session? 2. What are 3 positive aspects of the game or session? 3. What are 3 aspects of the game or session that need further improvement? 4. Additional remarks?

13 LEARNING OUTCOMES Self-assessment (standardized) 1. What have you learned from the game (open question) 2. After playing the game I know more of subject (5point Likert scale) 3. I am capable of skills (5point Likert scale)

14 LEARNING OUTCOMES Assessment (game-specific) Choose max. 3 most important learning goals and how to measure (Dutch)

15 USE OF LITTLE GEM

16 DATA ANALYSIS Use of Excel script Average scores

17 SCIENTIFIC BACKGROUND Comprehensive GEM Model: Oprins, E., Visschedijk, G., Bakhuys-Roozeboom, M., Dankbaar, M., Trooster, W. & Schuit, S. (accepted). The Game-based learning Evaluation Model (GEM): measuring the effectiveness of serious games using a standardized method. International Journal of Technology Enhanced Learning.