3.3 RESULTATEN VAN DE

3.3 RESULTATEN VAN DE GEBRUIKERSGROEPTESTEN ESF PROJECT : EEN SERIOUS GAME ALS OPLEIDINGSTOOL VOOR VEILIGHEID EN PREVENTIE Barbara Plovie, Projectmedewerker Toegepaste Psychologie Howest Helga Peeters, Lector en Projectmedewerker Toegepaste Psychologie Howest INHOUD Lijst van Tabellen... 1 Inleiding... 2 Algemene gegevens... 2 Leeftijd... 2 Geslacht... 3 Beroepsmatige functie en Opleiding... 3 Moedertaal... 4 Gegevens omtrent ervaring met computers en games... 4 Beschikbaarheid van een computer... 4 Gebruik van een computer... 4 Ervaring met online opleidingen... 5 Spelen van games... 5 Analyse van de gespeelde games... 7 Analyse van de Serious Games... 7 Analyse van de gegevens bekomen via de CEGEQ items... 10 Analyse van de gegevens bekomen aan de hand van de observaties... 16 Analyse van de algemene ervaringen omtrent het spelen van de serious games... 18 0

LIJST VAN TABELLEN Tabel 1: Overzicht beroepsmatige functies en afdelingen tewerkstelling binnen AZ - Groeninge... 3 Tabel 2: Beschikbaarheid over eigen computer en internet... 4 Tabel 3: Frequentie gebruik van computer... 4 Tabel 4: Frequentie gebruik computer voor tekstverwerking... 5 Tabel 5: Frequentie gebruik computer voor informatie opzoeking op het internet... 5 Tabel 6: Verdeling deelnemers die reeds online opleiding voltooid hebben... 5 Tabel 7: Frequentie gebruik van computer voor het spelen van games... 6 Tabel 8: Frequentie betreffende spelen van Casual Games... 6 Tabel 9: Frequentie betreffende spelen van Triple A games... 6 Tabel 10: Frequentie betreffende spelen van MMO games... 6 Tabel 11: Kenmerken van de serious game Seveso... 7 Tabel 12: Kenmerken van de Serious Game Ludomedic... 8 Tabel 13: Kenmerken van de Serious Game Ping... 9 Tabel 14: Verdeling antwoorden item 'De besturing van deze game werkte vlot' (%)... 11 Tabel 15: Verdeling antwoorden item 'Ik had controle over de game' (%)... 11 Tabel 16: Verdeling antwoorden item 'Het perspectief waaruit ik mijn personage bekeek was duidelijk' (%)... 11 Tabel 17: Verdeling antwoorden item 'De opdrachten in de game waren duidelijk' (%)... 11 Tabel 18: Verdeling antwoorden item 'Ik zou de game nogmaals willen spelen' (%)... 12 Tabel 19: Verdeling antwoorden Item 'De interface van de game was duidelijk' (%)... 13 Tabel 20: Verdeling antwoorden item 'Ik vond de grafische stijl van de game mooi' (%)... 13 Tabel 21: Verdeling antwoorden item 'Ik zou graag veel tijd spenderen aan het spelen van deze game' (%)... 13 Tabel 22: Verdeling antwoorden item 'Ik verveelde me tijdens het spelen van de Game' (%)... 14 Tabel 23: Verdeling antwoorden item 'De game bleef me continu motiveren om verder te spelen' (%)... 14 Tabel 24: Verdeling antwoorden item 'Ik had het gevoel dat wat gebeurde in de game, door mijn eigen toedoen gebeurde' (%)... 14 Tabel 25: Verdeling antwoorden item 'De game was oneerlijk' (%)... 15 Tabel 26: Verdeling antwoorden item 'Ik verstond de regels van de game' (%)... 15 Tabel 27: Verdeling antwoorden item 'De game was uitdagend' (%)... 16 Tabel 28: Verdeling antwoorden item 'De game was te moeilijk' (%)... 16 Tabel 29: Verdeling antwoorden item 'Het scenario in de game was interessant' (%)... 16 Tabel 30: Zijn de instructies duidelijk voor de speler (%)... 17 Tabel 31: Neemt de speler voldoende tijd om de instructies door te nemen (%)... 17 Tabel 32: Begrijpt de speler wat hij moet doen (%)... 17 Tabel 33: Bestuurt de speler de avatar vlot tijdens het spelen (%)... 17 Tabel 34: Besteedt de speler tijd aan onnodige zaken (%)... 17 Tabel 35: Bereikt de speler de vooropgestelde doelen (%)... 17 Tabel 36: Ergert de speler zich tijdens het spelen van de game (%)... 18 Tabel 37 : Welke game geniet uw voorkeur naar perspectief? (%)... 18 Tabel 38: Welke game geniet uw voorkeur naar besturing? (%)... 18 Tabel 39: Welke game geniet uw voorkeur naar Graphics? (%)... 19 Tabel 40: Welke game geniet uw voorkeur betreffende de weergave van instructies? (%)... 19 Tabel 41: Ervaring van frustratie tijdens het spelen van de games... 19 1

INLEIDING In het kader van het ESF-project Serious Games als opleidingstool binnen grote organisaties: Een case study rond Preventie en Veiligheid werden binnen het AZ-Groeninge te Kortrijk gebruikersgroeptesten georganiseerd. Deze testen gingen respectievelijk door op woensdag 20 maart 2013 en vrijdag 22 maart 2013 binnen de verschillende campussen van het AZ-Groeninge. Deze gebruikersgroeptesten werden geïntroduceerd vanuit verschillende doelstellingen binnen het project, namelijk (1) het omschrijven van het doelpubliek, de creatie van persona en het definiëren van de testgroep die deelneemt aan de gebruikersgroeptesten, en (2) het in kaart brengen van de computervaardigheden, de ervaringen met het gebruik van computers en de ervaringen met het spelen van games bij het doelpubliek. Comment [PH1]: Opletten dat we overal zelfde titel hanteren; later overal consistent weergeven In functie van deze doelstellingen werd beoogd relevante data te verzamelen aan de hand van kwalitatieve en kwantitatieve methoden. De gebruikersgroeptest werd ontworpen door de projectmedewerkers binnen Howest (Digital Arts & Entertainment, Industrieel Ontwerp en Toegepaste Psychologie). De opbouw, methodologische achtergrond en vragenlijsten voor deze test zijn terug te vinden in bijlage 1. De gegevens in dit rapport werden geanalyseerd en verwerkt door gebruik te maken van het programma IBM SPSS Statistics 21. ALGEMENE GEGEVENS Voor deze gebruikersgroeptesten werden binnen het AZ-Groeninge 16 personeelsleden gerekruteerd om deel te nemen. Hierbij werd beoogd personeel te rekruteren vanuit verschillende afdelingen, beroepsmatige functies, leeftijden, geslacht en opleidingen, om op deze manier een representatieve weergave te verkrijgen van het uiteindelijke doelpubliek binnen het project. LEEFTIJD De gemiddelde leeftijd van de deelnemers binnen de gebruikersgroeptesten bedraagt 35 jaar (SD = 10,16). Hierbij is de minimumleeftijd bij de deelnemers 23 jaar en de maximumleeftijd 55 jaar. In figuur 1 wordt de verdeling van de deelnemers in verschillende leeftijdscategorieën weergegeven. Deze omschrijft de leeftijdscategorieën (1) jonger dan 25 jaar, (2) tussen 25 en 34 jaar, (3) tussen 35 en 45 jaar en (4) ouder dan 45 jaar. FIGUUR 1: VERDELING LEEFTIJDSCATEGORIEËN 2

GESLACHT Aan de gebruikersgroeptesten namen uiteindelijk 10 vrouwen deel (62.5%) ten opzichte van 6 mannen (37.5%). Figuur 2 geeft de verdeling weer van de deelnemers op basis van hun geslacht (1) Vrouw of (2) Man. FIGUUR 2: VERDELING GESLACHT BEROEPSMATIGE FUNCTIE EN OPLEIDING In onderstaande tabel 1 worden de verscheidene beroepsmatige functies van de deelnemers weergegeven en de verschillende afdelingen binnen het AZ-Groeninge waarbinnen de deelnemers gerekruteerd werden. Naast gegevens betreffende hun huidige beroepsmatige functie werd ook het hoogste opleidingsniveau van de deelnemers in kaart gebracht. In figuur 3 volgt de verdeling van de deelnemers op basis van hun opleidingsniveau, namelijk (1) Secundair Onderwijs, (2) Hoger Beroepsonderwijs, (3) Bachelor opleiding en (4) Master opleiding. FIGUUR 3: VERDELING OPLEIDINGSNIVEAU Beroepsmatige functie Apothekersassistent Arts Bediende Grafisch ontwerper / Events medewerker Hoofdverpleegkundige IT Helpdesk medewerker Keuken medewerker Manager Technisch Medewerker Verpleegkundige (2 deelnemers) Zorgmanager Afdelingen binnen AZ-Groeninge Apotheek IT Medische directie Medische registratie Mobiele Equipe Ontwaak PAZA Operatiekwartier Pers en Communicatie Preventie en Security Technische dienst Verpleegafdelingen : Geriatrie, Spoed, Psychiatrie Zorgmanagement TABEL 1: OVERZICHT BEROEPSMATIGE FUNCTIES EN AFDELINGEN TEWERKSTELLING BINNEN AZ - GROENINGE 3

MOEDERTAAL Alle deelnemers gaven Nederlands als moedertaal aan. Eén van de deelnemers was tweetalig en spreekt naast Nederlands vloeiend Frans. GEGEVENS OMTRENT ERVARING MET COMPUTERS EN GAMES Een eerste deel van de vragenlijst, afgenomen tijdens de gebruikersgroeptesten, betreft vragen die polsen naar de ervaring van de deelnemers met computers en het spelen van games. Onderstaande alinea s beschrijven de resultaten betreffende deze vragen. BESCHIKBAARHEID VAN EEN COMPUTER Een eerste vraag bracht in kaart in welke mate de deelnemers binnen de gebruikersgroeptesten thuis over een eigen computer en internetverbinding beschikken. Uit de resultaten, weergegeven in tabel 2, bleek dat alle deelnemers over een computer beschikken binnen hun thuisomgeving (100%) en 93.8% hiernaast over een internetverbinding beschikt. Vraag 1 : Heb je thuis een computer? Aantal deelnemers Percentage Ja, maar zonder internet 1 6,3% Ja, met internet 15 93,8% Totaal 16 100% TABEL 2 : BESCHIKBAARHEID OVER EIGEN COMPUTER EN INTERNET GEBRUIK VAN EEN COMPUTER Naast de beschikbaarheid van de deelnemers over een eigen computer, werd bevraagd hoe vaak men effectief gebruik maakt van een computer en met welke doeleinden men een computer gebruikt. Hierbij werd zowel rekening gehouden met het gebruik van een computer thuis als op het werk. Uit de resultaten, weergegeven in tabel 3, blijkt 87.5% van de deelnemers dagelijks een computer te gebruiken. Daarnaast geeft 50% van de deelnemers aan dagelijks een computer te gebruiken voor tekstverwerking en 75% zoekt dagelijks informatie op via het internet. Ook al wijzen deze resultaten erop dat de deelnemers voldoende ervaring hebben met computers, is het toch opmerkelijk dat 12,5% van de mensen die thuis over een computer beschikt aangeeft nooit een computer te gebruiken voor tekstverwerking of om zaken op te zoeken op internet. Deze resultaten worden respectievelijk weergegeven in tabel 4 en tabel 5. Vraag 2 : Hoe vaak zit je achter de computer? (Thuis/werk) Aantal deelnemers Percentage (%) Nooit, maar ik heb thuis wel een computer 1 6,3% Ongeveer één keer per week 1 6,3% (Bijna) elke dag 14 87,5% Totaal 16 100% TABEL 3: FREQUENTIE GEBRUIK VAN COMPUTER 4

Hoe vaak gebruik je de computer voor tekstverwerking? (Thuis/werk) Aantal deelnemers Percentage Nooit 2 12,5% ongeveer één keer per maand 3 18,8% ongeveer één keer per week 3 18,8% (Bijna) elke dag 8 50,0% Totaal 16 100% TABEL 4: FREQUENTIE GEBRUIK COMPUTER VOOR TEKSTVERWERKING Hoe vaak gebruik je de computer om informatie op internet te zoeken? (Thuis/werk) Aantal deelnemers Percentage Nooit 2 12,5% ongeveer één keer per week 2 12,5% (Bijna) elke dag 12 75,0% Totaal 16 100% TABEL 5: FREQUENTIE GEBRUIK COMPUTER VOOR INFORMATIE OPZOEKING OP HET INTERNET ERVARING MET ONLINE OPLEIDINGEN Het doel van het SGGO project betreft het ontwikkelen van een Serious Game als opleidingstool binnen grote organisaties. Aan de hand van de bevraging via de vragenlijst, werd nagegaan hoeveel deelnemers reeds ervaring hebben met het volgen van een opleiding online. Uit de resultaten bleek dat 18.8% van de deelnemers reeds een online opleiding voltooid heeft. Deze resultaten worden hieronder weergegeven in tabel 6. Heb je reeds een online - cursus gevolgd via het internet? Aantal deelnemers Percentage Nee 13 81,3% Ja 3 18,8% Totaal 16 100% TABEL 6: VERDELING DEELNEMERS DIE REEDS ONLINE OPLEIDING VOLTOOID HEBBEN SPELEN VAN GAMES Naast het algemeen gebruik van een computer en het internet in het dagelijks leven, werd nagegaan in welke mate de deelnemers binnen de gebruikersgroep ervaring hebben met het spelen van computergames. Uit de resultaten, weergegeven in tabel 7 bleek dat 56.3% van de deelnemers aangeeft nooit een game te spelen, 12.5% geeft aan dagelijks een game te spelen. Uit verdere analyse blijkt 43.7% van de deelnemers ervaring te hebben met het spelen van casual games. De ervaring met het spelen van Triple A games en MMO games is beperkt. Deze resultaten worden respectievelijk weergeven in Tabellen 7, 8, 9 en 10. 5

Hoe vaak gebruik je de computer voor spelletjes of games? Aantal deelnemers Percentage Nooit 9 56,3% ongeveer één keer per maand 2 12,5% ongeveer één keer per week 3 18,8% (Bijna) elke dag 2 12,5% Totaal 16 100% TABEL 7: FREQUENTIE GEBRUIK VAN COMPUTER VOOR HET SPELEN VAN GAMES Hoe vaak speel je een casual game? (vb Farmville, Angry birds,...) Aantal deelnemers Percentage Nooit 9 56,3% ongeveer één keer per maand 4 25% ongeveer één keer per week 1 6,3% (Bijna) elke dag 2 12,5% Totaal 16 100% TABEL 8 : FREQUENTIE BETREFFENDE SPELEN VAN CASUAL GAMES Hoe vaak speel je een Triple A game? (vb Assassins Creed, FIFA, Half - life,...) Aantal deelnemers Percentage nooit 13 81,3% ongeveer één keer per maand 2 12,5% (Bijna) elke dag 1 6,3% Totaal 16 100% TABEL 9: FREQUENTIE BETREFFEND E SPELEN VAN TRIPLE A GAMES Hoe vaak speel je een MMO? (vb WOW, Guildwars, Eon,...) Aantal deelnemers Percentage Nooit 15 93,8% ongeveer één keer per week 1 6,3% Totaal 16 100% TABEL 10 : FREQUENTIE BETREFFENDE SPELEN VAN MMO GAMES 6

ANALYSE VAN DE GESPEELDE GAMES Aan de deelnemers werden drie verschillende bestaande serious games geïntroduceerd. Er werd hen gevraagd deze games te spelen en persoonlijk hun mening en ervaringen te formuleren rond het spelen van deze games. De games die gekozen werden verschillen van elkaar op vlak van perspectief waarin men de avatar bekijkt, besturingsniveau, graphics en weergave van instructies. Op deze manier werd getracht in kaart te brengen op welke manier deze elementen binnen een game het best aansluiten bij de vaardigheden en de noden en behoeften van de doelgroep. Om dit te verwezenlijken werd (1) een observatiechecklist ingevuld door één van de projectmedewerkers, (2) gevraagd aan de deelnemers om luidop hun mening te verwoorden tijdens het spelen van de games, (3) een filmopname gemaakt van hun handelingen bij het besturen en controleren van de game, (4) hun mening kwantitatief bevraagd aan de hand van items uit de CEGEQ vragenlijst en (5) hun algemene bemerkingen bevraagd aan de hand van een kwalitatief interview met open vragen. Binnen dit rapport worden de resultaten betreffende de verwerking van de observatievragenlijsten en de items op de CEGEQ weergegeven. Samen met de resultaten bekomen uit de kwalitatieve methodieken, zijn deze belangrijk voor het bepalen van de meest aansluitende elementen van een game binnen de uiteindelijke doelgroep. De deelaspecten van de verschillende games worden in volgend stuk vergeleken ten opzichte van elkaar. Daarnaast wordt nagegaan of er significante verschillen gevonden worden in de beoordeling van de deelnemers betreffende deze games. ANALYSE VAN DE SERIOUS GAMES Aan de deelnemers werd gevraagd de serious games Seveso, Ludomedic en Ping online te spelen. De algemene kenmerken van deze game worden weergegeven in tabel 11, tabel 12 en tabel 13. Kenmerken van de serious game Seveso - Perspectief voor de speler Top down perspectief (Bovenaanzicht) - Besturing Via pijltjes (toetsenbord) - Instructies Instructies worden gepresenteerd voor het starten van de game TABEL 11: KENMERKEN VAN DE SERIOUS GAME SEVESO 7

D O E L S EVESO: Als speler komt men in een mogelijk reële situatie terecht waarbij giftige stoffen zich in de lucht verspreiden als gevolg van een biohazard ramp. Deze game heeft als doel spelers aan te leren op welke manier ze dienen te reageren wanneer een dergelijke situatie zich in realiteit zou voordoen. D O E L S T E L L I N G E N T I J D E N S D E G E B R U I K E R S G R O E P T E S T E N : (1) Het zoeken van het dichtste huis en deze binnentreden. (2) Het sluiten van alle deuren en ramen binnen dit huis, om giftige dampen buiten te houden. (3) Het beluisteren van media (Tv, computer, radio) voor verdere informatie. Kenmerken van de serious game Ludomedic - Perspectief voor de speler Orthografisch - Besturing Muis : Rechtermuistoets - Instructies Instructies worden gepresenteerd tijdens het spelen van de game TABEL 12: KENMERKEN VAN DE SERIOUS GAME LUDOMEDIC D O E L L U D O M E D I C : Het spel Ludomedic richt zich op jonge kinderen. Het doel van het spel is om kinderen voor te bereiden op een bezoek aan het ziekenhuis en het ondergaan van een MRI scan. D O E L S T E L L I N G E N T I J D E N S D E G E B R U I K E R S G R O E P S T E S T EN: (1) Het zoeken van de spelkaarten. (2) Naar de badkamer gaan en zich wassen. (3) Naar beneden gaan. 8

Kenmerken van de serious game Ping - Perspectief voor de speler Thirth person perspectief - Besturing Muis: Rechter- en linkermuistoets - Instructies Instructies worden gepresenteerd voor het starten van de game en tijdens het spelen van de game TABEL 13: KENMERKEN VAN DE SERIOUS GAME PING D O E L P I N G : Dit betreft een Online Serious Game die voornamelijk wordt gebruikt in secundaire scholen. Deze game tracht een basis te bieden om met leerlingen van de 2de en 3de graad secundair onderwijs een gesprek aan te gaan over armoede en wat het betekent om arm te zijn. De speler kruipt in de huid van Jim of Sofia, die door omstandigheden op straat belanden en hun eigen weg moeten vinden. D O E L S T E L L I N G E N T I J D E N S D E G E B R U I K E R S G R O E P S T E S T EN: (1) Wandelen naar het eerste contact. (2) Praten met het eerste contact. (3) Naar IMMO gaan. 9

AN ALYSE VAN DE GEGEVE N S BEK OMEN VIA DE CEGEQ ITEMS De CEGEQ vragenlijst (zie bijlage 1) bestaat uit 5 verschillende schalen: - C O N T R O L E : De mate waarin de spelers over voldoende controle beschikten tijdens het spelen van de game en niet belemmerd werden door aan de game gerelateerde elementen. Deze schaal bestaan uit vier items, namelijk vragen 1, 3, 4 en 5. Een voorbeelditem is De besturing van deze game werkt vlot. De interne consistentie van deze schaal bedroeg 0.87. - P L E Z I E R : De mate waarin de speler plezier beleefde aan het spelen van de game. Deze schaal bestaat uit slechts één item, namelijk vraag 2: Ik zou de game nogmaals willen spelen. M O G E L I J K H E D E N : De mate waarin de game aansluit bij de leefwereld van de speler. Deze schaal bestaat uit drie items, namelijk vragen 6, 7, 8 en 9. Een voorbeeldvraag is De interface van de game was duidelijk. De interne consistentie van deze schaal bedroeg 0.64. - O W N E R S H I P : De mate waarin de speler zich persoonlijk betrokken voelde tijdens het spelen van de game. Twee items peilden hiernaar (vragen 10 en 11), waarvan bijvoorbeeld De game bleef mij continu motiveren om verder te spelen. De interne consistentie 0.38. - G A M E P L A Y : De mate waarin de game op zich als aantrekkelijk beschouwt werd door de speler. Deze schaal bestaat uit vijf items (vragen 12, 13, 14, 15 en 16), waarvan bijvoorbeeld De game was oneerlijk. De interne consistentie van deze schaal was 0.88. Comment [PB2]: Deze verontrust me wat want de interne consistentie is verschrikkelijk laag Wat doen we hiermee? Is ook de enige schaal waar we verder geen significante verschillen zien tussen de verschillende games. Deze bovenstaande schalen zullen in volgende alinea s afzonderlijk worden geanalyseerd. Per schaal wordt een overzicht gegeven van de beoordeling van de deelnemers op de verschillende items. M A T E V A N G E V OE L V A N C ONT R OLE T I J D E N S H E T S P E L E N V A N D E GAMES Om na te gaan of er significante verschillen bestaan tussen de mate waarin de deelnemers controle ervaren tijdens het spelen van de drie verschillende games, werd binnen SPSS een Repeated Measures MANOVA uitgevoerd. Uit de resultaten bleek een significant verschil te bestaan in de mate waarin deelnemers controle ervaarden tijdens het spelen van de serious games (F = 10.75, p <.001). De serious game Ludomedic verkreeg een significant hogere score op de schaal controle (M = 5.55, SD =.29) dan de serious games Seveso (M = 4.38, SD =.22, p <.001) en Ping (M = 4.42, SD =.31, p <.01). De scores op de schaal controle tussen de games Seveso en Ping verschilden niet FIGUUR 4: GEMIDDELDEN OP SCHAAL CONTROLE 10

significant ten opzichte van elkaar. Figuur 4 geeft het verschil in gemiddelden weer op de schaal Controle tussen de verschillende serious games. In onderstaande tabellen, tabel 14, tabel 15, tabel 16 en tabel 17, worden de percentages betreffende de beoordelingen van de deelnemers op de verschillende items van de schaal Controle weergegeven. De items werden gescoord op een 7-punten Likert schaal, gaande van een minimumscore 1 (Helemaal niet mee eens) tot een maximumscore 7 (Helemaal mee eens). De percentages die onderlijnd zijn geven aan in welke antwoordcategorie de mediaan ligt. Helemaal niet mee eens 12.5 0 0 Niet mee eens 25.0 6.3 6.3 Eerder niet mee eens 31.3 0 6.3 Neutraal 12.5 0 0 Eerder mee eens 12.5 18.8 50.0 Mee eens 6.3 63.5 25.0 Helemaal mee eens 0 12.5 12.5 TABEL 14 : VERDELING ANTWOORDEN ITEM 'DE BESTURING VAN DEZE GAME WERKTE VLOT' (%) Helemaal niet mee eens 0 0 12.5 Niet mee eens 25.0 6.3 25.0 Eerder niet mee eens 6.3 0 12.5 Neutraal 25.0 6.3 0 Eerder mee eens 25.0 25.0 31.3 Mee eens 18.8 50.0 6.3 Helemaal mee eens 0 12.5 12.5 TABEL 15: VERDELING ANTWOORDEN ITEM 'IK HAD CONTROLE OVER DE GAME' (%) Helemaal niet mee eens 0 0 0 Niet mee eens 0 6.3 12.5 Eerder niet mee eens 25.0 6.3 6.3 Neutraal 18.8 0 0 Eerder mee eens 18.8 12.5 43.8 Mee eens 25.0 56.3 25.0 Helemaal mee eens 12.5 18.8 12.5 TABEL 16: VERDELING ANTWOORDEN ITEM 'HET PERSPECTIEF WAARUIT IK MIJN PERSONAGE BEKEEK WAS DUIDELIJK' (%) Helemaal niet mee eens 0 0 6.3 Niet mee eens 6.3 12.5 25.0 Eerder niet mee eens 0 6.3 18.8 Neutraal 12.5 0 6.3 Eerder mee eens 18.8 12.5 31.3 Mee eens 37.5 50.0 12.5 Helemaal mee eens 25.0 18.8 0 TABEL 17: VERDELING ANTWOORDEN ITEM 'DE OPDRACHTEN IN DE GAME WAREN DUIDELIJK' (%) 11

M A T E V A N B E L E V I N G V A N PLEZIER T I J D E N S H E T S P EL E N V A N D E GAMES Een tweede schaal binnen de vragenlijst van de CEGEQ betreft de mate waarin de deelnemers plezier ervaren tijdens het spelen van de drie verschillende serious games. Uit de resultaten bleek dat er een significant verschil bestaat in de mate waarin de deelnemers plezier beleefden aan het spelen van de serious games ( F = 3.624, p <.05). De serious game Ludomedic verkreeg een significant hogere score op de schaal plezier (M = 4.67, SD =.45) dan de serious games Seveso (M= 3.25, SD =.36, p <.05) en Ping (M = 3.56, SD =.48, p <.05). Er was geen verschil tussen de games Seveso en Ping. Figuur 5 geeft het verschil in gemiddelde weer op de schaal Plezier tussen de verschillende serious games. FIGUUR 5: GEMIDDELDE OP SCHAAL PLEZIER In onderstaande tabel 18, worden de percentages betreffende de beoordelingen van de deelnemers op de verschillende items van de schaal Plezier weergegeven. De items werden gescoord op een 7-punten Likert schaal, gaande van een minimumscore 1 (Helemaal niet mee eens) tot een maximumscore 7 (Helemaal mee eens). De percentages die onderlijnd zijn geven aan in welke antwoordcategorie de mediaan ligt. Helemaal niet mee eens 6.3 12.5 6.3 Niet mee eens 31.3 6.3 43.8 Eerder niet mee eens 25.0 0 6.3 Neutraal 12.5 6.3 0 Eerder mee eens 18.8 37.5 25.0 Mee eens 6.3 31.3 12.5 Helemaal mee eens 0 6.3 6.3 TABEL 18: VERDELING ANTWOORDEN ITEM 'IK ZOU DE GAME NOGMAALS WILLEN SPELEN' (%) M A T E V A N P OS I T I E V E E R V A R I N G T E N OP Z I C H T E V A N D E M OGELIJKH E D E N D I E D E G A M E S B I E D E N De derde schaal binnen de vragenlijst van de CEGEQ betreft de mate waarin de deelnemers een positieve indruk hebben van de mogelijkheden die een game hen biedt. Uit de resultaten bleek dat er een significant verschil bestaat in de mate waarin de deelnemers een positieve indruk ervaren betreffende de mogelijkheden binnen de drie verschillende serious games ( F = 6.035, p <.01). FIGUUR 6: GEMIDDELDE OP SCHAAL MOGELIJKHEDEN 12

De serious game Seveso (M = 3.83, SD =.17) verkreeg een significant lagere score op de schaal Mogelijkheden ten opzicht van de serious games Ludomedic ( M= 4.88, SD =.22, p <0.01) en een trend tot een significant lagere score ten opzicht van de serious game Ping (M = 4.44, SD =.25, p =.077). De scores op desbetreffende schaal tussen de games Ludomedic en Ping verschilden niet significant ten opzichte van elkaar. Figuur 6 geeft het verschil in gemiddelde weer op de schaal Mogelijkheden tussen de verschillende serious games. In onderstaande tabellen, tabel 19, tabel 20, tabel 21 en tabel 22, worden de percentages betreffende de beoordelingen van de deelnemers op de verschillende items van de schaal Mogelijkheden weergegeven. De items werden gescoord op een 7-punten Likert schaal, gaande van een minimumscore 1 (Helemaal niet mee eens) tot een maximumscore 7 (Helemaal mee eens). De percentages die onderlijnd zijn geven aan in welke antwoordcategorie de mediaan ligt. Helemaal niet mee eens 0 0 0 Niet mee eens 0 6.3 6.3 Eerder niet mee eens 37.5 12.5 18.8 Neutraal 6.3 6.3 18.8 Eerder mee eens 18.8 18.8 37.5 Mee eens 18.8 50.0 0 Helemaal mee eens 12.5 6.3 18.8 TABEL 19: VERDELING ANTWOORDEN ITEM 'DE INTERFACE VAN DE GAME WAS DUIDELIJK' (%) Helemaal niet mee eens 6.3 0 0 Niet mee eens 25.0 6.3 6.3 Eerder niet mee eens 12.5 0 0 Neutraal 25.0 6.3 12.5 Eerder mee eens 12.5 12.5 18.8 Mee eens 18.8 62.5 37.5 Helemaal mee eens 0 12.5 25.0 TABEL 20: VERDELING ANTWOORDEN ITEM 'IK VOND DE GRAFISCHE STIJL VAN DE GAME MOOI' (%) Helemaal niet mee eens 18.8 6.3 25.0 Niet mee eens 62.5 25.0 18.8 Eerder niet mee eens 12.5 12.5 18.8 Neutraal 6.3 37.5 12.5 Eerder mee eens 0 6.3 12.5 Mee eens 0 12.5 12.5 Helemaal mee eens 0 0 0 TABEL 21: VERDELING ANTWOORDEN ITEM 'IK ZOU GRAAG VEEL TIJD SPENDEREN AAN HET SPELEN VAN DEZE GAME' (%) 13

Helemaal niet mee eens 6.3 0 12.5 Niet mee eens 31.3 50.0 18.8 Eerder niet mee eens 31.3 37.5 31.3 Neutraal 25.0 0 6.3 Eerder mee eens 6.3 12.5 6.3 Mee eens 0 0 18.8 Helemaal mee eens 0 0 6.3 TABEL 22: VERDELING ANTWOORDEN ITEM 'IK VERVEELDE ME TIJDENS HET SPELEN VAN DE GAME' (%) M A T E V A N G E V OE L V A N O WNERS H I P T I J D E N S H E T S P E L E N V A N D E GAMES Een vierde schaal binnen de vragenlijst van de CEGEQ die aan de deelnemers werd bevraagd, betreft de mate waarin de deelnemers een gevoel van Ownership ervaren tijdens het spelen van de games. Uit de resultaten bleek dat er geen significant verschil bestaat in de mate waarin de deelnemers zich betrokken voelden tijdens het spelen van de drie verschillende serious games (F = 1.884, ns). Binnen de schaal gevoel van Ownership tijdens het spelen van de games gaven de deelnemers de serious game Seveso een gemiddelde score van 4.44 (SD =.27). Voor de serious games Ludomedic en Ping bedroegen de gemiddelde scores respectievelijk 4.94 (SD =.22) en 4.47 (SD =.27). In onderstaande tabellen, tabel 23 en tabel 24, worden de percentages betreffende de beoordelingen van de deelnemers op de verschillende items van de schaal Ownership weergegeven. De items werden gescoord op een 7-punten Likert schaal, gaande van een minimumscore 1 (Helemaal niet mee eens) tot een maximumscore 7 (Helemaal mee eens). De percentages die onderlijnd zijn geven aan in welke antwoordcategorie de mediaan ligt. Helemaal niet mee eens 6.3 0 6.3 Niet mee eens 18.8 12.5 18.8 Eerder niet mee eens 18.8 0 31.3 Neutraal 18.8 37.5 6.3 Eerder mee eens 12.5 6.3 12.5 Mee eens 25.0 43.8 25.0 Helemaal mee eens 0 0 0 TABEL 23: VERDELING ANTWOORDEN ITEM 'DE GAME BLEEF ME CONTINU MOTIVEREN OM VERDER TE SPELEN' (%) Helemaal niet mee eens 0 0 0 Niet mee eens 0 0 0 Eerder niet mee eens 12.5 6.3 6.3 Neutraal 25.0 6.3 12.5 Eerder mee eens 25.0 50.0 43.8 Mee eens 25.0 37.5 31.3 Helemaal mee eens 12.5 0 6.3 TABEL 24: VERDELING ANTWOORDEN ITEM 'IK HAD HET GEVOEL DAT WAT GEBEURDE IN DE GAME, DOOR MIJN EIGEN TOEDOEN GEBEURDE' (%) 14

B E O ORD E L I N G V A N D E GAME PLAY V A N D E GAMES Een laatste schaal die tijdens de gebruikersgroeptesten werd bevraagd betreft de algemene indruk die de deelnemers hebben van de Game Play van een game. Uit de resultaten bleek dat er een significant verschil bestaat in de mate waarin de deelnemers de drie verschillende serious games als aantrekkelijk beschouwden (F = 4.550, p <.05). De serious game Ping (M = 4.13, SD =.32) kreeg een significant lagere score dan de serious games Ludomedic ( M =4.99, SD = FIGUUR 7: GEMIDDELDE OP SCHAAL GAME PLAY.23, p < 0.05) en er was een trend tot een significant lagere score ten opzicht van de serious game Seveso (M = 4.80, SD =.18, p = 0.06). De scores van de games Ludomedic en Seveso verschilden niet significant ten opzichte van elkaar. Figuur 7 geeft het verschil in gemiddelden weer op de schaal Game Play tussen de verschillende serious games. In onderstaande tabellen, tabel 25, tabel 26, tabel 27, tabel 28 en tabel 29, worden de percentages betreffende de beoordelingen van de deelnemers op de verschillende items van de schaal Game Play weergegeven. De items werden gescoord op een 7-punten Likert schaal, gaande van een minimumscore 1 (Helemaal niet mee eens) tot een maximumscore 7 (Helemaal mee eens). De percentages die onderlijnd zijn geven aan in welke antwoordcategorie de mediaan ligt. Helemaal niet mee eens 25.0 18.8 25.0 Niet mee eens 37.5 50.0 31.3 Eerder niet mee eens 0 18.8 6.3 Neutraal 37.5 12.5 31.3 Eerder mee eens 0 0 6.3 Mee eens 0 0 0 Helemaal mee eens 0 0 0 TABEL 25: VERDELING ANTWOORDEN ITEM 'DE GAME WAS ONEERLIJK' (%) Helemaal niet mee eens 0 0 12.5 Niet mee eens 6.3 6.3 12.5 Eerder niet mee eens 0 12.5 37.5 Neutraal 18.8 6.3 0 Eerder mee eens 18.8 25.0 18.8 Mee eens 31.3 43.8 6.3 Helemaal mee eens 25.0 6.3 12.5 TABEL 26: VERDELING ANTWOORDEN ITEM 'IK VERSTOND DE REGELS VAN DE GAME' (%) 15

Helemaal niet mee eens 6.3 6.3 6.3 Niet mee eens 18.8 12.5 12.5 Eerder niet mee eens 31.3 12.5 25.0 Neutraal 6.3 18.8 25.0 Eerder mee eens 25.0 31.3 25.0 Mee eens 12.5 18.8 6.3 Helemaal mee eens 0 0 0 TABEL 27: VERDELING ANTWOORDEN ITEM 'DE GAME WAS UITDAGEND' (%) Helemaal niet mee eens 6.3 25.0 6.3 Niet mee eens 56.3 56.3 12.5 Eerder niet mee eens 12.5 12.5 37.5 Neutraal 18.8 0 0 Eerder mee eens 6.3 0 18.8 Mee eens 0 6.3 18.8 Helemaal mee eens 0 0 6.3 TABEL 28: VERDELING ANTWOORDEN ITEM 'DE GAME WAS TE MOEILIJK' (%) Helemaal niet mee eens 6.3 0 6.3 Niet mee eens 12.5 25.0 6.3 Eerder niet mee eens 6.3 12.5 31.3 Neutraal 37.5 6.3 18.8 Eerder mee eens 18.8 37.5 31.3 Mee eens 18.8 18.8 6.3 Helemaal mee eens 0 0 0 TABEL 29: VERDELING ANTWOORDEN ITEM 'HET SCENARIO IN DE GAME WAS INTERESSANT' (%) AN ALYSE VAN DE GEGEVE N S BEK OMEN A AN DE HA N D VAN DE OBS ERV A TIE S Tijdens het spelen van de drie verschillende serious games Seveso, Ludomedic en Ping werden de deelnemers binnen de gebruikersgroep geobserveerd door de projectmedewerkers. Elke deelnemer werd afzonderlijk geobserveerd door één van de projectmedewerkers aan de hand van een op voorhand opgestelde observatiechecklist (Zie bijlage 1). Hierbij werd(en) (1) hun handelingen geobserveerd tijdens het spelen van de games, (2) nagegaan hoeveel tijd de deelnemers spendeerden aan het doornemen van de instructies, (3) het al dan niet behalen van de doelstellingen van de games in kaart gebracht en (4) de mate van frustratie bij de deelnemers tijdens het spelen van de games geobserveerd. In onderstaande alinea s worden de observaties waargenomen tijdens het spelen van de games weergegeven voor de verschillende games. 16

OB S E RV A T I E G E G E V E N S O M T R E N T D E I N S T R U C T I E S B I J D E GAMES Omtrent de weergave van de instructies bij de games werden verschillende aspecten geobserveerd, namelijk (1) de duidelijkheid van de instructies voor de deelnemers, (2) de mate waarin de deelnemers voldoende tijd spendeerden aan het doornemen van de instructies en (3) of de deelnemers op basis van de verkregen instructies voldoende informatie hadden met betrekking tot de te behalen doelen binnen de serious game. In tabel 30, tabel 31 en tabel 32 worden de percentages weergeven betreffende de observaties rond de instructies bij de verschillende serious games. Observatie Seveso Ludomedic Ping Ja 100 100 87.5 Neen 0 0 12.5 TABEL 30 : ZIJN DE INSTRUCTIES DUIDELIJK VOOR DE SPELER (%) Observatie Seveso Ludomedic Ping Ja 100 87.5 93.8 Neen 0 12.5 6.3 TABEL 31: NEEMT DE SPELER VOLDOENDE TIJD OM DE INSTRUCTIES DOOR TE NEMEN (%) Observatie Seveso Ludomedic Ping Ja 81.3 81.3 56.2 Neen 18.7 18.7 43.8 TABEL 32: BEGRIJPT DE SPELER WA T HIJ MOET DOEN (%) OB S E RV A T I E G E G E V E N S O M T R E N T D E B E S T U R I N G Een tweede aspect die geobserveerd werd tijdens het bespelen van de games, betrof de besturing van de avatar binnen de game. Hierbij werd nagegaan of de speler de avatar vlot kon navigeren doorheen het spel. In tabel 33 worden de resultaten weergegeven betreffende de observaties van de besturing tijdens de verschillende games. Observatie Seveso Ludomedic Ping Ja 56.3 87.5 62.5 Neen 43.7 12.5 37.5 TABEL 33: BESTUURT DE SPELER DE AVATAR VLOT TIJDENS HET SPELEN (%) OB S E RV A T I E G E G E V E N S O M T R E N T H E T B E H A L E N V A N D E D OE L S T E L L I N G E N Een derde gegeven die aan de hand van de observatie door de projectmedewerkers in kaart gebracht werd, betrof het al dan niet bereiken van de vooropgestelde doelen. Hierbij werd (1) nagegaan of de speler tijd verloor door het uitvoeren van onnodige handelingen tijdens het spelen (2) geregistreerd of de speler de vooraf opgestelde doelen bereikte binnen een bepaalde tijdslimiet. In tabel 34 en tabel 35 worden de resultaten betreffende de observaties omtrent de doelstellingen weergegeven. Observatie Seveso Ludomedic Ping Ja 62.5 37.5 68.8 Neen 37.5 62.5 31.2 TABEL 34 : BESTEEDT DE SPELER TIJD AAN ONNODIGE ZAKEN (%) Observatie Seveso Ludomedic Ping Ja 31.3 87.5 50 Neen 68.8 12.5 50 TABEL 35 : BEREIKT DE SPELER DE VOOROPGESTELDE DOELEN (%) 17

OB S E RV A T I E G E G E V E N S O M T R E N T GERAPPORTEERD E E R G E R N I S Als laatste werd tijdens de observaties nagegaan of er ergernis of frustratie gerapporteerd kon worden bij de speler tijdens het spelen van de games. De spelers werd hierom gevraagd luidop hun mening te verwoorden tijdens het spelen van de verschillende games. Daarnaast werd deze emotie na het spelen van de games een tweede maal bevraagd aan de hand van een korte kwantitatieve bevraging. De resultaten omtrent de gerapporteerde ergernis of frustratie aan de hand van de observatiechecklist worden weergegeven in tabel 36. Observatie Seveso Ludomedic Ping Ja 46.7 18.8 56.3 Neen 53.3 81.2 43.8 TABEL 36 : ERGERT DE SPELER ZICH TIJDENS HET SPELEN VAN DE GAME (%) ANALYSE VAN DE ALGEMENE ERVARINGEN OMTRENT HET SPELEN VAN DE SERIOUS GAMES Naast de gegevens bekomen aan de hand van de algemene vragenlijst gebaseerd op de CEGEQ en de observatiechecklist, werd de deelnemers gevraagd hun algemene voorkeur tussen de drie verschillende games te verwoorden. Hierbij werd (1) algemeen bevraagd welk van de drie games hun persoonlijke voorkeur genoot (2) in kaart gebracht welk van de drie games de voorkeur genoot in het kader van de graphics, het perspectief, de besturing en de weergave van de instructies. Daarnaast werd als aansluiting bij de observatiechecklist de ergernis of frustratie tijdens het spelen van de games bevraagd. Uit de resultaten van de algemene vragenlijst blijkt dat 50% van de deelnemers de voorkeur gaf aan de game Ping wat betreft het perspectief waarin men de avatar bekeek ten opzichte van 43.8% bij Ludomedic en 6.2% bij Seveso. Welke game geniet uw voorkeur naar perspectief? Seveso 6.2 Ludomedic 43.8 Ping 50 Totaal 100 TABEL 37 : WELKE GAME GENIET UW VOORKEUR NAAR PERSPECTIEF? (%) Omtrent de voorkeur naar de besturing van de games gaf 50% van de deelnemers aan de besturing bij het spel Ping aangenaam te vinden. Dit in vergelijking met 37.5% voor de game Ludomedic en 12.5% voor de game Seveso. Welke game geniet uw voorkeur naar besturing? Seveso 12.5 Ludomedic 37.5 Ping 50 Totaal 100 TABEL 38: WELKE GAME GENIET UW VOORKEUR NAAR BESTUR ING? (%) 18

Op de vraag welke game de deelnemers hun voorkeur gaven naar de graphics toe gaf 68.7% aan voorkeur te geven aan de graphics binnen de game Ping en 31.3% aan de game Ludomedic. Geen enkel van de deelnemers gaf de voorkeur aan de graphics binnen de game Seveso. Welke game geniet uw voorkeur naar Graphics? Seveso 0 Ludomedic 31.3 Ping 68.7 Totaal 100 TABEL 39 : WELKE GAME GENIET UW VOORKEUR NAAR GRAPHICS? (%) Betreffende de weergave van de instructies tijdens het spelen van de games, gaf 56.3% van de deelnemers hun voorkeur aan de game Ludomedic, ten opzichte van 25% aan de game Seveso en 18.7% aan de game Ping. Welke game geniet uw voorkeur betreffende de weergave van instructies? Seveso 25 Ludomedic 56.3 Ping 18.7 Totaal 100 TABEL 40 : WELKE GAME GENIET UW VOORKEUR BETREFFENDE DE WEERGAVE VAN INSTRUCTIES? (%) Als laatste aspect werd nagegaan in welke mate de deelnemers frustraties hadden ervaren tijdens het spelen van de verschillende games. Hierbij gaf 50% van de deelnemers aan dat ze zich gefrustreerd voelden tijdens het spelen van de game Ping. Daarnaast gaf 43.8% aan gevoelens van frustratie te hebben ervaren tijdens het spelen van de game Seveso. De game Ludomedic wekte bij de deelnemers het minst vaak gevoelens van frustratie op, slechts 12.5% gaf aan zich gefrustreerd te voelen tijdens het spelen van deze game. Ervaring van frustratie tijdens het spelen van de game Seveso 43.8 Ludomedic 12.5 Ping 50 TABEL 41: ERVARING VAN FRUSTRATIE TIJDENS HET SPELEN VAN DE GAMES CONCLUSIE 19