Test-plan Groep 8: Midget sisters Auteur: Samantha Tromp

Transcriptie

1 Test-plan Groep 8: Midget sisters Auteur: Samantha Tromp Joanna Siccama GAR1 : Data logger Kyra Willekes GAR1 : Recruiter + Test Monitor Marijke Steinmann GAR1 : Data logger Marijn Crum IAD1 : Recruiter + Tech-operator Samantha Tromp GDD1 : Data logger Check-in, Knock out 1

2 Inleiding Check in,knock out is een spel van de groep Lionade uit het tweede jaar. Ze moeten hun game testen op bepaalde punten en aangezien ons eigen project helemaal nog niet aan testen toe is, hebben we gevraagd of wij hun playtest mochten regelen. Dit vonden ze goed en omdat wij een goed test verslag aan hun willen leveren waar ze ook iets aan hebben, bereiden we onszelf eerst voor zodat we zeker weten dat de test goed zal verlopen en resultaat geeft waarop zij willen testen. Inhoudsopgave Doel van de test. 3 Test locatie 7 Planning. 8 Test-scenario.. 9 Benodigdheden.. 11 Test personen.. 12 Known issues.. 14 Questionnaire/Survey.. 15 Interview vragen. 16 Aantekeningen (bijlage). 18 2

3 Doel van de test Het spel Het thema van het spel is een hotel. In het hotel is nog maar één kamer vrij en de man achter de balie zegt dat jullie maar om de sleutel moeten vechten. Jij en je tegenstanders zoeken een locatie uit om het uit te vechten en de speler die de meeste gevechten heeft gewonnen wint uiteindelijk de sleutel naar de kamer. Check in, Knock out is een spel wat met maximaal 4 spelers bespeeld kan worden. Je bestuurd het spel met een Xbox Controller. Het doel van het spel is om je medespelers (of de computer als je alleen speelt) van een platform af te slaan door objecten op te pakken en op hun te gooien. Er zijn in totaal 7 verschillende karakters waaruit je kunt kiezen die ieder een unieke vaardigheid hebben wat in je voordeel of nadeel kan werken tijdens het vechten op het platform. Zo heb je bijvoorbeeld een karakter die kan vliegen maar niet ver kan gooien en een karakter die hard kan gooien maar heel erg zwaar is. Aan het eind van een gevecht komt een progressie scherm in beeld en die geeft aan welke speler voorop staat om de sleutel van de kamer te winnen. Zodra een speler gewonnen heeft kun je opnieuw vechten in dezelfde of andere locatie. Het spel is natuurlijk al vele keren getest. Waar wij de playtest op focussen zijn nieuwe elementen die in het spel zijn toegevoegd. -Oppakken -Gooien -Optie menu -Character info -Counter aanval -Terug/Annuleren Links/Rechts/Boven/Onder navigeren -Accepteren -Springen 3

4 Doel van de Test Helemaal aan het begin van het spel zijn er twee knoppen, een knop om naar het menu te gaan (Y knop) en een knop om het spel te starten (A knop). Wij willen weten of de knoppen dit duidelijk weergeven en de testers vanuit zichzelf het menu kunnen vinden om aanpassingen te kunnen maken in het spel zoals: de muziek zachter zetten. Om dit te achterhalen zullen wij aan de speler vragen of ze de muziek in het spel zachter kunnen zetten. Als ze het menu snel weten te vinden, hebben wij dit ontwerp doel behaald. Duurt het lang en weten ze echt niet waar ze moeten beginnen, dan moet het ontwerp een beetje worden aangepast. Bij het kiezen van een karakter, rennen de karakters heen en weer. Dit veroorzaakt drukte op het scherm. Wij willen weten of dit het kiezen van een karakter chaotisch en onoverzichtelijk maakt voor de speler, waardoor de speler niet weet welk karakter hij/zij heeft gekozen. Als de speler niet meer weet welke speler hij is tijdens het gevecht en dus vraagt: welke ben ik?, dan is het karakter selectie scherm te druk en moet dat een wat rustiger en overzichtelijker ontwerp hebben. 4

5 Andere game mode In het level select is een aparte game mode die de spelers kunnen kiezen. De andere game mode houdt in dat het doel van het spel verandert. Jouw doel is dan bijvoorbeeld om in plaats van jouw tegenstander uit het veld te slaan, jouw tegenstander in een koffer op te sluiten door deze op hem te gooien. Wij willen weten of spelers deze kunnen vinden en vanuit zichzelf weten dat het een game mode is (en geen nieuw/ander level) nadat ze deze mode hebben gekozen. Als de speler vanuit zichzelf deze mode kan vinden en selecteren en merkt dat je anders moet spelen, is dit doel al behaald. Als de speler niet opmerkt dat er een andere game mode is (en het dus helemaal niet aanklikt bijvoorbeeld) moet het ontwerp de knoppen wat duidelijker aangeven. Nadat er een gevecht gewonnen is komt er een scherm die laat zien hoe de spelers ervoor staan met een cijferbox onder de sleutel wat aangeeft hoeveel potjes er voorbij zijn gegaan. Wij willen weten of spelers het door hebben dat dit scherm de winstreaks en het aantal voorbijgegane potjes aangeeft. We vragen terwijl dit scherm verschijnt wat de spelers zien. Daarna vragen we het nog eens aan het eind in de interview. Als de antwoorden overeen komen met wat het werkelijk is, is het ontwerp goed. Zo niet; dan moet het aangepast worden. 5

6 Zodra een speler het spel heeft gewonnen kan alleen de winnaar het menu bepalen. Wij willen weten of spelers het door hebben dat alleen de winnaar het menu bepaald en of dit voor hun al gelijk duidelijk is. We hopen op een reactie van: oh wacht, de winnaar bestuurd het menu. Als de spelers (langer dan 2 minuten) eerst ervan uit gaan dat de controller kapot is of de game niet meer werkt moet dit aspect duidelijker worden aangegeven. Dus nog eens ter verduidelijking: Is het optie menu makkelijk vindbaar voor de spelers? Is het karakter selectie scherm overzichtelijk genoeg waardoor spelers gelijk weten welke karakter bij hun hoort? Geeft het level select scherm duidelijk weer dat de opties naast het level zelf een andere game mode is? Communiceert het gevecht eind scherm aan de speler dat het een 'winstreak' scherm is en dat het bijhoud hoeveel rondes er zijn geweest. Is het duidelijk aan het eind dat alleen de winnaar het menu mag besturen? 6

7 Test locatie Blah? Blah Observatie ruimte Controller Test Persoon Game Designer Testruimte Webcam Test Monitor Document Radio Data logger Microfoon Tech Operator Computerscherm We houden de test in het Playability lab. Er zijn twee verschillende kamers. Hierboven is een plattengrond van hoe de kamers eruit zien en waar iedereen gaat staan of zitten. De data loggers kijken mee via de webcam dat de spelers opneemt. Omdat we in twee verschillende kamers zitten communiceren wij via een microfoon naar de andere kamer. Zo hoeven wij niet steeds heen en weer te rennen om iets te kunnen zeggen. Een game designer van Lionade, Nick Aarts, zat ook erbij om mee te kijken. 7

8 Planning Dinsdag Woensdag Donderdag Vrijdag Zaterdag Zondag Maandag Dinsdag Test Personen staan vast. Test locatie is gereserveerd Test locatie bezoeken en plannen wat we nodig hebben Test-plan af en besproken Test scenario uitspelen op test locatie en reflecteren 17:00 - Voorbereide n op test. 17:30 testen 20:00 test afronden Op Dinsdag om 16:00 gaan wij de game testen. We laten de spelers elk ongeveer 10 minuten spelen en checken daarbij of het spel na 10 minuten nog wel leuk is om te spelen door te vragen of ze zouden willen stoppen of doorgaan. We hebben de rollen als volgt opgedeeld: Kyra Recruiter + Test Monitor Marijn Tech Operator + Recruiter Marijke Data logger Joanna Data logger + Eind-verslag schrijven Samantha Data logger + Test-plan schrijven Kyra zorgt ervoor dat we vóór 20 mei een test groep hebben. De enquête vullen ze in als ze werkelijk op de dag zelf bij ons gaan testen. Als we hun dit namelijk eerder laten invullen en ze zeggen het op het laatste moment af, hebben wij niks meer aan dat document. Joanna en Marijke zorgen voor de test locatie. Zij gaan de sleutel reserveren voor het playability lab op HKU. Voor 20 mei moet de test locatie al geregeld zijn. We beginnen om 17:00 met het voorbereiden van de test in het test lab en zijn van plan tot maximaal 20:00 te testen. Op Maandag gaan wij een test scenario uitspelen en kijken of we ergens tegen aan kunnen lopen tijdens de test. We zijn liever al vroeg voorbereid. Het Data log verslag wordt tijdens de test snel met steek woorden opgeschreven. De dagen na de test zullen wij aan het verslag werken en stellen wij de deadline vast om voor het test verslag en test plan in te leveren. 8

9 Test-scenario Omdat het spel een multiplayer game is, testen we steeds twee mensen per test ronde. Voor de test licht Kyra de tester toe dat ze een spel gaan spelen. We hebben voor Kyra als Test Monitor gekozen omdat zij ook de test personen heeft geregeld. De test personen voelen zich dan minder geïntimideerd omdat ze Kyra al een keer eerder hebben gezien. Wat voor spel de testers spelen en wat ze moeten doen gaan we NIET vertellen. De testers gaan zitten en wij geven (of ze pakken zelf) de Xbox controller. Het spel staat al aan en we geven aan wanneer ze mogen beginnen. Terwijl ze beginnen met spelen stellen we vragen aan de testers zoals: kun je de muziek wat zachter zetten in het spel? zodat we kunnen testen of ze bepaalde functies en opties in het spel kunnen vinden en veranderen. De testers zitten in een andere kamer en kunnen ons niet horen of zien. Wij kunnen hen echter wel zien en horen via een programma genaamd Morae Recorder en observeren alles live in een verslag. Het programma neemt alles op wat er wordt gezegd en gedaan tijdens de test. Ook worden de gezichtsuitdrukkingen die de spelers nalaten en het beeldscherm terwijl ze spelen opgenomen. Joanna, Marijke en Marijn schrijven (in de ruimte waarin de testers ons niet kunnen zien) het observatie verslag. Één persoon richt zich op tester één, de ander op tester twee en de laatste op het hele scenario. Er loopt een klok op waarin we kunnen zien hoelang de speler speelt. Mocht er iets opmerkelijk gebeuren zoals dat de speler iets vanuit zichzelf heeft ontdekt wat wij wilde bereiken met de test, dan schrijven we dat kort op (in steekwoorden) met de tijd erachter wanneer het was gebeurd. Zo kunnen we bijhouden hoelang het heeft geduurd om het spel bijvoorbeeld onder de knie te krijgen. Mochten we vragen willen stellen aan de testers omdat ze bijvoorbeeld (te lang) vast komen te zitten in het spel, doen we dat via een microfoon die in onze kamer zit en uitkomt op een luidspreker in de kamer van de testers. Zo hoeven wij de deur naar de kamer niet steeds open en dicht te doen en raakt de speler niet fysiek uit zijn of haar 'immersion'. 9

10 Een webcam en een programma genaamd Morae Recorder staan aan op de computer waarop de testers spelen. De testers spelen het spel ongeveer 10 minuten lang en verlaten daarna de kamer om vragen te beantwoorden over hun ervaring en mening wat betreft het spel samen met Samantha. Op de gang hebben we een bank of stoelen en een tafeltje geleend uit een ander lokaal om de testers comfortabel hun verslag te laten schrijven. Samantha geeft hun de interview bladen en laat hun het invullen. Terwijl ze deze vragen beantwoorden gaat een andere groep testers de kamer binnen om te testen. Nadat ze de vragen hebben beantwoord neemt Samantha de interviews af en vraagt of ze nog verbeter punten of opmerkingen hebben over het spel. Belangrijke notitie voor ons: Een paar dingen waar we op moeten letten als we werkelijk willen gaan testen is dat de stoelen voor de camera worden geplaatst zodat we beide spelers kunnen zien en dat het spel NIET fullscreen wordt gespeeld, want dan neemt Morae Recorder het spel niet meer op. Daarnaast willen we dat de testers na de test rustig kunnen zitten en de vragen kunnen invullen, maar het stoort als we ze in de test ruimte interviewen. Als we een stoel en een tafel van een lokaal kunnen lenen en deze op de gang kunnen zetten, kunnen we rustig de test afleggen in de test ruimte en de interview. De testers die nog moeten wachten voor een test moeten een ruimte hebben waar ze kunnen wachten. Ze kunnen niet in de test of observeer ruimte wachten (want dan zien ze het spel). Ook kunnen we ze niet op de gang laten omdat daar de interviews worden gehouden. We zouden ze misschien kunnen laten wachten in een andere kamer, met een bankje en wat snacks zodat ze zich niet heel erg vervelen. 10

11 Benodigdheden Al aanwezig op test locatie Camera/Webcam Computer Morae Recorder Beeldscherm Mochten één van deze elementen stuk zijn of de test locatie onbereikbaar zijn (waarvan de kans heel klein is), dan testen we via onze laptops. We gebruiken Camtasia om het beeldscherm en de testers via de webcam op te nemen. We hebben al getest of onze laptop Camtasia, de game en eventueel skype aankan. Het is gegarandeerd dat het werkt. Microfoon Mocht de microfoon op de test locatie het niet meer doen dan gebruiken we skype om met onze testers te kunnen communiceren. Wij zetten bij ons skype op mute zodat de testers ons niet kunnen horen in de test kamer en un-muten de microfoon als we een opmerking hebben. We gebruiken scherm delen op skype zodat we kunnen zien hoe de test personen spelen. Regelen voor de locatie Test personen Kyra regelt de test personen. Mochten we op de dag zelf toch te weinig testers hebben, omdat er niet veel mensen komen opdagen, dan gaan we spontaan op testers speurtocht langs de animatie/sound afdeling. Vier controllers Marijn reserveert de controllers bij de uitleen. Voor de zekerheid nemen wij vanuit huis twee controllers mee en lenen wij twee controllers bij de uitleen. We hebben minimaal twee nodig en het is beter dat we er zeker van zijn dat in iedergeval twee van de vier werken. Zijn op wonderbaarlijke wijze alle controllers stuk dan spelen de testers met de toetsenbord. Versie van de game op de computer Mocht de game op de test computer niet afspelen, dan spelen wij het af vanuit onze laptops waarvan we er zeker van zijn dat het wel werkt. Mocht de game corrupt raken, dan hebben we nog 5 backup versies (één van elk persoon in het team) en een backup op dropbox. Samantha zorgt ervoor dat de test computer en iedereen backups heeft. Stoelen Stoelen lenen we van een leeg klaslokaal. Marijke zorgt ervoor dat er in iedergeval twee stoelen aanwezig zijn op de test locatie voor de testers. Als er mensen moeilijk gaan doen omdat ze twee stoelen missen, dan verplaatsen we twee stoelen van de test observatie ruimte naar de test ruimte en blijven 2 observatoren staan. (Of ze nemen om de beurt een). 11

12 Test personen De doelgroep voor deze game is best breed. Je kunt het beschouwen als een familie game of een game dat zowel met (hardcore) gamers als (casual/)non-gamers gespeeld kan worden. De minimale leeftijd zal rond de 12 jaar liggen. Wij richten ons op middelbare scholieren omdat zij onder deze leeftijdscategorie vallen en in hun vrije tijd wel eens kunnen en zullen gamen. Kyra heeft testers geregeld. Deze testers zijn klasgenoten van haar broertje op een vmbo waar wij nooit eerder een interactie mee hebben gehad. Mocht we op de dag zelf toch te weinig testers hebben, omdat er veel niet komt op dagen dan gaan we spontaan op testers speurtocht langs de animatie /sound afdeling. (Beter teveel testers dan te weinig.) De testers hebben eerst een vragenlijst voor de test ingevuld zodat wij een beeld kunnen schetsen bij de persoon en we de test beter kunnen evalueren. Iemand die vaker spellen speelt zal bijvoorbeeld de besturing van het spel eerder door hebben dan iemand die bijna nooit games speelt. Ontmoet hieronder de testers : Profiel: Naam: Max van Pietersen. Leeftijd: 16 Interesses: Gamen en Skypen. Favoriete game genres: Shooters, Adventure Game tijd: Minstens 1x per week. Game consoles thuis: PC, Gamecube, Wii, DSlite, 3DSxl, PSP, XBOX360, Game Boy Color, PS2. Video: Test 5. Profiel: Naam: Didier du Puis. Leeftijd: 16 Interesses: Gamen en boeken lezen. Favoriete game genres: Shooters, Adventure, RPG, RTS. Game tijd: Minstens 1x per week. Game consoles thuis: PC, XBOX360, PS2. Video: Test 5. Profiel: Naam: Quinn Broers. Leeftijd: 15 Interesses: Gamen, muziek luisteren en sporten. Favoriete game genres: Adventure. Game tijd: Minstens 1x per week. Game consoles thuis: PC, PS1, PS2, PS3, PS4, DS, Wii. Video: Test 6. 12

13 Profiel: Naam: Marnix Kib. Leeftijd: 16 Interesses: Muziek maken en gamen. Favoriete game genres: Shooters, Adventure. Game tijd: Minstens 1x per week. Game consoles thuis: PC, PS3, PS4. Video: Test 6. Profiel: Naam: Age van t Hof. Leeftijd: 16 Interesses: Gamen, films en series kijken. Favoriete game genres: Shooters, fighters. Game tijd: Minstens 1x per week. Game consoles thuis: PC, PS3, Gamecube, Wii, WiiU. Video: Test 4. Profiel: Naam: Tim Slegtenhorst. Leeftijd: 16 Interesses: Gamen, fietsen. Favoriete game genres: Shooters, RTS. Game tijd: Minstens 1x per week. Game consoles thuis: PC, Gamecube, Wii, PSP, Gameboy. Video: Test 4 Profiel: Naam: Jordi Ortolá Ankom. Leeftijd: 19 Interesses: Gamen, muziek maken, sporten. Favoriete game genres: Actie-Adventure. Game tijd: Minstens 1x per week. Game consoles thuis: PC, Android, PS1, SP2, PSP. Video: Test 3 Profiel: Naam: Joppe Comradi. Leeftijd: 18 Interesses: Gamen, muziek maken. Favoriete game genres: Action-Adventure, Adventure. Game tijd: Minstens 1x per maand. Game consoles thuis: PC. Video: Test 3 Profiel: Naam: Carolina Bouwkamp. Leeftijd: 22 Interesses: Gamen, tekenen. Favoriete game genres: Adventure, RPG, Horror. Game tijd: Minstens 1x per week. Game consoles thuis: PC, SP3, SP2, 3DSxl. Video: Test 1 13

14 Profiel: Naam: Nigel. Leeftijd: 21 Interesses: Gamen, films kijken. Favoriete game genres: Adventure. Game tijd: Minstens 1x per week. Game consoles thuis: WiiU, Wii, Gamecube, 3DS, DS. Video: Test 1 Profiel: Naam: Kyai Fadillah. Leeftijd: 21 Interesses: Muziek maken, gamen, fitness, uitgaan. Favoriete game genres: FPS. Game tijd: Minstens 1x per maand. Game consoles thuis: PC. Video: Test 2 Profiel: Naam: Vincent Doorman. Leeftijd: 23 Interesses: Gamen, muziek maken. Favoriete game genres: RTS. Game tijd: Minstens 1x per week. Game consoles thuis: PC, PS1, PS2, Gameboy, android. Video: Test 2 Known issues Wij zijn er niet op uit om de controls, art stijl, muziek en gameplay te testen. Onze test richt zich eigenlijk vooral op de user interface. De test persoon komt het spel in zijn geheel testen, we vertellen hem niet dat we de user interface/menu testen. Anders gaat hij/zij zich daarop focussen en wij willen dat de ervaring spontaan is; alsof de test persoon deze game net op Steam heeft gekocht. Elk feedback die de test persoon geeft over iets anders wat wij al wisten negeren wij eigenlijk. Misschien geeft de test persoon wel een goeie tip wat betreft elementen buiten de test. Als dat zo is schrijven we de opmerking op in een side note. Mocht de speler helemaal afdwalen van onze test doelen, dan sturen we de speler een beetje bij door vragen/opdrachten te stellen over het menu, zoals: Kun je de vampier character selecteren? 14

15 Questionnaire/Survey De testers hebben eerst een vragenlijst voor de test ingevuld waardoor wij een beeld kunnen schetsen bij de persoon zodat we vervolgens de test beter kunnen evalueren. Iemand die vaker spellen speelt zal bijvoorbeeld de besturing van het spel eerder door hebben dan iemand die bijna nooit dit soort spellen speelt. Ook zullen de type games die de spelers spelen bepalen of ze wel of niet een voorkeur voor het spel zullen hebben. De spel systemen geven aan welke controller deze tester gewend is. Na de test interviewen wij de testers om hun ervaring aan ons te evalueren. Met de feedback die zij aan ons geven kunnen we het spel verbeteren en bepalen of we onze doelen hebben behaald voor deze test. 15

16 Interview vragen Hoe vond je het spel? (1 = zeer slecht 5 = zeer goed) 1 5 Wat moet je volgens jou doen in het spel en waarom denk je dat? Wat vond je van de karakters die je kunt kiezen? Wat vond je van de besturing van je character? Wat zou je verbeteren aan de Options Menu waar je de aanpassingen kon maken? Wat zou je verbeteren aan het scorescherm/leaderboard/winnaarscherm na ieder potje? Wat vond je het leukst om in het spel te doen? 16

17 Wat vond je onduidelijk in het spel? Heb je verder nog tips of opmerkingen voor ons? 17

18 Aantekeningen (bijlage) Vragenlijst resultaten voor de test: naam leeftijd Wat doe je graag in je vrije tijd? Marnix kib 16 muziek produceren/game's spelen Jordi Ortolá Ankom 19 muziek, sporten, programmeren, gamen Age van 't Hoff 17 gamen/anime kijken/ youtube kijken/films kijken Hoe vaak speel je games? Favoriete games? Welke game systemen heb je? minstens 1x p week assassin's creed/ rust/ the witcher series game pc/ ps3/ ps4 minstens 1x p week GTA V PC/Android/ps2/ps1/psp minstens 1x p week metal gear solid/ street fighter 4 ultra / super smash bros ps3/laptop/gamecube/wii/ wii u Max van Pietersen 16 gamen/ skypen minstens 1x p week battlefield 3 / FTL/ Shadow of the Collosus pc/ gamecube/ wii/ Dslite/ 3DS xl/ PSP/xBox 360/ game box voloor/ ps2 Quinn Broers 15 muziek luisteren/ gamen/sporten Didiezdu Puis 16 games spelen/ boek lezen Tim Slegtenhorst 16 Gamen/fietsen/slapen/ vlees eten minstens 1x p week assassin's creed/ warthunder/ GTA 5 ps1/ps2/ps3/ps4/gameboy nintendo DS/wii/pc minstens1x p week minstens 1x p week rts/fps/moba's -> LOL/smite/ killing floor/ command and conquer zero hours/ heroes of the storm smite/warframe/the elder scrolls v: skyrim/ moba/ 3rd pers. Shooter/ skyrim(adventure game) pc/wii/gamecube/xbox/psp /gameboy ps2/xbox 360/ pc master race Joppe Comradi 18 muziek spelen/gta San andreas minstens 1x p maand GTA San Andreas/ Legend of Zelda / Mario Pc Vincent Doorman 23 Muziek maken en spelen/ gamen minstens 1x p maand FPS/ Strategie niet echt, behalve Ruse Macbook Pro/Windows PC Kyai Fadillah 21 componeren/sound design/ gamen/ fitness/ uitgaan/ etc min 1x p week Robocraft/ sins of a solar empire/ magicka pc/mac/ps1/ps2/gameboy/ mobiel carolina Bouwkamp 22 Tekenen/gamen min 1x p week Guild Wars 2/ Beyond good & evil/ pokémon/ devil may cry/ amnesia: the dark descent/ Alice madness returns/ bayonetta Nigel 21 Gamen/films kijken/ met vrienden afspreken/ en vooral relaxen min 1x p week mario games/ sonic the hedgehog/ rayman/ platformers pc/ps2/ps3/nintendo 3DS XL wii u/ wii/ gamecube/ ps3/ nintendo 3DS/ originele DS 18

19 19

20 20

21 21

22 22

23 23

24 24

25 25

26 26

27 27

28 28

29 29