Testrapportage Dashboard Gebruikers Acceptatie Test 2018-Q1 Het Nieuwe Studielink

Transcriptie

1 Volgnummer 02 Datum 25 april 2018 (v2) Opgesteld door Peter van Kan Verspreid aan Studielink 1. Inleiding Deze rapportage is aanvullend op de Tussenrapportage 1 GAT 2018-Q1 dd. 13 april 2018 (volgnummer 1). Voor aanvullende informatie wordt naar dit document verwezen. Op verzoek wordt de testrapportage inzake de GAT 2018-Q1 in twee delen opgeleverd. - Rapportage GAT Dashboard - Rapportage GAT Inschrijf en betaal gerelateerde processen. Dit rapport handelt primair over de testresultaten welke verband houden met de inrichting van het dashboard. Hier is prioriteit aan gegeven gezien het aanstaande GO/NOGO besluit op de in productiename van dit onderdeel. Het betreft de volgende dashboardprocessen: - Inrichten van collegejaar en profiel - Inrichten van Opleidingsverzoeken - Inrichten van betaalmodule - Inrichten van teksten - Inrichten van de vragenmodule - Inrichten van de opleidingen van de instelling - Inrichten Fixus Opleidingen van de instelling - Studenten van de instelling - Berichten van de instelling - Beheer van de instelling inrichten 2. Algemeen De GAT2018-Q1 op het nieuwe studielink dashboard is op 21 april 2018 afgerond. Van de 33 instellingen die zich hebben aangemeld voor deze Gebruikers Acceptatietest periode hebben er uiteindelijk 24 daadwerkelijk aantoonbaar getest. Deze rapportage is gebaseerd op de resultaten van 22 instellingen. 2 instellingen aanleverden na de deadline hun resultaten aan en konden niet meer op tijd worden verwerkt in de analyse tbv deze rapportage. Gezien de overeenkomstige bevindingen heeft dit verder geen invloed op de inhoud van deze rapportage. Dit betekent uiteraard niet dat deze resultaten en bevindingen niet worden behandeld in de oplosketen. 3. Dekkingsgraad Meetmoment: dinsdag 24 april 19:15 uur. Uitgaande van een 100% dekkingsgraad (alle instellingen, alle dashboard processen getest) is een dekkingsgraad gehaald van 54%. Van de 33 instellingen hebben er 24 daadwerkelijk getest in die zin dat 24 instellingen de testmonitor hebben aangeleverd. Deze instellingen vormen in deze rapportage de 100% basis voor het berekenen van de dekkingsgraad. De 100% dekkingsgraad beperkt zich tot de genoemde dashboard onderdelen.

2 Gemeten naar een totale dekkingsgraad score van 100% (22 instellingen, alle dashboard processen getest) is er een dekkingsgraad gehaald van 78 %. Dat betekent dat 22% niet is gedaan c.q. gehaald. Gezien de intensiteit van de testen is dit een ruim voldoende score om inzicht te krijgen in de status en productie gereedheid van het dashboard. Gezien de einddatum van 21 april een goede score qua testactiviteiten bij de instellingen. 4. Resultaten Meetmoment: dinsdag 24 april 19:15 uur. Totaal bevindingen Op genoemd tijdstip zijn er totaal 357 (ook niet dashboard gerelateerde) bevindingen opgevoerd. 181 van deze bevindingen zijn echter weer afgevoerd als wens, vraag of wanneer er sprake is van een dubbele melding. LET OP! Onderstaande betreft ALLE bevindingen, dus ook de niet dashboard gerelateerde issues. De resterende bevindingen zijn op dit moment als volgt verdeeld: Omschrijving status Titel Aantal Nieuwe bevindingen of nog in onderzoek bij studielink Nieuwe 40 Bevindingen welke zijn afgehandeld door QDelft maar In Progress 35 nog ter beoordeling bij Studielink Aangeboden voor analyse aan QDelft Analyse 32 Selected for Development Aangeboden aan bouwteam 43 Aangeboden voor hertest of nader onderzoek Te (her)testen studielink 31

3 Wanneer we het aantal meldingen beperken tot het dashboard proces in relatie tot de dekkingsgraad dan zien we het volgende resultaat in relatie tot de geteste processen: - 48 testcasussen zijn niet uitgevoerd - 23 testcasussen bevatten 1 of meer fouten / meldingen in de bevindingen administratie (Jira) testcasussen zijn succesvol uitgevoerd. Zichtbaar is dat een proces bij de ene instelling succesvol is getest terwijl een andere instelling een bevinding heeft gemeld op hetzelfde proces. Per proces Onderstaande tabel geeft het percentage aan van goed en fout verlopen procestesten. De kolom OK geeft het aantal instellingen dat dit proces succesvol heeft doorlopen, NOK geeft het aantal instellingen welke binnen dit proces een Jira melding heeft opgevoerd. De kolom %fout weerspiegeld dus het percentage van fout verlopen testgangen. Daarbij moet wel de nuancering worden meegenomen dat niet alle instellingen alle processen hebben doorlopen (kolom OK+NOK=aantal instellingen die het proces getest hebben). Dit cijfer totaal aantal keren getest moet worden meegenomen in het oordeel qua representativiteit. Bij iets wat 1x is getest zegt een 100% foutscore immers niet veel. In onderstaande tabel zijn issues welke ondertussen zijn opgelost niet meer meegenomen. Echter, zolang een hertest of oplossing nog niet heeft plaats gevonden blijft een issue als NOK aangemerkt. Let op! Het aantal meldingen in Jira (SLSD) kan lager zijn dan het aantal keren dat het proces niet succesvol was (NOK). In dat geval is dezelfde bevinding door meerdere instellingen gedaan. Andersom is ook geldig: In één getest proces kunnen meerdere issues geconstateerd zijn.

4 Proces OK NOK X getest % fout SLSD volgnummer Inrichten van collegejaar en profiel ,185, 347, 227 Inrichten van Opleidingsverzoeken Inrichten van betaalmodule , 357 Inrichten van teksten , 239 Inrichten van de vragenmodule ,213,303, 397, 282,232 Inrichten van de opleidingen van de instelling , 180, 368, 185, 269, 184 Inrichten Fixus Opleidingen van de instelling Studenten van de instelling , 263 Berichten van de instelling , 283, 284, 328, 329 Beheer van de instelling inrichten Bovenstaande resultaten worden in onderstaande tabel per issuenummer (SLSD) kort verklaard: SLSD Omschrijving Opmerking 180 FASEN: foutmelding Herinschrijven mag niet leeg zijn Wordt in een volgende release opgelost 183 Ingerichte opleidingen staan helemaal onderaan GUI. Wordt snel opgelost, mogelijk nog voor livegang 184 tabblad opleidingen, fase herinschrijven mag niet leeg zijn Wordt opgelost in volgende sprint 185 Variantcode moet uniek zijn (zie 5. Belangrijke issues) 212 bij s worden Engelse en Duitse teksten niet ingevuld Vereist aanpassing in de handleiding 213 HTML: Klikbare links in de vragen en antwoorden (zie 5. Belangrijke issues) 214 Graad komt in opleidingsnaam niet voor Opleveren in Q3 227 Melding onterecht bij koppeling opleiding aan collegejaar Niet blokkerend 232 Foutmelding vraagtype is niet bekend Fout in template. Wordt opnieuw aangeleverd 239 bij inrichten mailteksten blijft en/du leeg. Eigenlijke probleem is dat deze functie bij mailteksten anders werkt dan in de betaalmodule. 253 Betaalmodule maximaal 1000 karakters (was 2500) In onderzoek of meer ruimte te maken is. 262 tab Berichten: Knop Kopieer XML opent dialoogbox met melding Nog niet opgeleverd in deze release 263 berichten Student: niet alle berichten worden getoond Selected for development 269 Tabbladen in Deshboard beheer zijn niet persoonlijk te maken Selected for development 282 Vraag zichtbaar in dashboard, maar niet in frontoffice Bekend probleem. Wordt opgelost in Q2 283 Tab berichten in Dashboard werkt wel maar is niet werkbaar Functionaliteit wordt nog ontwikkeld 284 Tab Berichten en tab Studenten-Berichten tonen niet dezelfde berichten Selected for development 303 Melding verboden karakters in vraagtekst (Excel) In onderzoek. Slecht te reproduceren 307 Instroomcode met dezelfde startdatum niet mogelijk In onderzoek 328 Werking tab Berichten in dashboard instelling Known issue. Staat in backlog Opgeloste fouten in berichten in SL-berichten moeten 329 Known issue. Staat in backlog 'afgeplakt kunnen worden 347 (profiel van nieuw)collegjaar niet te verwijderen Opleveren in Q3 Niet alle vragen worden getoond in het overzicht voor 357 In onderzoek of dit uberhaupt een bug is medewerkers 368 Drop-down Balie is nu leeg en dus niet te gebruiken Opleveren in Q3 397 Overzicht vragen wordt niet weergegeven In onderzoek De geel gemerkte issues worden na de geplande livegang van het dashboard opgeleverd. Het dient aanbeveling om te bepalen of dit de bruikbaarheid van het dashboard beïnvloed. Ten tijde van het

5 schrijven van deze rapportage zijn deze geel gemerkte vraagstukken ter beantwoording/onderzoek voorgelegd aan het project. 5. Belangrijke issues Binnen de specifiek benoemde bevindingen verdienen onderstaande extra aandacht: Onderwerp Variantcode Zoals reeds in de tussenrapportage gemeld, is er een duidelijk verschil van visie rondom het gebruik van de variantcode. Er zijn bevindingen gedaan van het feit dat deze nu uniek moet zijn voor de instellingen onbruikbaar is. Veel instellingen zouden de inrichting van hun SIS en processen hierop moeten aanpassen. Opvallend is dat de instellingen onderling al van mening verschillen of de variantcode uniek moet zijn of niet. Qdelft geeft aan dat dit vanuit het ontwerp wel zo moet zijn. Er is zelfs een instelling (HvU) die aangeeft Als VARIANTCODE inderdaad een unieke waarde moet blijven dan beschouwen wij dit als een NO-GO en ook volledig in tegenspraak met de eerdere uitleg die over de inrichting van de opleidingen is gegeven. Het issue ligt nu bij Studielink voor nadere onderzoek en een uitspraak hierop. Communicatie, serverproblemen en time-out Er is en wordt nog steeds veel melding gemaakt van communicatiefouten en time-out problemen. Er zijn tussentijds wel al verbeteringen bereikt maar de echte oorzaak van de problemen is helaas nog niet gevonden. Vervelend is dat de communicatie problemen met de server vaak pas duidelijk wordt als men een formulier wil opslaan. Men heeft dan allerlei gegevens ingevuld om er tenslotte achter te komen dat het opslaan mislukt en men opnieuw kan beginnen. Het is voor het live gaan van het dashboard echter van belang dat duidelijk wordt wat de oorzaak is van deze issues. Zolang dat niet helder is kan niet worden gegarandeerd dat deze problemen niet in productie zullen voorkomen. HTML Op dit moment wordt html en daarmee URL-links, maar ook opmaak als bold, italic etc... nog niet ondersteund in de vragenmodule. Dit heeft te maken met beveiligingsrisico's die dit met zich meeneemt. Instellingen geven echter aan dat het kunnen gebruiken van html (URL s in het bijzonder) van belang zijn om te kunnen verwijzen naar webpagina s inzake vragen en toelichtingen. QDelft is nog aan het onderzoeken hoe dit in de toekomst kan worden toegestaan. LAY-OUT Op meerdere onderdelen gaat het mis met de lay-out en userinterface gedrag. Informatie staat niet op zijn plek of men moet vaak onnodig scrollen door de pagina. Vooral door dit laatste wordt essentiele (scherm))informatie in eerste instantie over het hoofd gezien het geen het bedrijfsproces onbedoeld kan frustreren. BALIE De dropdown of keuzelijst balie blijkt nog niet opgeleverd. Het is echter wel een item binnen het dashboard (proces GAT Q1_6). Oplevering is nu gepland voor Q3; vraag is nu of dit te laat gaat komen of dat we ook zonder live kunnen met het dashboard. Wensen Een belangrijk deel van de ingevoerde bevindingen betreffen een z.g. wens. Men vraagt om een andere werkwijze, andere layout etc. In overleg met de PO (Desiree) is in ieder besloten deze issues niet te honoreren vanuit de strategie dat eerst het HNS qua functionaliteit gelijk moet zijn aan het huidige Studielink.

6 6. Reacties instellingen Testrapportage Dashboard Naast de formele testen is ook een eerste reactie gevraagd van de instellingen die getest hebben. Ten tijde van het schrijven van deze rapportage waren nog niet alle reacties ontvangen, maar hieronder enkele eerste reacties: Algemene Indruk Wat er is gebouwd, werkt ook. Nog niet perfect, soms zijn er velden in het Berichtenoverzicht nog leeg. Ik ben geen echte show stoppers tegen gekomen. Het inrichten werkt al prima. Het begint er al steeds beter uit te zien. Waren we de vorige keer al positief, dan zijn we dat op dit moment zeker ook. Advies; Gematigd positief en geen echte showstoppers meer, maar zeker nog niet klaar. Een GO, maar als we zo live zouden gaan, dan levert het nog wel veel extra werk (aan instellingskant) en vragen (bij studenten) op. Wat ons betreft geen doorslaggevende bezwaren om negatief te oordelen. Goede indruk van zowel het studentendashboard als het instellingsdashboard. Datumformats verdienen nog wel aandacht voor de volgende GAT test. Wat ons betreft een positief advies om verder te gaan waarbij we wel aandacht vragen voor de gedane meldingen en dat we ervan uitgaan dat ze worden opgelost. Testproces De hoeveelheid werk viel toch wel wat tegen en het leek er op dat ik niet veel gedaan zou krijgen, maar uiteindelijk ben ik nog wel ver gekomen. Testscenario s niet altijd even duidelijk, waardoor het testen soms wat moeizamer gaat. Blij met Jira en daarmee inzicht in de voortgang van de bevindingen De webmail stub en overige stubs werkten en we waren aangenaam verrast dat de testscripts weer van een vergelijkbare kwaliteit zijn, zoals we van Studielink gewend waren. Wat ons betreft is het gebruik van Jira als tool voor bijhouden van bevindingen positief Het opvoeren van bevindingen dmv Jira werkt veel beter als steeds via mail versturen van meldingen zoals dat bij de vorige GAT testen aan de orde was. Meldingen Er zouden eigenlijk wat duidelijkere testscripts moeten zijn waar de te volgen stappen ook exact beschreven staan. Nu was het af en toe uitproberen wat nu precies de bedoeling van een testgeval was. 7. Conclusie Het vrijgaveadvies voor het dashboard is gematigd positief De geluiden vanuit de instellingen volgen deze conclusie. Het dashboard is zeker nog niet af, getuige de bevindingen. Vooral de impact van het grote aantal dashboard gerelateerde bevindingen die post-livegang worden opgelost moet goed worden uitgezocht. Qua echte zorgpunten kunnen we er in ieder 2 benoemen: De instabiliteit van de omgeving waarbij nog niet is aangetoond dat deze problemen in productie opgelost zijn. Het vraagstuk inzake de variantcode. Dit issue is voor sommige instellingen een issue omdat zij hierop hun SIS inrichting zouden moeten gaan aanpassen als de variantcode uniek blijft.

7

8