Volgnummer 01 Datum 10 juli 2018 Opgesteld door Peter van Kan Verspreid aan Studielink, projectteam QDelft. 1. Inleiding Afgelopen weken heeft de tweede Ketentest (KT2) plaatsgevonden op (HNS). De ketentestomgeving was deze keer weer een stuk completer; alleen DigiD en DIM zijn nog uitgevoerd als stubs. Deze rapportage handelt primair over de resultaten uit KT2. 2. Algemeen Eén van de belangrijkste leerpunten uit de eerste ketentest (KT1) was de werking van het proces Verzoek tot Inschrijving (VtI) van een Nederlandse student. In eerdere testen is hierbij gebruik gemaakt van de DUO-stub. In de GAT test was het gebruik van deze stub nog voldoende omdat daarbij de diverse SISen nog niet opgenomen waren in de keten. In de KT1 bleken een hoop instellingen echter niet in staat om de procesketen van een VtI op een NL student geheel te doorlopen. Nodige informatie kwam niet aan in het SIS waarbij ook bleek dat de DUO-stub niet voldoende informatie mee stuurde. De DUO aansluiting was in KT1 al een niet gehaald entrycriterium, en de ervaring in Ketentest 1 maakte de ketenaansluiting van de DUO-testomgeving echt noodzakelijk voor een goede tweede Ketentest. Het bleek nog een hele uitdaging om de DUO-testomgeving functioneel aan de praat te krijgen binnen de HNS-ketentestomgeving. Een en ander zorgde voor vertraging bij de start van de KT2. Daarnaast bleek bij de start van de Ketentest dat de communicatie met enkele SISen ineens niet meer functioneerde. De oorzaak bleek bij configuratiewijzigingen te zitten in de netwerk en/of applicatielaag van het SIS, welke na de aansluiting waren doorgevoerd. De soort wijziging verschilde per aansluiting. Uiteindelijk kon met de KT2 worden gestart. Het aantal instellingen welke deel hebben genomen aan deze tweede Ketentest is beduidend hoger dan tijdens de eerste Ketentest. 46 instellingen hadden zich aangemeld om mee te doen met de KT2. 7 instellingen hebben echter nog niet kunnen testen in verband met nog resterende aansluitproblemen van het door hen gebruikte SIS (Trajectplanner). Deze problemen zijn ondertussen opgelost. Van 5 instellingen is nog geen testmonitor ontvangen. Minimaal 1 daarvan heeft echter wel getest, getuige de opgevoerde issues in Jira. Tijdens het schrijven van deze rapportage zijn de eerste testen met Trajectplanner echter ook gestart. Omdat de ketentestomgeving voor een groot deel beschikbaar blijft, zullen de testen met Trajectplanner in de keten ook na de testperiode worden voortgezet. 3. Doorlopen testen Ondanks de latere start van KT2 is er toch uitgebreid getest. Vooral de laatste testweek is er zeer veel werk verzet door de testende instellingen.
Binnen deze ketentest zijn de navolgende (deel)processen doorlopen, gegroepeerd in 6 hoofdprocesstromen: Inschrijving, bevestiging NL student, overlijden Uitschrijven, herstel inschrijving Afmelden voor bevestiging, uitschrijven voor begin schooljaar Bevestiging identiteit, onderhouden persoonsgegevens, NAW, Verificatie vooropleiding Betaalwijze, DIM, collegegeld betaald Nieuwe/gewijzigde identificerende nummers van een student, doorgeven inschrijfvolgnummer Veel instellingen hebben terecht aangegeven dat hiermee vooral de happy-flow is getest, maar dat de uitzonderingsgevallen ontbraken. Daartoe heeft een groot deel van de instellingen ervoor gekozen om ook het verzoek tot exploratory testen ter harte te nemen en vanuit hun eigen kennisgebied zelfontworpen testcasussen toe te passen. 4. Dekkingsgraad Meetmoment: 9 juli 12:10. Gemeten naar een totale dekkingsgraad score van 100% (46 instellingen, alle processen getest) is er een dekkingsgraad gehaald van 61 %. Een kleine kanttekening: Als we hier de 7 instellingen met Trajectplanner van aftrekken komen we op een dekkingsgraad van 71%. Op basis van alle instellingen is de dekkingsgraad voor Ketentest 2 voldoende. Dit ook nog met de wetenschap dat enkele instellingen niet in staat zijn geweest om hun testmonitor op tijd in te leveren. Dit getal zal dus ongetwijfeld nog bijgesteld gaan worden. 5. Resultaten Meetmoment: 9 juli 12:10. Totaal bevindingen Op genoemd tijdstip zijn er 431 bevindingen opgevoerd inzake Ketentest 2. Hiervan zijn er 226 gereed of betreffen onder andere dubbele meldingen, issues die niet reproduceerbaar zijn en geconstateerde afwijkingen die echter wel conform ontwerp zijn. Er blijven daarmee 205 issues open.
Deze bevindingen kunnen qua status als volgt worden gecategoriseerd: Aantal Omschrijving 136 Opgelost en gereed 11 Opgelost door Helpdesk/servicelijn (betrof vragen of verzoek om hulp) 25 Dubbele meldingen (duplicates) 4 Niet reproduceerbaar (niet na te spelen of kwam niet meer voor) 38 Niet relevant of wordt niet verholpen (bv conform ontwerp) 1 Hardware fout 11 Awaiting release; gereed om vrijgegeven te worden 226 Van de 431 issues zijn er dus 226 reeds afgehandeld. De overige 205 bevindingen zijn als volgt in te delen: 116 Known issues (bekend problemen, vaak nog in backlog) 17 Wacht op antwoord van de melder (bv vraag voor aanvullende informatie) 9 Nieuwe openstaande issues 20 In behandeling bij Studielink (bv tekstuele aanpassingen of procesvragen) 26 Selected for Development (voor oplossen bij ontwikkelaars QDelft) 17 Nog in stadium van foutanalyse 205
LET OP! Bovenstaande betreft alleen de KT2 gerelateerde bevindingen. Daarbij dient voor de duidelijkheid te worden vermeld dat duplicaten en known-issues kunnen terugverwijzen naar de backlog of oudere bevindingen. Per proces Onderstaande tabel geeft het percentage aan van goed en fout verlopen procestesten. De kolom OK geeft het aantal instellingen dat dit proces succesvol heeft doorlopen, NOK geeft het aantal instellingen welke binnen dit proces een Jira melding heeft opgevoerd. De kolom %fout weerspiegelt dus het percentage van fout verlopen testgangen. Daarbij moet wel de nuancering worden meegenomen dat niet alle instellingen alle processen hebben doorlopen (kolom OK+NOK=aantal instellingen die het proces getest hebben). Dit cijfer totaal aantal keren getest moet worden meegenomen in het oordeel qua representativiteit. Bij iets wat 1x is getest zegt een 100% foutscore immers niet veel. In onderstaande tabel zijn issues welke ondertussen zijn opgelost niet meer meegenomen. Echter, zolang een hertest of oplossing nog niet heeft plaatsgevonden blijft een issue als NOK aangemerkt. Let op! Het aantal meldingen in Jira (SLSD) kan lager zijn dan het aantal keren dat het proces niet succesvol was (NOK). In dat geval is dezelfde bevinding door meerdere instellingen gedaan. Andersom is ook geldig: in één getest proces kunnen meerdere issues geconstateerd zijn. Proces OK NOK X getest % fout Inschrijving Nederlandse student (VtI),overlijden 21 11 32 34 Uitschrijven, herstel inschrijving 12 16 28 57 Afmelden voor bevestiging, uitschrijven voor begin collegejaar 21 9 30 30 Bevestiging identiteit, NAW, verificatie vooropleiding 14 14 28 50 Betaalwijze, DIM, collegegeld betaald 20 8 28 28 Gewijzigde nummers van een student, doorgeven inschrijfvolgnummer 13 14 27 52
Exit criteria: In het DTP zijn de onderstaande acceptatiecriteria aangegeven. Deze criteria betreffen het einde van de hele ketentest periode (dus tot na de Finale Ketentest). Onderstaand als indicatie van de status van heden: Type Omschrijving Toeges Blokkerend Groot Midden Klein Blokkerend voor procesgang. Veroorzaakt een algehele uitval (crash) van het systeem c.q. functioneel onderdeel. Frustreert het geteste (werk)proces. Moet direct opgelost worden, tijdelijke workaround is beschikbaar. Functionele onvolkomenheid. Workaround beschikbaar; zo snel mogelijk oplossen na livegang. Beperkte invloed op functionaliteit of stabiliteit; oplossen na livegang. (geen wensen) taan 0 JA Gehaald 1 NEE (>) 10 NEE (>) 15 NEE 6. Vanuit de instellingen: Aan de hand van een korte vragenlijst hebben we de instellingen om diverse input gevraagd. Een vraag was om een mening te geven omtrent het Nieuwe Studielink aan de hand van de huidige status na de tweede Ketentest. 20 instellingen hebben op dit verzoek gereageerd (9 juli 2018 13:00). Hieronder een korte samenvatting: Vraag: Wat is je algemene oordeel inzake na Ketentest 2 en het verder gaan met de finale test? (bedenk daarbij dat nu nog niet alle functionaliteiten gebouwd zijn). Goed Voldoende Matig Onvoldoende - 10 8 2 De belangrijkste opmerkingen daarbij (geciteerd): Controles in de berichten (bv. msg31). Niet duidelijk wat SL zou moeten doen, dus dit niet uitgebreid kunnen testen. Als blijkt dat HNS inderdaad zonder verdere controles de status uit SIS overneemt, dan kan dat voor grote problemen zorgen. We hebben DIM niet goed kunnen testen. DIM stub was gekoppeld, maar knalde eruit. Hierdoor niet kunnen testen de eerste twee weken. Deze week bleek er ander issue. We konden maximaal 1 DIM afgeven per instelling, waardoor we een hoop eigen testscenario s niet hebben kunnen doorlopen. Zorgen over het berichten verkeer in het algemeen. Vooral msg34/48. Er zijn nogal wat zaken die nu de status opgelost hebben. Deze kunnen pas in de finale test het stempel OK krijgen. Is dat haalbaar? De onduidelijkheid rondom controles van berichten is een risico en geeft onzekerheid. Je weet niet goed wat er wordt opgeleverd en wat je vanaf 4 oktober kunt verwachten. Het blijkt dat nog niet alle functionaliteit in de ketentest te testen is met name voor buitenlandse studenten. Inhoud berichtenverkeer geeft nog te veel onzekerheden. De algehele flow van de keten is niet wat we ervan verwacht hadden. Te veel Stubs. In grote lijn is de tot dusver opgeleverde functionaliteit best voldoende, maar in detail toch zorgen. Aantal tickets vanuit KT2 behoorlijk hoog. Hoe krijgen we grip op alle status-variaties en de werking daarvan? Ook worden nu de implicaties van de inrichting dashboard duidelijk, daar
komen ook een hoop vragen en proceskeuzes uit voort. De kwaliteit waarmee we richting studenten live gaan op 4 oktober is nu ondermaats. Tijdelijke oplossingen of workarounds leiden zeer waarschijnlijk tot verkeerde aanmeldingen. Er is alweer heel veel verbetering, maar de statusupdates en verificaties van vooropleidingen behoeven toch nog flink wat aandacht. De uitwerking van de procedures in de techniek zijn een stuk verbeterd ten opzichte van de voorgaande testen. Dat biedt perspectief voor de finale test in augustus. Algemene indruk is dat het werkt, maar het rammelt aan alle kanten. De auto rijdt, maar je zou er liever niet de snelweg mee op gaan. Is de finale ketentest wel reëel? Deze valt bij ons precies in de periode dat bijna iedereen op vakantie is. En dat met nog zoveel testwerk. Zorgelijk. Nog veel fouten. Er wordt door jullie aangegeven dat de fouten in de finaletest opgelost zijn. Hierdoor komt er veel druk op de finaletest te zitten voor de instellingen. Ik word wat heen en weer geslingerd wordt tussen de hele mooie/handige dingen die ik zie (oa bv bij vragen, vragenfilters) en fouten die we pas nu tegenkomen omdat we nu pas de keten kunnen testen. Geruststellend vind ik dat er bij de laatste test al tussentijds patches zijn opgeleverd met oplossingen/verbeteringen. 7. Conclusie Onderstaande conclusie is alleen op basis van de status van Ketentest 2. Hoewel het nog niets zegt over het geheel is het zeker een graadmeter voor de Finale Ketentest. matig Het aantal nog op te lossen issues is nog groot. Met ook enkele nieuwe sprints in Q3 zal het zeker spannend worden. Opvallend is het aantal issues welke zijn ontstaan doordat testers buiten de normale user-stories ging testen. Dus het doorlopen van speciale en uitzonderingsgevallen (vanuit exploratory testing). Er is nog geen goed gevoel uit te spreken over het berichtenverkeer in zijn geheel.
Naam Instelling Testmonitor Voortgang K2 Versie: 20180709-1 Inschrijving, bevestiging NL student, overlijden Uitschrijven, herstel inschrijving afmelden voor bevestiging, uitschrijven voor begin school Tedoen Bevestiging identiteit, onderhouden persoonsgegevens, N Betaalwijze, DIM, collegegeld betaald Gereed nieuwe/gewijzigde identificerende nummers van een stud Amsterdamse Hogeschool voor de Kunsten ok ok OK ok 2 4 Gereed 63% VOORTGANG Tedoen 37% ArtEZ hogeschool voor de Kunsten ok ok ok ok ok 1226 0 6 Aeres hogeschool W1088 5 1 Avans Hogeschool ok 1074 ok ok ok 1 5 Christelijke Hogeschool Ede 6 0 De Haagse Hogeschool ok 1177 1330 ok ok 336 134 0 6 Design Academy Eindhoven 6 0 Driestar 6 0 Erasmus Universiteit Rotterdam ok 206 117 ok W1200 ok ok 0 6 Fontys Hogescholen ok ok ok ok ok 1076 1148 0 6 Hanze Hogeschool Groningen ok 67 1074 9 ok 1067 1095 ok ok 0 6 HKU- nok ok ok ok ok 1 5 Hogeschool van Hall Larenstein 6 0 Hogeschool de Kempel 6 0 Hogeschool Leiden ok nok ok ok nok ok 0 6 Hogeschool Rotterdam ok 5 1298 1 ok 1146 ok ok 0 6 Hogeschool Utrecht ok 1074 ok ok ok 1 5 1168, Hogeschool van Arnhem en Nijmegen ok ok ok 1250 1214 0 6 1196 Hogeschool van Amsterdam nok nok nok nok nok nok 0 6 hogeschool viaa 6 0 Hogeschool Windesheim W983 ok ok ok ok ok 0 6 Inholland ok ok ok ok ok ok 0 6 Marnix Academie 6 0 NHL 6 0 NHL Stenden ok 5 1 NHTV Breda ok 074 117 ok 1067 1024 ok 312 122 0 6 Protestants Theologische Universiteit nok nok nok ok ok nok 0 6 Radboud Universiteit W984 1074W1138 109 1022 ok 1159 0 6 1095 Rijksuniversiteit Groningen 1184 ok ok 327 133 1074 0 6 1026 Saxion Hogescholen ok 1063 ok ok 959 ok 0 6 Theologische Universiteit Kampen 6 0 Tilburg University ok ok ok 1095 ok ok 0 6 TU Delft 1090 022, 1059 1095 1336 107 2 4 TU Eindhoven 6 0 1275 1128 Universiteit Leiden 1281 292 128 1076 1293 1136 1271 1 5 Universiteit Maastricht 6 0 Universiteit Twente nok 063 125 nok nok ok nok 0 6 Universiteit Utrecht 1358 6 1177 1 ok ok ok 2 1062 1 0 6 966, Universiteit van Amsterdam 1185 1106 951 12779 1224 1 0 6 1024, Universiteit van Humanistiek ok ok ok ok ok 1 5 1017 Vrije Universiteit Amsterdam ok ok ok ok 1 5 1022 Wageningen University & Research 6 0 Zuyd Hogeschool OK ok ok 1095 1193 ok 0 6 Open Universiteit 6 0 HAS Hogeschool ok ok ok ok ok ok 0 6 Rietveld Academy ok 5 1 103 173 Aantal instellingen 46 Totaal Fout 11 16 9 14 8 14 72 Ok 21 12 21 14 20 13 101