Evaluatie Go Live Deeloplevering v0.8

Transcriptie

1 Evaluatie Go Live Deeloplevering v0.8 De vernieuwde Studielink applicatie Opdrachtgever: Walter Groen - Projectmanager Project: Het Nieuwe Studielink Versie: 1.0 Auteur: Manon Blom Datum:

2 Inhoud Documenteigenschappen De opzet van de evaluatie... 4 Wijze van evaluatie Evaluatie... 4 Testen extra toelichting en reactie Studielink... 6 Dataconversie extra toelichting en reactie Studielink... 7 Draaiboek Go Live extra toelichting en reactie Studielink... 8 Planning extra toelichting en reactie Studielink... 8 Communicatie extra toelichting en reactie Studielink... 9 Beheer extra toelichting en reactie Studielink... 9 Conclusie/lessons learned Vervolg deelevaluaties

3 Documenteigenschappen Datum: 6 december Versie: 1.0 Versiebeheer Versie Datum Veranderingen (concept/definitief) Opdrachtgever Auteur(s) november Opzet concept Walter Groen Manon Blom november Opmerkingen WG verwerkt Walter Groen Manon Blom november Opmerkingen Projectteam Walter Groen Manon Blom Verspreiding Versie Datum Ontvanger november Opdrachtgever november Projectteam december Stuurgroep HNS 3

4 1. De opzet van de evaluatie Op 10 oktober jl. heeft de livegang van de Studielink applicatie plaatsgevonden. Met de livegang is de eerste deeloplevering (0.8) van de vernieuwde Studielink applicatie in het kader van het project Het Nieuwe Studielink (HNS) opgeleverd. In de aanloop naar, tijdens en na afloop van de livegang heeft Stichting Studielink in nauw contact met de instellingen gestaan. In dit document blikken wij terug met de instellingen op een aantal activiteiten die rondom de livegang heeft plaatsgevonden. Wijze van evaluatie Stichting Studielink heeft rondom zes thema s stellingen opgesteld. Deze stellingen zijn in een online vragenlijst verwerkt. De enquête is uitgestuurd naar alle 55 dossierhouders van de instellingen. Naast de online vragenlijst hebben wij de dossierhouders ook de optie gekregen om meer toelichting te geven op één of meer thema s via een extra antwoordbox en/of via een Skypegesprek met de projectleiding. Na afloop van de enquête zijn de resultaten geanalyseerd en verwerkt in een rapportage. Deze rapportage wordt uiteindelijk ter bespreking voorgelegd aan de Stuurgroep. Thema Testen Dataconversie Draaiboek Go Live Planning Communicatie Beheer Open vraag Stelling Met de diverse ketentesten heeft mijn instelling zich goed kunnen voorbereiden op de overgang naar productie. Dankzij de rapportages van dataconversie heeft mijn instelling zich goed kunnen voorbereiden op de datamigratie tijdens livegang. Dankzij het Draaiboek Livegang was mijn instelling goed voorbereid op de livegang. Mijn instelling heeft de voldoende de tijd gehad om zich voor te bereiden op de livegang. Mijn instelling is tijdens de livegang goed op de hoogte gehouden van de laatste ontwikkelingen. Ik ben tevreden over de wijze waarop de Servicedesk van QDelft de meldingen oppakt. Welke ervaring heeft jullie instelling tot nu toe met het gebruik van de applicatie in productie? 2. Evaluatie Na afloop van iedere deeloplevering wordt er een deelevaluatie met de instellingen georganiseerd. Bij iedere deelevaluatie zullen dezelfde thema s, mits van toepassing, worden geëvalueerd op eenzelfde wijze. Iedere deelevaluatie wordt verwerkt in een evaluatiedocument. Dit document wordt voorgelegd aan de Stuurgroep en vervolgens gedeeld met de keten. Uiteindelijk vormen alle deelevaluaties gezamenlijk input voor de totale evaluatie van het project HNS. In de maand november is voor de eerste deeloplevering van de vernieuwde Studielink applicatie een deelevaluatie uitgevoerd. Doel van de evaluatie is: De livegang op diverse thema s beoordelen door alle instellingen. De lessons learned meenemen ter verbetering naar de volgende deelopleveringen. Voor de evaluatie is een korte vragenlijst uitgestuurd naar alle dossierhouders van het project HNS. In totaal hebben 42 dossierhouders de enquête ingevuld. Uit de evaluatie volgt het volgende beeld: 4

5 Stellingen Resultaten Totaal Ik ben tevreden over de wijze waarop de Servicedesk van QDelft de meldingen oppakt. Mijn instelling is tijdens de livegang goed op de hoogte gehouden van de laatste ontwikkelingen. Mijn instelling heeft de voldoende de tijd gehad om zich voor te bereiden op de livegang. Dankzij het Draaiboek Livegang was mijn instelling goed voorbereid op de livegang. Dankzij de rapportages van dataconversie heeft mijn instelling zich goed kunnen voorbereiden op de Met de diverse ketentesten heeft mijn instelling zich goed kunnen voorbereiden op de overgang naar # Antwoorden per categorie Helemaal mee oneens Redelijk mee oneens Neutraal Redelijk mee eens Helemaal mee eens Dit overzicht geeft een indicatie van de beleving van dossierhouders bij het project. De respondenten zijn tevreden over de diverse ketentesten en de dienstverlening van de Servicedesk van QDelft. Dit geldt ook voor de mate waarin tijd beschikbaar was en de communicatie die plaatsvond tijdens livegang. Dit beeld wordt bevestigd in de extra toelichting die door instellingen is gegeven bij de diverse stellingen. Rondom de beheersituatie van de vernieuwde Studielink applicatie merken dossierhouders op dat er verbeterpunten zijn. Zo kunnen de releasenotes aangevuld worden met de wijze waarop problemen zijn opgelost. Daarnaast geven instellingen aan dat gemelde issues in sommige gevallen ook breder gedeeld zouden kunnen worden wanneer het voor meer instellingen het geval kan zijn. In de volgende paragrafen worden de conclusies uit de voorgelegde stellingen en de extra gegeven toelichting beschreven rondom de volgende thema s: Testen Dataconversie Draaiboek Go Live Planning Communicatie Beheer 5

6 Testen extra toelichting en reactie Studielink De dossierhouders zijn enigszins tevreden over de mate waarin de instellingen zich hebben kunnen voorbereiden op de overgang naar productie (gemiddelde score 3,6). Het testen met de keten verliep moeizaam. Met name de testen met DUO zijn niet soepel verlopen. Hierdoor is een aantal problemen, zoals met decentraal geverifieerde vooropleidingen, pas bij livegang ontdekt. De Open Universiteit heeft pas laat kunnen testen op productie, omdat de aansluiting op het ontkoppelpunt vlak voor livegang heeft plaatsgevonden. In sommige gevallen waren Studielink en SIS niet goed op elkaar afgestemd. Dit leidde ertoe dat instellingen minimaal konden deelnemen aan de ketentesten. Het was niet altijd mogelijk om de gehele keten te testen, een instelling geeft aan dat een groot deel van de aangeleverde teststudenten niet heeft gewerkt. Ketentesten zijn altijd lastig te managen. Er wordt dan niet meer alleen gekeken naar de functionaliteit maar er is dan ook een afhankelijkheid met de diverse ketenonderdelen. DUO is er daar één van. We hebben inderdaad gezien dat er op die koppeling nog een hoop leermomenten waren; niet zozeer bij DUO als wel bij de verwerking en het aanmaken van het berichtenverkeer. Belangrijk blijft om gebruik te maken van de voor de testen aangeleverde BSN s. De OU heeft pas laat kunnen testen op de test omgeving. Daarnaast waren twijfels over de performance maar de performance van de betreffende testomgeving was niet representatief voor productie. Hierdoor is de aansluiting op het productie Ontkoppelpunt later uitgevoerd dan gepland en is de aansluiting tijdig een paar dagen voor de freeze periode uitgevoerd d.d Door het ontbreken van een afzonderlijke testomgeving voor SIS leveranciers zijn pas na het koppelen op de Ketentest omgeving en bij het opstarten van de berichten uitwisseling diverse problemen in de berichten uitwisseling geconstateerd met een aantal SIS-en. Dit betrof generieke problemen als gevolg van het overgaan op het nieuwe platform gebaseerd op de Microsoft standaarden. Het doel van een ketentest is om de hele functionele keten te kunnen doorlopen. Uitdaging daarbij is de onderlinge afhankelijkheid tussen de ketenonderdelen. Het ene onderdeel levert een startvoorwaarde voor de volgende stap met een ander ketenonderdeel. Als één schakel niet goed verloopt dan kan het gevolg inderdaad zijn dat een procesketen niet meer verder afgetest kan worden. De (proces)keten is dan dus soms onderbroken. Daarbij kunnen zonder twijfel BSN s verloren gaan. Overigens 6

7 is het altijd mogelijk om, indien beschikbaar, extra BSN s aan te vragen voor een bepaalde testperiode mocht er iets verloren gaan. Hoewel bij testen diverse onderdelen goed leken te werken, bleken die na livegang toch niet het geval te zijn. Een instelling geeft aan dat de extra finale ketentest te laat plaatsvond en daarnaast qua timing ongunstig viel, waardoor de testperiode niet optimaal benut kon worden. Een instelling geeft aan dat de testscripts niet in alle gevallen duidelijk interpretabel waren. Dit is niet zozeer een gevolg van het testen, als wel van releasemanagement op de diverse omgevingen. Bij een keten of acceptatietest wordt altijd geprobeerd om te testen op een omgeving die zoveel als mogelijk gelijk is aan de productieomgeving. Oplossingen van bevindingen die gedaan zijn op de testomgeving dienen vervolgens ook op productie te worden doorgevoerd. Het gelijk houden van deze meerdere omgeving is altijd een grote uitdaging. Daarnaast ziet een productieomgeving qua infrastructuur er ook vaak anders uit dan een testomgeving wat andere reacties van het systeem kan veroorzaken dan op de testomgevingen. Wij erkennen dat de timing niet gunstig was. De extra testperiode is vrij laat ingelast, om een aantal herstelacties te testen voordat deze op de productieversie uitgerold zouden worden die bij livegang in gebruik genomen zou worden. In eerste instantie zou deze test met slechts een select aantal instellingen plaatsvinden. Hier is op het laatste moment van af geweken, waardoor iedereen die mee wilde testen daadwerkelijk kon meedoen. Dit zorgde er echter wel voor dat instellingen te laat op de hoogte waren van de extra finale ketentest. Deze opmerkingen herkennen wij niet. Studielink heeft de testscripts laten reviewen door instellingen, aangezien hier naar aanleiding van eerdere ketentesten om gevraagd was. Instellingen zijn daarnaast tijdens de releasebijeenkomst vóór de ketentest uitvoerig geïnformeerd over de ketentest en de testscripts. Dataconversie extra toelichting en reactie Studielink De dossierhouders zijn overwegend tevreden over de rapportages van de dataconversie, waarmee de instelling zich op de datamigratie tijdens livegang kon voorbereiden (gemiddelde score 3,7). Het onduidelijk was wat er wel/niet geconverteerd zou worden. Wij herkennen ons niet in deze toelichting. In het voorjaar is een controleplan gedeeld, waarin staat toegelicht welke onderdelen wel en niet geconverteerd zouden worden. Daarnaast zijn instellingen tijdens sessies en via mailing 7

8 veelvuldig op de hoogte gebracht van hetgeen wel/niet geconverteerd zou worden. Draaiboek Go Live extra toelichting en reactie Studielink De dossierhouders zijn tevreden over het draaiboek dat is gehanteerd tijdens go live (gemiddelde score 4,2). Een aantal dossierhouders geeft over het draaiboek en de webinar een extra toelichting: De informatie zoals gepresenteerd tijdens de webinar werd positiever gebracht dan daadwerkelijk het geval was. Zo is er bijvoorbeeld niet voldoende gedacht aan een aantal gevolgen na livegang (zoals het triggeren van berichten na het verwerken van de bulkberichten). Een instelling heeft aangegeven dat er vrij laat instructi s naar dossierhouders zijn verstuurd (m.b.t. inrichting van profielen en variantcodes), waarbij niet direct duidelijk was dat er een dringende actie van de instelling vereist was. Planning extra toelichting en reactie Studielink Tijdens de webinar hebben we geprobeerd een zo eerlijk mogelijk beeld te geven richting de deelnemers. Een aantal zaken die zich na livegang heeft voorgedaan, was toentertijd niet bij ons bekend. Indien dit wel het geval was geweest, hadden wij dit uiteraard gedeeld met de keten, maar hiervan was echter geen sprake. Wij erkennen dat deze mailing vrij laat heeft plaatsgevonden. De verstuurde informatie was al eerder gedeeld met de instellingen, maar het was inderdaad verstandig geweest om dit direct nog meer bij de dossierhouders onder de aandacht te brengen. De dossierhouders zijn overwegend tevreden over de tijd die de instelling heeft gekregen om zich voor te bereiden op de livegang (gemiddelde score 3,9). De tijd tussen openstelling voor instellingen en openstelling voor studenten was vrij kort. Een van de instellingen geeft aan dat het tijdgebrek deels aan henzelf heeft gelegen. Zij hebben niet voldoende tijd aan testen besteed, waardoor zij pas bij livegang aan fout in Beheer hebben opgemerkt. Wij erkennen dat de tijd erg kort was. Door de problemen die zich tijdens conversie voordeden kon het instellingsdashboard niet eerder open. Er moest daarom een afweging gemaakt worden tussen later front office voor studenten openzetten of verkorten van tijd tussen openstellen instellingsdashboard en front office dashboard. Aangezien wij met de keten hebben afgesproken dat de studenten zo min mogelijk hinder dienden te ondervinden van de livegang, is ervoor gekozen om de tijd tussen openstelling voor instellingen en studenten te verkorten. Geen commentaar 8

9 Communicatie extra toelichting en reactie Studielink De instellingen zijn overwegend tevreden over de mate waarin zij op de hoogte zijn gehouden tijdens de livegang (gemiddelde score 3,9). Niet iedereen was even tevreden over de hoeveelheid informatie. Een aantal instellingen vond de frequentie goed, maar er waren ook instellingen die de frequentie van communicatie als laag beschouwden. In een aantal gevallen vond de communicatie te laat of op een later tijdstip dan afgesproken plaats. Wij herkennen dit beeld. Wij hebben continu geprobeerd de juiste hoeveelheid informatie te versturen, zonder de instellingen te overladen met mails. Daarnaast gaven we via de projectwebsite regelmatig statusupdates. Het is inderdaad voorgekomen dat de communicatie later plaatsvond dan aangegeven. In de eerste uren van livegang was het niet altijd even duidelijk wat er precies aan de hand was, waardoor het lastig was een inschatting te maken van de oplostijden. Hierdoor kwam het soms voor dat er geen nieuwe informatie was, waardoor er niks gecommuniceerd werd. Op advies van een aantal instellingen hebben we deze strategie aangepast, waardoor we regelmatiger communiceerden over de stand van zaken. Beheer extra toelichting en reactie Studielink De dossierhouders zijn enigszins tevreden over de dienstverlening van de Servicedesk van QDelft tijdens de livegang (gemiddelde score 3,6). Via de open vragen heeft een aantal dossierhouders extra toelichting gegeven: In het gebruik van de Servicedesk was het aanvankelijk niet altijd even duidelijk welke uitleg bij de status hoorde. Een instelling geeft aan dat de releasenotes niet altijd stroken met de daadwerkelijke aanpassingen. Daarnaast wordt vermeld dat issues opgelost worden, maar de wijze waarop dit gebeurt ontbreekt. De known issues lijst is niet altijd up-to-date. Issues die individueel door een instelling worden gemeld, kunnen ook voor meerdere instellingen van belang zijn. Dit wordt nu nog niet breder gedeeld. Dit klopt. Naar aanleiding hiervan is er extra uitleg verstuurd naar de dossierhouders. Wij herkennen deze toelichting, we proberen de releasenotes aan te passen, zodat ook deze informatie erin staat. Wij zullen de known issue lijst regelmatiger gaan bijwerken, zodat ook voor instellingen helder is wat er allemaal speelt. Wij herkennen deze toelichting, wij hopen via de known issue lijst ervoor te zorgen dat meerdere instellingen op de hoogte zijn van gemelde problemen die mogelijk ook voor hen gelden. 9

10 Een instelling heeft het volgende aangegeven: Niet alle functionaliteiten zijn meegenomen terwijl dit wel was afgestemd (huidige functionaliteit naar HNS). Maar blijkbaar is dit in andere overleggen weer teruggeschakeld naar wat mogelijk was; geen terugkoppeling aan dossierhouders. Denk aan dubbele SL accounts die nu niet meer door onderwijsinstellingen, maar ook nog niet door QDelft, kunnen worden samengevoegd. Een van de instellingen heeft aangegeven veel tijd te hebben besteed aan het doorzetten van berichten naar hun SIS, vanwege een probleem in het berichtenverkeer. Regelmatig hebben we dossierhouders geraadpleegd over voorgenomen besluiten en wijzigingen, zodat onze inschattingen continu door hen van een terugkoppeling en advies werden voorzien. Mochten er functionaliteiten zijn die momenteel ontbreken in het huidige Studielink en die niet in de 1.0 versie zullen zitten, maar wel gewenst zijn, dan kunnen deze worden gemeld via de Servicedesk van QDelft. Deze meldingen worden na oplevering van versie 1.0 in behandeling genomen. Wij zijn bekend met dit issue en vinden het erg vervelend dat dit bij livegang is gebeurd. Conclusie/lessons learned Tevredenheid over resultaat Instellingen geven aan dat de performance nog niet optimaal is. Hierdoor verloopt een aantal zaken nog niet soepel, zoals inloggen door zowel studenten als instellingsmedewerkers. De dubbele accounts komen veelvuldig voor bij instellingen. Er zijn nu nog veel bevindingen, die in sommige gevallen redelijk grote gevolgen hebben voor student en/of instelling. Instellingen beseffen zich dat ze nog met een 0.8 versie van de applicatie te maken hebben. Er spelen issues, maar daar valt omheen te werken of er wordt een oplossing voor geboden. Een instelling geeft aan momenteel meer studentvragen te krijgen dan rond dezelfde periode in de voorgaande jaren. Over het algemeen werkt de applicatie. Wel komt het soms voor dat de werking anders is dan tijdens de ketentest het geval was. Applicatie is makkelijker in gebruik. De applicatie is overzichtelijk en intuïtief. De verschillen tussen oud-studielink (CACI) en nieuw-studielink (QDelft) blijken in praktijk groter dan verwacht, zowel in systeem, proces als mensen. 10

11 Lessons learned Terugkoppeling op issues verbeteren. Vragenmodule voorzien van uitleg en voorbeeldsheet. Known issue lijst up-to-date houden en aangeven of issue voor meer instellingen kan spelen. In releasenotes aangeven hoe een issue wordt opgelost in een release. In volgende deeloplevering realistisch aangeven wanneer volgende communicatiemoment plaatsvindt en hier daadwerkelijk opvolging aan geven. Instellingen dienen zelf tijdig te starten met voorbereiding voor livegang van deeloplevering. Voorafgaand aan ketentest voldoende gehele keten gereed maken voor deelname aan ketentest. 3. Vervolg deelevaluaties Met de oplevering van versie 0.8 van de vernieuwde Studielink applicatie is het eerste deel van de vernieuwing een feit. Met de evaluatie van de Go Live wordt het eerste deel van de totale evaluatie afgerond. In de komende maanden volgen er meerdere deeloplevering, waaronder: Versie Functionaliteit Opleverdatum productie 0.9 Selectie en Plaatsing 10 december Herinschrijven 28 januari DVS? 1.0 Totale oplevering 28 april 2019 De resultaten uit deze deelevaluatie worden meegenomen ter voorbereiding op volgende opleveringen. Er zal een verbeterslag gemaakt worden op de wijze waarop de releasenotes worden samengesteld. Zo zal er meer aandacht komen voor de manier waarop een issue in de release is opgelost. Daarnaast wordt er bij de testtrajecten meer samengewerkt met SIS-leveranciers, zodat eventuele fouten in berichten eerder naar boven kunnen komen en opgelost kunnen worden voordat de ketentest van start gaat. Tot slot wordt er voor iedere deeloplevering een communicatieplan opgesteld, zodat instellingen weten wanneer en op welke wijze zij communicatie kunnen verwachten. 11