QA DUO Programma & ketenafhankelijkheden Passend Onderwijs Den Haag, 22-08-2014 Kenmerk: RS/ib/14-996.2
Agenda Leeswijzer Introductie Management samenvatting Analyse per aandachtsgebied: Bijlagen: 1: Inrichting testproces 2: Interne afhankelijkheden 3: Beheer 4: Externe afhankelijkheden 1: Deloitte Programma review raamwerk 2: Bevindingen per aandachtsgebied 3: Interviews 4: Geanalyseerde documenten 1 QA DUO Programma Passend Onderwijs
Leeswijzer Het rapport is als volgt opgebouwd: - In de introductie worden de achtergrond en het doel, de scope en aandachtsgebieden en de aanpak voor meting 2 (intern en extern) toegelicht. - Management samenvatting waarin de belangrijkste risico s en aanbevelingen zijn opgenomen. - Het rapport vervolgt zoals opgedragen voor meting 2 met de hoofdrisico s per aandachtsgebied en aanbevelingen. - Afgesloten wordt met bijlagen waarin de bevindingen per aandachtsgebied zijn opgenomen, de resultaten en opvolging aanbevelingen meting 1, een overzicht van de gehouden interviews alsmede van de geraadpleegde documentatie. Introductie Achtergrond en Doel Resultaten meting 1 Scope en aandachtsgebieden Aanpak Management samenvatting Analyse per aandachtsgebied meting 2 1. Inrichting testproces 2. Interne afhankelijkheden 3. Overdracht naar beheer 4. Externe afhankelijkheden Opvolging aanbevelingen meting 1 Bijlagen 2 QA DUO Programma Passend Onderwijs
Agenda Leeswijzer Introductie Management samenvatting Analyse per aandachtsgebied: Bijlagen: 1: Inrichting testproces 2: Interne afhankelijkheden 3: Beheer 4: Externe afhankelijkheden 1: Deloitte Programma review raamwerk 2: Bevindingen per aandachtsgebied 3: Interviews 4: Geanalyseerde documenten 3 QA DUO Programma Passend Onderwijs
Introductie (1/6) Achtergrond en doel Achtergrond Het programma passend onderwijs beoogt een verandering in het PO& VO veld die veel van alle betrokken partijen zal vergen. Zaken als de zorgplicht van scholen, de nauwe betrokkenheid van ouders, altijd de juiste begeleiding van een kind en zoveel mogelijk kinderen in het regulier onderwijs zijn hierbij belangrijke uitgangspunten. Het nieuwe wettelijke kader van passend onderwijs dient op een gecontroleerde wijze te worden ingevoerd in de informatiesystemen, processen en procedures van zowel DUO, de scholen en de op te richten samenwerkingsverbanden (SWV n) PO en VO. Daarbij dienen tevens afspraken gemaakt te worden met de softwareleveranciers (SWL s) van de leerling-administratiepakketten voor het laten doorvoeren van wijzigingen in de software. Het DUO programma is onderdeel van het bredere programma dat door het ministerie is gestart om implementatie van de veranderingen te bewerkstelligen. DUO is voor de invoering van het nieuwe wettelijke kader primair verantwoordelijk voor haar eigen werkgebied, te weten de realisatie van de registratie, bekostiging en informatievoorziening voor passend onderwijs. Voor de gecontroleerde realisatie is door DUO een meerjarig programma ingericht: passend onderwijs DUO. Het programma richt zich op de technische- en organisatorische aspecten die door DUO ten behoeve van de uitvoering worden aangepast. Deloitte is gevraagd de QA functie van dit programma invulling te geven, in opdracht van de gedelegeerd opdrachtgever bij het ministerie van OCW, Directie Kennis. Doel Doel van de opdracht is het invullen van de QA functie gedurende de doorlooptijd van het Programma. De QA functie dient om inzichtelijk te krijgen of de programma aanpak waarborgen biedt voor een succesvolle realisatie van de beoogde resultaten en garantie biedt dat binnen het gestelde tijdspad en budget de afgesproken kwaliteit wordt geleverd. Tevens dienen de kritieke succesfactoren voor implementatie van passend onderwijs in de uitvoeringsketen inzichtelijk te worden. Het gaat hierbij zowel om de kritieke succesfactoren die DUO zelf kan beïnvloeden als de kritieke succesfactoren vanuit de omgeving. Onze diensten worden niet uitgevoerd in het kader van een assurance-opdracht en derhalve wordt geen zekerheid verstrekt omtrent de getrouwheid van de informatie. 4 QA DUO Programma Passend Onderwijs
Introductie (2/6) Resultaat meting 1: Dashboard risicogebieden Overall beeld gerapporteerd met 1 e meting. In de periode april - begin juni 2013 is de eerste meting uitgevoerd. De belangrijkste resultaten daaruit zijn hieronder weergegeven. Het programma verloopt beheerst. Het resterende risicoprofiel van het programma is over het algemeen laag (groen), met enkele aandachtspunten (oranje). De door het programma ingezette beheersing (sturingsmodel) functioneert adequaat. Er zijn diverse maatregelen getroffen door DUO om te borgen dat de doelstellingen van het programma tijdig zullen worden gerealiseerd. Aan het programma is hoge prioriteit toegekend en de interne opdrachtgever is nauw betrokken bij de uitvoering. Het programma wordt uitgevoerd met mensen die veel ervaring hebben met gelijksoortige verandertrajecten en de DUO-organisatie goed kennen. De mijlpalenplanning wordt gerealiseerd. Voor de toekomstige mijlpalen is deze onderbouwd met een heldere detailplanning. Op onderdelen constateren we dat risico s bestaan, waarvoor we adviseren aanvullende maatregelen te treffen. Deze risico s zijn voornamelijk gelegen buiten de DUO-organisatie, op de koppelvlakken, de wetgeving en de sturing door OCW. Programma Governance Legenda Programma besturing DUO Programma bureau Beheerorganisatie Programma omgeving Strategische samenhang Programma management Passend Onderwijs DUO Programma plan Product Life Cycle Proces definitie Hoog risico dat de doelstellingen zonder directe bijsturing niet worden gerealiseerd Medium risico dat (onderdelen van) de doelstellingen zonder aanvullende maatregelen niet worden gerealiseerd. Laag of geen risico op het niet realiseren van de doelstellingen Op dit moment niet van toepassing Inzicht en afhankelijkheden Programma procedures en kwaliteitsman. Functioneel/technisch ontwerp Cultuur en verandering Planning Configuratie en conversie Belanghebbenden Business case Functioneel/technisch testen Wet- en regelgeving Leveranciers management Opleiding, training en documentatie Uitvoeringsketen Acceptatie 5 QA DUO Programma Passend Onderwijs
Introductie (3/6) Aanbevelingen meting 1 Hieronder zijn de belangrijkste aanbevelingen uit meting 1 weergegeven. Meting 2 besteed aandacht aan de opvolging van de aanbevelingen uit de eerste meting. Programma governance Programma omgeving Programma management Aanbeveling meting 1 De informatievoorziening voor de positie van OCW als opdrachtgever versterken door tolerantiegrenzen met het programma overeen te komen, die basis voor informatievoorziening vormen PO-raad zou meer eigenaarschap kunnen nemen om te bevorderen dat de SWL voldoende voortgang houden op het tijdspad van implementatie. Zorg op korte termijn voor duidelijkheid richting SWL s over de (niet) bekostiging van de benodigde aanpassingen. PO-raad kan een meer proactieve rol vervullen als vertegenwoordiger van de instellingen richting leveranciers om druk te zetten op het ontwikkelen en starten met testwerkzaamheden door de leveranciers. Monitor voortgang SWV en hun planning gedetailleerd. HPR: rapporteren over status t.o.v. voorgaande periode en rapporteren over status per KSF Stel tolerantiegrenzen vast op programmaniveau Geef in de HPR aan wat de criteria zijn voor status van de onderwerpen waarover gerapporteerd wordt Product Life Cycle Programma steekproefsgewijs de onderbouwing van de testplannen laten toetsen en eerder de ketenintegratietest uitvoeren. Dit kan door testgevallen eerder van het begin tot het eind het DUO proces te laten doorlopen. Opvolging Onder het aandachtsgebied interne afhankelijkheden wordt ingegaan op de opvolging van deze aanbevelingen Onder het aandachtgebied externe afhankelijkheden wordt ingegaan op de rol van de raden Onder het aandachtsgebied interne afhankelijkheden wordt ingegaan op de hoofdrapportages en andere instrumenten voor programma management. Onder het aandachtsgebied testen wordt ingegaan op de opvolging van deze aanbevelingen 6 QA DUO Programma Passend Onderwijs
Introductie (4/6) Scope en aandachtsgebieden 2 e meting Voor het onderzoek naar de kwaliteit van inrichting, beheersing en besturing van het programma passend onderwijs hebben wij gebruik gemaakt van het Programma en project Review Raamwerk (zie bijlage 1). Dit raamwerk is opnieuw op maat gemaakt voor meting 2. In overleg met de opdrachtgever zijn 4 aandachtgebieden gedefinieerd. Onderstaand figuur geeft aan hoe deze zijn gerelateerd aan het raamwerk. Voor de tweede meting vallen de grijs gearceerde onderwerpen buiten de scope van de te onderzoeken aandachtsgebieden. Programma Governance Programma besturing Programma bureau Beheerorganisatie Programma omgeving Programma management Product Life Cycle Aandachtsgebieden: Strategische samenhang Programma plan Proces definitie Overdracht beheerorganisatie Inzicht en afhankelijkheden Programma procedures en kwaliteitsman. Functioneel/technisch ontwerp Interne afhankelijkheden Cultuur en verandering Planning Configuratie en conversie Externe afhankelijkheden Inrichting testproces Belanghebbenden Business case Opleiding, training en documentatie Wet- en regelgeving Leveranciers management Functioneel/technisch testen Uitvoeringsketen Acceptatie 7 QA DUO Programma Passend Onderwijs
Introductie (5/6) Scope en aandachtsgebieden 2 e meting Bij deze tweede meting is nadrukkelijk de externe omgeving beschouwd. De keten die wordt gevormd door scholen, SWV n en DUO wordt in dit rapport gekarakteriseerd met de term uitvoeringsketen. Voor het beschouwen van de externe omgeving is het van belang om ook daar de scope van het onderzoek goed af te bakenen. De scope van de uitvoeringsketen beperkt zich tot die aspecten die gerelateerd zijn aan de programma opdracht van DUO, waarbij DUO verantwoordelijk is voor de realisatie van de aspecten registratie, bekostiging en informatievoorziening voor passend onderwijs. In scope zijn derhalve de technische en administratieve inrichting met bijbehorende processen en ondersteunende ICT voor zover gerelateerd aan registratie, (interne) bekostiging en informatievoorziening bij SWV n en scholen. In deze rapportage wordt dit kortheidshalve samengevat met de term bedrijfsvoering. Buiten scope van de meting vallen hiermee een oordeel over de beleidsmatige uitgangspunten die ten grondslag liggen aan de keuze de stelselwijziging door te voeren, evenals de eventuele onderwijskundige gevolgen van de invoering van passend onderwijs. 8 QA DUO Programma Passend Onderwijs
Introductie (5/6) Scope en aandachtsgebieden 2 e meting In overleg met de opdrachtgever punten van aandacht benoemd waar meting 2 per aandachtsgebied aandacht aan besteedt. Inrichting Testproces Aandachtsgebied 1 Uitvoering van testplannen Koppelvlakken met informatiesysteembeheerorganisatie en inregelingenbeheerorganisatie Simulatietest, integratietest, penetratietest en performancetest Navolging functiescheiding binnen testen en acceptatieproces Uitvoeringsketen B. Buiten DUO A. Binnen DUO Aandachtsgebied 2 Aandachtsgebied 3 Aandachtsgebied 4 Interne afhankelijkheden Risico s van de wijze waarop de afhankelijkheden tussen het programma en overige veranderinitiatieven binnen DUO worden geïdentificeerd en beheerst, zoals de beschikbaarheid van benodigde resources voor het programma, sturing op prioriteit programma binnen portfoliomanagement, releasemanagement Overdracht aan Beheerorganisatie Is beheer organisatie en lijn DUO in staat het programma in beheer te nemen ( bv. beschikbare expertise, compliance aan geldende architectuurprincipes, flexibiliteit beheerorganisatie om nieuwe releases door te voeren indien aanpassingen nodig zijn) Is inzichtelijk welke kosten met beheer zijn gemoeid? Externe afhankelijkheden Voortgang binnen de keten (op basis van PID en doelstellingen programmaplan) Lessons learned en knelpunten bij de experimenten (hierbij hele keten aflopen voor een specifiek te benoemen proces, bijvoorbeeld van registratie tot uitbetaling overgangsbekostiging, tot op niveau van AO/IC van een SWV om te bepalen welke knelpunten resteren) Knelpunten die door de uitvoeringspartners in de keten worden gesignaleerd 9 QA DUO Programma Passend Onderwijs
Introductie (6/6) Aanpak De tweede meting is uitgevoerd in de periode april- begin juni 2014. De resultaten en opvolging vanuit de eerste meting zijn binnen de verschillende aandachtsgebieden van de tweede meting verwerkt. Tijdens deze tweede meting zijn op basis van documentstudie en de risico s uit de eerste meting verschillende interviews binnen DUO gehouden om beeld te krijgen op de vier aandachtsgebieden zoals geformuleerd bij de scope van deze meting. Op basis hiervan is allereerst onderzocht wat het risicoprofiel intern het DUO programma is. Hierbij zijn tevens onze ervaringen met de uitvoering van complexe projecten en onze kennis van de DUO-organisatie en het onderwijsveld ingebracht om te komen tot vaststelling van de belangrijkste risico s met bijbehorende aanbevelingen voor het DUO programma. In de tussenrapportage op 18/4/2014 zijn de resultaten van de interne DUO meting met de opdrachtgever besproken. De opdrachtgever heeft gevraagd om aanvullend onderzoek naar de externe afhankelijkheden in de DUO-keten Passend Onderwijs. Tijdens dit vervolgonderzoek zijn verschillende softwareleveranciers (SWL s), samenwerkingsverbanden (SWV n) en OCW betrokkenen geïnterviewd (zie bijlage 3) en is aanvullende documentstudie uitgevoerd (bijlage 4) om een zo volledig mogelijk risico profiel te kunnen schetsen voor het DUO Passend Onderwijs programma. In bijlage 2 zijn de bevindingen weergegeven die berusten op uitspraken van meerdere geïnterviewden. Naast de documentstudie hebben wij conform de opzet van het onderzoek geen achterliggend feitenonderzoek uitgevoerd en onderzoeksbevindingen mogen dan ook niet als vaststaande feiten worden geïnterpreteerd. Bij onze analyse is rekening gehouden met deze beperking. Gezien het onderkende belang van de externe afhankelijkheden doordat juist daar de grootste risico s worden voorzien is dit aandachtsgebied verder gesplitst naar de onderwerpen algemeen, efficiency, effectiviteit, ondersteuning van de leerling en scholen. Deze rapportage bevat de resultaten van de 2 de meting van het interne onderzoek bij DUO, alsmede de resultaten van het aanvullend onderzoek op de externe afhankelijkheden in de keten passend onderwijs. 10 QA DUO Programma Passend Onderwijs
Agenda Leeswijzer Introductie Management samenvatting Analyse per aandachtsgebied: Bijlagen: 1: Inrichting testproces 2: Interne afhankelijkheden 3: Beheer 4: Externe afhankelijkheden 1: Deloitte Programma review raamwerk 2: Bevindingen per aandachtsgebied 3: Interviews 4: Geanalyseerde documenten 11 QA DUO Programma Passend Onderwijs
Management Samenvatting (1/4) Dashboard met overzicht resultaten meting 2 Programma Governance Programma besturing DUO Programma bureau Beheerorganisatie Programma omgeving Programma management Passend Onderwijs DUO Product Life Cycle Legenda Strategische samenhang Inzicht en afhankelijkheden Programma plan Programma procedures en kwaliteitsman. Proces definitie Functioneel/technisch ontwerp Hoog risico dat de doelstellingen zonder directe bijsturing niet worden gerealiseerd Medium risico dat (onderdelen van) de doelstellingen zonder aanvullende maatregelen niet worden gerealiseerd. Laag of geen risico op het niet realiseren van de doelstellingen Op dit moment niet van toepassing Cultuur en verandering Planning Configuratie en conversie Belanghebbenden Business case Functioneel/technisch testen Wet- en regelgeving Leveranciers management Opleiding, training en documentatie Uitvoeringsketen Acceptatie 12 QA DUO Programma Passend Onderwijs
Management Samenvatting (2/4) ALGEMEEN Programma passend onderwijs DUO ligt intern op schema en wordt beheerst uitgevoerd. De mijlpaal 1 april voor het uitgeven van voorlopige beschikkingen is gehaald. De live datum van 1/8/2014 is haalbaar. De SWL s voorzien vanuit het onderwijsveld eveneens geen onoverkomelijke problemen richting 1/8/2014. Het programma en de uitvoering daarvan is in control. De programma sturing, het plan en de planning, de procedures en kwaliteitsmanagement staan groen. De tweede meting heeft nu ook de externe afhankelijkheden daadwerkelijk onderzocht. Daarbij is bevestigd dat hier de grootste risico s liggen voor de uitvoeringsketen DUO. TESTPROCES: De totale testopzet is doordacht, het totaal aan testen dekt de gehele keten maar kent beperkingen: Een daadwerkelijke volledige ketentest, die het gehele proces doorloopt beginnend bij Leerling Administratie Systemen en gebruik maakt van werkelijke data, is niet goed uitvoerbaar. De testuitvoering bij de ketenpartners is vrijblijvend en hieraan kunnen geen zekerheden worden ontleend. Testen worden in hoofdzaak met gesimuleerde data uitgevoerd om de technische werking aan te tonen, issues verbonden aan datakwaliteit worden niet zichtbaar. Het samenvattende oordeel is hierdoor van groen op geel gezet. Vanaf live gang op 1/8/2014 moet rekening worden gehouden met aanvullende (reparatie)werkzaamheden. Pas dan manifesteren zich de inherente beperkingen en vrijblijvendheid van testen en voorbereiding aan de leveranciers- en gebruikerszijde. Beschikbaarheid van voldoende resources vormt een risico. 13 QA DUO Programma Passend Onderwijs
Management Samenvatting (3/4) INTERNE AFHANKELIJKHEDEN: Het DUO programma heeft weinig directe project resources en is grotendeels afhankelijk van werkzaamheden door reguliere lijnorganisaties in Zoetermeer en Groningen. Het programma heeft op alle koppelvlakken formele- dan wel informele overleggen ingesteld waarin wordt afgestemd, verslagen en actuele actielijsten worden opgemaakt en getrapte verantwoording naar de Stuurgroep plaatsvindt. De sturing en formele- en informele interne afstemming is daarmee juist van opzet en effectief. Het samenvattend oordeel op deze aspecten staat op groen. Tot heden is veel planningsruimte verbruikt. Voor vervolgwerkzaamheden voor 1/1/15 en Plateau 4 en 5 is de slack uit de planning. Dit vormt in combinatie met resource schaarste en een niet in tijd en detail beschikbare DUO resource planning en nog vast te stellen wetgeving en aanvullende maatregelen en de benodigde nadere uitwerkingen door SWV n en SWL s een risico voor toekomstige leveringen en uiteindelijk voor een tijdig goed werkende keten passend onderwijs. OVERDRACHT NAAR BEHEER: De overdracht naar beheer is inhoudelijk geborgd doordat het programmawerk al grotendeels door de lijnorganisatie wordt uitgevoerd. Niettemin zijn er een aantal uitdagingen: Er is een risico dat DUO onvoldoende capaciteit met kennis- en ervaring beschikbaar heeft om bij invoering na 1/8 slagvaardig de te verwachten problemen op te lossen. De DUO organisatie is nog niet voorbereid op het ondersteunen van de SWV n, de ondersteuningsvraag vanuit de in ontwikkeling zijnde SWV n is nog onbekend. Het risico bestaat dat bij invoering van de stelselwijziging Passend Onderwijs deze organisaties nog niet adequaat kunnen worden ondersteund. Thans (april 2014) zijn separate helpdesks ingericht bij zowel OCW, DUO Groningen en Zoetermeer. Best practices en het denken vanuit de integraliteit van de keten maken het logischer en effectiever een centrale helpdesk met goed aansluitende en ingerichte back offices te organiseren. Het samenvattende oordeel is dat ten opzichte van meting 1 de status van beheer naar geel is gegaan. 14 QA DUO Programma Passend Onderwijs
Management Samenvatting (4/4) EXTERNE AFHANKELIJKHEDEN: De SWV n zijn nog niet klaar met het operationaliseren van de bedrijfsvoering. De meesten staan aan het begin van een groeitraject en zijn doende om hun bedrijfsvoering in te richten. Dit betreft aspecten als planning & control cyclus, bekostigingsmodellen, procesinrichting rond TLV en centrale ondersteuning, aanbestedingsaspecten en informatievoorziening. Het DUO programma heeft contact met en zicht op de technische registratie door scholen in BRON, er is nauwelijks zicht op de activiteiten van de SWV n en diens onderlinge relatie met de scholen. De SWV n hechten aan de verkregen beleidsvrijheid maar missen een ondersteuningstraject voor hun sector waarin gemeenschappelijke standaarden voor b.v. processen en gegevens worden ontwikkeld. Ieder werkt nu zijn eigen oplossingen uit, dit leidt op macro niveau tot inefficiënties en verspilling. Andere partijen zoals raden, SWL s, DUO en platformen dragen in de huidige situatie nog niet of nog onvoldoende bij aan het groeitraject van de bedrijfsvoering, op dat gebied is geen synergie en ontbreekt strategische samenhang. De effectiviteit van de bedrijfsvoering bij de startende SWV n zal laag zijn door de combinatie van gebrek aan kennis en ervaring met de relevante bedrijfsvoering aspecten, de opgave om zelf de eigen inrichting vorm te geven en het veelal ontbreken van een samenhangende informatievoorziening toegesneden op een SWV. De hiervoor beschreven risico s van een niet effectief en efficiënt functionerende bedrijfsvoering bij de SWV n kan uiteindelijk ook invloed hebben op het vermogen van SWV n en scholen om de ondersteuning van de leerling op het gewenste niveau te brengen en te houden. Deze invloed is niet direct merkbaar, maar als middelen niet goed worden beheerd of ondoordacht worden toegewezen zal dit vrijwel zeker met enige vertraging gevolgen hebben voor het primaire proces. Dit is ook vanuit DUO perspectief een risico voor invoering van passend onderwijs. Het risico bestaat dat de technische deelketen binnen DUO werkt maar dat de passend onderwijs keten in functionele zin als geheel tekortschiet. Wanneer in de uitvoeringsketen buiten DUO de risico s zich manifesteren, dan is imagoschade met uitstralingseffect naar DUO waarschijnlijk. DUO loopt bij aanvullende leveringen vooruit op de wetgeving. Software leveranciers wachten af en zullen de bijbehorende wijzigingen in LAS n pas later voor scholen beschikbaar maken. Niet uitgesloten is dat nog wijzigingen in wet- en regelgeving of aanvullende maatregelen optreden. Dit levert een extra risico voor een functioneel goed werkende keten tussen SWV n, scholen en DUO en leidt tot het oordeel geel op wet- en regelgeving. JOZ heeft adequaat gefaciliteerd in de communicatie over passend onderwijs, in het bijzonder richting de SWV n. Het voorafgaand aan de uiteindelijke realisatie van de gehele keten afstoten van extern deskundig personeel bij DUO zonder adequate interne vervanging, alsmede de opheffing van de JOZ organisatie per 1/1/2015, vormen risico s voor de uiteindelijke realisatie van de keten passend onderwijs. In de strategische samenhang tussen OCW en DUO, SWV n, scholen en raden vormt de bedrijfsvoering voor de invoering van passend onderwijs één van de aandachtsgebieden. Dit aandachtsgebied wordt gekenmerkt door een individuele aanpak van de SWV n zonder gestructureerde afstemming met de overige partijen. Hierbij onderkennen wij dat de SWV n een gepland groeitraject ingaan en dat sprake is van een vangnet tot medio 2015. Dit leidt uiteindelijk tot het oordeel geel op de aspecten strategische samenhang en belanghebbenden. RISICO Het niet klaar zijn met het operationaliseren van de bedrijfsvoering bij de SWV n leidt tot het risico dat zonder verdere maatregelen een niet functioneel werkende keten ontstaat die op termijn gevolgen kan hebben voor het primaire proces. Het huidige vangnet mitigeert de gevolgen hiervan. Dit heeft geleid tot het samenvattende oordeel geel op het aspect uitvoeringsketen. AANBEVOLEN wordt de voorgestelde specifieke maatregelen bij de hierna volgende aandachtsgebieden door te voeren en daarnaast voorafgaand aan beëindiging van het vangnet van de overgangsbekostiging de laatste meting te verrichten naar de status van de keten passend onderwijs. 15 QA DUO Programma Passend Onderwijs
Agenda Leeswijzer Introductie Management samenvatting Analyse per aandachtsgebied: Bijlagen: 1: Inrichting testproces 2: Interne afhankelijkheden 3: Beheer 4: Externe afhankelijkheden 1: Deloitte Programma review raamwerk 2: Bevindingen per aandachtsgebied 3: Interviews 4: Geanalyseerde documenten 16 QA DUO Programma Passend Onderwijs
Aandachtsgebied 1 Inrichting Testproces De totale testopzet is goed doordacht en dekt stapsgewijs de gehele keten af. Intern DUO wordt deze opzet volledig geïmplementeerd. Een daadwerkelijke volledige ketentest, die begint bij LAS'n en gebruik maakt van werkelijke data, ontbreekt. Zo n test is niet volledig te realiseren en deels ook onnodig vanwege het asynchrone karakter van de koppelingen in de keten tussen Scholen, Registratie en Bekostiging. Subconclusies Naar buiten faciliteert DUO het testen van de LAS n. De beslissing van SWL s om al dan niet gebruik te maken van deze testvoorziening is de eigen verantwoordelijkheid en daarmee vrijblijvend. Leveranciers hebben de intentie om de test-setup te gebruiken, de intensiteit waarmee en de voortgang van het testen van de LAS'n verschilt sterk. Sommigen zijn klaar terwijl anderen nog niet zijn begonnen. Vanuit DUO perspectief kunnen geen zekerheden voor het functioneren van de keten worden ontleend aan de test opzet. Dit hangt samen met het gegeven dat DUO wel controleert op volledigheid van de gegevens maar niet verantwoordelijk is voor de functionele juistheid. Gevolg hiervan is dat een aantal problemen pas bij invoering naar voren komt. Een overall compliance- en security testspoor ontbreekt. Dit wordt niet nodig geacht doordat inherent blijft worden voldaan aan de geaccrediteerde oplossingen. In een ketenoplossing met interfaces en gewijzigde componenten is het naar onze mening niet voldoende op voorhand van deze juiste werking uit te gaan. Risico De inherente beperkingen, de vrijblijvendheid in de testuitvoering en het ontbreken van real life data bij de testen vormen een risico als na live-gang op 1/8/2014 de keten gaat worden gevoed met de real life data van de scholen en reparatiewerkzaamheden moeten plaatsvinden. Het risico bestaat dat onvoldoende waarborg aanwezig is dat voldaan wordt aan compliance- of security vereisten in de gehele keten. Aanbeveling Draag zorg voor voldoende capaciteit, kennis en plannigsruimte om problemen bij invoering slagvaardig op te lossen. Laat vaststellen dat het programma DUO passend onderwijs is gebaseerd op de juiste aanname, namelijk om te steunen op het bestaande systeemconcept met de bestaande accreditatie zowel in technische- als functionele zin over de gehele keten. 17 QA DUO Programma Passend Onderwijs
Aandachtsgebied 2 Interne afhankelijkheden De inrichting van de DUO governance, de sturing en de formele- en informele interne afstemming zijn juist in opzet en effectief. De beheersing van het programma functioneert naar behoren. Binnen het programma DUO is een breed scala aan programma-controls ingezet om de uitvoering van het programma te beheersen. Daarbij wordt gebruikt gemaakt van diverse besturingsinstrumenten zoals de baseline, de milestoneplanning, de communicatieplanning, het issuelog, het mastertestplan en het risicolog. Subconclusies Het programma heeft op alle koppelvlakken formele- dan wel informele overleggen ingesteld waarin wordt afgestemd, verslagen en actuele actielijsten worden opgemaakt en getrapte verantwoording naar de Stuurgroep plaatsvindt. Het programma ligt op schema maar bevat geen slack meer in de planning. Het programma heeft weinig directe project resources en is grotendeels afhankelijk van werkzaamheden door reguliere lijnorganisaties in Zoetermeer en Groningen. Het programma wordt geleid door extern personeel. De projectleiders passend onderwijs hebben geen directe sturing op de capaciteiten die door de lijnorganisatie ter beschikking worden gesteld. De DUO lijnorganisatie beschikt niet over een uitgewerkte resourceplanning van personele capaciteiten in de tijd. Wijzigingen in behoeftestelling zijn niet uit te sluiten wegens de onzekerheden in het wetgevingstraject. Daarbij komt dat DUO in overleg met OCW in haar huidige planning bewust vooruitloopt op die wetgeving en de aanvullende maatregelen om meer tijd te hebben voor realisatie om de planning te kunnen halen. Ook andere omgevingsfactoren, zoals een werkpiek voor correcties bij invoering op 1/8/2014, kunnen programma impact hebben met planningsconsequenties. Risico Er is geen slack in de planning en op sommige gebieden schaarste aan resources. Problemen bij realisatie en/of wijzigingen in behoeftestelling kunnen nauwelijks worden opgevangen. Wijzigingen in behoeftestelling zijn niet uit te sluiten wegens de onzekerheden in het wetgevingstraject en de aanvullende maatregelen waar DUO bewust op vooruitloopt. Omgevingsfactoren kunnen programma impact hebben met planningsconsequenties. De tolerantie grenzen om tegenvallers op te vangen zijn beperkt en het risico bestaat dat software opleveringen na 1/8/2014 niet tijdig worden gerealiseerd. Het risicolog beschrijft risico s die op basis van kans en impact grote gevolgen hebben maar niet door de medewerkers en stakeholders als zodanig worden onderkend. Het gevaar bestaat dat niet op maatregelen wordt geacteerd. Aanbeveling Ontwikkel een planscenario (contingency plan) waarin wordt aangegeven hoe verschillende typen capaciteitstekorten bij wijzigende behoeften en/of tegenvallende realisatie kunnen worden opgevangen binnen de project- en beheerportefeuille en welke voorbereidende maatregelen daarvoor nodig zijn. Bezie de interne competenties om extern Programma personeel (op termijn) te kunnen vervangen met interne DUOcapaciteit; Ontwikkel een contingency plan dat met het onderwijsveld kan worden gecommuniceerd als een complete levering niet tijdig wordt gerealiseerd; Stel zeker dat het risicolog een reëel inzicht schetst van de risico s die het programma loopt. Draag zorg voor opname van risico s vanuit interne DUO omgevingsfactoren, voorzien van maatregelen en blijf het risicolog als stuurinstrument hanteren op basis van reële risico inschatting. 18 QA DUO Programma Passend Onderwijs