EVALUEREN VAN ICT PROJECTEN BIJ DE OVERHEID

Transcriptie

1 EVALUEREN VAN ICT PROJECTEN BIJ DE OVERHEID DOET ARCHITECTUUR MEE? Wouter Bronsgeest 29 mei 2012 Center for egovernment Studies (CFES) 1

2 EVALUEREN VAN ICT PROJECTEN POSITIONERING EN MAATSCHAPPELIJKE RELEVANTIE Positionering Vanaf jaren 80: diverse beleidsontwikkelingen op relatie overheid, gebruik van IT en effect van het gebruik van de IT. Actualiteit: mislukkende ICT projecten in het nieuws, rapportages van de rekenkamer, ICT barometer van grote projecten Maatschappelijke relevantie: Burgers vragen om inzicht en transparantie Overheid zelf wil goede voorbeeld geven. Kent tevens een eigen kwaliteitsnorm en taakstelling (intrinsiek en extrinsieke motivatoren) Professionals: van verantwoorden naar adviseren EVALUEREN VAN ICT PROJECTEN WETENSCHAPPELIJKE RELEVANTIE Hoe evalueert de overheid ICT projecten? Kun je een generiek (evaluatie-) instrument inzetten bij zowel overheid als niet-overheid? Bestuurswetenschappelijk element: is er verschil tussen publieke en private organisaties, en moet je daarop je instrumentarium aanpassen (management, besturing, evaluatiemethoden)? running government like a business is probably the most crude and compact translation in managerialese of the adoption of market principles in public management (F.P. Cerase) 2

3 PROBLEEMSTELLING DOEL ONDERZOEK Leveren van kennis over de wijze waarop projecten met een ICTcomponent binnen overheidsorganisaties geëvalueerd worden Vaststellen of de wijze van evalueren beantwoord aan de eisen en wensen die voor dergelijke evaluaties gesteld worden Vergroten van inzicht in de wijze waarop binnen overheidsorganisaties evaluaties kunnen worden uitgevoerd. PROBLEEMSTELLING VRAAGSTELLING ONDERZOEK Welke evaluatie-instrumenten zijn er voor het doen van evaluaties voor projecten met een ICT component binnen organisaties en wat zijn daarvan de kaders en criteria. Welke veronderstellingen en theoretische kennis ligt ten grondslag aan deze instrumenten. Welke kenmerken hebben evaluaties die binnen overheidsorganisaties zijn uitgevoerd, en hoe verhouden die zich ten opzichte van de theorie. Welke extra eisen zijn er voor overheidsorganisaties te formuleren ten aanzien van het uitvoeren van evaluaties? 3

4 PROBLEEMSTELLING OBJECT VAN ONDERZOEK ICT-Project: Projecten met een ICT component: het traject vanaf een business case tot en met ICT-realisatie en implementatie. Het betreft dus de gehele IV (Informatievoorzienings-) keten Te onderzoeken: Survey van evaluatierapporten. EVALUATIETHEORIE SOORTEN INSTRUMENTEN Evalueren is een multidisciplinair vakgebied Instrumenten <> werkwijzen Instrumenten / frameworks / methoden / kwaliteitsmodellen Dus ook: 4

5 EVALUATIETHEORIE SOORTEN EVALUATIES Formatief versus Summatief Conformance versus Performance Professioneel versus Amateur Intrinsiek versus Payoff Evaluation is the systematic assessment of an object s merit, worth, probity, feasability, safety, significance and/or equity (Stufflebeam & Shinkfield, 2007) EVALUATIETHEORIE GROEPERING VAN INSTRUMENTEN Soort evaluatie: terugkijken of vooruitkijken Toepassing van het instrument: alleen meten of ook (vooraf) inrichten? Vakinhoudelijk: welke discipline? IT Auditing Governance Volwassenheid Kwaliteitsmanagement Projectmanagement en porftolio Beheer van ICT Organisatiegedrag 5

6 In projecten? Ja: In projecten die zichzelf evalueren of zich (moeten) laten evalueren (IT-) Beveiligingsaudits In diverse architectuurprojecten en trajecten (ArchiValue, EARI) Vanuit het vakgebied (TOGAF)? Een beetje Migration planning: Assess and Align ( ) Performance Evaluation Criteria & ROI-criteria Implementation Governance: Post implementation review ( ) Gap analysis De audit in relatie tot security (21.3) Evaluatie criteria voor tooling (42.3) Compliance Reviews (48.5) 6

7 Vanuit het vakgebied (Ross, Weill & Robertson, 2006)? Een beetje Feedback loop met ideeën en resultaten uit exploitatie (H.1) Gegeven (!) Learning Requirements (zie p. 83) Vanuit het vakgebied (Van der Sanden & Sturm, 2000)? Een beetje Architecten worden vaak niet bij vervolgtraject betrokken Archtectuurmonitoring? Wel: besturingsparadigma met feedbackloop Vanuit het vakgebied : Architecture Maturity Model (AMM): Alleen op level 5 wordt er continu verbeterd. 7

8 In de Gateway methode en rapporten? Neen. In Evaluatie- of Auditrapporten van de overheid? Bevinding tot op heden.nee. Op basis van steekproef, met als resultaat de volgende aantallen: Commerciële auditor Kennisinstelling als auditor Eigen (audit-) dienst Totaal Departementaal Uitvoeringsorganisaties Gemeenten Totaal Architectuur als indicator in generieke frameworks in gebruik voor evaluaties? Zelden. Wel in: CobiT, Algemene Rekenkamer, ITIL en Gartner Business Value Framework Onderzocht: 55 instrumenten die aantoonbaar worden gebruikt voor evalueren van projecten met IT component. 8

9 LITERATUUR AANZET VOOR ACHTERGRONDINFORMATIE Algemene Rekenkamer, Lessen uit ICT-projecten bij de overheid, deel A, 29 november 2007 Denhardt, R.B., Theories of Public Organization, Thomson Wadsworth, Belmond, California, 5th edition, 2008 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK), Informatiseringsbeleid Rijk DGOBR, Informatiseringstrategie (I-Strategie) Rijk, Kenmerk , Den Haag, 15 november 2011 (b) Rauch, H., Harkema, J., Evaluatie Maatregelen grote ICT projecten, Cap Gemini, Versie 1, 14 oktober 2010 Stufflebeam, D.L., Shinkfield, A.J., Evaluation, Theory, Models & Applications, Jossey-Bass, San Francisco, USA, 2007 Wetenschappelijke Raad voor het Regeringsbeleid (WRR), ioverheid, Amsterdam University Press, Den Haag/Amsterdam,