Audits: Begin bij het eind, eindig bij het begin Gerard Janssen 20 mei 2010 Xebia BV Utrechtseweg 49 1213 TL HILVERSUM The Netherlands +31 (0)35 538 1921 +31 (0)35 538 1922 avanderveen@xebia.com www.xebia.com
INHOUDSOPGAVE 1. Auditing: begin bij het eind, eindig bij het begin... 3 1.1 Waarom is kwaliteit zo belangrijk?... 3 1.2 Gericht verbeteren... 3 1.3 Het gaat om de verbetering... 4 1.4 Het begint met een vraag... 4 1.5 Uitwerking en aanpak... 4 1.5.1 Toetsingskader... 5 1.5.2 Methoden... 5 1.5.3 Ervaring... 5 1.6 Fasering van de analyse... 5 1.6.1 Bevindingen... 6 1.7 Conclusies... 6 1.7.1 Aanbevelingen... 6 1.8 Stap naar acceptatie... 7 1.9 Implementatie... 7 1.10 Voordelen voor de organisatie... 7 2
1. AUDITING: BEGIN BIJ HET EIND, EINDIG BIJ HET BEGIN Veel projecten hebben moeite met het halen van deadlines en met het leveren van software die voldoet aan de eisen van de opdrachtgever. Ook hebben IT afdelingen vaak moeite om de gewenste service niveaus te halen. Het gebeurt in vrijwel iedere organisatie: Projecten die bijna klaar zijn, en toch productie maar niet halen. Of systemen die uitvallen zodra de belasting toeneemt. Vaak is het niet duidelijk wat de oorzaak is van al deze problemen. Belangrijker nog: Hoe gaan we de situatie verbeteren? Om oorzaken te achterhalen moet je voorbij de symptomen kijken en je afvragen wat er werkelijk aan de hand is. Wij zien dat veel IT organisaties onvoldoende aandacht geven aan kwaliteit en dat dit tot problemen leidt. In dit whitepaper bespreken we de achtergrond van dit verschijnsel. Daarnaast leest u over de Xebia onderzoeksaanpak. Hiermee helpen we u de situatie in uw eigen organisatie te begrijpen en een plan van aanpak te maken gericht op het implementeren van verbeteringen. Dit whitepaper geeft u het instrument om een analyse te maken van de kwaliteitsissues, de oorzaken achter de problemen te begrijpen en het geeft handvatten om een verbeteraanpak op te stellen. 1.1 WAAROM IS KWALITEIT ZO BELANGRIJK? Kwaliteit is een eigenschap van een systeem. Een eigenschap die uit veel aspecten bestaat. Aspecten die iets zeggen over het product zelf, maar ook aspecten die iets zeggen over hoe bruikbaar en toepasbaar een product is. Of bijvoorbeeld hoe aanpasbaar en veranderbaar een product is en hoe goed een software systeem aansluit bij de behoeften van de gebruikers. Het gaat natuurlijk om deze naar buiten gerichte kwaliteitseigenschappen. Deze worden voor een groot deel bepaald door de interne kwaliteitseigenschappen, zoals code complexiteit en schaalbaarheid. Kwaliteit is bepalend voor de waarde van het product voor de organisatie. Auditoren kijken meestal naar interne eigenschappen van het eindproduct. Op zich prima, zolang we maar niet vergeten om naar de externe eigenschappen en naar het proces te kijken dat het product heeft voortgebracht. Kwaliteit is geen momentopname en als je het kwaliteitsmanagement wel zo inzet, mis je de kans op sturing en blijvende verbetering. Organisaties gebruiken kwaliteitscontrole vaak om vooraf bepaalde exit-criteria te toetsen: Is er voldoende documentatie of wat zegt de broncode analyse? En testen doen we op functionaliteit. Dat zijn nuttige controlemiddelen om vast te stellen of een systeem productierijp is. Wat we vaak nalaten is te sturen op het proces aan de hand van de resultaten van zo n analyse. Mooi dat je een bepaald aantal sterren hebt gehaald in de bron codeanalyse, maar hoe verbeter je het proces en de organisatie zodat de code de volgende keer nog beter is? Bovengenoemde analyse methoden hebben vaak niet voldoende diepgang. Om gericht te sturen op kwaliteit en het verbeteren van proces en producten moet je dieper kijken. Eigenschappen van het eindproduct zijn slechts een indicator voor de betrouwbaarheid en volwassenheid van het proces en de organisatie. Naar producteigenschappen kijken is niet meer dan het beginpunt om structurele en gerichte verbeteringen van het proces in te voeren. 1.2 GERICHT VERBETEREN Kwaliteit is een groot goed. Als in het realisatieproces veel aandacht is voor kwaliteit, zorgt dit ook voor kwalitatief goede producten, een vlotte live-gang en een betrouwbare operatie. Het inrichten van een realisatie- en operatieorganisatie die kwaliteit levert, waarbij alle onderdelen en verantwoordelijkheden op elkaar zijn ingespeeld, is niet 3
eenvoudig. Iedere organisatie is anders en de omstandigheden veranderen continu. Daarom is het belangrijk om heldere verbeterdoelen te formuleren en prioriteiten te stellen over wat wanneer aangepakt moet worden. Als het duidelijk is wat prioriteit heeft, is de volgende stap om op zoek te gaan naar verbetermogelijkheden. Door op deze manier naar kwaliteit te kijken stuurt u niet alleen op exit criteria, maar ligt het zwaartepunt bij het gericht en structureel verbeteren van de hele leveringsketen. Hierdoor zorgt u ook voor verbetering van de kwaliteit van toekomstige producten. Door op deze manier naar kwaliteit te kijken zorgt u er ook voor dat de aandacht niet op de symptomen, maar op de oorzaken gericht is. Het zorgt voor de juiste diepgang, want alleen naar de code kijken is niet genoeg. 1.3 HET GAAT OM DE VERBETERING Xebia voert vaak audits uit voor haar klanten. Het doel is dan om een structurele verbetering door te voeren. Opdrachtgevers ervaren problemen, bijvoorbeeld instabiele productieomgevingen, en vragen onze hulp om die op te lossen. Wat wij belangrijk vinden is dat het onderzoek naar deze problemen leidt tot een concreet advies en plan van aanpak waarmee de problemen kunnen worden opgelost, liefst structureel. Het gaat uiteindelijk om de implementatie van de verbetering. Al het andere, hoe het zover heeft kunnen komen, wie schuldig is, waarom de leverancier niet op tijd heeft geleverd, is uiteindelijk van onderschikt belang. Dus als je als organisatie iets wil bereiken is het zaak om je tijdens het onderzoek continu te richten op een praktisch uitvoerbaar en doelgerichte verbeteraanpak. Een advies dat niet vertaald kan worden in een haalbaar plan van aanpak, is nutteloos. Dus de praktische toepasbaarheid en de vertaling naar de implementatie moet je steeds voor ogen houden. 1.4 HET BEGINT MET EEN VRAAG De insteek van een verbeteronderzoek of audit is dus de implementatie van de verbetering. Maar daarvoor komt nog wel de vraag over wat er dan verbeterd moet worden. Waarom doen we het onderzoek? In de onderzoeken die Xebia uitvoert zien wij vaak dat het lastig is om de onderzoeksvraag scherp te krijgen. In de beginfase van een onderzoek is het daarom cruciaal om voldoende aandacht aan het echte doel van het onderzoek te besteden. Wat wil je weten? Wat wil je verbeteren en waarom wil je dat verbeteren? Als externe onderzoeker gaan wij altijd op zoek naar de vraag achter de vraag en liefst nog de vraag daar weer achter. Dit is vaak de eerste stap met een opdrachtgever om de werkelijke noodzaak tot verbeteren te achterhalen. Hierdoor krijgt een onderzoek scherpte, wordt het duidelijk welke problemen en symptomen aandacht verdienen en welke niet. En belangrijk: het helpt om uiteindelijk tot een toepasbaar implementatieplan te komen dat aansluit bij een behoefte die echt gevoeld wordt. Het scherp krijgen van de onderzoeksvraag en behoefte zijn noodzakelijk om te komen tot een succesvol plan van aanpak voor het onderzoek. 1.5 UITWERKING EN AANPAK Nadat de onderzoeksvraag helder is, stellen we een plan van aanpak op. Het plan van aanpak zorgt ervoor dat de uitvoering gericht en gefocust blijft op de onderzoeksvraag en het doel dat bereikt moet worden. Een goed plan van aanpak bevat minimaal een planning en een uitwerking van het toetsingskader dat gebruikt wordt om de vraag te beoordelen en de methoden en middelen die gebruikt zullen worden. 4
1.5.1 Toetsingskader Een toetsingkader zorgt dat de bevindingen uit het onderzoek getoetst kunnen worden aan de relevante aspecten voor de onderzoeksvraag. Het zorgt er ook voor dat je blijft bij het onderwerp en met de juiste aspecten daarvan bezig bent: waar kijk je precies naar bij een beveiligingsanalyse of bij het beoordelen van het ontwikkelproces. Het beantwoorden van een onderzoeksvraag zonder toetsingskader is weinig zinvol, maar het is ook cruciaal om het juiste toetsingskader te gebruiken. Een toetsingskader dat past bij het onderzoekskader. Bij Xebia hebben wij een groot aantal referentiekaders opgesteld, gebaseerd op kennis van het vakgebied, inzicht in wat wel en niet werkt en de ervaring die we bij onze klanten hebben opgedaan. In de sidebar staat een selectie van mogelijke onderzoeksobjecten waar wij een toetsingskader voor hebben. 1.5.2 Methoden Bij de uitvoering van het onderzoek is het zaak om de juiste methoden en middelen te gebruiken. Door mensen één op één te interviewen krijgen we veel gedetailleerde en gevoelige informatie. Dit gaat een stuk verder dan wat in documenten of broncode terug te vinden is. Doordat wij het onderzoek als buitenstaander uitvoeren, is het voor mensen makkelijker om zich te uiten, ze worden niet gehinderd door geschiedenis of een hiërarchische relatie. Andere methoden die we toepassen zijn het houden van workshops waarin mensen gezamenlijk tot inzichten komen, (automatische) broncode analyse, documenten reviews of inspecties. Wij kiezen de aanpak die past bij de vraag en de situatie. 1.5.3 Ervaring Iedere organisatie is uniek en de vragen die er spelen ook. Toch is het erg zinvol om de huidige situatie te toetsen aan andere organisaties die met vergelijkbare vragen zaten. Dit helpt om oplossingsrichtingen te selecteren die bewezen werken. De combinatie van diepgaande inhoudelijke kennis en brede ervaring op het vakgebied zorgen voor een conclusie en een advies dat aansluit en werkbaar is. Voorbeeld toetsingskaders Code Kwaliteit Veranderbaarheid architectuur Middleware management Performance en schaalbaarheid Beveiliging Testen OTAP en Deployments Productie waardigheid Ontwikkelproces Configuratie Management SOA Implementatie SOA Governance Requirements process Integratie architectuur QA Proces Team coherentie Architecuur 1.5.4 Fasering van de analyse Onderhoudbaarheid De uitvoering van een audit is dus gebaseerd op drie peilers: een accuraat toetsingskader, effectieve methoden om informatie te verzamelen en reflectie op vergelijkbare situaties. Daarnaast doorloopt iedere audit ook een natuurlijk proces van verduidelijking, begripsvorming en visievorming. Tijdens het onderzoek komt er veel informatie naar boven en vormt zich gaandeweg een beeld van de situatie en vervolgstappen. 5
1.5.5 Bevindingen De analysefase begint met het verzamelen van informatie. In dit stadium is het belangrijk om veel feiten en meningen te verzamelen en veel observaties te doen. Hieruit vorm zich dan een beeld van de situatie. Het is belangrijk om te begrijpen wat er allemaal aan de hand is, zodat uit de brei van informatie een beeld gevormd kan worden dat relevant is voor de onderzoeksvraag. Vaak doen we observaties en horen we zaken waarvan de opdrachtgever niet op de hoogte is. Het is in dit stadium van belang om zoveel mogelijk informatie te vergaren in de breedte. Het geeft niet dat je dingen tegenkomt die niets met de onderzoeksvraag te maken hebben. Met de opdrachtgever bespreken we zoveel mogelijk bevindingen, zodat ook hij zo vroeg mogelijk duidelijk krijgt wat er aan de hand is. 1.6 CONCLUSIES Vanuit de bevindingen, alle informatie gefilterd op relevantie voor de audit, vormen we een beeld van de situatie. Door de bevindingen te toetsen aan het toetsingskader, de onderzoeksvraag en het doel van de audit komen we tot conclusies. Op deze manier gaan we begrijpen wat de bevindingen allemaal betekenen. Wat belangrijk is en wat niet. Zo komen we in een onderzoek wel eens tegen dat de code kwaliteit onder de maat is, maar valt dit weg tegen een moeizame relatie tussen opdrachtgever en system integrator. In dit stadium zijn we op zoek naar begripsvorming van de relevante aspecten van de situatie en willen we een beeld krijgen van wat nu echt belangrijk en relevant is gegeven de onderzoeksvraag. Gedurende dit proces worden nog interviews afgenomen om de bevindingen en conclusies te toetsen en om achtergrond informatie te verzamelen. Het is belangrijk dat de conclusies ook aansluiten bij de beleving van de mensen in de organisatie. In dit proces is samenwerking met de opdrachtgever belangrijk om twee redenen. Ten eerste speelt de opdrachtgever een belangrijke rol om aan te geven wat wel en niet relevant is en kan deze extra informatiebronnen (documenten of personen) aandragen om de analyse nog een stap dieper te brengen. Ten tweede is dit een belangrijk moment voor de opdrachtgever om te gaan begrijpen wat er aan de hand is, zeker als er onverwachte of minder wenselijke conclusies naar voren komen. 1.6.1 Aanbevelingen De bevindingen, de onderzoeksvraag en het toetsingskader vormen de basis om tot een aantal conclusies te komen. Hierdoor ontstaat inzicht in de symptomen en de oorzaken. Vanuit dit begrip maken we dan de stap naar de verbetering. Vanuit het toetsingskader, de ervaring bij andere organisaties en de doelstelling van de audit komen we tot concrete aanbevelingen. Deze aanbevelingen behoren passend, uitvoerbaar een doeltreffend te zijn voor de situatie en organisatie. Dat betekent geen losse flodder aanbevelingen als: Verbeter de software kwaliteit en het architectuur proces. of Kijk naar je requirements management. Een goede aanbeveling is gebaseerd op begrip van de huidige situatie en een beeld van waar het naar toe moet. Dat betekent dat de aanbeveling begint bij de eerste stap die de organisatie op dat moment kan nemen. Dus bijvoorbeeld: Zorg dat je geautomatiseerde builds invoert waarbij een geautomatiseerde controle op de basis van code kwaliteit wordt meegenomen. Of Verbeter het begrip van de ontwikkelaars van de requirements door ze actief in gesprek te laten treden met de analisten. Plan bijvoorbeeld 3 vaste momenten in de week waarop de analisten beschikbaar zijn voor vragen en dialoog. De samenwerking met de opdrachtgever bij de formulering van de conclusies zorgt er niet alleen voor dat de adviezen ook passen binnen de organisatie. Ook hier zorgt het voor betrokkenheid bij het advies en begrip van wat er gedaan moet worden. Het 6
uiteindelijke advies mag voor de opdrachtgever geen verrassingen bevatten. Daarom nemen we de opdrachtgever expliciet mee in alle overwegingen. En we zorgen ervoor dat hij een visie kan vormen op de toekomst en het proces daar naartoe. 1.7 STAP NAAR ACCEPTATIE Een audit heeft altijd een doel en dat staat centraal in de aanpak: Begin bij einde, eindig bij het begin. Het gaat erom dat de organisatie daadwerkelijk iets opschiet met de audit en de aanbevelingen hieruit. Daarom is nadenken over de acceptatie van de adviezen door de betrokken een noodzakelijk stap in het proces. De conclusies en aanbevelingen liggen nogal eens gevoelig en stuiten op weerstand. Daarom is het vaak niet voldoende om een rapport met de aanbevelingen op te leveren. Een rapport zonder draagvlak, eindigt in de kast. Dat is zonde, want de organisatie mist daarmee een kans om zich te ontwikkelen. Bovendien werkt het erg demotiverend voor betrokkenen als er uiteindelijk toch niets gebeurt met hun bijdrage. Ten tweede kan het voor het acceptatieproces goed zijn als een externe partij de moeilijke boodschap brengt. Vaak laten we enkele sleutelpersonen het conceptrapport reviewen, geven we een presentatie over de uitkomst van de audit aan betrokken personen of groepen, of bespreken het resultaat met betrokkenen van andere afdelingen, in de business of leidinggevenden van de opdrachtgever. Alles is hierbij gericht op acceptatie van het advies, zodat de organisatie ook echt aan slag kan gaan met de verbetering en het aanpakken van onderliggende oorzaken. 1.8 IMPLEMENTATIE In de hiervoor beschreven aanpak hebben we gezien dat er een aantal aandachtspunten zijn om tot het juiste advies te komen en om ervoor te zorgen dat er voldoende draagvlak is om dat advies ook daadwerkelijk uit te voeren. Maar goede wil alleen is niet voldoende om ook daadwerkelijk iets te bereiken. Daarom is het in de slotfase van een audit goed om na te denken over een plan van aanpak voor de implementatie van de aanbevelingen. Het plan van aanpak helpt met het omschakelen van analyse naar actie. Prima dat er allerlei conclusies en aanbevelingen zijn gedaan, maar wat zijn nu de eerste stappen die genomen moeten worden om ook echt iets te verbeteren? Met het plan van aanpak neemt de opdrachtgever de regie in handen en bepaald waar de prioriteiten liggen. Natuurlijk maakt hij ook een afweging over wat haalbaar is en hoe de verandering ook een blijvende verbetering wordt. Tijdens de audit leggen we veel nadruk op het ontdekken van de werkelijke oorzaak van gesignaleerde problemen en kwaliteitsissues. Dit blijft tijdens de implementatie ook van het grootste belang: Stuur op het versterken van de organisatie en het vermogen om kwaliteit te verhogen. Dan begin je bij het begin en stuur je op resultaat. 1.9 VOORDELEN VOOR DE ORGANISATIE De in dit whitepaper beschreven auditing aanpak heeft zowel conventionele als onconventionele aspecten. Deze combinatie zorgt voor maximaal rendement voor de opdrachtgever en klantorganisatie. Kwaliteit uit zich op veel verschillende manieren en een gebrek aan kwaliteit heeft veel oorzaken. Echt zicht op verbetering krijgt een klant pas als hij werkelijk begrijpt wat de achterliggende oorzaken zijn van de geconstateerde symptomen. De basishouding waarmee wij auditen, is de wil om te begrijpen wat er werkelijk aan de hand is en hoe er echt verbeterd kan worden. Wij zorgen dat opdrachtgevers symptomen en antwoorden in de context van het geheel zien. Een symptoom komt nooit alleen. 7
Met onze aanpak betrekken we de organisatie breed bij de audit. Met medewerkers gaan we in gesprek over symptomen, oorzaken en oplossingen. In die gesprekken en de acceptatiefase zorgen we direct voor een versterking van de organisatie. Medewerkers gaan echt begrijpen wat de essentie is van de situatie en welke achterliggende oorzaken een bepaald resultaat tot gevolg hebben. Hierdoor kunnen zij zelf ook veel meer verantwoordelijkheid nemen bij het verbeteren van de organisatie en het verhogen van de kwaliteit. Gedeelde verantwoordelijkheid is pure winst. Een audit gaat niet om de audit an sich. Het gaat om de implementatie en de verbetering. Dat einddoel staat centraal in de audit. Samen met de overtuiging dat waargenomen symptomen een dieperliggende oorzaak hebben en dat daarop sturen uiteindelijk het beste resultaat oplevert. 8