esen als kriische Tesen aan de voorkan Opimaal rendemen halen ui s De meese organisaies zien esen als noodzakelijke en effecieve maaregel om de kwaliei van sysemen e bepalen en fouen erui e halen voorda ze in producie gaan. He is echer nie alijd efficiën. Veel van de gevonden fouen in ess zijn vroeg in he onwikkelrajec gemaak, wa o onnodig hoge reworkkosen leid. Seeds meer organisaies voeren daarom s ui waarmee die fouen veel eerder worden gevonden. Er zijn echer nog weinig organisaies die opimaal rendemen halen ui s. Jan Jaap Cannegieer en Mark van der Zwan De afgelopen jaren heef esen een vase, onbewise plaas veroverd in onwikkelrajecen. Tesen is bij veel organisaies een aciviei die vroeg in he onwikkelrajec begin me he opsellen van een essraegie en he opsellen van escases. He is bij veel organisaies nie ies wa de bouwers nog even snel na de onwikkeling doen. De redenen hiervoor zijn duidelijk. De samenhang van sysemen is zo complex da fouen me groe gevolgen snel gemaak worden. Daarnaas neem he belang van goede sysemen zienderogen oe. Veel organisaies zijn eracher gekomen da esen een vak is. De meese esrajecen besaan ook ui meerdere essooren me allemaal hun eigen doel en oegevoegde waarde. Vaak word di samengeva in he zogenaamde V-model (zie figuur 1). De kwaliei van sysemen is inzichelijk en sysemen gaan me minder fouen in producie. Toch is da nie helemaal waar. Ui onderzoek blijk namelijk da veel van de fouen gevonden in ess eerder hadden kunnen worden gevonden. Da ze pas in een laere fase worden gevonden, breng hoge kosen me zich mee. He blijk da (Sandish Group, 2006; Jones, 2000): 60 procen van de fouen kom door onjuise/ onduidelijke requiremens; 80 procen van de fouen kan eerder worden gevonden dan pas ijdens he esen; 40 o 60 procen van de projeckosen worden veroorzaak door rework. Di slui aan op onze prakijkervaring. Veel projecen lopen ui in de esfase en de vraag rijs dan of he esen nie goedkoper kan. De uiloop bij he esen word echer veroorzaak door de vele fouen die in he syseem zien! Nie he esen op zich maar he fei da er veel fouen in he syseem zien maak esen ijdrovend. Als deze fouen eerder worden gevonden, word de uiloop in de esfase vanzelf minder en worden hoge kosen en onverwache uiloop voorkomen. Seeds meer organisaies realiseren zich di. Daarnaas saa in zo ongeveer elke mehode da s een belangrijk onderdeel zijn van de projecvoering. Voorbeelden van dergelijke mehoden zijn RUP, PRINCE2, CMMI voor onwikkeling en CMMI 28
Samenvaing Door he professioneel uivoeren van s kunnen onnodige reworkkosen en onnodige uiloop worden voorkomen. He op professionele wijze uivoeren van s op zichzelf lever al veel op. Door de fouen die gevonden worden ijdens de s e evalueren neem de oegevoegde waarde van s nog verder oe. Op die manier worden projecen op lange ermijn nog goedkoper, sneller en succesvoller. voor acquisiie. Om nog even bij de laase sil e saan: vooral bij he beheersen van uibeseding en goed opdrachgeverschap worden s als essenieel gezien. V-model word W-model He concep van s is eenvoudig: je laa één of enkele medewerkers die he produc nie hebben gemaak he produc beoordelen, evenueel op basis van een refereniekader of uigangsdocumen waaraan he produc dien e voldoen. He produc kan een documen zijn, maar kan ook heel goed code, een daabase of een inerfacebeschrijving en dergelijke zijn. Figuur 2 geef de essenie van een weer. Reviewen is meer dan een documen op he bureau van een collega gooien en vragen of die collega he even wil lezen en de opmerkingen erug wil koppelen. Bij een belangrijk ussenproduc kan worden gekozen voor een formelere en uigebreidere vorm van en. Enkele kenmerken van professionele s zijn: Er is voldoende ijd gereserveerd voor de s. Er zijn meerdere ers me allemaal een andere achergrond. Er word een sraegie opgeseld waarbij iedere er naar andere fouen op zoek gaa. Bevindingen worden gesrucureerd vasgelegd. De word begeleid door een ervaren moderaor. De word uigevoerd aan de hand van checkliss of uigangsdocumenaie waaraan he e en produc moe voldoen. De voordelen van s worden bepaald en gerapporeerd. Evenueel worden ook andere merieken opgeseld. wens werkelijkheid Door de s op e nemen in he V-model onsaa een beeld wanneer welke word uigevoerd. Dan onsaa he zogenaamde W-model; een voorbeeld hiervan is opgenomen in figuur 3. requiremens funcioneel echnisch realisaie Figuur 1. V-model syseemes & keenes accepaiees inegraiees programmaes Opimaal rendemen He zou fanasisch zijn als fouen eerder werden gevonden, he esen minder uiloop, de communicaie beer verloop e ceera. Iedereen blij? Ja, mis s op professionele wijze worden uigevoerd. Maar och is he verhaal nog nie ui. Reviews leveren namelijk informaie op waarmee organisaies hun werkwijze fundameneel kunnen verbeeren. He vinden en hersellen van fouen lever eenmalig voor he projec al de nodige voordelen op, he voorkomen van fouen door ze e analyseren en de oorzaak weg e nemen lever voor alle oekomsige projecen nog veel meer op. Di word prevenie genoemd. De essenie van prevenie is opgenomen in figuur 4, die een uibreiding is van figuur 2. 29
esen als kriische concepproduc verbeerd produc Onder he moo voorkomen is beer dan genezen kan de oegevoegde waarde van s nog veel hoger zijn. Veel verbeerrajecen worden gebaseerd op he geloof da een bepaalde mehode oegevoegde waarde heef voor een organisaie. Door verbeeringen door e voeren op basis van analyses waar en wanneer de meese fouen zijn gemaak, neem he commimen van managemen en medewerkers zienderogen oe. He is immers duidelijk welke problemen worden opgelos. Prevenie Prevenie van fouen kan op wee niveaus plaasvinden: op persoonlijk niveau en op organisaieniveau. Bij prevenie op persoonlijk niveau analyseer de maker van he produc da ged is de bevindingen en probeer hij of zij voor zichzelf e acherhalen hoe de fou heef kunnen onsaan: Onbrak bepaalde informaie? Mis ik bepaalde kennis of vaardigheden? Was de inpu waarop ik mijn werk gebaseerd heb van voldoende niveau? Ui deze analyse kunnen persoonlijke verbeerdoelsellingen naar voren komen. Door bij een volgende vas e sellen of dezelfde fouen nogmaals gemaak zijn, kan de medewerker vassellen of de persoonlijke werkwijze daadwerkelijk is verbeerd. Deze vorm van prevenie lijk een heel individueel proces. Om prevenie op persoonlijk niveau meer e srucureren en er he opimale rendemen ui e halen kan een medewerker projec Figuur 2. Essenie van s begeleid worden door een coach. Ui de prakijk blijk da he effec van prevenie op persoonlijk niveau aanzienlijk hoger is als de medewerker door een coach word begeleid. Prevenie op organisaieniveau word causale analyse genoemd. De doelen van causale analyse zijn he acherhalen van de oorzaak in de werkwijze van de organisaie en he formuleren van procesverbeervoorsellen om deze oorzaak weg e nemen. De acherliggende doelselling is om ervoor e zorgen da dezelfde fou nie nog een keer word gemaak of da die fou eerder word gevonden. De causale analyse besaa ui drie sappen, zoals weergegeven in figuur 5. De inpu van de causale analyse zijn de fouen, bijvoorbeeld alle fouen van één, alle fouen van alle s in een bepaald projec of alle fouen van een bepaald proces. He is nie zinvol om alle fouen e analyseren. De vraag welke fouen worden geanalyseerd is afhankelijk van de volgende aspecen: de gevolgschade als de fou nie word gevonden; De verschillende ypen. De volgende ypen worden onderscheiden (op basis van IEEE 1028): Collegiale. De collegiale is een informele uigevoerd door een of meer collega s. Walkhrough. Bij een walkhrough leid de aueur een groep door een documen of een ander produc en lich de aueur de acherliggende gedaches en keuzes oe. Inhoudelijke. De inhoudelijke is een gesrucureerde, inhoudelijke beoordeling van een produc door een of meer ers me als doel e bepalen of he produc bruikbaar is voor he doel waarvoor he is gemaak. Inspecie. Een inspecie is een formele verificaiemehode georganiseerd en begeleid door een gerainde moderaor. He doel van een inspecie is he vinden van fouen en he acherhalen van de oorzaak van fouen. Managemen. Een managemen is gerich op he bepalen van de saus van een projec. Op basis van deze saus word besloen over de voorgang van een projec. Ui onderzoek blijk da bij een formeler ype meer fouen worden gevonden (Jones, 1996). Bij een informele van een word 25 o 40 procen van de fouen gevonden, bij een formele van een 45 o 65 procen. 30
wens werkelijkheid requiremens walkhrough funcioneel inspecie syseemes & keenes echnisch inhoudelijke realisaie collegiale Figuur 3. W-model he aanal gelijksoorige fouen; de inspanning die he kos om de oorzaak van de fou weg e nemen; de inspanning die he kos om een fou nu e hersellen. He analyseren van de fouen gebeur in een sessie waarbij de deelnemers onder leiding van een faciliaor de oorzaak of oorzaken van de geseleceerde fouen acherhalen. Voor he analyseren zijn verschillende echnieken beschikbaar, zoals he visgraadiagram, de fouboomanalyse, de Pareoanalyse en indeling in de POCOT-caegorieën (Proces, Opleiding/kennis, Communicaie, Organisaie en Technologie). Op basis van de oorzaak sellen de deelnemers verbeervoorsellen op. De vraag hierbij is wa er moe veranderen in de werkwijze van de organisaie om de fou e voorkomen of de fou eerder e vinden. Voor he opsellen van verbeervoorsellen kunnen heel goed brainsormechnieken worden gebruik. Uieindelijk lever de causale analyse verbeervoorsellen op aan de hand waarvan de organisaie haar processen kan verbeeren. Hierbij geld wel één waarschuwing: he implemeneren van de verbeervoorsellen hoor nie bij de causale analyse. Als er echer nies me de verbeervoorsellen gebeur, neem de bereidheid om ijd e beseden aan he analyseren van fouen zienderogen af. To slo Tesen is in veel organisaie onomsreden maar wel vaak een inefficiën proces. Veel van de gevonden fouen worden vroeg in een onwikkelrajec gemaak. Hoewel s nooi geheel in de plaas kunnen komen van he esen, kunnen door he professioneel uivoeren van s onnodige reworkkosen en onnodige uiloop worden voorkomen. He op professionele wijze uivoeren van s op zichzelf lever al veel op, door de uikomsen van de s in de vorm van de fouen opimaal e gebruiken neem de oegevoegde waarde van s nog verder oe. Op die manier worden organisaies op lange ermijn (nog) succesvoller. Er zijn voldoende bewijzen om (projec) managers hiervan e overuigen. concepproduc projec verbeerd produc accepaiees inegraiees programmaes procesverbeeringen Figuur 4. Reviews me fouprevenie analyse bevindingen fouprevenie 31
esen als kriische»door he professioneel uivoeren van s kunnen onnodige reworkkosen en onnodige uiloop worden voorkomen«di arikel is in hoge mae gebaseerd op he boek Reviews in de prakijk: esen aan de voorkan (Cannegieer e.a., 2008), he enige Nederlandsalige boek over s. Lierauur Cannegieer, H.J.J. e.a. (2008). Reviews in de prakijk: esen aan de voorkan. Den Haag: Academic Service. Fagan, M.E. (1976). Design and Code Inspecions o Reduce errors in Program Developmen. IBM Sysems Journal 15(3). Gilb, T. & D. Graham (1993). Sofware Inspecions. Addison Wesley. Grady, R.B. (1992). Pracical merics for projec managemen and process improvemen. Prenice Hall. Humphrey, W. (1989). Managing he sofware process. Addison Wesley. Jones, C. (1996). Sofware defec removal efficiëncy. Compuer 29 nr. 4 (april). Jones, C. (2000). Sofware Assessmens, benchmarks, and bes pracices. Addison Wesley. Larson, R. (1975). Tesplan and Tescase inspecion specificaion. IBM Repor TR 21.586. Remus, H. (1978). Direcions for he Applicaions of Srucured Mehodologies. IBM repor TR 03.050. Rico, D. (2002). How o Esimae ROI for Inspecions, PSPsm, TSPsm, SW-CMM, ISO 9000, and CMMIsm. SickyMinds, sepember 2002. Sandish Group (2006). The Chaos Repor. Jan Jaap Cannegieer is adjunc-direceur, consulan en docen bij SYSQA B.V. E-mail: jcannegieer@sysqa.nl. Mark van der Zwan is consulan en docen bij Improve Qualiy Services B.V. E-mail: mzw@improveqs.nl. Voordelen van en Reviews voorbereiden en uivoeren kos ijd en geld. Medewerkers zijn er al gauw een aanal uur mee bezig en de ijd die eraan beseed is kan nie ergens anders aan beseed worden. Tegenover deze kosen moeen nauurlijk wel opbrengsen saan. Al jarenlang ween we da er groe kwaniaieve voordelen e behalen zijn me s. Een kleine greep ui de lierauur: 23 procen besparing op programmeren en 25 procen reducie van doorloopijd (Fagan, 1976); afname van he ICT-budge me 15 procen (Remus, 1978); afname van de esinspanning me 80 o 85 procen (Remus, 1978; Larson, 1975); sijging van de produciviei me 30 o 100 procen (Gilb & Graham, 1993); afname van de doorloopijd me 10 o 30 procen (Gilb E Graham, 1993); afname van ess me facor 5 o 10 (Gilb & Graham, 1993); afname van de onderhoudskosen me facor 2/3 (Gilb & Graham, 1993); reurn on invesmen (ROI) van 10 en afname van de ime-o-marke me 18 maanden bij Hewle-Packard (Grady, 1992); afname van de kosen om fouen e vinden me facor 10 en oename van de produciviei van 14 procen bij AT&T (Humphrey, 1989); ROI van 37 (Rico, 2002). In de periode van 2001 o heden heef een van de aueurs bij diverse implemenaies van s een ROI ussen de 5,9 en 7,7 gehaald. Bij één opdrachgever is in een half jaar ijd 760.000 euro bespaard, bij een andere opdrachgever in een half jaar 1,6 miljoen euro. Ook zijn er nie-kwaniaieve voordelen van s, zoals: minder onverwache uiloop; beere documenaie; beere communicaie ussen de disciplines; iniiaie van procesverbeering; soepelere esuivoering; soepelere oplevering van sysemen; beere suurinformaie; hogere klanevredenheid; beere werksfeer door minder problemen in projecen. inpu: fouen seleceren fouen analyseren fouen opsellen verbeervoorsellen oupu: verbeervoorsellen Figuur 5. Causale analyse 32