Reviewtypen en reviewplanning. Een introductie. Algemene informatie voor medewerkers van SYSQA B.V.

Transcriptie

1 Reviewtypen en reviewplanning Een introductie Algemene informatie voor medewerkers van SYSQA B.V.

2 Organisatie SYSQA B.V. Pagina 2 van 10 Inhoudsopgave 1 INLEIDING INLEIDING ALGEMEEN INTRODUCTIE REVIEWTYPEN REVIEWTYPEN COLLEGIALE REVIEW INHOUDELIJKE REVIEW MANAGEMENT REVIEW WALKTHROUGH INSPECTIE AUDIT REVIEWOVERZICHT EN PLAN LITERATUURVERWIJZINGEN Versiebeheer Versie Status Datum Auteur Opmerkingen 1.0 Definitief 27 april 2001 J.J. Cannegieter Definitieve versie 1.1 Concept 23 juli 2009 A. Haspels Aanpassing terminologie en update 1.2 Definitief 30 juli 2009 A. Haspels Na review v1.1

3 Organisatie SYSQA B.V. Pagina 3 van 10 1 Inleiding 1.1 Inleiding algemeen Reviews zijn een efficiënte en effectieve manier om fouten in tussenproducten tijdens een ontwikkeltraject te vinden. Door fouten vroeg te vinden en te herstellen worden onnodig hoge herstelkosten en uitloop later in een traject voorkomen. Hoe eerder fouten worden gevonden, hoe lager de herstelkosten, zie onderstaande figuur (Boehm, 1981). Herstelkosten per fase Requirement s Design Coding Development testing Figuur 1: Herstelkosten per fase Accept ance testing Operat ion Tijdens de review wordt een product, bijvoorbeeld een requirementsdocument, een testplan of een gebruikershandleiding, dan wel de status van een project beoordeeld. De reviewer doet dit op basis van zijn expertise en door gebruik te maken van brondocumenten, standaarden en checklists. In het reviewproces kunnen daarbij ook verschillende reviewrollen worden toegekend, zodat vanuit verschillende gezichtshoeken het product of project wordt beoordeeld. De review levert bevindingen op die worden besproken met de auteur. De verwerking van de bevindingen verhoogt vervolgens de kwaliteit van het product of project. Door analyse van de fouten kan ook het voortbrengingsproces worden verbeterd, zie figuur 2. Bijkomend aspect van de review is dat de reviewers ook kennis nemen van het product of project. Reviewers Product Projectstatus Review Bevindingen Verbetervoorstellen Bronproduct Standaarden Checklists Figuur 2: Kernaspecten review Uit verschillende onderzoeken komen de volgende kwantitatieve voordelen van reviews naar voren:

4 Organisatie SYSQA B.V. Pagina 4 van 10 23% besparing op programmeren en 25% reductie van doorlooptijd (Fagan, 1976). Afname van het IT-budget met 15% (Remus, 1978). Afname van de testinspanning met 80% tot 85% (Remus, 1978 en Larson, 1975). Toename van de productiviteit met 30% tot 100% (Gilb e.a., 1993). Afname van de doorlooptijd met 10% tot 30% (Gilb e.a., 1993). Afname testen met factor 5-10 (Gilb e.a., 1993) Afname van de onderhoudskosten met factor 2/3 (Gilb e.a., 1993) Return on investment (ROI) van 10 en afname van de time to market met 18 maanden bij Hewlett Packard (Grady, 1992) Afname van de kosten om fouten te vinden met factor 10 en toename van de productiviteit van 14% bij AT&T (Humphrey, 1989) ROI van 37 (Rico, 2002) SYSQA heeft bij een aantal implementatietrajecten voor reviews grote voordelen voor opdrachtgever behaald. Enkele voorbeelden: Besparing van ,= in 6 maanden tijd bij een verzekeringsmaatschappij. 16% besparing op ontwikkelbudget bij de IT-afdeling van een overheidsorganisatie; Besparing van ,= in 6 maanden tijd bij een telecomorganisatie. Daarnaast zijn er diverse kwalitatieve voordelen, zoals minder onverwachte uitloop, betere documentatie, initiatie van procesverbetering, soepelere testuitvoering, soepelere oplevering systemen, betere stuurinformatie, hogere klanttevredenheid, betere werksfeer, betere communicatie etc. Gebleken is dat de investering van de implementatie van reviews na ongeveer een half jaar is terugverdiend. Doordat de grote hoeveelheid empirisch materiaal en de vele onderzoeken is ook met zekerheid te stellen, dat grote voordelen te behalen zijn met het implementeren van reviews. 1.2 Introductie reviewtypen In de loop der jaren zijn verschillende reviewtypen ontwikkeld en in de praktijk toegepast. Ieder type heeft zijn eigen doelstellingen, werkwijze en voordelen. Deze introductie gaat in op de belangrijkste reviewtypen, te weten de collegiale review, de inhoudelijke review, de managementreview, de walkthrough, de inspectie en de audit. Op basis van deze informatie, eventueel gebruik makend van introducties die dieper ingaan op de verschillende typen, kunnen organisaties bepalen welk reviewtype ze toe willen passen. In onderstaande tabel zijn de reviewtypen opgesomd. Collegiale review Inhoudelijke review Management review Walkthrough Bij een collegiale review beoordelen collega s elkaars werk. De collegiale review is informeel van aard en richt zich voornamelijk op de inhoud en minder op vorm en toepassing van procedures. Bij een inhoudelijke review, ook wel groepsreview of teamreview genoemd, wordt het product beoordeeld op basis van specificaties, regels en bruikbaarheid door één of meer inhoudelijke experts. De reviewers krijgen daarbij een reviewrol toegewezen, waarbij het product op aspecten als maakbaarheid en testbaarheid wordt beoordeeld. Een managementreview is een review uitgevoerd in opdracht van het management. Een managementreview wordt uitgevoerd om de voortgang van een project te bepalen. Bij een walkthrough heeft de auteur een actieve rol. Deze presenteert een document met de achterliggende gedachtes en keuzes voor een groep. Een walkthrough heeft als doel om fouten te vinden en consensus te verkrijgen, waarbij de deelnemers ook van elkaar leren.

5 Organisatie SYSQA B.V. Pagina 5 van 10 Inspectie Een inspectie is een formele vorm van review in teamverband die gekenmerkt wordt door formele stappen (planning, kick-off, voorbereiding, logging meeting, rework, afsluiting). Doelen van de inspectie zijn het vinden van fouten en het formuleren van verbetervoorstellen om dezelfde fouten in de toekomst te voorkomen. Audit Bij een audit doet een externe partij op formele wijze een uitspraak over de kwaliteit van het onderzoeksobject. Audits zijn zeer formeel, zo wordt het onderzoeksobject beoordeeld op basis van een vastgesteld referentiekader. Tabel 1: overzicht reviewtypen In een aantal organisaties vallen audits, mede door hun externe karakter, niet onder de standaard reviewtypen. Voor de volledigheid is de audit in dit document opgenomen. In de literatuur wordt soms de term peer review gebruikt. Onder peer review vallen alle reviewtypen, waarbij collega s betrokken zijn. Dit betreft dus de collegiale review, de inhoudelijke review, de walkthrough en de inspectie. In hoofdstuk 2 wordt dieper ingegaan op enkele van deze reviewtypen. Hoofdstuk 3 gaat in op het opstellen van een reviewplan en een reviewoverzicht, waarmee de reviewstrategie wordt vormgegeven.

6 Organisatie SYSQA B.V. Pagina 6 van 10 2 Reviewtypen 2.1 Collegiale review Bij een collegiale review beoordelen collega s elkaars werk. Dit kunnen in principe alle producten zijn. De collegiale review is informeel van aard en richt zich voornamelijk op de inhoud en minder op vorm en toepassing van procedures. Bevindingen worden vaak niet gestructureerd vastgelegd, maar worden veelal in het document zelf geschreven. De kracht van collegiale reviews is dat een vertrouwd persoon, een collega, informeel naar het product kijkt en verbetersuggesties aan kan dragen zonder verdere consequenties. Een niet onbelangrijk bijeffect is dat collega s van elkaars goede punten leren. Voorwaarde is natuurlijk wel dat de collega s elkaar vertrouwen en op goede voet staan met elkaar. Risico van de collegiale review is dat de reviewer fouten niet meldt omdat hij te vergevingsgezind is. 2.2 Inhoudelijke review Bij een inhoudelijke review, ook wel groepsreview of teamreview genoemd, wordt het product beoordeeld op basis van specificaties, regels en bruikbaarheid door één of meer inhoudelijke experts. Deze review richt zich daarbij met name op de inhoud, met als doel het vinden van fouten en het beoordelen van de beschreven oplossing. De inhoudelijke review heeft een gestructureerd karakter. Dit wordt vormgegeven door de reviewers verschillende rollen te geven. Zo worden aspecten als de maakbaarheid, testbaarheid en het voldoen aan specificaties door de verschillende rollen beoordeeld. De bevindingen worden vastgelegd in bevindingenformulieren en naar de auteur van het product gestuurd. In een reviewmeeting worden de bevindingen vervolgens besproken, waarna de auteur de bevindingen verwerkt. Tenslotte kan de auteur het product nogmaals naar de reviewers sturen, zodat deze kunnen controleren of de verwerking van de bevindingen correct is. Deze zaken geeft de inhoudelijke review een meer formeel karakter dan de collegiale review. De inhoudelijke review is wel eerder in te zetten en minder formeel dan een inspectie omdat het product dat gereviewd wordt niet af hoeft te zijn. 2.3 Management review Een managementreview is een review uitgevoerd in opdracht van het management. Een dergelijke review wordt uitgevoerd door een door het management geselecteerd team, waarin zowel interne als externe medewerkers kunnen werken. Een managementreview wordt uitgevoerd om te bepalen wat de status of de voortgang van een project is. Dit gebeurt op basis van de aspecten tijd, geld, kwaliteit en risico s. Aan de hand van deze beoordeling kan het management afgewogen beslissingen nemen over de voortgang van het project. Het is van belang dat het reviewteam onafhankelijk kan functioneren, een kritische instelling heeft en de leden van het team geen belangen hebben bij de te nemen beslissingen. Er staat een aparte introductie over managementreviews op de kennisbank.

7 Organisatie SYSQA B.V. Pagina 7 van Walkthrough Tijdens een walkthrough neemt de auteur van een product de beoordelaars bij de hand door stapsgewijs de documentatie te bespreken. Dit doet hij in presentatievorm waarbij een tijdspanne van maximaal 1 uur in ogenslag gehouden mag worden. De belangrijkste reden van het houden van een walkthrough is om de kwaliteit van het product in een zo vroeg mogelijk stadium op een zo hoog mogelijk niveau te brengen. Daarnaast kunnen discussiepunten worden besproken met een aantal belanghebbenden en kan consensus worde bereikt. Er staat een aparte introductie over walkthroughs op de kennisbank. 2.5 Inspectie Een inspectie is een formele vorm van review in teamverband die gekenmerkt wordt door formele stappen (planning, kick-off, voorbereiding, logging meeting, rework, afsluiting) en waarbij meerdere reivewers betrokken zijn. Iedere betrokken reviewer heeft zijn eigen reviewrol. Inspecties kunnen zich richten op documenten en op software. Het bevat twee belangrijke componenten: productverbetering (het document zelf) en procesverbetering (van het realisatieproces). Er staat een aparte introductie over inspecties op de kennisbank. 2.6 Audit Een audit is extern van aard. Dat wil zeggen dat een externe partij op formele wijze een uitspraak doet over de kwaliteit binnen een project. De bekendste vorm is de audit waarbij een klant bij de leverancier onderzoekt of de mijlpaalproducten van voldoende kwaliteit zijn en of de gehanteerde processen voldoende waarborgen in zich verenigen. Audits zijn over het algemeen zeer formeel. Aanpak, checklists, vragenlijsten en dergelijke worden altijd van te voren doorgenomen, van de interviews en de documentenstudies worden verslagen gemaakt en wordt er bovendien een rapport gemaakt waarin de zogenaamde audit-trail, de weg van bevinding conclusie aanbeveling, is opgenomen. Er staat een aparte introductie over de audit op de kennisbank.

8 Organisatie SYSQA B.V. Pagina 8 van 10 3 Reviewoverzicht en plan Om te zorgen dat de juiste reviews op het juiste moment worden uitgevoerd in een project moeten deze reviews worden gepland; de reviewstrategie. De planning van reviews kan worden gevisualiseerd door middel van het W-model. Wens Werkelijkheid Requirements Inspectie Acceptatietest Functioneel ontwerp Inspectie Systeemtest Technisch ontwerp Expert review Integratietest Realisatie Collegiale review Programmatest De reviewstrategie wordt vastgelegd in een reviewoverzicht of een reviewplan. Het samenstellen van een reviewoverzicht bestaat uit de volgende stappen: 1. Bepalen welke tussenproducten gereviewd gaan worden; 2. Bepalen met welk reviewtype de tussenproducten gereviewd gaan worden; 3. Bepalen van het referentiekader als basis voor de review; 4. Beschrijven van de revieworganisatie; wie heeft welke taken, bevoegdheden en verantwoordelijkheden bij het de verschillende reviews. Een reviewoverzicht kan er als volgt uitzien: Te reviewen product Brondocumenten en checklists Reviewtype Betrokkenen Tabel 2: voorbeeld reviewoverzicht Een sjabloon van een reviewoverzicht is opgenomen in de kennisbank van Sysqa. Het reviewplan is een veel meer gedetailleerde uitwerking dan het reviewoverzicht. Indien organisaties hieraan toe zijn, wordt het reviewplan als apart plan opgesteld. De volgende stappen worden doorlopen bij het opstellen van een reviewplan: 1. Beschrijf de reviewdoelstellingen en de reviewaanpak 2. Bepaal de tussenproducten die gereviewd worden 3. Beschrijf deze producten en geef het reviewtype aan 4. Bepaal de rollen per review (moderator, reviewers) 5. Bepalen van een inschatting van de reviewinspanning

9 Organisatie SYSQA B.V. Pagina 9 van 10 Onderstaand een voorbeeld van de inhoudsopgave van een reviewplan: 1. Algemeen 1.1 Inleiding 1.2 Projectbeschrijving 1.3 Opdrachtomschrijving 1.4 Opdrachtgever 1.5 Opdrachtnemer 1.6 Afbakening 1.7 Randvoorwaarden en uitgangspunten 1.8 Wijzigingsprocedure 1.9 Versiebeheer 2. Reviewproces 2.1 Reviewtype 2.2 Reviewtype Reviewtype 2 3. Uit te voeren reviews 3.1 Reviewoverzicht 3.2 Review <reviewnaam> 3.3 Review <reviewnaam> 4. Overall urenbegroting 5. Risico s en maatregelen Een sjabloon van een reviewplan is opgenomen in de kennisbank van Sysqa. Om reviews in een project in te voeren is, naast het commitment van de projectleiding, het voorlichten van de projectteamleden en het opleiden c.q. begeleiden van de reviewfunctionarissen doorgaans genoeg. Voor het organisatiebreed invoeren van reviews is over het algemeen een zwaarder voorbereidings- en implementatietraject noodzakelijk. Hiervoor wordt verwezen naar de informatie over Software Process Improvement.

10 Organisatie SYSQA B.V. Pagina 10 van 10 4 Literatuurverwijzingen Cannegieter, H.J.J. et al (2008), Reviews in de praktijk: Testen aan de voorkant, Academic Serivce, ISBN Wiegers, K.E. (2002), Peer Reviews in Software, Addison-Wesley, ISBN Cannegieter, H.J.J. (2001), Kwaliteitszorg in ICT-projecten: De PROQA-methode, Ten HageStam, ISBN IEEE Standard for Software Reviews (1997), ISBN Gilb, T. & Graham, D. (1993), Software Inspection, Addison-Wesley, ISBN Praat, J. van & Suerink, H., Inleiding EDP-auditing, ISBN