Risk & Requirements Based Testing Tycho Schmidt PreSales Consultant, HP 2006 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice
Agenda Introductie Achtergrond Risk Based Testing Risk Based Testing in Quality Center 2 16 May 2008
De ideale wereld Fully tested 100% Full coverage 3 16 May 2008
Test Ontwerp en Uitvoering 1. A condition or capability Test needed Uitvoering by a user to solve Prioriteiten a problem or achieve an objective Test Ontwerp Ontwerpen gebaseerd 2. A condition or capability voor alle that modellen must be met or Complex possessed by a system or system component to satisfy a contract, standard, Foutgevoelig specification, or other formally imposed document op het voorspellen van zwakheden in de software Uitvoeren van alle tests Kritisch 4 16 May 2008
Realiteit Emergency patch Upgrade/migratie implementatie Test fase??? 100%??? Test omgevingen Onvoldoende kwaliteit Scope change 5 16 May 2008
Dialoog zonder Betekenis Testers Business We hebben 65% van de testen uitgevoerd En dat betekent? 6 16 May 2008
Application Failures Put Business Outcomes at Risk TSE managing director Tomio Amano blamed the glitch on a software upgrade for processing data from securities companies which was introduced in October 7 16 May 2008
Wat is Nodig? Prioriteren Framework waarin beslissingen genomen kunnen worden Business 8 16 May 2008
Risk Based Testing Risico analyse op de requirements Legt relaties tussen requirements, risico s en tests Test coverage op basis van risico s 9 16 May 2008
QA Voordelen In een vroeg stadium prioriteiten stellen Prioriteiten uitgedrukt in business georienteerde risico s Tests in volgorde van risico (van hoog naar laag) De kosten om een risico te testen worden inzichtelijk gemaakt Beslissing om te stoppen of door te gaan met testen gebaseerd op de nog aanwezige risico s 10 16 May 2008
IT Voordelen Testen gaat een actief onderdeel vormen in het verkleinen van risico s De toegevoegde waarde van testen wordt beter begrepen Makkelijker om voldoende resources te verkrijgen 11 16 May 2008
Maar Overige manieren van ontwerpen en plannen van tests nog steeds noodzakelijk: Requirements-based Security-based Coverage-based Let op: Neemt tijd in beslag (vooraf) Alles is een groot risico 12 16 May 2008
Risico model Risico = Impact * Faalkans Het model : - Moet makkelijk te begrijpen zijn - Moet voldoende informatie verschaffen 13 16 May 2008
Business Impact Test Strategie Application 1 Main Activity 1.1 Main Activity 1.2 Activity 1.1.1 Activity 1.1.2 Activity 1.2.1 Requirement Requirement Requirement Requirement Requirement Requirement Requirement Structuring Analyzing Business Test Requirements Impact Criteria Result Type of Process Business Impact Frequence of use Number of Customer affected A High Risk Calculation / validation legal B Medium Risk change of data wrong information C Low Risk display none very often often rare large number / very important Analysing Probability Criteria Result Change Rate Plattform OS III Unlikely Unchanged HOST group II Possible Changed Func. UNIX or Windows some I Likely New Func Unix, Windows, Host combination Defects Rate Low Medium High Business Impact Analyse Faalkans Analyse Bepaal Risico (Impact * Faalkans) Determining the Risk Prob. III II Un-Likely Possible Impact I Likely A B A A B C B A 14 16 May 2008 C C C B
Business Impact Analyse Criteria Type process A High Impact Calculatie Validatie B Medium Impact Data wijziging Business implicatie Juridisch Verkeerde informatie C Low impact Read only Geen Frequentie Zeer vaak Vaak Zelden Aantal users Groot Groep Weinig Risico = Impact * Faalkans 15 16 May 2008
Faalkans Analyse Criteria 3 Niet waarschijnlijk 2 Waarschijnlijk 1 Zeer waarschijnlijk Wijzigingen Niet gewijzigd Gewijzigde functie Nieuwe functie Volwassenheid Volwassen Progressie Onvolwassen Defect rate Laag Medium High Risico = Impact * Faalkans 16 16 May 2008
Bepaal het Risico Impact Faalkans 3 Niet waarschijnlijk 2 Waarschijnlijk 1 Zeer waarschijnlijk A High impact B Medium risk A High risk A High risk B Medium impact C Low risk B Medium risk B Medium risk C Low impact C Low risk C Low risk B Medium risk Risico = Impact * Faalkans 17 16 May 2008
Uitdagingen Managen van beschikbare tijd Waar leggen we prioriteiten? Hoe bereiken we overeenstemming tussen QA en Business? Hoe communiceren we de risico s van implementatie/uitrol? 18 16 May 2008
HP Risk Based Quality Management 19 16 May 2008
Risk Based Testing Proces 1. Verzamel Requirements, Risico s en Doelen 2. Inschatting van Risico 3. Inschatting van Inspanning 4. Aanpassingen (iteratief proces) 5. Sign Off tussen Business en QA 6. Test Uitvoer 7. Review & Verbeter 20 16 May 2008
Requirements Management 21 16 May 2008
Inschatting van Risico Business Impact (Kritisch: A tot C) Faalkans (Waarschijnlijkheid: 1 tot 3) Risico categorie: A1 t/m C3 22 16 May 2008
Risico Portfolio 23 16 May 2008
Leg Relatie met Beschikbare Resources 24 16 May 2008
Inschatten Benodigde Testtijd 25 16 May 2008
Aanpassingen Schrap testen voor risico categorie Verminder voor specifiek risico Verminder risico categorie voor 1 of meerdere risico s 26 16 May 2008
Aanpassen binnen Resource Budget 27 16 May 2008
Genereer Testcontract en Sign Off 28 16 May 2008
Samenvatting Formaliseer de requirements types Bereik overeenstemming over de criteria Gebruik objectieve algoritmen Gebruik de resultaten voor een formeel contract Verbeter het model continu na iedere iteratie 29 16 May 2008
Q&A