Software kwaliteit en metrieken, Omnext Saas. Dr. H. Vogt, presentatie Universiteit Urecht januari 2015

Transcriptie

1 Software kwaliteit en metrieken, Omnext Saas Dr. H. Vogt, presentatie Universiteit Urecht januari 2015

2 Agenda Introductie Software kwaliteit: Millennium probleem Waarom software kwaliteit? Software kwaliteit en metrieken ISO 25010/9126 Een aantal software metrieken IFSQ level 1,2,3 Omnext Saas Kosten en Metrieken 1

3 Introductie Dr. H. Vogt Informatica Universiteit Utrecht Promotie Universiteit Utrecht Hogere Orde Attributen Grammatica s(parsers++) SERC (Software Engineering Research Centre) Finder 2000 Millennium Analyse tool Program Committee Working Conference Reverse Engineering Omnext Saas: Software Analysis As a Service Member of the NEN Normcommissie 'Software andsystems Engineering' Member of the NEN Werkgroep workingon NPR5325 'Opleveren en overdragen van software IFSQ level 1 en 2 gecertificeerd 2

4 Omnext

5 Millennium probleem 4

6 Het probleem Ontbreken eeuwaanduiding in jaartallen 83 wordt gezien als wordt gezien als 1900, niet als geen schrikkeljaar, 2000 wel 99 wordt door veel systemen niet als een jaartal beschouwd, maar als een standaardwaarde voor bijvoorbeeld een foutmelding 5

7 Voorbeeld Wie om vijf voor twaalf gaat bellen en om vijf over twaalf ophangt zou rijk worden Het gesprek begint om uur op 31 december van het jaar 1999 en eindigt om uur van het jaar 1900 Zonder doeltreffende maatregelen heeft dit telefoongesprek een negatieve telefoonrekening tot gevolg voor bijna een eeuw bellen 6

8 Will London's lights go out? Will London's lights go out? By Giles Turnbull, New Media Correspondent, PA IF NO ACTION WAS TAKEN, BUT ALL HAVE TAKEN ACTIONS Banks closing for most of January 2000 Telephone lines only operating properly 75 percent of the time. Massive disruption to power supplies during December 1999 and the following January. Stock market closed between 1st December 1999 and 24th January 2000 Ten days of disruption to the postal service. Schools closed for four weeks Hospitals only open for emergencies for four weeks. 7

9 Embedded systems hard evidence To: Date: Wed, 12 Nov :44: (CST6CDT) Presented at the November meeting of the Energy Industry Y2K SIG Four Alcoa Steel Plants 50% of control systems will fail North Sea Expro(Shell-Exxon JV) Platform, Pipeline and Gas Plants 1200 systems identified, 12% failure rate BP Refinery, Grangemouth, UK 94 systems identified Couldn't find vendor for assessed 3 willfail, 2 will causeshutdown Jay Abshier, Mgr- Corporate Year 2000 Office Texaco Inc, Bellaire, Texas 8

10 Tools formillennium Prepare Tools Analysis Adapt Test Time Implementation 9

11 Waarom software kwaliteit? 10

12 Waarom software kwaliteit? Complexity Is Killing Your Large Applications: Act Now to Save Them 11

13 Complexiteit 12

14 Complexiteit 13

15 Maintenance costs Systemen steeds complexer Weinig of geen documentatie Geen mensen met kennis meer Herbouw geen optie 14

16 Kosten besparen Business Vraag: Sturen op kwaliteit code tijdens ontwikkeling en onderhoud SaaS Antwoord: meten van metrieken van code als dienst in de cloud (Omnext), in het engels Software Analysis As a Service 15

17 The Effects of Complexity - Complexity is killing your large applications : Act now to save them ( Andy Kite VP & Gartner Fellow )

18 ISO 25010: non functionele requirements Functionele requirements Beschrijven specifiek gedrag of functies, die het systeem dient te vervullen Niet-functionele requirements Niet-functionele requirementsspecificeren criteria om het functioneren van het systeem te beoordelen. Bijvoorbeeld performance 17

19 ISO Niet-functionele requirements Product kwaliteitsmodel (product quality) 31 kwaliteitsattributen beperkt tot het doelsysteem hardware en software Kwaliteit tijdens gebruik (qualityin use) 11 kwaliteitsattributen de gehele interactie tussen gebruikers en het informatiesysteem 18

20 Product Quality 19

21 Maintainability 20

22 Metrieken Indicator maat voor één of meer kwaliteitseigenschappen. Literatuur: metrics Meetvoorschrift Norm 21

23 Voorbeeldmetrieken LOC FP backfiring Unit size Parameterlist CC MI 22

24 LOC Lines of Code Meer LOC, meer effort om te ontwikkelen 23

25 LOC Wat is LOC? 24

26 Function Point Wikipedia: A function pointis a unit of measurement to express the amount of business functionality an information system provides to a user The cost (in dollars or hours) of a single unit is calculated from past projects Example: 8 hours per function point FPA Functie Punt Analyse 25

27 FP backfiring LOC -> FP -> Herbouwwaarde systeem QSM Function Point Programming Language Table 26

28 Too large unit size Method is doing more than its name/signature might suggest Challenging for others to digest, excessive scrolling causes readers to lose focus. Try to reduce the method length by creating helper methods and removing any copy/pasted code. Voorbeeld threshold:

29 Lengte Parameterlist Methods with numerous parameters are a challenge to maintain, especially if most of them share the same datatype These situations usually denote the need for new objects to wrap the numerous parameters. Voorbeeld threshold: 7 28

30 Parameterlistvoorbeeld 29

31 CC (Cyclomatische complexiteit, McCabe 1976) What the Experts say... One general recommendation from the recent SEI report entitled: "Incorporating Software Requirements into the System RFP," suggests including Complexity measurements in the statement of work and enforcing limits on cyclomatic complexity. "Application complexity affects software supportability. One generally accepted complexity measure is McCabe s Cyclomatic Complexity Measure, which should not exceed 10 for a given module." Incorporating Software Requirements into the System RFP Survey of RFP Language for Software by Topic, v. 2.0 Edited by Charlene Gross MAY 2009 SPECIAL REPORT CMU/SEI-2009-SR-008 Acquisition Support Program 30

32 CC 31

33 CC Wat is het? Aantal beslispunten + 1 If a =b*b+4*3 Then 2+a Else 3+b Fi CC=2, #testpaden = 2 32

34 CC If a =b*b+4*3 Then 2+a Else 3+b Fi If a =c*f+56 Then 2+f Else 3+g Fi CC=3, #testpaden = 4 33

35 CC If a =b*b+4*3 Then 2+a Else 3+b Fi If a =c*f+56 Then 2+f Else 3+g Fi If a =f*h+56 Then 2+j Else 3+k Fi CC=4, #testpaden = 8 34

36 CC CC=8, #testpaden =??? Slechte cholesterol 35

37 CC If land = NL Then x Fi If land = DE Then y Fi If land = GR Then z FI Goede cholesterol 36

38 MI [Oman and Hagemeister, 1991] Maintainability Index Bepaald onderhoudbaarheid van systeem Enkel getal Samengesteld uit LOC CC #number of comments Halstead metrics 37

39 MI 38

40 MI Complex 39

41 MI Probleem: niet intuitief voor vinden wortel van het probleem Bij metingen met commentaar ook nog even als mens naar kijken Alternatieven? 40

42 IfSQ Institute for Software Quality Collections defect indicators Three collections, level 1, 2, 3 Why inspection? Code inspection is up to 20 times more efficient than testing Code reading detected about 80% more faults per hour than testing 41

43 Level 1 Most commonly occurringdefect indicators consideredbad practice Work in Progress WIP-1 Vague "To Do WIP-2 Disabled Code WIP-3 Empty Statement Block Structured programming SP-1 Routine Too Long SP-2 Nesting Too Deep Single point of maintenance SPM-1 Magic Numbers 42

44 Vague todo 43

45 Disabledcode 44

46 Empty block 45

47 Nesting toodeep 46

48 Geen hardcodedconstanten 47

49 Level 2 Enkele extra defect indicators Voorbeeld SP-3: Logic Too Complex based on McCabe s Complexity metric 48

50 Logic toocomplex 49

51 Defect indicators 50

52 Praktijk case Stichting Capclaimstrijdt onder leiding van Kenneth Berkleef van het failliete Equihold tegen ictdienstverlener Capgemini. Inzet is het terugvorderen van 43 miljoen euro schade. Read more: ag/development/ / /de-kwaliteitvan-de-capgeminisoftware.html#ixzz3nppbdduu 51

53 Praktijk case (2) Extern onderzoek naar de kwaliteit In oktober 2010 heeft Equihold gevraagd aan Software Quality MeasurementandImprovement(SQMI) om de opgeleverde software te onderwerpen aan een onderzoek. SQMI hanteert een methodische aanpak waarbij het aantal coderegels met een defect worden geteld en gegroepeerd in categorieën. Gemiddeld kwam men op 175 foutieve regels per duizend regels code wat een F-rating opleverde, een drie op een schaal van één tot tien. De één na laagste score in de geschiedenis van SQMI. Op basis van dit onderzoek is de eindconclusie dat de onderhoudskosten voor dit product onnodig hoog zijn en de software als platform voor verdere ontwikkeling ongeschikt is. 52

54 Praktijk case (3) Nog een extern onderzoek naar de kwaliteit In 2014 heeftcapgeminide Software ImprovementGroup (SIG) gevraagd om de software te onderzoeken op onderhoudbaarheid. Zij hebben hiertoe de methode SIG/TUViT-kwaliteitsmodel voor TrustedProduct Maintainability (april 2009) gehanteerd. Ook dit is een methodische aanpak op basis van tellingen en een normenkader. Afgelopen juni hebben zij dit rapport gepresenteerd met als belangrijkste conclusie dat de onderhoudbaarheid marktgemiddeld is, afgezet tegen de benchmark die SIG hanteert. Dit hoeft natuurlijk niet dezelfde benchmark te zijn die SQMI hanteert en waarop het tot een F-rating komt. Let wel dat SIG direct de onderhoudbaarheidvan de software heeft onderzocht en SQMI de software in het algemeen en daarbij als afgeleide heeft geconcludeerd dat de onderhoudbaarheid onnodig duur is. 53

55 Omnext SaaS Solution Omnext SaaS Approach Java.Net (OO) Cobol PL/1 (3GL) Workflow Oracle Uniface (4GL) Parse Sources Resolve Relationships Calculate Metrics Check Anti-patterns Detect Code Duplication Detect Dead Code Create Design Models Difference Analyses Omnext SaaS Data Warehouse Omnext Portal MS-Excel Tivoli JCL (Job control)... UML-tools

56 Omnext SaaSSolution Supported sources Access ActionScript ANSI Cobol 85 ASP Aquima C/C++ C# Cobol (most dialects) Java JavaScript Objective C (2013) Oracle Forms Oracle SQL PHP PL/1 Powerbuilder Powercenter RPG SAP ABAP (2013) Siebel escript SQL Server Sybase DB/2 UNIFACE VB.NET Visual Basic 6 DCL JCL Tivoli Workload Schedule SMF User menu configurations Workflow configurations Support for new languages and configurations are added in future releases.

57 Omnext SaaS Introduction Delivery On Demand Cloud based SaaS Model NO licence, NO subscription Usage based pricing

58 Omnext SaaS demo Omnext SaaSExamples

59 Corporate Risk Policy Identify Maintenance Risk 58

60 Health check Monitor Progress 59

61 Size Lines of code, Function points 60

62 Productivity Maintenance Function Points 61

63 Cross Reference Across Technologies Call Tree and Where Used show all resolved relations 62

64 Source View Example Sybase Stored Procedure In the Source View the code of any language is well structured, color coded and hyperlinked. 63

65 Source View Compare versions 64

66 Design View Flow Chart The Design supports analysis by showing class diagrams, sequence diagrams, flow charts, call graphs, structure diagrams, Design can be exported to UML-tools 65

67 Design View Jackson Structure Diagram 66

68 Design View UML Sequence Diagram 67

69 Standards & guidelines Best practices industry coding best practices and customer coding standards 68

70 Clone detection Find duplicated code Exact clones as well as syntactic clones 69

71 Worklist All identifiers and their use are stored separately in the data warehouse, making it easy to search and perform data flow analysis and create a work list. In this example a SEPA work list is created using iban and transaction as starting points for further data flow analysis. 70

72 Search 71

73 Annotations Annotations can be added to all items in the Omnext portal. One can even add annotations to selected lines of code, for instance to document Business Rules or Issues to be solved 72 During an impact analysis a developer can add annotations to the objects in scope, with tags referring to the change or the subject.

74 Annotations The filtered annotations can be exported to Excel The annotations can be filtered on tags (in this case the change number or the subject). This creates the work list of things to do. 73

75 Identifying interfaces and Data persistency Reports are available on interfaces and data persistency, with the option to trace the information from data layer to business layer 74

76 Customer Reports By adding relations between components and Business Services, Business Processes, Organisational Units, etc. In the Data Warehouse, reports can be created on those levels. 75

77 Aggregate on Business Level Example Function Points Report per Business Service 76

78 System Health Example on ipad 77

79 Trend Analysis Example on ipad 78

80 Test Support Example of Quicktest Pro input file Export Form Definitions to Quicktest Pro to accelerate test preparation. Example: Powerbuilder 79

81 Batch Schedule Optimization Anti Patterns Technical Debt in Batch Schedules: Dummy Jobs Incorrect/superfluous dependencies backups in critical timelines In this example based on a Tivoli Application Database, Current Plans, Track Log information and JCL. 80

82 Batch Schedule Optimization White space analysis White space analysis, showing gaps in critical timelines. In this example based on a Tivoli Application Database, Current Plans, Track Log information and JCL. Omnext is also mentioned in the IBM redbook Approaches to Optimize Batch Processing on z/os. See: 81

83 Batch Schedule Optimization Cross Reference Job schedule, JCL, resources and application information all linked and easy accessible in the portal From current plan and track log From application database 82 Cross-reference Tivoli JCL - Cobol

84 Use Case Editor With the Use Case Editor in the Omnext Portal, one can recreate functional documentation based on a structured walk through of the source code. With the use case editor, one can add logical labels (aliases) to pieces of source code that are functionally relevant. Also one can add found business rules to the use cases. One can exclude, collapse or expand items in the use case editor. Exclude: exclude the item from the use case Collapse: include the complete item as one step in the use case Expand: show the call tree and conditions within the selected item 83

85 Save maintenance costs Uit de white paper Omnext How to save on software maintenance costs Maart 2010, Ir. F. Engelbertink en Dr. H Vogt Agenda Costs of understanding Documentatie helpt? Dode code Cloned code Bugs verwijderen Complexiteit Totaal 84

86 Costs of understanding 85 [3, SWEBOK]

87 Documentatie helpt? Hoeveel documentatie is genoeg? Studie 2005 [13,Universidade Católica de Brasília, Brasilia, Brazil ]: Source code and comments are the most important artifacts for understanding a system to be maintained Data model and requirement description were other important artifacts Surprisingly, and contrary to what we found in the literature, architectural models and other general views of the system were not found to be very important Zorg dat de code goed onderhoudbaar is zodat analyse niet zo lang kost 86

88 Herdocumentatie Meeste systemen slecht gedocumenteerd Case study [5, Report from an experiment : impact of documentation on maintenance in Journal of empirical software engineering, 1997] Geen documentatie: 21% langere analyse Onderhoud is tot wel 50% analyse Wel documentatie: 10% winst totale kosten Hun opmerkelijke cocnlusies Zonder documentatie: geen verschil goede/slechte pr. Met documentatie: goede beter Hun conclusie: goede pr. zonder documentatie weinig zin 87

89 Dode code [16,17 SIG and Free University of Amsterdam] Tot 30% code in systeemkandodecode zijn Gemiddeld 15% Vaaknietbekendwatdodecode is Toch maar onderhouden Stelonderhoudper jaarkost1$ per regel Applicatie 1 miljoen regels 15% dode code verwijderen $ besparen 88

90 Cloned code 100% gelijke kloon Modulo variabele namen [19, Demantic Designs] Grote systemen 10-25% cloned code Moet onderhouden worden Bugs cloned Stelonderhoudper jaarkost1$ per regel Applicatie 1 miljoen regels 15% cloned code verwijderen $ besparen 89

91 Bugs verwijderen PMD, Stylecop, Bandera, ESC/Java2, FindBugs, JLint Kunnen echte bugs opsporen Lege if statement Echte fouten The null check here is misplaced. If the variable is null a NullPointerException will be thrown. Either the check is useless (the variable will never be "null") or it is incorrect. 90

92 Bugs verwijderen 1 miljoen regels code 10 bugs verwijderen (general experience) $500-$1000 per bug fix $5000-$10000 bespaard 91

93 Complexity Case study [22, Software Complexity and Maintenance Costs, Communications of the ACM, Banker et al, November 1993] High levels of software complexity account for approximately 25% maintenance costs or more than 17% of total life-cycle costs Given the extremely high cost of maintenance in commercial applications, the neglect of software complexity is potentially a serious omission 92

94 Totaal 1 million lines of code $1 maintenance cost per line per year 93

95 94