Beoordeling van productkwaliteit met ISO 25010 Joost Visser, Head of Research, Software Improvement Group Professor of Large Scale Software Systems, Radboud University Nijmegen 17 september, 2013 T +31 20 314 0950 info@sig.eu www.sig.eu
Overdraagbaarheid Wat is overdraagbaarheid? Mate waarin een software product geschikt is om over gedragen te worden aan een andere beheerpartij. 2 I 16 Overdraagbaarheid impliceert: Kennis is persoonsonafhankelijk vastgelegd in code, documentatie, tests. Aanpassing, her-test, herinstallatie zijn mogelijk op elk moment, door iedereen. Overdraagbaarheid Onderhoudbaarheid ISO 25010 Nuttig begrip, ook als er (nog) geen sprake is van overdracht.
Deze presentatie 3 I 16 ISO 25010 Overzicht, begrippen Kwaliteitsaspecten, waaronder onderhoudbaarheid Specifiek: SIG meetmodel voor onderhoudbaarheid Overzicht, metingen Evaluatie en ijking Toepassingen Algemeen: hoe en wat kun je meten aan softwarekwaliteit?
ISO 25000 series SQuaRE 4 I 16
Software product quality Internal and external properties Usability Reliability 5 I 16 Compatibility Security Performance Efficiency Maintainability Functional Suitability Software Quality ISO 25010 Portability
Subcharacteristics of maintainability in ISO 25010 6 I 16 Maintainability Analyze Reuse Modify Test Modularity
7 I 16 ISO 25010 verschaft een conceptueel raamwerk maar Hoe meten? Hoe metingen aggregeren tot scores? Hoe scores afbeelden op kwaliteitsaspecten? Hoe grenswaarden bepalen?
The SIG model for measuring Maintainability according to ISO 25010 SIG measurement model operationalizes ISO 25010 SIG evaluates software in its ISO 17025 accredited laboratory Model first published in 2007, followed by yearly refinement and calibration A TÜViT quality certificate can be awarded for three, four or five star software 8 I 16 Lines Units Modules Components Component indepedence Volume Duplication Unit size Complexity Module coupling Unit interfacing Component balance Analysability X X X X Modifiability X X X Testability X X X Modularity X X X Reusability X X
SIG Maintainability Model Calibration against benchmark 9 I 16 750+ systems 160 mln+ lines of code 100+ technologies
Software Product Certification Voorbeeld Organisatie 10 I 16 Systeem Score Keurmerk Geldigheid Certificeringsinstantie Meetlaboratorium
Software Product Certification Register Kas BANK Tri-party collateral management internal development 11 I 16 Rabobank Bank-lobby console CRM Ordina / Cognizant India ProRail On-board track visualization Sogeti KLM Transfer kiosk Accenture SIDN Domain registration Profict Agentschap BPR Exchange of citizen information internal development GlobalCollect Online payment QuadroVision Ordina Insurance internal development MetaPress (USA) Document management SpringerLink IT Mobile Vehicle tracking, fleet management internal development RIPE NCC Internet resource certification internal development Rijkswaterstaat Incident and disaster management Logica Havenbedrijf Rotterdam Harbour management internal development Rijkswaterstaat Dredging Technolution DHL Express Courier support EsperantoXL Interamerican Property and casualty insurance Internal development
Huidige toepassingen van de SIG/TÜViT evaluatiecriteria maintainability Quality gate Vóór acceptatie, installatie en implementatie 12 I 16 Improvement instrument Als onderdeel van roadmaps (met eventueel certificeerbaarheid als eindpunt) Om voortgang t.o.v. roadmap te monitoren Vendor management Systeemgerichte contractbeheersing (SCB) Als onderdeel van RFPs, contracten en SLAs Deense landsadvocaat heeft een standaard contract voor grote IT projecten gepubliceerd waarin ISO 25010 en softwareproductmetingen zijn opgenomen als audit instrument.
ISO 25010: Software Product Quality Other measurement models 13 I 16 Usability Reliability Compatibility Security Energy Efficiency Performance Efficiency Maintainability Functional Suitability Technical Quality ISO 25010 Portability
Pitfalls Metric in a Bubble Lack of context 14 I 16 Treating the metric Rather than solving the problem it signals One-Track Metric Focus on a single metric Metrics Galore Getting lost in too many metrics http://www.sig.eu/en/metricpitfalls
Meet, maar met mate Metrieken In overvloed beschikbaar Effectief management instrument, mits goed toegepast 15 I 16 Succesfactoren Kleine set eenvoudige metrieken kan zeer effectief zijn Slim selecteren en aggregeren is essentieel Gebruik metrieken als middel, niet als doel
Take away 16 I 16 Standaarden voor evaluatie van software productkwaliteit zullen helpen volwassenheid van IT industrie naar een hoger plan te tillen. maar ook De industrie moet een zekere volwassenheid aan de dag leggen om op verantwoordelijke wijze om te gaan met metingen. Dit geldt voor vragende, leverende en beoordelende partij Prof. dr. ir. Joost Visser j.visser@sig.eu www.sig.eu +31 20 314 0950 www.cs.ru.nl/j.visser/