t Kwaliteitsmodel voor semantische De kwaliteit van semantische verdient aandacht! Veel organisaties streven naar interoperabiliteit. Een belangrijk middel om dit doel te behalen zijn semantische. De afgelopen jaren zijn dan ook vele semantische geïntroduceerd. Er is echter weinig bekend over de kwaliteit van semantische. Dat is opmerkelijk, want de kwaliteit van die is ongetwijfeld van invloed op de mate waarin het doel van interoperabiliteit behaald kan worden. Met behulp van een instrument kan de kwaliteit van een standaard inzichtelijk worden gemaakt. Erwin Folmer Iedereen wil interoperabiliteit, alles moet met alles kunnen samenwerken, niet alleen op systeemniveau maar juist ook op proces- en organisatieniveau. De belangrijkste reden voor organisaties om interoperabiliteit na te streven zijn effectiviteit en efficiëntie in het samenwerken met bijvoorbeeld partners, toeleveranciers en klanten. Een gebrek aan interoperabiliteit is kostbaar, zoals verschillende onderzoeken laten zien. Zo worden de kosten van gebrek aan interoperabiliteit in de automobielindustrie in de Verenigde Staten geschat op 1 miljard dollar en een twee maanden langere ontwerptijd dan strikt noodzakelijk (Brunnermeier & Martin, 2002). Ook de overheid heeft belang bij het nastreven van interoperabiliteit, onder meer vanuit maatschappelijk oogpunt. Denk aan de consequenties bij een ramp wanneer de verschillende hulpdienstorganisaties niet interoperabel met elkaar zijn. Daarnaast doen zich bij thema s als het elektronisch patiëntendossier en de verwijsindex risicojongeren ook interoperabiliteitsvraagstukken voor. Standaarden zijn een belangrijk middel voor het bereiken van interoperabiliteit; er is een mix van noodzakelijk voor zowel technische zaken als de semantiek van informatie-uitwisseling. Het interoperabiliteitsraamwerk in figuur 1 laat dit zien; tussen haakjes staan voorbeelden van waarmee dit kan worden ingevuld. De technische zijn randvoorwaardelijk, maar de echte uitdaging ligt bij de seman- 18
Samenvatting In het streven naar interoperabiliteit worden semantische ingezet, maar er is weinig aandacht voor de kwaliteit ervan. Een kwaliteitsinstrument is een belangrijk hulpmiddel om de kwaliteit van inzichtelijk te maken en te verbeteren. Het biedt een model om naar de standaard te kijken, inzicht in wat van invloed is op de kwaliteit en ideeën voor verbetering van de standaard en voor aanpassingen in het standaardisatieproces. tische waarin de betekenis van de informatie-uitwisseling centraal staat. Verticale semantische zijn gericht op een specifieke sector, terwijl horizontale sectoroverstijgend zijn. In de praktijk zijn verticale altijd noodzakelijk om goed aan te sluiten bij de context van de organisatie. Sterker nog, de internationale verticale hebben vaak nog een specifieke invulling nodig om bijvoorbeeld in de context van een land (zoals Nederland) perfect te kunnen aansluiten bij de bedrijfsprocessen. Dit is noodzakelijk om interoperabiliteit te kunnen behalen. De SETU-standaard (www.setu.nl) bijvoorbeeld is een toegespitst profiel op basis van de HR-XML-standaard voor de specifieke context van het inhuren van tijdelijk personeel in Nederland. Op haar beurt maakt HR-XML weer gebruik van de horizontale taal van OAGIS die gebruikt wordt in verschillende sectoren. Een overzicht van semantische is te vinden op www.semanticstandards.org. (In het vervolg van dit artikel worden met de term standaard semantische bedoeld.) (Other interoperability models sometimes include other levels like Organizational and Legal interoperability) FOCUS Common Semantics Vertical Industry Language: Human Resource (HR-XML) Vertical Industry Language: (more than 100) Vertical Industry Language: Healthcare (HL7) Semantic Interoperability Horizontal Language (UBL, OAGIS) Common Syntax (XML) Syntactical Interoperability (often part of technical interoperability) Service Composition (WS-BPEL) Common Messaging Mechanism (Web Services) Service Discovery (UDDI) Service Description (WSDL) Technical Interoperability Common Communication Mechanism (Internet) XML Messaging (SOAP) Transport (HTTP, SMTP, FTP, BEEP) Common Networking (TCP/IP) Figuur 1. Interoperabiliteitsraamwerk (gebaseerd op Jian & Zhao, 2003) 19
t Weinig bekend over de kwaliteit van Er is weinig bekend over de kwaliteit van. Dat is opmerkelijk, want als een middel zijn om het doel van interoperabiliteit te behalen, dan zal de kwaliteit van de ongetwijfeld van invloed zijn op de mate waarin de doelen behaald kunnen worden. In tegenstelling tot andere disciplines, zoals software-engineering, is er weinig literatuur en kennis beschikbaar over wat een kwalitatief goede standaard is die een effectieve bijdrage levert aan interoperabiliteit. Dit definieert ook ons kwaliteitsbegrip: fitness for use! (definitie van kwaliteitsgoeroe Juran). Het overheidsbeleid (www.noiv.nl) richt zich voornamelijk op de openheid van een standaard, wat slechts één kwaliteitsaspect is. Een kwalitatief hoogwaardige standaard is ongetwijfeld een open standaard, maar het omgekeerde is niet noodzakelijkerwijs waar: een open standaard hoeft niet per definitie een kwalitatief hoogwaardige standaard te zijn. Overigens wordt in de toetsing van voor de pas-toe- of leg-uitlijst van de Nederlandse overheid een sterke nadruk gelegd op de openheid. Daarnaast worden ook andere kwaliteitsaspecten (bruikbaarheid, potentieel en impact) meegenomen in de toetsing voor opname op de lijst. Semantische kennen een ongekende complexiteit in vergelijking met andere en worden anders ontwikkeld en beheerd. Het merendeel van de IT- wordt al buiten de officiële standaardisatieorganisaties (zoals ISO en NEN) ontwikkeld, namelijk in zogenaamde industrieconsortia zoals W3C en OASIS. Wanneer we naar semantische kijken, gaat het echter nog een stap verder aangezien die grotendeels door een eigen organisatie ontwikkeld worden (bijvoorbeeld HR-XML door het HR-XML Consortium). Dit kan impact hebben op de kwaliteit; op zijn minst zal de kwaliteit daardoor sterk verschillen per semantische standaard. Quality assurance is an explicit part of our current development process of the standard. There is not a minimum quality check in place before the standard is released. An instrument/tool is used to measure the quality of our standard. Wat vinden de standaardisatieorganisaties zelf van de kwaliteit? Een onderzoek onder 37 beheerorganisaties van (waaronder internationale zoals XBRL, HR-XML, ACORD en HL7 en nationale zoals SETU, StUF en Aquo) laat zien dat meer dan 90 procent van de ondervraagde opstellers van vindt dat de kwaliteit van hun standaard verbeterd kan worden (zie figuur 2). Daarnaast vindt ook een zeer ruime meerderheid dat een verbetering in kwaliteit van hun zal bijdragen aan betere interoperabiliteit. Ook laat het onderzoek zien dat de kwaliteit van een standaard essentieel is om het uiteindelijke doel van interoperabiliteit te behalen (meer dan 90 procent van de respondenten is de mening toegedaan, zie figuur 3). Minder overtuigend maar nog steeds zeer nadrukkelijk is de relatie tussen het kwaliteitsniveau en de kans op succesvolle adoptie van een standaard. Er is dus ruimte voor kwaliteitsverbeteringen die kunnen leiden tot betere interoperabiliteit en betere adoptie van de. Het is echter lastig de kwaliteit te verbeteren als de kwaliteit niet bekend is. De respondenten (meer dan 80 procent) willen een instrument gebruiken om de kwaliteit van hun te bepalen. Maar dan moet dit wel beschikbaar zijn. Overigens laten de uitkomsten ook zien dat standaardisatieontwikkelaars zeker geneigd zijn om hoge kwaliteit na te streven en open te staan voor een kritische blik op hun werk door toepas- The quality of the current standard can be improved. Statements about the current standards development process 0% 20% 40% 60% 80% 100% Figuur 2. Standaardisatieorganisaties over de kwaliteit van hun Strongly disagree Disagree Partly disagree partly agree Agree Strongly agree 20
Statements about the desired quality situation A minimum quality level of our standard is needed to achieve interoperability. A minimum quality level of our standard is needed for high adoption rates. I will not use an instrument/tool to measure the quality of our standard when it will be available. Strongly disagree Disagree Partly disagree partly agree Agree Strongly agree It would be helpful to have an instrument/tool/knowledge to gain insight in the quality of our standard. If the quality of the standard is not known than it is hard to improve the standard. 0% 20% 40% 60% 80% 100% Figuur 3. Standaardisatieorganisaties over de gewenste kwaliteit van hun sing van een kwaliteitsinstrument. Een eventueel gebrek aan kwaliteit van een standaard heeft meerdere oorzaken, maar uit te sluiten valt de motivatie van de standaardisatieontwikkelaars. Eerder onderzoek heeft aangetoond dat juist bij semantische de ontwikkelaars intrinsiek gemotiveerd zijn. Een kwaliteitsinstrument Hoe ziet zo n instrument waarmee we de kwaliteit van een standaard inzichtelijk kunnen maken eruit? Om een kwaliteitsinstrument te ontwikkelen is veel kennis nodig: wat is een kwalitatief goede standaard? Welke kwaliteitsaspecten zijn van invloed, en hoe zijn die te meten? Maar ook over het onderwerp zelf: wat is een semantische standaard? Uit welke componenten bestaat een semantische standaard? Want daar zal de kwaliteitsthermometer in gestoken moeten worden. Het is noodzakelijk te weten hoe de kwaliteitsthermometer eruit kan zien, maar ook waar we hem in kunnen steken. Op metaniveau zou een kwaliteitsinstrument moeten bestaan uit een kwaliteitsmodel dat zowel kwaliteitsattributen bevat als de metrieken hoe deze attributen meetbaar te maken zijn. Daarnaast zijn er nog randvoorwaarden gerelateerd aan het gebruik (tijdsduur gebruik, minimale noodzakelijke kennis) en aan het resultaat. Het resultaat moet aanknopingspunten bieden om verbeteringen uit te voeren, een rapportcijfer 8 is dan ook niet voldoende. Deze randvoorwaarden maken uiteindelijk tooling, in de vorm van een softwaretool als meetinstrument, noodzakelijk. Het kwaliteitsmodel Een eerste kwaliteitsmodel is gebaseerd op voornamelijk het domein van software-engineering, waar kwaliteit al jaren onder de aandacht is. Dat heeft geleid tot meerdere ISO- (met name ISO 9126) die de kwaliteit van software beschrijven. Op basis hiervan is het in figuur 4 weergegeven kwaliteitsmodel voor semantische gedestilleerd in het INTEGRATEproject (www.integrate-project.nl) en getoetst met experts. Het kwaliteitsmodel in figuur 4 laat niet de volledig uitwerking voor elk kwaliteitsattribuut zien. Ter illustratie: het kwaliteitsattribuut Volwassenheid (onder Betrouwbaarheid) bevat meerdere attributen, waaronder Stabiliteit. Deze attributen kunnen meerdere metrieken bevatten, en daarnaast wordt vastgelegd hoe de waarde van de metriek bijdraagt aan de uiteindelijke waarde voor het attribuut. Een eenvoudig voorbeeld: het attribuut Stabiliteit heeft als metriek de hoeveelheid releases van een 21
t»een aandachtsverschuiving naar de kwaliteit van voorkomt dat een doel op zich worden en zal de relatie tussen en interoperabiliteit versterken«standaard in de afgelopen vijf jaar. Een potentiële meting van één release (in vijf jaar) kan door middel van het scoringsmechanisme leiden tot de waarde zeer stabiel voor het attribuut Stabiliteit. Eerste gebruik van het instrument Als eerste testcase is het kwaliteitsmodel getest op de SETU-standaard. Dit is een door TNO-experts ontwikkelde standaard die verplicht gesteld is door de Nederlandse overheid. Dit betekent dat toetsing door een expertgroep heeft plaatsgevonden, evenals positieve besluitvorming in het Forum Standaardisatie op basis van een openbare consultatieronde, en tot slot positieve besluitvorming door het College Standaardisatie. Het is dus een standaard met een hoge kwaliteitsverwachting, maar ook een standaard waarbij de ontwikkelaars gedreven zijn om de kwaliteit van de standaard waar mogelijk te verbeteren. De uitkomst is een algemeen positief beeld over de kwaliteit van de SETU-standaard. Toch zijn er ook voldoende verbeterpunten geïdentificeerd, zowel op details als op hoofdlijnen. In het kort zijn er verbeterpunten waargenomen op het gebied van scoping (aansluiting met de doelgroep) en het gebruik van opties (verminderen) in de standaard. Het leverde ook eenvoudige punten op die tot op heden gewoonweg over het hoofd werden gezien, bijvoorbeeld gerelateerd aan verouderde informatie op de website. De frisse blik helpt om deze zaken, die eenvoudig zijn aan te passen, inzichtelijk te maken. Kwaliteit van 3.2 Betrouwbaarheid 3.4 Portabiliteit 3.6 Adoptiegraad Volwassenheid Fouttolerantie Consistentie Aanpassingsvermogen Co-existentiemogelijkheid Vervangbaarheid Acceptatiegraad gebruikers Beschikbaarheid hulpmiddelen Beschikbaarheid kennis/ondersteuning 3.1 Effectiviteit Probleemgerichtheid Accuraatheid 3.3 Bruikbaarheid Begrijpelijkheid Implementeerbaarheid 3.5 Onderhoudbaarheid Aanpasbaarheid Stabiliteit Compliance Testbaarheid Figuur 4. Kwaliteitsmodel voor (gebaseerd op onder andere ISO 9126) 3.7 Openheid Openheid proces Openheid specificatie 22
Conclusies Standaardisatie mag zich op veel aandacht verheugen, maar die is veelal gefocust op zaken als openheid en daarmee samenhangende kwesties zoals patenten en aanbestedingsvraagstukken. Verbazingwekkend is de weinige aandacht voor de kwaliteit van terwijl interoperabiliteit toch het doel is om efficiëntie en leveranciersonafhankelijkheid te behalen. Hoe weten we dan of de standaard wel een optimale bijdrage levert aan deze doelen? Zonder het kwaliteitsaspect in ogenschouw te nemen worden te veel gezien als heilige graal. De standaard wordt het doel, in plaats van een middel om op een effectieve en efficiënte manier interoperabiliteit te bereiken. Een aandachtsverschuiving naar de kwaliteit van voorkomt dat een doel op zich worden en zal de relatie tussen en interoperabiliteit versterken. Daarbij is een kwaliteitsinstrument een belangrijk hulpmiddel om de kwaliteit van inzichtelijk te maken en te verbeteren. Alleen die aan bepaalde criteria voldoen, gerelateerd aan interoperabiliteit, noemen we kwalitatief hoogwaardige. De belangrijkste vraag is wat het gebruik van het kwaliteitsinstrument voor oplevert. Kort samengevat: een model om naar de standaard te kijken: een frisse blik; inzicht in wat van invloed is op de kwaliteit van een standaard; ideeën voor verbetering van de standaard; ideeën voor aanpassingen in het standaardisatieproces. Een standaard waarvan de implementaties in de praktijk niet met elkaar kunnen samenwerken zonder grote aanpassingen, waarvan de implementaties niet testbaar zijn en waarvan elk half jaar een nieuwe versie uitkomt met correcties voor fouten, leidt dat echt tot een efficiënte interoperabiliteit? Waarschijnlijk niet. Het helpt de standaardisatieontwikkelaar om met een frisse blik naar de standaard te kijken en daarbij een gevoel te krijgen hoe de kwaliteit te beïnvloeden is. Gedurende het gebruik zal de standaardisatieontwikkelaar ideeën ontwikkelen hoe de standaard te verbeteren is of mogelijkheden zien om het standaardisatieproces te veranderen om een hogere kwaliteit te bereiken. In ultieme vorm is het kwaliteitsinstrument een meetinstrument (zoals een thermometer) voor, dat wil zeggen een compleet gereedschap inclusief tool en gebruikshandleiding. De plannen hiervoor zijn er en het vervolgonderzoek wordt nu uitgevoerd. Op dit moment ligt er een bruikbaar kwaliteitsmodel, met een stevig fundament, dat als bril kan worden gebruikt om in de praktijk mee te toetsen. Noot Gefaciliteerd door TNO, Universiteit Twente (prof. dr. Jos van Hillegersberg), Novay (dr. ir. Paul Oude Luttighuis) en NOiV verricht de auteur promotieonderzoek naar de kwaliteit van semantische. Voor meer informatie over dit onderzoek kunt u contact opnemen met de auteur. Literatuur Brunnermeier, S.B. & S.A. Martin (2002). Interoperability costs in the US automotive supply chain. Supply Chain Management 7(2), pp. 71-82. Jian, H. & H. Zhao (2003). A Conceptual Model for Comparative Analysis of Standardization of Vertical Industry Languages. Paper presented at the Workshop on Standard Making: A Critical Research Frontier for Information Systems, Seattle. Links www.integrate-project.nl www.noiv.nl www.semanticstandards.org www.setu.nl Ir. Erwin Folmer is standaardisatieonderzoeker en adviseur voor TNO Informatie- en Communicatietechnologie, Universiteit Twente en Nederland Open in Verbinding. E-mail: erwin.folmer@tno.nl. 23