Testproces verbetering (TPV) Handvat voor het doorvoeren van verbeteringen in testprocessen SYSQA B.V.

Transcriptie

1 Testproces verbetering (TPV) Handvat voor het doorvoeren van verbeteringen in testprocessen SYSQA B.V.

2 Organisatie SYSQA B.V. Pagina 2 van 18 INHOUDSOPGAVE 1 INLEIDING ALGEMEEN DOELGROEP AFBAKENING OPBOUW EN INHOUD THEORIE ACHTER TPV SOFTWARE PROCESS IMPROVEMENT SYSQA TPV EN DE TQM FACTOREN TPV CREËREN VAN VERANDERBEHOEFTE QUICK SCAN TESTEN INRICHTEN VERBETERAANPAK Plan van Aanpak Communicatieplan INRICHTEN VERBETERINGEN Organisatieplan Opleidingsplan Handboek IMPLEMENTEREN VAN VERBETERINGEN Implementatieplan Omgaan met weerstand BORGEN EVALUEREN Evaluatierapport LITERATUURVERWIJZINGEN... 18

3 Organisatie SYSQA B.V. Pagina 3 van 18 Versie beheer Versie Status Datum Auteur Opmerkingen 0.1 First Draft SYSQA Eerste Concept 0.2 Draft SYSQA Verwerken resultaten van expertisegroep 0.3 Draft SYSQA Verwerken input expertisegroep 0.4 Draft SYSQA Verwerken input expertisegroep 0.5 Internally Reviewed SYSQA Verwerken nieuwe inzichten, nieuwe indeling 1.0 Concept SYSQA Concept verslag, klaar voor review door Productmanagement 2.0 Definitief SYSQA Verwerkingen review resultaten 2.1 Definitief SYSQA Aanpassen opmaak Document : SYSQA_TPV_v2.0

4 Organisatie SYSQA B.V. Pagina 4 van 18 1 Inleiding 1.1 Algemeen Testen is feitelijk de eindcontrole van een nieuw of gewijzigd informatiesysteem. De verschillende deelnemers hebben allen hun eigen testverantwoordelijkheid. Allereerst test een ontwikkelaar de deelproducten van een collega om te zien of het deelproduct zelfstandig goed werkt. De opdrachtnemer test of het product in zijn geheel voldoet aan de eisen en wensen van de opdrachtgever. Tot slot test de opdrachtgever of het systeem in productie kan worden genomen; geeft het product invulling aan de eisen en wensen zoals de opdrachtgever die bedoeld heeft. De ervaring leert dat het testproces, door de diversiteit en de diverse belangen van deelnemers aan een testtraject en het moment van testen in het ICT-project (laatste fase), frequent wordt ervaren als een onbeheerst, moeizaam en langdurig proces dat niet tot het gewenste resultaat leidt. Hier ligt de uitdaging voor de Sysqaan om verbeteringen in het testen door te voeren teneinde zorg te dragen dat ook deze fase zo efficiënt en doelmatig mogelijk wordt doorlopen. SYSQA Testproces Verbetering (SYSQA TPV) biedt handvatten gebaseerd op SPI en TQM om verbeteringen in het testproces gestructureerd door te voeren. 1.2 Doelgroep Dit document is specifiek bestemd voor de professional die invulling dient te geven aan de advisering voortkomend uit een Quick Scan Testen. Het biedt daarnaast ook een handvat voor een medewerker in opdracht die heeft vastgestelt dat het testproces bij de klant voor verbetering vatbaar is. De aanpak voor beide gebruiksgroepen is, zoals we in hoofdstuk 3 zullen zien, wel verschillend. 1.3 Afbakening De in dit document beschreven methodiek reikt tot verbeterprocessen die binnen de beïnvloedingssfeer van de testorganisatie liggen. De antwoorden op de vragen uit de Quick Scan Testen vormen de basis voor het Test Proces Verbetertraject. De Quick Scan Testen is feitelijk de nulmeting ter vaststelling van de huidige status van het testproces. Is er in eerste instantie geen behoefte binnen de organisatie voor TPV, dan dient de SYSQA professional zelf de vragen van de Quick San Testen te beantwoorden. Deze antwoorden bieden de organisatie alsnog inzicht in het verbeterpotentieel. Dit vormt een uitstekende basis om alsnog met de klant verbeterdoelstellingen te formuleren en hier middels TPV invulling aan te geven. Daarnaast beperkt dit document zicht op de vraag HOE een dergelijk traject moet worden aangepakt. WAT je moet verbeteren binnen de organisatie is niet binnen dit document beschreven. 1.4 Opbouw en Inhoud In het volgende hoofdstuk wordt ingegaan op de theorie achter TPV. Het Software Process Improvement model en het Total Quality Management model liggen ten grondslag aan het TPV model. Hoofdstuk 3 geeft het TPV stappenplan in vogelvlucht weer. De SYSQA professional kan aan de hand hiervan bepalen welke fase van belang is en in hoofdstuk 4 de verdieping op dit onderdeel lezen.

5 Organisatie SYSQA B.V. Pagina 5 van 18 2 Theorie achter TPV Zowel het Software Proces Improvement (SPI) als de Total Quality Management (TQM) filosofie liggen ten grondslag aan het Test Proces Verbeter (TPV) model. In dit hoofdstuk wordt kort ingegaan op deze modellen en wordt toegelicht waarom juist voor deze twee modellen is gekozen. 2.1 Software Process Improvement Het TPV-model is afgeleid van het succesvolle SPI-model zoals dat in Software Process Improvement beschreven is. Immers, TPV is net als SPI een continue proces van verandering met als doel verbetering. Veranderingen komen niet vanzelf; de organisatie moet allereerst het nut van een verandering onderkennen. Een verandering is immers niet per definitie een verbetering. Wordt duidelijk gemaakt dat een voorgenomen verandering in een verbetering (beter, sneller, goedkoper of een ander soort verbetering) resulteert, wordt commitment verkregen. Commitment is het basisingredient voor verandering. Daarom begint SPI met een nulmeting, aangevuld met een inventarisatie en beoordeling van de manieren waarop verbeteringen doorgevoerd kunnen worden. Vervolgens bewandelt SPI twee sporen. Het ene spoor richt zich vooral op de inrichting van het project, de inrichting van het te realiseren kwaliteitssysteem en het implementeren ervan in de organisatie. Het andere spoor richt zich vooral op het kneden van de organisatie, om de medewerkers zover te krijgen dat zij de nieuwe werkwijze gaan hanteren. Na enige tijd, vooraf gedefinieerd, wordt tijdens de evaluatie een nieuwe meting uitgevoerd om opnieuw het verbeterpotentieel vast te stellen. Duidelijk wordt ook of de eerder gestelde verbeterdoelstellingen gehaald zijn. Na bijstelling van de doelen en/of het formuleren van nieuwe doelen, wordt deze verbetercyclus herhaald. Een aantal van de fasen uit het SPI model zijn voor TPV niet nodig. Allereerst komt de fase Kwaliteitsbewustwording (het andere spoor ) niet terug in TPV. Gekeken wordt naar zaken die binnen de beïnvloedingssfeer van de testorganisatie liggen. Met enige voorzichtigheid in acht genomen, wordt gesteld dat binnen een testorganisatie voldoende kwaliteitsbewustwording aanwezig is. De fasen Uitvoering nulmeting, Formuleren doelstellingen en Inrichten verbeterproces zijn vervangen door de Quick Scan Testen en Inrichten verbeteraanpak. De Quick Scan Testen wordt immers al jaren met succes gebruikt en continue aangescherpt om de status van het testproces vast te stellen.

6 Organisatie SYSQA B.V. Pagina 6 van 18 Software Proces Improvement Test Proces Verbetering Inrichten kwaliteitssysteem Inrichten kwaliteitssysteem Implementeren Implementeren Borgen Borgen Creëren Creëren veranderbehoefte veranderbehoefte Uitvoeren nulmeting Uitvoeren nulmeting Formuleren doelstellingen Formuleren doelstellingen Inrichten verbeterproces Inrichten verbeterproces Evalueren Evalueren Kwaliteitsbewustwording Creëren veranderbehoefte Quick Scan Testen Inrichten verbeteraanpak Inrichten verbeteringen Implementeren Borgen Evalueren Figuur 1: TPV en SPI In bovenstaand figuur zijn de fasen van TPV uitgezet tegen de fasen van SPI. In het TPV-model is hier een duidelijke cyclus van verbeteren en evalueren in te herkennen. De gehele ruitvormige figuur geeft verder aan dat de verschillende fasen geen strikt einde nodig hebben voordat de volgende fase in gang wordt gezet. Op sommige momenten kan nog aan de afronding van een bepaalde fase worden gewerkt, terwijl al een start is gemaakt met de volgende fase. 2.2 SYSQA TPV en de TQM factoren SPI richt zich voornamelijk op het verbeterproces en de processen waarmee informatiesystemen ontwikkeld worden. De Total Quality Management filosofie richt zich naast de processen ook op de mensen en technieken. Volgens TQM zijn dit namelijk de drie factoren die kwaliteit beïnvloeden. Op al deze gebieden kan een organisatie verbeteringen realiseren. Daar waar SPI binnen TPV gebruikt is om structuur te geven aan HOE verbeterd moet worden, is de TQM filosofie gebruikt om structuur aan te brengen in WAT verbeterd kan worden. In onderstaand figuur is het TPV model gespiegeld naast een weergave op welke wijze de TQM filosofie is geïntegreerd in het TPV model. Op basis van de vragen uit de Quick Scan Testen zijn een 7-tal verbetergebieden onderscheiden. Op basis van deze gebieden wordt de verbeteraanpak vervolgens ingevuld. De totstandkoming van de 7 verbetergebieden wordt komt in hoofdstuk 4.2 uitgebreid aan bod.

7 Organisatie SYSQA B.V. Pagina 7 van 18 TQM filosofie binnen het TPV model 3 factoren die kwaliteit beïnvloeden Test Proces Verbetering Mensen Processen Technieken Creëren veranderbehoefte Competenties &HR Communicatie &PR Methodiek Testomgeving Technieken Plan&onderbouwen Strategie&Integratie Evaluatie & Borging Quick Scan Testen Inrichten verbeteraanpak Inrichten verbeteringen Implementeren Borgen Evalueren Figuur 2: TPV en TQM. Nu het fundament onder TPV besproken is, kunnen de verschillende fasen worden ingevuld. In het volgende hoofdstuk is in vogelvlucht besproken welke stappen in een TPV proces worden doorlopen. In het daaropvolgende hoofdstuk wordt per stap een uitgebreide toelichting gegeven.

8 Organisatie SYSQA B.V. Pagina 8 van 18 3 TPV In dit hoofdstuk wordt de methode in detail uitgewerkt worden. Elke fase wordt in een aparte paragraaf behandeld. 3.1 Creëren van veranderbehoefte Voordat er veranderbereidheid is, dienen management en medewerkers zich te realiseren dat de kwaliteit onvoldoende is en dat daar wat aan moet gebeuren. De veranderbehoefte ontstaat bijvoorbeeld door problemen die spelen helder te maken en te kwantificeren wat onvoldoende kwaliteit kost. Het eenvoudig roepen dat er een probleem is en dat het beter moet, is vaak niet de goede manier. Het is beter verschillende malen problemen te belichten zonder direct een oorzaak of oplossing te noemen. Ook een specifieke gebeurtenis of een steeds opnieuw optredend probleem kan hierbij helpen. Dit probleem kan van binnen de organisatie of van klanten komen. Het is mogelijk het probleem te kwantificeren aan de hand van de faalkostentheorie: welke interne en externe faalkosten heeft dit probleem met zich meegebracht. Op basis van het meermalen communiceren van de problemen en de onderliggende oorzaken en de aankondigingen dat daaraan wat gedaan moet worden, gaan het management en de medewerkers zich realiseren dat de ICT-processen niet optimaal efficiënt en effectief zijn. Zeker als de kosten inzichtelijk zijn gemaakt, is dit besef vaak concreter. Het management kan het creëren van de veranderbehoefte initiëren, maar ook de medewerkers kunnen hier het voortouw nemen. Bij voorkeur is dit besef organisatiebreed, bij het management dient het in ieder geval in hoge mate aanwezig te zijn. Bij het creëren van de veranderbehoefte kunnen medewerkers of groepen van medewerkers zich persoonlijk aangevallen voelen. De processen waar zij verantwoordelijk voor zijn of die zij uitvoeren, gaan immers niet goed. Voorzichtigheid is daarom geboden, maar uiteindelijk mag niemand om de hete brij heen draaien. Het kan zeer motiverend werken om de betrokken medewerkers op dit moment bij het traject te betrekken, bijvoorbeeld door ze te vragen wat goed gaat, en wat beter kan. 3.2 Quick Scan Testen Op het moment dat de veranderbehoefte binnen de organisatie is onderkend, is het noodzaak om deze nader te concretiseren. SYSQA hanteert de Quick Scan Testen om de huidige situatie van het testproces te bepalen. Huidige situatie De huidige situatie is de situatie die op dat moment actueel is, de situatie die moet worden verbeterd. Deze situatie is het vertrekpunt van de verbeteringen welke in het testproces doorgevoerd moeten worden. In eerste instantie wordt deze situatie niet nauwkeurig door de organisatie omschreven of de wil ontbreekt om dit te doen. Over het algemeen komt de organisatie niet verder dan kreten als het testen duurt te lang, de verkeerde zaken worden getest enz. Met een Quick Scan Testen wordt de huidige situatie op een objectieve wijze transparant gemaakt. Quick Scan Testen De Quick Scan Testen bestaat uit vragenlijsten voor: testmedewerkers; testcoördinatoren; testmanagers. Deze vragenlijsten omvatten open basisvragen die in de voorbereidingsfase op de interviews nader worden uitgewerkt tot detailvragen die toegespitst zijn op de organisatie

9 Organisatie SYSQA B.V. Pagina 9 van 18 Verbetergebieden De basisvragen vanuit de QuickScan Testen zijn op basis van TQM voor TPV onderverdeeld in de volgende 7 verbetergebieden. Verbetergebied Wat? Waarom? Strategie en Integratie Planning en onderbouwing Methodiek Competenties en HR Testomgeving Communicatie en PR Borging en evaluatie Strategie bevat op managementniveau de afwegingen die ten aanzien van testen wordt gemaakt. Waar wordt testen in het totale proces geplaatst? In hoeverre is het geïntegreerd met de andere deelprocessen. Risico s ten aanzien van keuzes dienen geanalyseerd te worden en maatregelen ter beperking van de risico s worden aangevoerd. Het opstellen van een op de teststrategie gebaseerde planning, het opstellen van een begroting behorende bij deze planning, en het onderbouwen van deze begroting en plannen met bijv. historische gegevens of planningstechnieken. Binnen deze planning dient rekening gehouden te worden met afhankelijkheden en deze moeten inzichtelijk worden gemaakt. Methodiek bevat alles wat te maken heeft met de methoden en richtlijnen die bij het testproces gebruikt worden. Tevens vallen hier procesbeschrijvingen onder die met bepaalde richtlijnen worden opgesteld. Onderdeel van de methodiek is vaak een zekere fasering die houvast biedt aan het (test)proces. Wordt testen op HR gebied echt als een vak gezien? De organisatie dient diverse testfuncties te onderscheiden en de gewenste expertise te verkrijgen. Verbeteringen in dit verbetergebied komen vaak voort uit het verbeteren van andere aandachtsgebieden. Een verbetering daar werkt vaak pas als ook in dit gebied iets veranderd. Het verkrijgen en houden van een goede stabiele testomgeving met een representatief testobject, inclusief op orde zijnde initiële gegevensverzameling. Waar mogelijk en gewenst kan gebruik worden gemaakt van testtools. Twee soorten communicatie onderkend: 1) Intern: schriftelijke communicatie (informatieverstrekking, rapporten), mondelinge communicatie (het voeren van overleg binnen het testteam, samenwerking), maar ook de informatieverstrekking binnen het team. 2) Extern: commitment van management verkrijgen, PR, samenwerking met andere afdelingen binnen de organisatie. Binnen het testproces dienen opgeleverde tussenproducten gereviewd te worden. Echter testen dient niet alleen als apart proces gezien te worden, maar als onderdeel van de kwaliteitsborging van het ontwikkeltraject. Er dienen binnen het ontwikkelingsproces lessen geleerd te worden uit de bevindingen die de testorganisatie tijdens de uitvoeringsfase vindt. Er moet ruimte gemaakt worden voor dergelijke verbeterpunten in het ontwikkelproces binnen de organisatie. Het doel van strategie is het vooraf vaststellen van de (on)mogelijkheden van de testorganisatie en de daaraan gekoppelde verwachte resultaten van de testorganisatie voor de totale organisatie. Het zo efficiënt en effectief mogelijk inzetten van de resources geldt hierbij als uitgangspunt. Een planning is onderdeel van voorbereidingsfase en voor de testorganisatie de houvast tijdens de specificatie- en uitvoeringsfase. Het dient daarnaast als extern communicatiemiddel, bijv. naar het management. De planning geeft een onderbouwde verklaring voor budgetten en tijdsbesteding. Ook worden afhankelijkheden voor de testorganisatie inzichtelijk voor het management en externe partijen Een methodische fasering zorgt ervoor dat er aandacht is voor alle verschillende fasen in het testtraject. Uit de methodiek voortkomende sjablonen en standaards dienen als houvast voor de testorganisatie en procesbeschrijvingen vormen de basis voor testspecificatie en - uitvoering. Om gestructureerd te testen en daadwerkelijk zo veel mogelijk rendement uit de testorganisatie te halen zijn, zeker voor de specificatie fase, vakmensen nodig. Een objectieve gekwalificeerde testorganisatie levert de meest betrouwbare kwaliteitsadviezen. Om een zo betrouwbaar mogelijk kwaliteitsadvies te geven dient de testomgeving een realistische weergave van de productiesituatie te zijn. Testtools kunnen het testen versnellen/verbeteren, wanneer zij op de juiste manier worden ingezet. Zowel intern als extern het afstemmen van verwachtingen, het uit de weg ruimen van misverstanden en het creëren van een solide basis voor onderhandelingen. Testen dient gezien te worden als een proces dat het product beter maakt. De organisatie dient positief tegenover testen te staan, zowel het hoger management als ook ontwikkelaars. Om niet elke keer opnieuw tegen dezelfde fouten aan te lopen is borging belangrijk. Men kan alleen continu verbeteren als men ook continu verbeteringen implementeert en borgt. Testtrajecten dienen te worden geëvalueerd en de geleerde lessen in een volgend traject worden meegenomen.

10 Mijlpaalproducten Fase Strategie en Integratie Methodiek Communicatie & PR Competenties & HR Planning en onderbouwing Evaluatie en borging Testomgeving Organisatie SYSQA B.V. Pagina 10 van 18 In bijlage I is de vragenlijst, verdeeld in verbetergebieden, van de QuickScan Testen opgenomen. Het resultaat van de Quick Scan testen is een lijst met verbetersuggesties voor de organisatie. Deze lijst is het startpunt van de volgende fase. 3.3 Inrichten verbeteraanpak De start van deze fase is het concretiseren van de verbetersuggesties in SMART doelstellingen. Vervolgens kan worden overgegaan naar de route om deze doelstellingen te realiseren. Op basis daarvan stelt de projectleider een Plan van Aanpak en een Communicatieplan op. Dit dient als startpunt voor de projectgroep die na goedkeuring van het Plan van Aanpak samengesteld wordt. Het is van belang te bepalen welke verbetergebieden op basis van de organisationele doelstellingen in aanmerking komen voor verbetering. Hiertoe wordt de verbeteraanpak ingericht, de verbetergebieden worden op basis van de doelstellingen van de organisatie opgesteld. Dit is een intensief afstemmingsproces tussen klant en SYSQA professional. Het inrichten van de verbeteraanpak kan leiden tot een aantal mijlpaalproducten. Mogelijke zijn: plan van aanpak; organisatieplan; opleidingsplan; implementatieplan; communicatieplan; handboek; evaluatierapport. Afhankelijk van het gebied waarop de verbeteringen worden doorgevoerd worden verschillende mijlpaalproducten opgeleverd. In onderstaand figuur wordt aangegeven welk product bij welk verbetergebied wordt opgeleverd in welke fase. Aandachtgebied Plan van Aanpak T X X X X X X X Inrichten verbeteraanpak Communicatieplan T X X X X X X X Organisatieplan P X X X Handboek P X X Xv X X Xv Inrichten verbeteringen Opleidingsplan P X Xv X X X Xv Implementatieplan T X X X X X X X Implementeren Evaluatieplan T X X X X X X X Evalueren Figuur 3: Mijlpaalproducten in hun relatie tot de verschillende aandachtsgebieden en de fase waarin ze zullen worden opgesteld. Toelichting: X : altijd van toepassing Xv : situatie afhankelijk

11 Organisatie SYSQA B.V. Pagina 11 van 18 P : permanent product = product wordt overgedragen aan de staande organisatie T : tijdelijk product = het product heeft alleen gedurende het project een functie Om een testproces-verbetertraject in te vullen is de nodige ervaring vereist. Afhankelijk van de volwassenheid van het proces bij de klant, bepaalt de professional de volgorde. De volgorde beschreven in de tabel (van boven naar beneden door de verschillende fases) is gebaseerd op best-practices. Dit zou echter per organisatie kunnen verschillen. Het is aan de professional om dit te bepalen Plan van Aanpak Essentie Hoe van de bestaande situatie naar de gewenste situatie te komen, wordt uitgewerkt in het Plan van Aanpak. In het Plan van Aanpak komen de volgende punten terug: korte beschrijving van de bestaande situatie; korte beschrijving van de gewenste situatie; beschrijving van het TPV-traject: o.a. welke activiteiten worden uit gevoerd en welke eindproducten worden opgeleverd; taken, bevoegdheden en verantwoordelijkheden van de bij het TPV-traject betrokken medewerkers; beschrijving van de wijze waarop het verkregen managementcommitment wordt uitgedragen; resourceplanning; doorlooptijd planning; risico s en maatregelen hiertegen; bepalen organisatievorm (projectgroepen, werkgroepen, etc.). Link met verbetertraject Het Plan van Aanpak is een eindproduct van de fase inrichten verbeteraanpak en alles behalve een optioneel eindproduct. Alvorens de fase inrichten verbeteringen in te gaan dient de opdrachtgever akkoord te zijn met het Plan van Aanpak. Tijdens de uitvoering van het TPV-traject wordt verantwoording afgelegd op basis van de inhoud van het Plan van Aanpak Communicatieplan Essentie Bij het uitvoeren van een TPV-project is het slagen van dat project sterk afhankelijk van de PR die ervoor gevoerd wordt. De PR-aanpak wordt vastgelegd in het communicatieplan van een TPVproject. Deze is vaak af te leiden van het communicatieplan voor een organisatie. Het communicatieplan van een organisatie beschrijft de interne en externe communicatielijnen. Hierbij wordt gesteld dat de te gebruiken communicatiemiddelen afhankelijk zijn van het onderwerp van communicatie. In het communicatieplan is per onderwerp vastgelegd wie over het onderwerp communiceert, met welke frequentie over het onderwerp gecommuniceerd wordt en welke middelen daarbij gebruikt worden. Link met verbetertraject Het communicatieplan dient gevoed te worden door de verschillende aandachtsgebieden uit het verbetertraject. Door het verbetertraject dienen medewerkers hun manier van werken te veranderen. Veranderingen komen niet vanzelf, daar dient men voor warm gemaakt te worden. Dit kan door het vieren van successen. De werkgroepen dienen hun successen bekend te maken en het communicatieplan beschrijft hoe. 3.4 Inrichten verbeteringen Nu bekend is welke verbeteringen doorgevoerd gaan worden en op welke wijze deze doorgevoerd gaan worden (dit laatste is beschreven in de diverse eindproducten) is het tijd geworden om de verbeteringen te gaan inrichten.

12 Organisatie SYSQA B.V. Pagina 12 van 18 Concreet betekent dit dat de nieuwe werkwijze, procedures, documenten enz worden opgesteld. Dit is het moment waarop de betrokken medewerkers voor het eerst te maken krijgen met de wijzigingen die gaan komen. Deze worden vertegenwoordigd in de organisatievorm die in het Plan van Aanpak bepaald is. Binnen deze projectgroep worden concrete wijzigingen opgesteld en gereviewed tot het te implementeren eindproduct. Nu de daadwerkelijke verbeteringen vorm krijgen, laten de tegenstanders van de veranderingen van zich horen. Door het goed inrichten van verandermanagement en het duidelijk communiceren van de veranderingen, wordt de weerstand bij deze tegenstanders minder. Dit is echter geen eenvoudig proces. In paragraaf wordt beschreven hoe een professional hier inrichting aan kan geven Organisatieplan Algemeen Essentie Het organisatieplan beschrijft wat de doelstellingen van een organisatie zijn, welke activiteiten ontplooit worden om deze doelstellingen te behalen, welke organisatiestructuur en functies binnen de organisatie aanwezig zijn (bij voorkeur beschreven in een TBV-matrix (taken, verantwoordelijkheden en bevoegdheden) of volgens RACI (Responsible, Accountable, Consulted, Informed) en een beschrijving van de noodzakelijke competenties per functie. In een organisatie waar men het testen van informatiesystemen serieus neemt, zijn de testactiviteiten opgenomen in het organisatieplan. In het minimale scenario is uitsluitend beschreven wie de test van informatiesystemen uitvoert. In het optimale scenario zijn in het organisatieplan verschillende testfuncties (uitvoerend, coördinerend, leidinggevend, ondersteunend, etc.) met de bijbehorende taken, bevoegdheden, verantwoordelijkheden en competenties beschreven. Link met verbetertraject De kans is aanzienlijk dat het organisatieplan door het verbetertraject aangevuld dan wel aangepast dient te worden. Het testvak is een relatief jong vakgebied, waardoor in organisatieplannen van vele organisaties het testen niet expliciet benoemd is. Zolang dit niet verandert, wordt door het management en uitvoerenden het testen van informatiesystemen niet serieus genomen en dus niet verbeterd Het organisatieplan in de verschillende aandachtsgebieden Strategie & Integratie Onderdeel van een teststrategie is het verdelen van taken en rollen binnen een testteam. Door testrollen en -functies in het organisatieplan vast te leggen, is het inrichten van een testproject eenvoudiger en wordt de kans op onduidelijkheden (betreffende uit te voeren taken en bijbehorende verantwoordelijkheden) aanzienlijk kleiner. Competenties & HR Door het verbetertraject kunnen (nieuwe) functieprofielen, inclusief bijbehorende competentieprofielen, ontstaan. Deze functie- en competentieprofielen dienen, na goedkeuring door de organisatie, opgenomen te worden in het organisatieplan. Vervolgens dienen de competentieprofielen van de medewerkers die testactiviteiten uitvoerden vóór de uitvoering van het verbetertraject gematcht te worden met de competentieprofielen uit het organisatieplan. In het geval er geen vaste testers waren vóór de uitvoering van het verbetertraject, dient de organisatie medewerkers aan te stellen in de benoemde testfuncties.

13 Organisatie SYSQA B.V. Pagina 13 van 18 Borging en evaluatie Eén van de resultaten van een testevaluatie (bijvoorbeeld als onderdeel van de projectevaluatie) kan zijn een bijstelling van het functieprofiel van een testmedewerker. Tijdens de evaluatie van een testtraject moet duidelijk worden vastgelegd hoe het toekomstige profiel er uit ziet. Dit dient ook geborgd te worden Opleidingsplan Algemeen Essentie Het opleidingsplan is een algemeen document dat de beschikbare opleidingen en trainingen beschrijft per functie in de testorganisatie. Opleidingen en trainingen zijn echter individuele trajecten. Daarom dient er per medewerker bekeken te worden welke kennis voor zijn functie, rekening houdend met ervaring en expertise, noodzakelijk wordt geacht. Opleidingen en trainingen moeten aansluiten op de functies die binnen het organisatieplan onderscheiden zijn. Uit de praktijk blijkt van opleidingen alleen niet volstaan waardoor ook coaching een onderdeel van de competentieontwikkeling is. De organisatie dient hier rekening mee te houden. Link met verbetertraject Het opleidingsplan is vaak een essentieel document in het verbetertraject. Men kan nog zulke goede ideeën hebben, het succes hangt af van de kwaliteit van de medewerker. In het opleidingsplan kan worden vastgelegd welke cursussen, opleidingen en trainingen gevolgd kunnen/moeten worden om de juiste competenties te bemachtigen. Dit document is blijvend voor de organisatie en kan bij elke nieuwe medewerker als uitgangspunt worden genomen. Als er op bepaalde gebieden verbeteringen plaatsvinden, kan dit ook gevolgen hebben voor de verzameling opleidingen in het opleidingsplan. Deze worden in de volgende paragraaf beschreven Het opleidingsplan in de verschillende aandachtsgebieden Methodiek Wanneer de methodiek een aandachtsgebied is voor het verbetertraject heeft dit grote gevolgen voor het opleidingsplan. Methodiek bevat alles wat te maken heeft met de methoden en richtlijnen die bij het proces gebruikt worden. Wanneer hier verbeteringen op gedaan worden, vereist dit mogelijk dat het personeel opgeleid moet worden om volgens de nieuwe methodiek te werken. Het opleidingsplan is hiervoor het uitgangspunt. Zowel procesbeschrijvingen als techniek trainingen worden hierin opgenomen. Een voorbeeld is het opnemen van een TMAP training. Communicatie & PR Is de communicatie & PR vatbaar voor verbeteringen dan kan dit gevolgen hebben voor het opleidingsplan. Voorwaarde is dat externe communicatie belangrijk gaat worden in het project en de testcoördinatoren deze competentie niet hebben. In dat geval is het nuttig om cursussen schriftelijk communiceren of andere communicatie trainingen op te nemen in het opleidingsplan. Voor interne communicatie en ook externe rapporten biedt het handboek veelal voldoende informatie. Competenties & HR Wanneer competenties en HR onderdeel uitmaken van het verbeterplan, houdt dit in dat de testorganisatie professioneler wordt ingericht. Er wordt onderscheid gemaakt tussen diverse testfuncties, bijv. white box testen, black box testen. Hier zijn standaard cursussen voor beschikbaar. Vaak passen deze cursussen bij de methodiek. Een verbetering in de methodische aanpak leidt dan ook vaak tot verbeterpunten voor Competenties en HR.

14 Organisatie SYSQA B.V. Pagina 14 van 18 Planning en onderbouwing Ook het plannen van een testproject en vooral het onderbouwen van deze planning is te leren. Wanneer hier verbeteringen plaats vinden, betekent dit vaak nieuwe materie voor de testorganisatie. Functiepuntanalyse is een van de beschikbare technieken om planningen te onderbouwen, ook in TMAP zijn een aantal richtlijnen beschreven. Borging en evaluatie In veel verbeterprojecten wordt Borging en evaluatie meegenomen als aandachtsgebied. Tijdens uitvoering van deze verbeteringen, kunnen als gevolg van dit aandachtsgebied verbeterpunten als inspecties en brown paper sessies voren komen. Deze dienen, waar mogelijk, te worden geïmplementeerd in het Opleidingsplan. Testomgeving In het opleidingsplan worden ook basiscursussen opgenomen om met een bepaalde testomgeving uit de voeten te kunnen. Trainingen SQL, DB2, JCL, etc. zijn voorbeelden van cursussen die in het opleidingsplan op dit aandachtsgebied van toepassing zijn. Wanneer testtools onderdeel uitmaken van de verbeteringen dient het opleidingsplan ook uitgebreid te worden Handboek Algemeen Essentie Het handboek betreft hier een beschrijving van een op de organisatie afgestemde generieke testwerkwijze die veelal haar oorsprong vindt bij gestructureerde testmethodieken als TESQA en TMAP. Essentiële onderdelen van een handboek testen: beschrijving Organisatiestructuur; beschrijving van de gehanteerde systeemontwikkelmethodieken; uiteenzetting van de scope van de generieke testaanpak met activiteiten, tussen producten en gebruikte technieken; beschrijving van de gehanteerde technieken; procesbeschrijving generieke testaanpak; wijzigingsprocedure; bijlage: Checklists en sjablonen van de verplichte eindproducten van de generieke testaanpak. Link met verbetertraject Het handboek is veelal een eindproduct van de fase inrichten verbeteringen. Een handboek biedt zowel gedurende het implementatietraject als hierna (permanent) houvast over de te hanteren werkwijze. LET OP: niet het opleveren van dit eindproduct, maar het structureel toepassen van de hierin beschreven werkwijze leidt tot testproces verbetering: Borging dus! Het handboek in de verschillende verbetergebieden Strategie en Integratie De basis van de generieke testaanpak wordt gevormd door de uitgestippelde strategie. De te hanteren teststrategie werkt o.a. door in: De wijze waarop testactiviteiten binnen de te hanteren systeemontwikkelmethodiek wordt gepositioneerd De keuze voor de inrichting van de testorganisatie. Beide aspecten komen terug in het testhandboek.

15 Organisatie SYSQA B.V. Pagina 15 van 18 Methodiek Het handboek is niet meer, maar zeker niet minder dan een beschrijving van een op de organisatie afgestemde methodiek, zoals TESQA en TMAP. Een organisatie specifiek handboek verhoogd de acceptatie van de methodiek. Communicatie & PR Hoe is de communicatie binnen de testorganisatie gestandaardiseerd. Ook worden rapportage en communicatielijnen binnen de testorganisatie beschreven in het handboek. Planning en onderbouwing Zowel planning als onderbouwing zijn een vast onderdeel van een gestructureerde testaanpak. Een beschrijving hiervan wordt opgenomen in het handboek. Borging en evaluatie Zie planning en onderbouwing. Testomgeving Het handboek beschrijft situatie-afhankelijk standaarden over de testomgeving. Men kan hierbij denken aan het aanvragen van authorisatie, afspraken van gebruik van de testomgeving (overlap), aanvraag procedures, beschikbaarheids informatie en SLA s. 3.5 Implementeren van verbeteringen In principe is de implementatiefase niets meer dan het uitvoeren van het implementatieplan. In de periode voorafgaande aan de implementatie zijn alle betrokkenen op de hoogte gebracht van de veranderingen welke op til zijn en op welke wijze deze vorm krijgen. Het implementatieplan beschrijft de wijze van implementeren Implementatieplan Algemeen Essentie Het implementatieplan is de afgeleide van de fase inrichten verbeteringen van het SYSQA Test Proces Verbetering model. Het is een document dat in elk TPV-traject wordt opgesteld en als belangrijkste doel heeft de volgorde van implementatie van verbeteringen aan te geven. Tevens wordt in dit document een detailplanning opgesteld voor de implementatiefase. Bij het vaststellen van de volgorde van implementatie is het zeer belangrijk rekening te houden met het soort verbetering dat uitgewerkt is. Hierbij wordt onderscheid gemaakt tussen Quick wins, verbeteringen op middellange termijn en verbeteringen op lange termijn. Quick wins zijn voornamelijk operationele verbeteringen die weinig moeite kosten om in te voeren en relatief veel opleveren. Deze dienen vooral om medewerkers mee te krijgen in de verbeteringen. Daarnaast zijn er middellange termijn verbeteringen die zich binnen een half jaar terugverdiend moeten hebben. Hier is over het algemeen ook wel support voor te krijgen, mits men de volgorde van verbetering goed aanpakt. Als laatste volgen de moeilijkste, maar meest waardevolle verbeteringen. Omdat deze verbeteringen pas op zijn vroegst na 6 maanden zichtbaar worden en veelal een strategisch karakter hebben, blijven deze in een vroeg stadium erg abstract. Niet iedereen zal het nut er van inzien. Voor deze verbeteringen is een breed draagvlak binnen de organisatie vereist.

16 Organisatie SYSQA B.V. Pagina 16 van 18 Naast een korte beschrijving van de implementatieproducten en hoe deze ingevoerd dienen te worden in de organisatie, kan in het implementatieplan een apart hoofdstuk worden opgenomen voor het omgaan met weerstand. Op basis van het communicatieplan wordt een strategie vastgesteld hoe de organisatie voor te bereiden op de komende veranderingen. Mocht er geen communicatieplan worden opgeleverd als eindproduct van het TPV project, dan wordt dit extra werk voor deze fase. Link met verbetertraject Als resultante van een van de fasen in het traject maakt dit document altijd onderdeel uit van TPV. Omgaan met weerstand speelt een grote rol tijdens de implementatie van de verbeteringen, dit wordt in de volgende paragraaf uitgebreid beschreven Omgaan met weerstand Van nature zijn mensen tegen veranderingen. Termen als We doen het al jaren zo, en het gaat altijd goed zijn vaak gehoorde termen. Testproces verbetering is een veranderingsproces en levert dus weerstand op. Er zijn twee elementaire onderdelen bij veranderingen die onderstaand globaal toegelicht worden: de motivatie en de organisatie van de verandering. Met de motivatie wordt in dit geval de argumentatie bedoeld waarmee de noodzaak tot veranderingen duidelijk wordt gemaakt. Uit ervaring blijkt dat managers gevoeliger zijn voor andere argumenten dan de uitvoerende medewerkers. Managers zijn beter te overtuigen met begrippen als sneller en goedkoper, waarbij de cijfermatige motivatie vaak van essentieel belang is. Voor uitvoerende medewerkers zijn begrippen als makkelijker en minder werk de sleutelwoorden. Bij uitvoerende medewerkers geldt vaak zien is geloven, waardoor de cijfermatige motivatie bij hen minder relevant is. The proof of the pudding is the eating Nu de huidige situatie en de gewenste situatie bekend zijn, bepaalt het management de weg van de huidige naar de gewenste situatie; de organisatie van de verandering. Tijdens de inrichting van het verbeterproces wordt vastgelegd hoe het kwaliteitssysteem wordt opgesteld, welke functionarissen een bijdrage leveren en hoe het uiteindelijk kwaliteitssysteem eruit komt te zien. De belangrijkste manieren waarop dit kan gebeuren bespreken we hieronder. Organisatiebrede werkgroep Vaak ontwikkelt een organisatie een kwaliteitssysteem door middel van een organisatiebrede werkgroep die gezamenlijk de vorm en inhoud van het kwaliteitssysteem bepalen. Deze aanpak wordt bottom-up genoemd. Gezamenlijk worden de procesbeschrijvingen en procedures ontworpen, de sjablonen gemaakt, keuzes gemaakt over de inrichting en dergelijke. De werkgroep bestaat uit een aantal medewerkers uit de organisatie die een (klein) deel van hun tijd hieraan besteden. De werkgroep moet een goede afspiegeling van de organisatie zijn. Meestal staat deze werkgroep onder leiding van een TPV-manager die ervaren is in het opzetten van een kwaliteitssysteem, gestructureerd testen en verandertrajecten. Voordeel van deze aanpak is dat het commitment en de betrokkenheid van de medewerkers groot zijn. Nadeel is dat het meer tijd en geld kan kosten dan bij andere benaderingen omdat het gezamenlijk inrichten van het kwaliteitssysteem veel afstemming en overeenstemming vereist.

17 Organisatie SYSQA B.V. Pagina 17 van 18 Top-down benadering Een andere werkwijze om een kwaliteitssysteem op te zetten, is top-down. Het management bepaalt de doelstellingen en werkwijze en namens het management stellen (externe) consultants het kwaliteitssysteem op. Organisaties grijpen nogal eens naar deze aanpak indien de medewerkers van de organisatie zich verzetten tegen iedere verandering en het management de verandering toch door wil voeren. Daarnaast is deze werkwijze sneller en daadkrachtiger dan bij een organisatiebrede werkgroep, het commitment onder de werknemers is echter veel lager. 3.6 Borgen De ervaring leert dat als niemand toeziet op het gebruik van de vernieuwde werkwijze, het gebruik afneemt. Na de presentatie gaat iedereen weer over tot de orde van de dag en er verandert niets. Daarom is het succes van TPV in sterke mate afhankelijk van de borging in de testorganisatie. De borging kan vormgegeven worden door het toezien op het juist toepassen van de voorgeschreven processen, het beoordelen van de tussen- en eindproducten of het monitoren van de prestatie indicatoren. Deze borging kan uitgevoerd worden door een kwaliteitsmedewerker. De kwaliteitsmedewerker kan ook van tevoren adviseren over de toepassing en zo het gebruik van de nieuwe werkwijze stimuleren. Afwijken van de vernieuwde werkwijze mag alleen toegestaan worden indien aangetoond kan worden dat daarmee de organisatie- of projectdoelstellingen beter gediend worden. Bij het niet toepassen van de vernieuwde werkwijze zonder de juiste onderbouwing, dient het voor de kwaliteitsmedewerker mogelijk te zijn om sancties op te leggen. 3.7 Evalueren Zoals al eerder beschreven, is TPV geen eenmalig uit te voeren project. Procesverbeteringen worden in principe in opeenvolgende verbetercyclussen uitgevoerd. Voordat de volgende verbetercyclus uitgevoerd kan worden, dient het startpunt van die cyclus bepaald te worden. Het startpunt van die verbetercyclus is gelijk aan het eindpunt van de voorgaande cyclus. De evaluatie van een verbetercyclus heeft meerdere doelen: vaststellen hoe efficiënt en effectief de voorgaande verbetercyclus is geweest; vaststellen of de verbeteraanpak geschikt is om toe te passen in de volgende verbetercyclus; vaststellen wat het startpunt is voor de volgende verbetercyclus. Voor de correcte uitvoering van de evaluatie is het van belang om vooraf duidelijke spelregels af te spreken en de evaluatie te laten leiden door een objectief en onafhankelijk persoon. De resultaten van de evaluatiefase worden vastgelegd in het evaluatie rapport Evaluatierapport Algemeen Zijn de doelstellingen, afkomstig uit de Quick Scan Testen en overgenomen in het Plan van Aanpak, behaald? Het verdiend aanbeveling om hierbij een kosten-baten analyse uit te voeren. Indien een aanpassing in het testproces meer gekost heeft dan het binnen afzienbare termijn oplevert, dan heeft het weinig zin om opnieuw op dat aandachtsgebied te investeren. Het evaluatierapport dient ook aanbevelingen te bevatten voor een volgende verbetercyclus in de vorm van nog openstaande dan wel nieuwe verbeterpunten. Vanaf hier kan het TPV-proces vanaf het inrichten van de verbeteraanpak weer opnieuw beginnen. Link met verbetertraject LET OP: Testproces verbetering is geen project. De evaluatie binnen testproces verbetering vormt niet de afsluiting, zoals bij een project, maar het startpunt voor de volgende verbetercyclus

18 Organisatie SYSQA B.V. Pagina 18 van 18 4 Literatuurverwijzingen Testen volgens TMap M. Pol, R. Teunissen, E. van Veenendaal Test Process Improvement T. Koomen, M. Pol Kwaliteitszorg in ICT-projecten J. Cannegieter Software Process Improvement J. Cannegieter Testen volgens ISEB A. Spillner, T. Linz, M. Pol De psychologie van organisatie verandering - Dr. Joan Meyer