Najaarsspecial Oktober 2013

Transcriptie

1 Najaarsspecial Oktober 2013

2 Najaarsspecial Oktober 2013 BIJ DE VOORPAGINA Nee, TestNet Nieuws is niet ineens overgenomen door Artis. En we zijn ook geen reisbureau begonnen. Deze cover vraagt aandacht voor het thema Context. Kijk maar eens goed. De ijsbeer op beide foto s is precies dezelfde. Het enige wat verschilt is de context, het landschap waarin hij is afgebeeld. En toch zien we beide beren verschillend: de ene is een stuk bruiner dan de andere. Gezichtsbedrog, weliswaar, maar toch. De context; als tester trekt die minstens even sterk onze aandacht. Een ijsbeer aan een zonovergoten strand is best wel apart en daar kleurt hij bruin; tussen de ijsbergen is hij in zijn element en wit zoals het hoort. Deze TestNet Nieuws Special is, in het kader van het thema van het Najaarsevenement 2013, geheel gewijd aan het thema Context Driven testen. Lees verder hoe wij onze kijk op ons testobject steeds weer kunnen, ja zelfs moeten, afstemmen op de context ervan.

3 Pagina 1 Oktober 2013 Jaargang 17 Najaarsspecial secretaris@testnet.org VAN DE REDACTIE Door Hans van Loenhoud Dit artikel is geschreven in een bepaalde context: de Special van TestNet Nieuws, die in het kader van het najaarsevenement 2013 aan het onderwerp Context Driven Testen is gewijd. En jij, beste lezer, leest dit artikel weer in een andere context. Misschien als voorbereiding op deelname aan het evenement, om te bepalen welke presentaties je wilt bezoeken, of juist achteraf, om in te halen wat je jammer genoeg hebt gemist. Mijn probleem is een beetje dat ik jouw context niet ken. Terwijl die eigenlijk onmisbaar is om een goed stukje te schrijven. Ik schrijf het immers niet voor mezelf, maar voor de lezer, ieder met haar of zijn eigen context. Ik zeg niets nieuws wanneer ik beweer dat je niet kunt testen zonder context. Ik citeer maar even uit de Seven Testing Principles van ISTQB Foundation: Principle 6 - Testing is context dependent. Dat weten we dus al meer dan tien jaar. En is dat nu ineens hot, omdat we van context dependent naar context driven zijn gegaan? Ik dacht van niet. Dit onderwerp staat in de schijnwerpers vanwege de context: het is de steen in de anders zo rustige testvijver, die heeft geleid tot gloedvolle betogen, felle discussies en vlammende polemieken tussen de structured testers en contexters. Deze TestNet Nieuws Special kiest geen partij in deze polemiek. Wij kijken liever naar wat ons verbindt dan naar wat ons verdeelt, wij zijn meer van Onderzoekt alle dingen en behoudt het goede (1 Tessalonicenzen 5:19-21). Veel goeds over Context Driven testen vind je terug in deze TestNet Nieuws. Een ruim tiental auteurs neemt je mee op een exploratory reis door dit terra incognita. Ieder vanuit zijn eigen context, dat dan weer wel COLOFON Redactie Paul Beving Kees Blokland Astrid Hodes Hans van Loenhoud Gerben de la Rambelje Johan Vink Rob van Steenbergen tnn@testnet.org Bestuur Michiel Vroon John de Goey Rik Marselis Kees Blokland Bernd Beersma Harro Philip Voorzitter Penningmeester Evenementen & thema-avonden, vice-voorzitter Informatievoorziening & beheer Marktverkenning & werkgroepen Secretaris & ledenadministratie Opzeggen lidmaatschap:

4 Pagina 2 In dit nummer Van de redactie 1 Van de voorzitter 3 Wat is context-driven testen? 4 Context-driven Test Process Improvement 9 Testen is geen kunstje 12 Exploratief testen gedefinieerd 17 De context van de context-driven 23 De relatie tussen organisatiecultuur en testen 26 Meer context-driven worden; een personal story 30 Prestatie-inkoop bij de overheid 32 Productrisico s vragen om de juiste focus 36 Context-driven testing: Hoe werkt dat? 38 Complementing traditional sw testing through crowdtesting 43 WIPM Heuristiek voor een context-driven testaanpak 46 Testscholen, kiezen of mixen? 49 Nieuws.testnet.org TestNetNieuws wekelijks online Naast de vertrouwde publicatievorm als PDF, die de afgelopen tijd steeds vaker was gekoppeld aan het voorjaars- of najaarsevenement, is TestNet Nieuws dit voorjaar een nieuwe weg ingeslagen. De TestNetNieuws Weekly verschijnt iedere week in de vorm van één artikel op de website. Daarnaast blijft deze 'Special', gewijd aan het voor- of najaarsevenement, gewoon bestaan. Surf eens naar onze nieuwe TestNetNieuws op

5 Pagina 3 VAN DE VOORZITTER Door Michiel Vroon voorzitter@testnet.org Context Driven Testing het houdt de gemoederen al een tijdje bezig. Met mijn huidige context van 1312 meter lang*) weet ik als geen ander dat je omgeving een grote rol speelt bij de opzet van je testaanpak. De principes van deze overtuiging zijn dan ook niet de zaken waar ik me over verbaas. Nee, het zijn de emoties die me de wenkbrauwen doen fronsen. De emotie die het teweegbrengt wanneer een ware believer van deze testschool zijn boodschap verkondigt, is opmerkelijk te noemen. Nu kenmerkt het vakgebied van de IT zich naar mijn ervaring sowieso als een emotionele laagvlakte en vormen wij als testgemeenschap wellicht de Pyreneeën daarin. Maar toch. De emoties lopen soms erg hoog op en laat ik eerlijk zijn, dat mag, sterker, dat moet. Elk geloof heeft zijn eigen revolutie met daarin zijn martelaren en afvalligen. Het juist erover kunnen blijven discussiëren geeft eenieder zijn soms noodzakelijk uitlaatklep en voorkomt dat het geheel explodeert. Alleen en daar moeten we allemaal scherp op zijn, deze discussies met hun soms scherpe kantjes zijn alleen bestemd voor op ons eigen beschermende podium. Daarbuiten gelden de reguliere omgangsvormen zoals we die binnen de context van onze samenleving hebben afgesproken. Heel veel plezier en wijsheid toegewenst bij het lezen van deze TTN en wellicht tot ziens op het najaarsevenement. De voorzitter *) De Coentunnel waarvan tijdens mijn afwezigheid bij het voorjaarsevenement een foto is getoond!

6 Pagina 4 WAT IS CONTEXT-DRIVEN TESTEN? Door Huib Schoots Het thema van het komende TestNet evenement is context-driven testen. Maar wat is context-driven testen nu precies? En hoe ziet dat er dan in de praktijk uit? In dit artikel probeer ik uit te leggen wat context-driven testen is. Wil je meer weten, kom dan naar mijn presentatie op het komende evenement in de grote zaal. Gewoon blijven zitten na de eerste keynote. In die presentatie ga ik ook in op vragen als: is context-driven een hype? Kan TMap context-driven zijn? Wat is context-driven testen? Context-driven testen is lastig te beschrijven. Vooral omdat iedereen het anders ervaart. Vraag tien context-driven testers om een definitie en een zeker aantal zal dat hangt er van af antwoorden. In zekere zin is dat ook zo. Er is niet echt een definitie waar de hele community zich achter zal scharen. Want context-driven testen is niet alleen een aanpak, maar ook een paradigma en een community [1]. Het uitgangspunt voor een context-driven tester is het feit dat de wereld om hem heen een complexe, veranderlijke en onzekere plek is. Daarin is het dus noodzakelijk om je voortdurend aan te passen aan de context van dat moment. We zullen vaardigheden moeten ontwikkelen om te kunnen omgaan met de complexe, vaak dubbelzinnige en vluchtige, steeds veranderende wereld om ons heen. In de blogpost gepubliceerd op de website van DEWT [2] zegt James Bach: Exploratory testing is het ultieme in adaptiviteit. Aanpassen, aanpassen, aanpassen, dat is exploratief testen. Exploratory testing is wanneer het ontwerp proces van testen en het uitvoeren van de test zijn getrouwd, samen in een interactief proces. Toch een definitie? James Bach en Cem Kaner hebben in 2009 een blogpost geschreven waarin ze context-driven testen als volgt definiëren [3]: Context-driven testers kiezen hun test doelstellingen, technieken en deliverables (met inbegrip van test documentatie) door eerst te kijken naar de details van de specifieke situatie, met inbegrip van de wensen van de stakeholders. De essentie van contextdriven testen is het toepassen van kennis en beoordelingsvermogen dat past in het project. De Context-Driven Test School plaatst deze benadering van het testen binnen een humanistisch, sociaal en ethisch kader. Uiteindelijk gaat context-driven testen over het beste doen wat we kunnen, met dat wat we krijgen. In plaats van te proberen "best practices" toe te passen, accepteren we dat een zeer verschillende aanpak het beste werkt in verschillende omstandigheden (zelfs verschillende definities van veel voorkomende test termen). De zeven principes Het meest opvallende dat geschreven is over context-driven testen zijn de zeven principes [4]. Er wordt vaak naar verwezen, dus een verhaal over context-driven testen zou niet compleet zijn zonder deze principes: 1. De waarde van elke aanpak hangt af van de context. 2. Er zijn goede aanpakken in een bepaalde context, maar er zijn geen 'best practices'. 3. Mensen die samen werken, zijn het belangrijkste onderdeel van de context van ieder project.

7 Pagina 5 4. Projecten verlopen na verloop van tijd op een manier die vaak niet voorspelbaar is. 5. Het product is een oplossing. Als het probleem niet is opgelost, werkt het product dus niet. 6. Goed software testen is een uitdagend intellectueel proces. 7. Alleen door oordeelsvorming en vaardigheid, coöperatief uitgeoefend gedurende het gehele project, zijn wij in staat om de juiste dingen te doen op het juiste moment om onze producten effectief te testen. Michael Bolton verwijst in zijn keynote op Let s Test in 2012 [5] naar de zeven principes van de context-driven school. Hij wijst erop dat elk beginsel onzekerheid in zich draagt. In een complexe wereld, moeten we in staat zijn om te gaan met die onzekerheid. Context-driven of toch niet? Onder de zeven principes op de website [4] wordt ook uitgelegd dat er vormen zijn die context-driven lijken, maar dat niet zijn. Context-aware (context-bewust) lijkt het meest op context-driven. Het voorbeeld op de website maakt het duidelijk. De IEEE Standaard 829 voor test documentatie begint met een visie op goede documentatie en moedigt de tester aan om de documentatie aan te passen aan de behoeften van de stakeholders. Dit is contextaware. Voor context-driven testing zijn de eisen van de stakeholders, de praktische beperkingen en mogelijkheden van het project het uitgangspunt. Voor de context-gedreven tester biedt de standaard suggesties in plaats van voorschriften. Voor meer uitleg over context-bewust, context-specifiek en context-imperial verwijs ik je graag naar de eerder genoemde website. Context-driven: een ultiem voorbeeld Ik herinner me een verhaal dat Michael Bolton vertelde over een ontmoeting tussen James Bach en Jerry Weinberg. Hij heeft het ook gebruikt in zijn keynote op CAST in 2011 [6]. Jerry vraagt James wat de eerste verantwoordelijkheid is van een tester. James antwoord dat hij er wel vijf weet en dat hij niet kan kiezen. Jerry zegt: De eerste verantwoordelijkheid van een tester is om de situatie te verkennen. Zoiets als hoe je net de beperkingen van mijn vraag hebt uitgedaagd. Een tester is iemand die weet dat alles anders kan zijn. Testers moeten nieuwsgierig zijn. Dingen een beetje opschudden, zodat mensen dingen in een ander licht kunnen zien. Lees het hele verhaal nog eens rustig na in de volledige transcriptie van de keynote (in het Engels). Voor mij is dit een fantastisch voorbeeld van hoe context-driven tester de vraag zou beantwoorden: werken met je gevoel en de randvoorwaarden van de vraag aftasten. Je hardop afvragen of dat wat ze van je willen, wel het beste is. Een eigen aanpak In juni 2012 schreef ik een blogpost met de naam Adaptibility vs Context-Driven [7], die leidde tot een zeer interessante discussie op mijn blog. Joep Schuurkens schreef een geweldige reactie: Volgens mij is een van de belangrijke aspecten van context-driven een enigszins filosofische testaanpak. Stel vragen, wees sceptisch, zet vraagtekens bij de validiteit (geconstrueerde "geldigheid") van wat er gezegd wordt door jezelf en anderen. Dit betekent dat je jouw aanpak eigen maakt op twee verschillende manieren. Allereerst, het is je persoonlijke, op maat aanpak en van niemand anders. Er is geen externe autoriteit om naar te verwijzen. Jij bent je eigen autoriteit als het gaat om het uitleggen en verdedigen van je testaanpak. Ten tweede, jij kent je aanpak van binnen en van buiten. Wat in die aanpak zit, is er omdat jij dat zo besloten hebt! En je kunt uitleggen waarom. Je kunt een beschrijving geven van je aanpak in drie zinnen, drie uur of drie dagen, afhankelijk van de situatie. Waarop Jesper L. Ottosen zegt: ik zeg meestal dat ik zo context gedreven ben als de context toelaat.

8 Pagina 6 Lessons learned in software testing Er zijn geen boeken die context-driven testen beschrijven. Met de voorgaande informatie lijkt dat logisch. Het enige boek dat in de buurt komt, is Lessons learned in software testing: a context-driven approach door Cem Kaner, James Bach en Bret Pettichord. Geen boek dat de aanpak beschrijft, maar een boek vol met lessen die niet altijd waar hoeven te zijn. Of zoals de schrijvers zeggen in het voorwoord: het zijn hun lessen uit hun context en ze vragen je om vooral kritisch te zijn. Het is ook zeker geen boek dat je in één ruk uit zal lezen omdat de voorbeelden veelal los van elkaar staan. Tip: zie het als een scheurkalender: leg het boek op je bureau en lees één les per dag! Rapid Software Testen Toch is er een prima manier om in aanraking te komen met context-driven testen en het te ervaren: Rapid Software Testing [8]. Een training ontwikkelt door James Bach en Michael Bolton. En de beste training die ik in mijn leven gehad heb. Waarom? Omdat het me fundamenteel anders heeft laten denken over bepaalde dingen in mijn vak. Een bloemlezing van thema s en onderwerpen die aan bod komen in de training zijn: ken uw missie, wees een dienst en geen belemmering, blijf vragen, ben kritisch, ben empirisch (beroep je resultaten uit experimenten en niet op theorie), verantwoordelijkheid, aandacht testbaarheid, heuristieken en een heuristische aanpak van testen, exploratie en een exploratieve aanpak, modellen, geloofwaardigheid, veiligheid taal, diversiteit en het gebruik van diverse half-maatregelen, focus op vaardigheden in plaats van procedures, de kunst van het verhalen vertellen over testen, testen is mensenwerk, denken: kritisch denken, maar ook systeemdenken, stilzwijgende en expliciete kennis en nog veel meer. Al deze onderwerpen zouden een heel artikel op zich zelf waard zijn en het gaat te ver om hier nu in detail op in te gaan. Ik adviseer eens op de websites van James of Michael te kijken voor meer informatie. Testen als een sociale wetenschap Ik zie testen als een sociale wetenschap. Testen gaat niet over techniek alleen. Het gaat veel meer over mensen en sociale interactie. Michael Bolton ging hier op in tijdens zijn presentatie Testing Through The Qualitative Lens op EuroStar 2012 in Amsterdam waar hij zei: Testen kan in het beste geval alleen beloven wat de sociale wetenschappen leveren: gedeeltelijke antwoorden die nuttig kunnen zijn. Bovendien zegt hij: Uitstekend testen is niet alleen maar computer wetenschap. Het omvat informatica, wiskunde en technische domeinen. Maar door je alleen te richten op programma's en functies laat je andere vragen over waarde en relaties, waaronder mensen, weg. Voor mij is een uitstekend testen meer als antropologie: interdisciplinair, systeem gericht, onderzoekend en het vertelt verhalen. Michael zet in zijn presentatie exacte wetenschappen af tegen de sociale.

9 Pagina 7 Als je hierover meer wil weten, verwijs ik je graag naar de serie blogposts die ik over dit onderwerp schreef op mijn blog [9]. Leren Ik heb eerder op testnieuws.nl een drieluik column geschreven over met de titel Hoe word ik een software test expert [10]. Het gaat over wat een goede tester maakt en geeft tips over hoe je jezelf kunt bekwamen in het mooie testvak. De grote lijn is: blijf leren! Jaarlijks een paar dagen training is niet genoeg. Om echte goed te worden in je vak, zal je veel, heel veel, moeten oefenen! In een blogpost zegt James Bach [11]: Testen is een oplossing voor een moeilijk probleem dat moet worden afgestemd op de context van het project. Testen is daarom een menselijke activiteit die een grote vaardigheid vereist om het goed te doen. Daarom moeten we het serieus bestuderen. We moeten ons vak oefenen. Contextdriven testers streven ernaar om de Jedi Knights van het testen te worden. Peer workshops Het valt me op dat context-driven testers vaak bloggen. Dit helpt om ideeën uit te wisselen, maar ook om je ideeën aan te scherpen en erover te discussiëren. Continue leren is heel normaal voor context-driven testers. Via twitter worden links uitgewisseld en de community is erg actief. Het beste voorbeeld daarvan zijn peer conferenties. Over de hele wereld worden door kleine groepjes enthousiaste context-driven testers bijeenkomsten georganiseerd die vaak een hele dag of soms zelf een heel weekend duren. Tijdens deze bijeenkomsten wordt er serieus over testen gepraat. Hierover zegt James Bach op zijn blog [12]: Een geweldige manier om de gevaren van best practices te vermijden, is door te praten over je eigen ervaringen en voorkeuren, in plaats van algemene voorschriften te maken. Dit is de reden waarom, in peer-conferenties zoals LAWST, we ons richten op ervarings verhalen (eigenlijk noemde we ze oorlogsverhalen tot onze terminologie werd aangevallen door bloeddorstige pacifisten) in plaats van te pleiten voor goede practices. Zelf zoek ik de community graag op. In peer conferenties of de reguliere conferenties waar we regelmatig in de avond of de dag voor de conferentie met een groep bij elkaar komen om met elkaar te praten over ons vak en van elkaar te leren. Het is geen kenmerk van de context-driven community, er zijn veel meer mensen die peer conferenties organiseren of bijwonen. Maar het valt me wel op dat er heel veel een context-driven inslag of origine hebben. Mijn persoonlijke ervaring Het boek Lessons Learned prijs ik al jaren aan als een van de beste boeken over testen die ik ooit gelezen heb. Daarnaast was ik al een tijd geïnteresseerd in exploratief testen en de blogs van Michael Bolton en James Bach. De cursus Rapid Software Testen was de aftrap van een grote verandering in mijn denken over testen. Een groot aantal puzzel stukjes die al jaren in mijn hoofd zaten vielen ineens op zijn plek. Bepaalde dingen kregen een naam. Inmiddels ben ik vrij actief op twitter, heb ik ook een blog en heb ik samen met zes andere testers een peer workshop DEWT (Dutch Exploratory Workshop on Software Testing) opgericht.

10 Pagina 8 Ik heb veel contact met mensen uit de context-driven community, via twitter, Skype en ik spreek hen regelmatig op conferenties. We praten over testen, delen interessante artikelen en boeken, reviewen elkaars artikelen, maar delen ook testware. Met een aantal deel ik een passie voor puzzels en we dagen elkaar regelmatig uit. Met James Bach doe ik Skype coaching [13] en dat is intensief maar bijzonder leerzaam. Ik kies een onderwerp of we praten over wat me bezig houdt en zo komen we op een onderwerp. Sessies duren ongeveer 90 minuten en daarin stelt James vragen of geeft korte opdrachten en ik werk die direct uit, leg uit wat ik denk en geef antwoorden. Zelf ben ik ook coach via Skype. Meer daarover kan je vinden op mijn weblog. En jij? Mogelijk heeft dit artikel je interesse gewerkt en wil je er meer over lezen of verder over praten? Op mijn weblog staat een mooie lijst met links. Bovendien heb ik recent twee blogs gepubliceerd met populaire weblogs en boeken voor testers. Ook de leden van DEWT helpen je graag verder. Neem contact met ons op! (Dit artikel is een bewerking van het artikel dat eerder gepubliceerd is in de TestKrant nr. 2 van testnieuws.nl met de titel: Ik ben een context-driven tester! Joh? Echt waar? Nou en? ) Bronnen [1] Mind map gebruikt tijdens presentatie Context-driven Testing, Michael Bolton & James Bach, TestNet Thema avond Januari 2012 [2] Blogpost DEWT: [3] Blogpost Cem Kaner en James Bach: What is context-driven testing? [4] Website: [5] If it is not context-driven, you can t do it here, Michael Bolton, keynote Let s Test Conference, 2012 [6] Context-driven testing, Michael Bolton, keynote CAST 2011: [7] Blogpost Huib Schoots: Adaptability vs Context-Driven [8] RST materiaal: [9] Blogpost Huib Schoots: What testing can learn from social science [10] Column Huib Schoots: Hoe word ik een software test expert? [11] Blogpost James Bach: The Dual Nature of Context-Driven Testing [12] Blogpost James Bach: The Great Implication of Context-Driven Methodology [13] Website AST over Skype coaching Meer info Website DEWT: Links op mijn weblog: Website James Bach: Website Michael Bolton: Website Cem Kaner:

11 Pagina 9 CONTEXT DRIVEN TEST PROCESS IMPROVEMENT Door Kees Blokland De uitvoering van Test Process Improvement (TPI) assessments heeft veel overeenkomsten met het testen zelf. Dat begint al bij de doelstelling. Een organisatie wil antwoord op de vraag: Zijn we goed bezig? of Op welke gebieden zijn we al goed bezig?. Om dit doel te bereiken voer je controles uit op zoek naar bevestiging. Net zoals bij confirmation testing. Elke OK is goed nieuws: een bevestiging dat het op dit punt goed zit. Tegelijkertijd wil een organisatie antwoord op de vraag: Hoe en wat kunnen wij verbeteren? Meestal is een bepaald knelpunt aanleiding voor het TPI initiatief, zoals te hoge testkosten of te veel bevindingen in productie. Het zoeken naar een antwoord op de hoe-vraag vergt onderzoek dat deels langs gebaande paden verloopt, maar vooral ook daarbuiten. Net als bij exploratory testing. Daarbij kan een TPI assessor niet zonder heuristieken. In de onderzoeksfase is dat bijvoorbeeld kennis van veel voorkomende problemen en knelpunten in allerhande testorganisaties: watervalgeoriënteerde organisaties kennen andere typische knelpunten dan agile teams, bij formele culturen spelen andere zaken dan bij informeel werkende teams. Eigenlijk heb ik persoonlijk alleen ervaring met dit soort context-driven assessments. Aan de hand van een assessment-casus, samengesteld uit diverse TPI trajecten waar ik aan heb meegewerkt, beschrijf ik hoe dat dan precies in zijn werk gaat. Assessment-casus Een organisatie vraagt ons te helpen bij twee vragen. Vraag één: Wij hebben een periode van twee jaar intensieve testverbetering achter de rug. Hoe ver zijn we nu? Vraag twee: Als we ons vergelijken met vergelijkbare bedrijven, besteden wij veel meer tijd (en dus geld) aan testen. Hoe kan het dat onze testefficiency zo laag is? In overleg is besloten een TPI assessment uit te voeren. Interviews en documentstudie zijn de pijlers voor informatievergaring bij een assessment. Daarnaast is een basislijst met rollen en functies startpunt voor wie we willen spreken. Een eerste interview, met een voor testen verantwoordelijke senior manager, gaat onder meer in op de vraag: Wie moeten we zeker ook spreken? Ofwel, bij wie kunnen we goede en betrouwbare informatie verkrijgen om de vragen te beantwoorden die centraal staan bij het assessment? Dit is een belangrijk keuzemoment bij het uitvoeren van assessments. Exploreren De duur van een interview varieert grofweg tussen één en twee uur. Dit hangt onder meer af van het aantal onderwerpen dat met de persoon besproken kan worden. Met een testmanager kunnen in theorie alle aandachtsgebieden besproken worden. Dan is twee uur snel voorbij, zeker als het gesprek gemakkelijk verloopt en veel relevante informatie los komt. In bepaalde gesprekken blijkt dat je beet hebt. Je raakt de kern van een onderzoeksvraag en belangrijke informatie komt los. Dan is het zaak om een exploratory koers in te zetten. Niet vasthouden aan het key area waar je mee bezig bent, maar meebewegen met de geïnterviewde om zoveel mogelijk nuttige informatie te krijgen.

12 Pagina 10 Met andere gesprekspartners verloopt het soms minder vlot en is het na een uurtje zoeken naar gespreksstof. Dat gebeurt wel eens in de laatste interviews als je al veel weet of spreekt met mensen die minder intensief bij het testen betrokken zijn. Mis-niks-route Bezoekers aan dierentuinen zijn vertrouwd met wegwijzers die je langs alle diersoorten leiden. Dit is de zogenoemde mis-niks-route. Neem een bus mensen van een georganiseerde reis: ze willen zoveel mogelijk van het park zien. Zij verliezen de mis-niks-route niet uit het oog! Met ons abonnement op de dierentuin kiezen we echter met de kinderen vaak voor een thema: vandaag de nachtdieren, of vooral speeltuinen. Dan moet je dus niet vasthouden aan de mis-niks-route, maar een flexibele route kiezen. Zo kijk ik ook tegen de vaste onderwerpen van een TPI-model aan. Als een organisatie agile werkt, vooral real-time software maakt, hele grote of juist hele kleine projecten doet of als de maatschappelijke cultuur doorklinkt in het dagelijkse werk, dan heeft dat invloed op de keuzen die je maakt gedurende het assessment. In onze casus hebben we te maken met een grote organisatie, veel te interviewen mensen en men verwacht van ons een compleet plaatje. Wij moeten aan het eind van het assessment alle paden van de mis-niks-route minimaal een keer bewandeld hebben. Doelstelling Niet in de laatste plaats is de doelstelling van de opdrachtgever van belang. Het efficiencyvraagstuk in de casus is een bijzondere. Langs de TPI-vragen is niet direct duidelijk waar het aan zou kunnen schorten. Tot we een goed plaatje tekenen van de organisatie: de testwerkzaamheden zijn zo versnipperd over verschillende functies dat men heel veel tijd verliest aan overdragen van noodzakelijke kennis. Rapportage lijkt prima geregeld, tot we er achter komen dat er wel drie, soms vier, managers zich met het testen bemoeiden. Ook niet bepaald efficiënt. Als je dus niet buiten de gebaande paden gaat of af en toe een ander gezichtspunt kiest (de helikopter erop), dan kan het knap lastig zijn de doelstelling te behalen. De Fase Van De Grote Verwarring Inmiddels zijn we een flink stuk onderweg in het assessment en het plaatje wordt aardig compleet. We zijn overtuigd dat we het lijk boven water hebben en we willen verder met het inkleuren van details. De PowerPoint voor de eindpresentatie staat al in de steigers en dan gebeurt het. Een interview die het hele bouwwerk aan het wankelen brengt. Risk based testen? Nee hoor, ik maak mijn testgevallen nog net als altijd. Op basis van mijn kennis en gevoel. Paf. Er vallen in één keer weer grote gaten in de TPI-matrix die zich juist zo lekker liet vullen. Hebben we niet opgelet? Hebben we ons zaken op de mouw laten spelden? Self fullfilling prophecies? Deze fase van grote verwarring is normaal en bewijst elke keer maar weer dat je in een assessment belangrijke informatie uit minstens twee bronnen moet halen. Wat je in het vorige interview hoorde in een volgend interview meteen meenemen en controleren. Double checken. Zelfs aan het eind van het assessment kan dit gebeuren. Dan moet je soms zelfs extra interviews regelen (altijd wat marge inbouwen dus). Working in pairs en sessions Een goed assessment uitvoeren doe je met zijn tweeën. Zeker bij lastige vraagstukken, in politieke organisaties of in een andere complexiteit-verhogende context. Je moet als assessors elkaar uitdagen, het met elkaar oneens zijn totdat de conclusies of tussenconclusies staan.

13 Pagina 11 Na de eerste sessie van een aantal interviews wordt samen stilgestaan bij de charter voor de volgende sessie interviews. Wat weten we al, waar moeten we ons in het bijzonder op richten in de volgende sessie van interviews? In ons assessment zijn we aardig op weg naar de conclusies. Kijkend naar de voorlopige ingevulde TPI-matrix schrikken we een beetje: vol gaten, terwijl we toch echt het gevoel hadden dat veel zaken goed liepen. We moeten in de volgende sessie voldoende tijd in de interviews inruimen om zorgvuldig een aantal details na te lopen. Op basis van die details kunnen we met een gerust hart de vakjes in de TPI-matrix afvinken. Dit noem ik wel eens oneerbiedig checkpoint hunting om witte vlekken in de assessmentdekking te voorkomen. Hoewel in een interview de ene assessor vaak het interview leidt en de andere assessor zorgt voor goede verslaglegging, kunnen de rollen tijdens een gesprek zomaar omdraaien. Elkaar aanvullen geeft extra kwaliteit en zorgt voor een beter resultaat van het interview. Bij het beoordelen van de TPIcheckpoints in de analysefase van het assessment is dat ook van groot belang. Hebben we genoeg bewijs dat het checkpoint akkoord is of hebben we juist argumenten voor het tegendeel? Terugkerende discussies: wat is de begrenzing van de organisatie, wie hoort daar allemaal bij? Wanneer is het goed? Een acht, of een tien? Dat moet je aanvoelen. Wat is passend in de context? Met zijn tweeën kom je daar beter uit dan alleen. Het is van belang dat je aan elkaar gewaagd bent: tegenspraak is gewenst! Rapport De interviews zijn voorbij en de documenten zijn bestudeerd. Nu komt het erop aan de bevindingen en conclusies helder te formuleren. We leveren niet alleen een TPI-matrix op, maar juist ook wat verder is opgevallen. Daar zitten voor een organisatie zeer waardevolle aanvullende aanbevelingen in. In onze casus kan de organisatie tevreden zijn. Veel controlled checkpoints zijn akkoord bevonden, evenals flink wat efficiënt controlepunten. Dit geeft de organisatie de bevestiging dat de verbeteringen hun vruchten af hebben geworpen. Tegelijkertijd moeten we de vinger op de zere plek leggen met betrekking tot de efficiency, of eigenlijk het gebrek eraan. Dat moet met de nodige tact, want een tamelijk hoge manager heeft de verregaande splitsing in rollen, één van de oorzaken, ingevoerd. Conclusie Bij het uitvoeren van TPI-assessments kun je niet om de context heen. Evenals bij testen zelf ligt de kracht van de aanpak in het zoeken van de juiste balans tussen de gestructureerde route en exploreren. Creativiteit, heuristiek, exploreren, logica, overzicht, discussie en structuur zijn sleutelwoorden voor een geslaagde assessment. En het allerbelangrijkste: niet de methode is het startpunt van een assessment maar de context!

14 Pagina 12 TESTEN IS GEEN KUNSTJE ; ADAPTIVITEIT MAAKT VAN TESTEN IN JOUW CONTEXT EEN KUNDE! Door Leo van der Aalst en Rik Marselis leo.vander.aalst@sogeti.nl Testen is nooit eenheidsworst. Ongeacht welke aanpak of methode wordt gebruikt, of het nu over ontwikkelaanpakken of over testaanpakken gaat, iedere organisatie en elk project gebruikt ze op een manier die is afgestemd op de context waarin wordt gewerkt. Zo werkt dat ook met het adaptief toepassen van TMap. Maar adaptief toepassen, hoe doe je dat? Wat is de TMap jigsaw puzzle? Beetje context Weet jij hoeveel ontwikkel- en testaanpakken er de laatste zeventig jaar (sinds de bouw van de eerste computer) zijn bedacht en gebruikt? Geen idee? In ieder geval: veel! Nog nooit hebben we gezien dat een aanpak volledig ( as is ) wordt overgenomen door een organisatie. En dat moet ook niet, want iedere organisatie is uniek en daarom past elke organisatie de aanpak aan op de eigen specifieke context. Eind jaren 80 werkte Leo bij de Belastingdienst. Daar testten ze gestructureerd, Martin Pol had zojuist het Handboek Testen gepubliceerd. Dat handboek was later, in 1995, de basis voor TMap. We hebben dit in 2006 verder uitgewerkt tot TMap NEXT dat steunt op vier essenties, business driven testmanagement, een gestructureerd proces, de complete gereedschapskist en adaptiviteit. Door de jaren merken we steeds duidelijker dat de belangrijkste van deze vier essenties de Adaptiviteit is. In de periode van eind 80 tot heden hebben we bij vele organisaties in vele landen gezien hoe TMap telkens aangepast werd aan de context waarin het werd gebruikt. Het lijkt wel of de situaties waarin we werken steeds diverser worden, waardoor het belang van de adaptiviteit ook steeds groter wordt. Gelukkig zijn veel ervaringen herbruikbaar. Op basis daarvan hebben we voor bepaalde veelvoorkomende situaties zelfs specifieke toepassingsvarianten geschreven, om organisaties een vliegende start te geven. Kijk bijvoorbeeld naar Testen van ketens met TMap NEXT (2009), TMap Infrastructuur (2012) en het recent verschenen (en veel geroemde) TMap NEXT in scrum. Adaptiviteit de puzzelstukjes In dit artikel laten wij je zien hoe je de essentie Adaptiviteit van TMap ten volle kunt benutten. Zo kun je voorkomen dat je in de valkuil van het toepassen van een kunstje valt, maar juist toewerkt naar het waarborgen van kwaliteit op een manier die in jouw situatie effectief en efficiënt is. En je zult zien dat je ook in jouw context houvast en nuttige toepassing vindt voor het enorme scala aan onderwerpen, werkwijzen, technieken en hulpmiddelen die in het TMap gedachtegoed bij elkaar zijn gebracht, waardoor testen in elke context een kunde wordt! Maar hoe doe je dat dan? Eerst leg je alle puzzelstukjes uit: Testactiviteiten, testtechnieken, testproducten, testorganisatie en testinfrastructuur.

15 Pagina 13 Figuur 1: De TMap puzzelstukjes Vervolgens kijk je naar de context waar je in werkt. Laten we zeggen, een scrumomgeving. Wat in een scrumomgeving prominent aanwezig is, zijn de scrum events: Project planning, sprint planning, sprint, daily scrum, review en retrospective. Veel organisaties starten een scrumproject met het zogenoemde sprint 0 event, dus die voegen wij ook toe. Hoe passen de TMap puzzelstukjes hier in? Om dit artikel niet te lang te maken, laten we dit alleen voor het puzzelstukje testactiviteiten zien, voor de complete inpassing verwijzen we graag naar ons EuroSTAR ebook of het boek (zie literatuurlijst). Goed, activiteiten dus; TMap kent 53 activiteiten die je kunt gebruiken, aanpassen, verwijderen of waar je zelf activiteiten aan kunt toevoegen. Testactiviteiten sprint 0 In sprint 0 worden vaak inrichtingsactiviteiten uitgevoerd. Denk aan het houden van een kick-off, het inrichten van tools, het opstellen van een definition of done, de procesinrichting, het opstellen van een communicatieplan en het verzorgen van trainingen. Aangezien het testen in scrum volledig geïntegreerd is met de ontwikkelactiviteiten, is het goed om te bedenken welke testsoorten in een sprint moeten worden uitgevoerd. Verder is testen een rol in scrum, dus ook niet-professionele testers zullen worden gevraagd om te testen. Dan is het goed om deze teamleden de benodigde testkennis en/of testvaardigheden te geven via een training of workshop. Dit event leent zich ook om een begin te maken met het inrichten van de testinfrastructuur (inclusief tooling) en het testwaremanagement. Uiteraard moeten alle (test)afspraken in de definition of done worden opgenomen (zie Figuur 2). Figuur 2: Testactiviteiten puzzelstukjes in sprint 0 Testactiviteiten project/sprint planning In de scrum events; project/sprint planning wordt onder andere een product/sprint backlog opgesteld en een inspanningsinschatting in story points van elk backlog item (vaak met planningpoker) gemaakt. Welke restactiviteitenpuzzelstukjes passen hier dan bij?

16 Pagina 14 Ook in scrum geldt dat je niet de tijd hebt om alles te testen, dus het uitvoeren van een productrisicoanalyse en het opstellen van een teststrategie per backlog item helpt om hierin een goede afweging te maken. Het kennen van het productrisico voordat met planningpoker wordt begonnen, helpt om sneller tot overeenstemming te komen bij het toekennen van de story points. Het productrisico kan met risicopoker worden bepaald en wordt op de storycard gezet, zodat deze bij planningpoker wordt meegenomen in de afwegingen. Degene in de testrol stelt kritische vragen aan de product owner over de backlog items (dit zijn bijvoorbeeld user stories). Als de antwoorden bevredigend zijn, is in feite de intake (het toetsen) van de testbasis afgerond en zijn eventuele onduidelijkheden gecommuniceerd (zie Figuur 3). Figuur 3: Testactiviteiten puzzelstukjes in project/sprint planning Vervolgens kijk je naar de context waar je in werkt. Laten we zeggen, een scrumomgeving. Wat in een scrumomgeving prominent aanwezig is, zijn de scrum events: Project planning, sprint planning, sprint, daily scrum, review en retrospective. Veel organisaties starten een scrumproject met het zogenoemde sprint 0 event, dus die voegen wij ook toe. Hoe passen de TMap puzzelstukjes hier in? Om dit artikel niet te lang te maken, laten we dit alleen voor het puzzelstukje testactiviteiten zien, voor de complete inpassing verwijzen we graag naar ons EuroSTAR ebook of het boek (zie literatuurlijst). Goed, activiteiten dus; TMap kent 53 activiteiten die je kunt gebruiken, aanpassen, verwijderen of waar je zelf activiteiten aan kunt toevoegen. Testactiviteiten sprint en daily scrum In de scrum events; sprint en daily scrum worden de producten gerealiseerd. Hierin vinden de welbekende en veelvoorkomende testactiviteiten plaats. Uiteraard het maken en uitvoeren van testgevallen (hetzij specification based, hetzij experience based, en bij voorkeur een combinatie hiervan). Eventuele bevindingen worden gecommuniceerd en waar nodig geregistreerd, testuitvoering wordt al dan niet geautomatiseerd en testware wel of niet geconserveerd. Dit alles is afhankelijk van wat het scrumteam in de definition of done heeft afgesproken. Tijdens de daily scrum wordt over testvoortgang gerapporteerd door het bijwerken van bijvoorbeeld het scrumboard en de burndown charts (zie Figuur 4).

17 Pagina 15 Figuur 4: Testactiviteiten puzzelstukjes in sprint en daily scrum Testactiviteiten review en retrospective Tot slot de scrum events; review en de retrospective. Tijdens de review wordt (vaak door degene in de testrol) een productdemo uitgevoerd, waarna de product owner het product wel of niet accepteert. En tijdens de retrospective wordt onder andere een evaluatie van het testproces uitgevoerd (zie Figuur 5). Figuur 5: Testactiviteiten puzzelstukjes in review en retrospective De jigsaw puzzle is gelegd Door de puzzelstukjes aan elkaar te leggen onder het scrummodel is de puzzel gelegd en heb je precies die onderdelen uit het testgedachtegoed hergebruikt die voor jou toegevoegde waarde bieden. Zie het eindresultaat in figuur 6.

18 Pagina 16 Figuur 6: De puzzel compleet Conclusie Hiermee hebben we in vogelvlucht laten zien hoe we TMap-testactiviteiten hebben hergebruikt, aangepast, toegevoegd en verwijderd naar aanleiding van de context (in dit geval de scrumomgeving) waarin moet worden getest. Deze benadering is voor elke context mogelijk. En uiteraard werkt dit ook voor de puzzelstukjes testtechnieken, testproducten, testorganisatie en testinfrastructuur. Door over dit alles goed na te denken, hergebruik je op een efficiënte manier de bestaande kennis en ervaring en daarmee maak je van testen geen kunstje maar een Kunde in jouw context! Adaptiviteit werkt! Literatuurlijst TMap NEXT voor resultaat gericht testen TMap NEXT Business Driven Test Management TMap NEXT in Scrum Testen van ketens met TMap NEXT TMap Infrastructuur EuroSTAR ebook Integrate Test Activities in Agile Projects

19 Pagina 17 EXPLORATIEF TESTEN GEDEFINIEERD HARDNEKKIGE MYTHES ONTKRACHT! Het is niet de sterkste van een soort die overleeft, ook niet de intelligentste. Wel degene die zich het beste aan veranderingen kan aanpassen. (Charles Darwin) Door Huib Er is veel gezegd en geschreven over exploratief testen (Engels: exploratory testing). Helaas blijkt dat exploratief testen nog vaak onbegrepen is. Veel te vaak lees ik onjuistheden over exploratief testen. Dit artikel zet kort en bondig uiteen wat exploratief testen is, hoe het kan worden gepland, gestructureerd en hoe het traceerbaarheid biedt. Daarnaast worden enkele onjuistheden gecorrigeerd die gepubliceerd zijn. Definitie Exploratief testen (ET) is een benadering van het testen van software die bestaat uit simultaan leren, testontwerp en testuitvoering. Cem Kaner, die de term in 1983 voor het eerst gebruikte, definieert het als een manier van testen van software die de persoonlijke vrijheid en de verantwoordelijkheid van de individuele tester benadrukt door voortdurend de kwaliteit van zijn/haar werk te optimaliseren door testgerelateerd leren, testontwerp, testuitvoering en interpretatie van de testresultaten als onderling ondersteunende activiteiten te beschouwen die gedurende het project parallel lopen. Het wezenlijke kenmerk van ET is dat de tester actief bezig is met de software. Het testen is een cognitief proces: actief, doelgericht en nieuwsgierig wordt de software onderzocht. Terwijl de software wordt getest, doet de tester kennis op die weer input is voor verdere testen. Test techniek? Exploratief testen wordt vaak gezien als een blackbox-testtechniek, maar de context-driven beweging beschouwt het als een manier van testen, een testaanpak of methodiek die kan worden toegepast op elk testproces, in ieder stadium van het ontwikkelingsproces. Het is niet afhankelijk van gekozen de testtechniek, noch van het object dat wordt getest. Iedere testtechniek kan exploratief of vooraf gescript worden uitgevoerd. Ad-hoc Wikipedia meldt het volgende: Ook is het mogelijk en heel populair om minder gestructureerd (ad hoc) te testen zoals exploratory testing of error guessing. Voordeel daarvan is dat het weinig voorbereiding kost, nadeel is dat er mogelijk niet volledig getest wordt. Ook kunnen gevonden fouten niet reproduceerbaar zijn, waardoor ze moeilijker te vinden en te herstellen zijn. [1] ET is inderdaad ad hoc, want ad hoc betekent letterlijk voor dit speciale geval of eenmalig of voor één bepaald doel. Maar dat wil niet zeggen dat het niet gestructureerd is. ET is uitermate gestructureerd. Hier kom ik hieronder op terug in de paragraaf over structuur. Daarnaast beweert Wikipedia dat er mogelijk niet volledig getest wordt. Door ET goed toe te passen, zoals ik beschrijf in dit artikel, zorgt de tester ervoor dat er precies genoeg getest wordt en de belangrijkste testen als eerste worden uitgevoerd. De laatste opmerking in de tekst van Wikipedia zegt dat gevonden fouten niet reproduceerbaar zijn. Door goede bevindingen te schrijven hoeft dit helemaal geen probleem te zijn.

20 Pagina 18 Betere bevindingen met ET [2] In 2007 is er onderzoek gedaan naar de effectiviteit van het vinden van bugs. Opvallend genoeg bleek dat traditioneel en exploratief testen even effectief waren als je kijkt naar de testuitvoertijd, het aantal en de ernst van de gevonden fouten. Maar het traditionele testen nam vijf (!) maal zoveel tijd in beslag vanwege de voorbereiding. Bovendien werden bij het traditionele testen twee keer zoveel foutieve bugs gemeld. Informatie verzamelen en leren Testen wordt vaak gezien als een exacte wetenschap. Ik denk dat testen veel meer een sociale wetenschap is. Een zoektocht is naar informatie, het verzamelen en vastleggen van informatie over zaken die belangrijk zijn. Jerry Weinberg definieert testen als: het verzamelen van informatie om een beslissing te informeren. Rikard Edgren (key-note spreker op het komende najaarsevenement) schreef recent een briljante open brief waarin hij testen definieert [3]. Testen is veel meer dan bugs vinden en kijken of aan requirements is voldaan. Testen is vooral leren. Een aspect dat in ET centraal staat! Structuur Ik leg ET graag uit aan de hand van de volgende illustratie: 1. Test strategie Ook in een ET traject zal er een test plan worden opgesteld. Ik gebruik hiervoor graag mindmaps en maak daarbij gebruik van het Heuristic Test Strategy Model (HTSM) van James Bach [4]. Mindmaps zorgen dat mijn plannen kort en bondig blijven, het HTSM geeft houvast (structuur) om de juiste zaken te beschrijven. Met de klant bespreek ik de gewenste dekking en leg die vast met behulp van San Francisco Depot [5] in een aparte mind map. Dit zal tevens het uitgangspunt zijn van mijn testen. Indien nodig maak ik nog een mind map met de productrisico s.