Ralph van Roosmalen Automatisch testen Theorie en de praktijk

Transcriptie

1 Titel, samenvatting en biografie Ralph van Roosmalen Automatisch testen Theorie en de praktijk Samenvatting: Theorie en de praktijk kunnen soms ver uit elkaar liggen ook bij test automatisering. Waarom wil je eigenlijk test automatisering toepassen, wat zijn de voor- en nadelen. Welke verschillende test executors er zijn, wat zijn de verschillen en wanneer en waarom moet je voor een bepaalde tool kiezen. Deze vragen probeer ik in het eerste gedeelte van de presentatie te beantwoorden. In theorie klopt het altijd maar helaas is de praktijk nooit volgens de theorie, dus hoe gaat het nu echt in de praktijk. Ik vertel welke test executors we bij Planon gebruiken en waarom. Welke tools gebruiken we waarvoor en welke fouten hebben wij gemaakt. Ik vertel onze fouten zodat het publiek deze niet meer hoeft te maken maar ook onze successen. Het verhaal klinkt altijd goed maar in het tweede gedeelte krijgt het publiek te horen hoe het bij (Planon) in de werkelijkheid gaat. Testen nu weer wel... maar als het kan wel met zo weinig mogelijk inspanning! Biografie: Ralph van Roosmalen, 32 jaar oud en afgestudeerd aan de HIO in Den Bosch in Hij is werkzaam in de software industrie sinds 1997 en hij heeft ervaring als software ontwikkelaar, project manager. Momenteel is hij werkzaam bij Planon als test manager en scrummaster. Ralph heeft het ISTQB Practioner certificaat en is certified scrummaster (Agile projectleider). Door zijn ervaring als ontwikkelaar en test manager heeft Ralph van Roosmalen veel gevoel voor test automatisering, uiteindelijk is het gewoon software ontwikkelen. Binnen Planon is Ralph mede verantwoordelijk voor de verschillende trajecten die lopen op het gebied van test executors.

2 Automatisch testen Theorie en de praktijk Agenda Planon Theorie over Test Executors De praktijk bij Planon Vragen en discussie Ralph van Roosmalen vrijdag 10 augustus 2007 Planon, Bedrijf Planon, Ontwikkelproces Standaard software voor Integrated Workplace Management Solutions Nederlands bedrijf, Nijmegen, ± 300 werknemers, ± 50 werknemers bij Software development Laatste vijf jaar minimaal 23% omzet groei en in 2006 een omzet van 21 miljoen euro Actief in Nederlands, Duitsland, België, Groot-Brittanie Brittanie, Frankrijk, Oostenrijk, Zwitserland, Polen en de Verenigde Staten Doel is om in 2010 wereldleider het gebied van Integrated Workplace Management Solutions te zijn Agile ontwikkelproces; Scrum met XP practices Maandelijkse iteraties; maandelijks software opleveren Continue en nachtelijke builds en test resultaten Multidisciplinaire ontwikkelteams Huidige producten portefeuille Planon ProCenter Windows Client Planon ProCenter Java Client Planon ProCenter Web client Planon Self Service Scrum Waarom automatisch testen bij Planon Noodzaak voor automatische regressie testen vanwege agile werkwijze Als product leverancier moeten we jarenlang onze producten onderhouden Snelle feedback doordat alle testen s nachts uitgevoerd worden Werkzaamheden voor testers zijn gevarieerder en leuker 1

3 Test automation/test executers Record & playback Record and playback Test programming Data driven testing A A test tool that records test input as it is sent to the software under test. The input cases stored can then be used to reproduce the test at a later time., BS Scripts zijn eenvoudig te maken Scripts zijn eenvoudig af te spelen Scripts kunnen s nachts lopen Moeilijk onderhoudbaar, wat als namen of pixels wijzigen? Je kunt pas starten als de software beschikbaar is Afspelen blijkt in de praktijk toch niet zo eenvoudig te zijn Herbruikbaarheid van scripts is zeer laag Test programming Data driven testing Bouwen van automatische testen met een script/programmeer taal Snel basis script beschikbaar dmv record & playback tool Herbruikbaarheid van procedures Leesbaarheid van testen Scripts zijn gemakkelijk onderhoudbaar Moeilijk voor niet technische personen Test data en testen zijn verweven met elkaar Veel overeenkomsten met software ontwikkelen Test scripts en test data gescheiden; scripts worden aangestuurd door de data. Je kunt vroeg starten met opbouwen testdata Tester heeft minder technische kennis nodig Testen zijn eenvoudiger te onderhouden en uitbreidbaar Technische kennis vereist om test scripts te bouwen Minder geschikt om acceptatietesten te automatiseren Bij Planon, Record & playback Voorbeeld Record & Playback met TestComplete TestComplete toegepast op Windows 32 bit Delphi applicatie Niet succesvol: Opnemen was al lastig, je moet de test in één keer goed uitvoeren Script moet altijd dezelfde uitgangsituatie hebben (data en scherm lay-out) De opgenomen scripts zijn moeilijk leesbaar, o.a. veel technische namen Als scherm/functie wijzigt moet je het hele script opnieuw opnemen procedure Test2; var w1 : OleVariant; var w2 : OleVariant; var w3 : OleVariant; begin w1 := Aliases.Sys Sys; w1.modpers.spdbtnpersnew.click(5, 2); w2 := w1.editgrid.pnldatapers.pnlgrdpers.nbkpers.window('tpage TPage', 'Algemeen').DBEdGrdPers DBEdGrdPers; w1 := w2.veldeditor; w3 := w1.window('tpnveldeditor TPnVeldEditor'). ').Edit; w3.keys('[enter][down][up Up]x[Enter][Enter] ]x[enter][enter]mevrou![home]![right][ Left]![ ]![Right]M[End]w[Enter]l.[Enter][Up]'); w1.keys('[up Up]'); w3.keys('l.[enter]tes tes[bs][bs]![bs]test[enter]planon'); w2.fbtnpost.click(2, 8); end; 2

4 Bij Planon, Test programming Bij Planon, Test programming TestComplete toegepast op Windows 32 bit Delphi applicatie; QFTest toegepast op J2EE applicatie; Selenium toegepast op Web 2.0 applicatie en Web 1.0 applicatie Succesvol: Framework gemaakt met standaard procedures voor veel gebruikte acties Tester en ontwikkelaar samen gewerkt aan opzetten framework Commitment van (product) management Alle testers bouwen test scripts Technical test engineer (Toolsmith) Voorbeeld test programming met TestComplete Voorbeeld test programming met QFTest Procedure testvoegpersonentoe; //Voeg persoon L. Test toe Begin VoegPersoontoe('x','Mevrouw', L','Test','Planon','','',' ); end; Bij Planon, Test programming Bij Planon, Data driven testing Succesvol maar Doorlooptijd vanwege grote aantallen scripts Onderhoud kost toch nog veel tijd Minder goed opgezette testen Afhankelijkheden tussen testen Dagelijkse resultaten analyseren Onderhoud vanwege nieuw- en verbouw van applicatie Niet alle testers pakken het even snel op Het is een investering in de toekomst, hoop je Wordt nog niet structureel toegepast Testaanpak is gericht op scenario s Enkele experimenten binnen de verschillende projecten, het kan worden toegepast indien gewenst 3

5 Toekomst voor Planon Tips Meer en meer testen, doorlooptijd wordt een factor Data driven meer gaan gebruiken Continue testen en framework blijven verbeteren Meerdere test tools op product; geen overlap gaan creëren Automatisch interoperabiliteit gaan testen Reliability en efficiency testen Structureel test resultaten analyseren om kwaliteits problemen te vinden en om kostenbaten analyse te maken Bepaal eerst je requirements,, start niet met software downloaden Bij een selectie traject een case op meerdere test tools bouwen Begin klein, start met een klein en werkend framework Reviews toepassen; testers moeten elkaars scripts reviewen Laat je testen zoveel mogelijk lopen Publiceer je test resultaten op een publieke locatie Links Vragen & Discussie FitNesse, Planon, QFS, Scrum, Selenium, Software Test Automation,, ISBN TestComplete, TestNet, Produktie/Bibliotheek/ /Bibliotheek/Artikelen.html Dank u voor uw aandacht 4