Ontbijtsessies

Transcriptie

1 Ontbijtsessies

2 Polteq Test Services Sinds medewerkers 100% testspecialist 100% onafhankelijk Test management Test engineering Test projecten Test outsourcing Test advisering Test opleiding Test R&D Belastingdienst Aegon Achmea Essent C1000 T-Mobile KPN Český Telecom Philips Agis NICTIZ HP Delta Lloyd Unilever Huawei NOKIA Ericsson PepsiCo Microsoft ONVZ ProRail Daimler Chrysler NATO Univé TNT Unigarant Unilever Barclays bank NS ING ABN-AMRO Quion RBS Direct Line Capital Group RDW 2

3 Ontbijt agenda Introductie Martin Pol Cloud Computing in Testperspectief Testen in Cloudperspectief Kees Blokland End-to-End testen Ruud Teunissen Napraten 3

4 Ontbijt agenda Introductie Martin Pol Cloud Computing in Testperspectief Testen in Cloudperspectief Kees Blokland End-to-End testen Ruud Teunissen Napraten 4

5 IT faciliteiten IT faciliteiten data mainframe 5

6 Internet technologie IT faciliteiten Internet data mainframe 6

7 Service Oriented Architecture IT faciliteiten SOA Internet data Enterprise Service Bus mainframe 7

8 Virtualisatie IT faciliteiten SOA Internet data Enterprise Service Bus mainframe Virtualisatie 8

9 Klaar voor Cloud Computing IT faciliteiten SOA Internet data Enterprise Service Bus De Cloud mainframe Virtualisatie 9

10 Cloud computing, waarom? IT faciliteiten data Kostenbesparing (pay-per-use) Elasticiteit Laagdrempelig Toegankelijkheid Het nieuwe werken Duurzaamheid Outsourcing Etc. Internet De Cloud mainframe 10

11 Actuele misvattingen IT faciliteiten data De zoveelste hype Hebben we al, doen we al jaren met succes Wij gaan niet public Internet Daardoor ook geen beveiligingsrisico s Ver van mijn bed show, een rekencentrumfeestje De gebruiker merkt er niets van De Cloud Wij hebben dé testaanpak voor cloud computing Etc. mainframe 11

12 Legacy Technologie SOA End-to-End test 12

13 Ontbijt agenda Welkom en Introductie Martin Pol Cloud Computing in Testperspectief Testen in Cloudperspectief Kees Blokland End-to-End testen Ruud Teunissen Napraten 13

14 Cloud Computing in Testperspectief Testen in Cloudperspectief Ontbijtsessie Kees Blokland

15 Cloud computing, waarom? IT faciliteiten data Kostenbesparing (pay-per-use) Elasticiteit Laagdrempelig Toegankelijkheid Het nieuwe werken Duurzaamheid Outsourcing Etc. Internet De Cloud mainframe 15

16 Cloud computing, wat is het? The Cloud Internet IT faciliteiten data IaaS PaaS SaaS Private Public Hybride XaaS Community mainframe TaaS 16

17 Cloud Computing volgens NIST Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction. This cloud model promotes availability and is composed of five essential characteristics, three service models, and four deployment models. US: National Institute of Standards and Technology 17

18 Cloud Computing according to NIST Essential characteristics On-demand service Broad network access Resource pooling Rapid elasticity Measured service Deployment models private cloud community cloud public cloud hybrid cloud SaaS PaaS IaaS Service Models SaaS Software as a Service PaaS Platform as a Service IaaS Infrastructure as a Service 18

19 Verwachte implementatie route IT faciliteiten <500 medewerkers Public XaaS >200 TaaS data mainframe 500+ medewerkers Private Hybride (Public) Community Internet IaaS, Paas, Saas, DaaS XaaS TaaS Consument Public Apps Social media Webmail Dropbox Google services Spotify Games SaaS 19

20 Risico s IT faciliteiten data Beveiliging Beschikbaarheid Privacy Fysieke locatie Wetgeving Multi platform Elasticiteit Vendor lock-in Performance Migratie Integratie Testbaarheid Etc. Internet De Cloud mainframe 20

21 Testen Cloud computing Relateren risicogroepen en testgroepen Beveiliging Beschikbaarheid Privacy Fysieke locatie Wetgeving Multi platform Elasticiteit Vendor lock-in Performance Migratie Integratie Testbaarheid Functionaliteit Beveiliging Performance Overig niet functioneel Migratie Aanschaf en beheer Leverancieraspecten Control en regie Financieel en legal Techniek en infra Cloud specifiek E2E Ontwikkelen, beproeven nieuwe tests Continu volgen nieuwe technologieën, tools, producten Belangrijke focus op E2E 21

22 De Risico Groepen

23 Risicogroepen tot zo ver Performance Beveiliging Continuïteit Functionaliteit Beheerbaarheid Wet- en regelgeving Leverancier 23

24 Risicogroep: performance Responstijden te hoog te weinig gebruikers mogelijk bij (on)verwachte pieken Schaalbaarheid, elasticiteit werkt niet Latency is te hoog Bandbreedte, throughput te laag Up/downloadsnelheid onvoldoende! Andere afnemers! Overboeken, abonneemodel! Internetverbinding traag 24

25 Risicogroep: wet- en regelgeving Overtreden EU data protection directive locatie, beveiliging gegevens eigenaarschap, afspraken met gegevensverwerkers Overtreden EU data retention directive Faillissement leverancier belet nakomen verplichtingen Geen grip op wat er gebeurt met de gegevens dagvaarding in ander land US: Patriot Act! Waar is mijn data?! Conflicterende of onduidelijke wetgeving! Rol (onbetrouwbare) overheden 25

26 Van risico naar test Risicogroepen Performance Beveiliging Continuïteit Functionaliteit Beheerbaarheid Wet- en regelgeving Leverancier Testgroepen Continuïteit Performance Migratie Beveiliging Functionaliteit Beheerbaarheid Wet- en regelgeving End to end Contract 26

27 De Testgroepen

28 De Testgroepen tot zo ver Performance Beveiliging Continuïteit Migratie Functionaliteit Beheerbaarheid Wet- en regelgeving Vooraf: Niet alles hoeft! Risico gebaseerd Inzet specialisten is duur Niet alles zelf doen Outsourcen = verantwoordelijkheid overdragen 28 Load&Stress Testen van Pakketten

29 Testgroep: performance Wat zijn de acceptatiecriteria? Load testen Stress testen niet altijd toegestaan wat gebeurt er op de grens van de bundel Duurtest, volumetest mogelijkheden beperkt: fair use policy monitors Elasticiteit, pay-per-use LOAD+PCT+GW 29

30 Testgroep: performance Testgevallen op basis van load-profielen Load-profielen op basis van operational profiles Testomgeving = productieomgeving Testen in real time onder bedrijfsomstandigheden met de cloud winkel open 30

31 Testgroep: beveiliging Informatiebeveiliging Vertrouwelijkheid: onbevoegde toegang Integriteit: ongewenste mutatie Beschikbaarheid: voor bevoegden Beveiligingsmaatregelen Autorisatie, authenticatie Technische voorzieningen (encryptie, firewalls etc) Beveiligingsupdates Gedrag Logging 31

32 Testgroep: beveiliging Inventariseren beveiligingsmaatregelen Internetverbinding http/ssl wifi/wap data encryptie vpn Cloud service login identity management autorisatieprofiel toegang tot gebouw logs patch routine firewall Client zwakke wachtwoorden pincode mobiles firewall deur dicht patch routine autorisatie social engineering 32

33 Testgroep: beveiliging Testen en beoordelen Beoordelen end-to-end veiligheidsarchitectuur encryptietechniek authenticatietechniek datascheiding technische infrastructuur fysieke beveiliging Functionele tests autorisatie authenticatie encryptie logs audit trails patch update routine Tests door specialisten hackerstest audit 33

34 De Testmanager

35 Bredere rol voor de Testmanager Implementatie testen, testen, testen 35

36 Implementatie: wat te testen? Cloud Service geselecteerd! Performance Beveiliging Continuïteit Functionaliteit Beheerbaarheid Wet- en regelgeving Leverancier Risicogroepen Continuïteit Performance Migratie Beveiliging Functionaliteit Beheerbaarheid Wet- en regelgeving End to end Contract Testgroepen 36

37 Bredere rol voor de Testmanager Selectie risico s, criteria, advies, contract Implementatie testen, testen, testen 37

38 Selectie: de risico s Voornemen: Cloud Computing invoeren Public SaaS Cloud Risico s 39

39 Selectie: criteria Voornemen: Cloud Computing invoeren Kostenbesparing Business proces Performance Schaalbaarheid Het nieuwe werken Continuïteit Migratie Beveiliging Integratie Selectiecriteria 40

40 Selectie: de vragen Zijn alle risico s compleet? Selectiecriteria compleet? Cloud service geschikt? Risico s met cloud service? Etc. Zijn leveranciers geschikt? Cloud Risico s + Selectiecriteria Cloud Cloud Service Cloud Service 1 Service 2 n Is SaaS wel geschikt? Is Public Cloud wel geschikt? 41

41 Bredere rol voor de Testmanager Selectie risico s, criteria, advies, contract Implementatie testen, testen, testen Operatie end-to-end regressietest, evaluatie 43

42 Operation: everything is moving Continuous End-to-end Test internet changes Operation 44 Release Calendar? Change Process?

43 Operatie, rol van de testmanager Inventariseren cloud continuïteit risico s alles is in beweging! Regelmatige end-to-end testen doet ie het nog? 45

44 Cloud & testperspectief Van Risico Naar Test Alles Is In Beweging Brede Rol Testmanager End to End en de rest 46

45 Vragen?

46 Bedankt!

47 Ontbijt agenda Welkom en Introductie Martin Pol Cloud Computing in Testperspectief Testen in Cloudperspectief Kees Blokland End-to-End testen Ruud Teunissen Napraten 49

48 End-to-End testen Van ad-hoc naar volwaardig test level

49 Software ontwikkeling Gisteren, Vandaag, wens, wet, beleid, kans, probleem verwachtingen requirements acceptatie test ontwerp systeem integratie test systeem test realisatie unit en integratie test 51

50 Software ontwikkeling Gisteren, Vandaag, 52

51 Software ontwikkeling Gisteren, Vandaag, unit en integratie test systeem test Focus: eigen componenten en technische integratie Focus: eigen applicatie systeem integratie test acceptatie test Focus: eigen interfaces Focus: eigen afdeling en haar processen 53

52 Landschap & architectuur veranderen snel Gebruikerservaring & business processen meerdere platformen, producten, systemen, applicaties Polis Batch Mail systeem Administratie Web Interface Online CRM Producten Grenzen vervagen BKR Batch Financieel Systeem 54

53 Landschap & architectuur veranderen snel Gebruikerservaring & business processen meerdere platformen, producten, systemen, applicaties Grenzen vervagen Onze testen gaan verder dan Systeem Integratie Test, System of Systems Test, 55

54 Landschap & architectuur veranderen snel Service Oriented Architecture Pakketten Internet Technologie Legacy Systemen (Out) Sourcing Migraties Virtualisatie 56

55 Landschap & architectuur veranderen snel Cloud Computing Service Oriented Architecture Pakketten Internet Technologie Legacy Systemen (Out) Sourcing End-to End Risico Analyse & Testen Een kleine aanpassing Virtualisatie Migraties in een component of systeem kan grote impact hebben op diverse (business) processen & systemen 57

56 E2E voorbeeld Verzoek wordt verzonden en opgeslagen Verzoek wordt gecontroleerd en goedgekeurd Contract wordt toegezonden Premiebetaling wordt gestart Klant vraagt een nieuw verzekeringsproduct aan Polis Batch Mail systeem Contract Administratie Klant Web Interface Online CRM Producten BKR Batch Financial Systeem Betaling 59

57 E2E Risico Analyse Helicopter blik op het E2E landschap platformen, producten, systemen, applicaties Bepaal de kritieke keten van processen What if denken is noodzakelijk meer dan ooit E2E risico s: functionals en non-functionals! 60 Startpunt Gebruikerservaring en de (business) processen

58 Typische E2E risico s Geschiktheid 61 Elk individueel systeem werkt conform specificaties maar de integrale service voldoet niet aan de verwachtingen Actualiteit & Correctheid van gegevens (Levensloop) (Dezelfde) gegevens worden in verschillende systemen opgevoerd, onderhouden en gebruikt Uitzonderlijke gebeurtenissen: hoge E2E impact overlijden van een klant, wijzigen van bedrijfsnaam, Data vervuiling (nu en in de toekomst!) Niet afgehandelde transacties of niet volgens de regels ingevoerde gegevens, Beveiliging & Toegankelijkheid Overerven van strenge lokale beveilingsregels verlagen effectiviteit van processen Overbeveiliging

59 Typische E2E risico s Interoperabiliteit & Foutafhandeling Kleine detail verschillen ( bugs ) leiden tot grote problemen ( 9999ZZ of 9999 ZZ, 08/09/11 ) Onderhoudbaarheid Als iets mis gaat, hoe eenvoudig is het de oorzaak te lokaliseren en de fout te herstellen zonder de stabiliteit van de E2E keten te verstoren? Timing Systemen hebben hun eigen ritme, maar kunnen ze samen dansen? Efficiëntie Afhankelijkheden en interacties bepalen response tijden Performance, load en/of stress betrouwbaar? E2E 62

60 E2E Test Ontwerp Techniek Classification tree Ideaal voor E2E! Toepassing E2E Leg actoren en factoren vast, uitgaande van equivalentieklassen. Grafische weergave van testsituaties. Eenvoudig te onderhouden. 63

61 E2E Test Ontwerp Techniek Classification tree Ideaal voor E2E! Proces Cyclus Toepassing E2E Leg actoren en factoren vast, uitgaande van equivalentieklassen. Grafische weergave van testsituaties. Eenvoudig te onderhouden. Proces flow door de systemen. Focus op de primaire scenario s (bv use case of happy flow) met variaties van E2E actoren en factoren 64

62 E2E Test Ontwerp Techniek Classification tree Ideaal voor E2E! Proces Cyclus Data Cyclus Toepassing E2E Leg actoren en factoren vast, uitgaande van equivalentieklassen. Grafische weergave van testsituaties. Eenvoudig te onderhouden. Proces flow door de systemen. Focus op de primaire scenario s (bv use case of happy flow) met variaties van E2E actoren en factoren Levensloop van gegevens door het E2E landschap (Create, Read, Update, Delete), inclusief controles op onmogelijkheden 65

63 E2E Test Ontwerp Techniek Classification tree Ideaal voor E2E! Proces Cyclus Data Cyclus Toepassing E2E Leg actoren en factoren vast, uitgaande van equivalentieklassen. Grafische weergave van testsituaties. Eenvoudig te onderhouden. Proces flow door de systemen. Focus op de primaire scenario s (bv use case of happy flow) met variaties van E2E actoren en factoren Levensloop van gegevens door het E2E landschap (Create, Read, Update, Delete), inclusief controles op onmogelijkheden Statistisch Gebruik Op basis van informatie met betrekking tot gebruik van processen en ketens, bepalen welke onderdelen met welke zwaarte moeten worden getest. Operational profiles (hoe wordt het systeem gebruikt) Load profiles (hoe gebruikt het systeem de resources) 66

64 E2E Test Ontwerp Techniek Classification tree Ideaal voor E2E! Proces Cyclus Data Cyclus 67 Toepassing E2E Leg actoren en factoren vast, uitgaande van equivalentieklassen. Grafische weergave van testsituaties. Eenvoudig te onderhouden. Proces flow door de systemen. Focus op de primaire scenario s (bv use case of happy flow) met variaties van E2E actoren en factoren Levensloop van gegevens door het E2E landschap (Create, Read, Update, Delete), inclusief controles op onmogelijkheden Statistisch Gebruik Op basis van informatie met betrekking tot gebruik van processen en ketens, bepalen welke onderdelen met welke zwaarte moeten worden getest. Operational profiles (hoe wordt het systeem gebruikt) Load profiles (hoe gebruikt het systeem de resources) Exploratory Noodzakelijk vanwege het gebrek aan documentatie, tijd, data, omgevingen en de leercurve

65 E2E Test Ontwerp Techniek Classification tree Ideaal voor E2E! Proces Cyclus Data Cyclus 68 Toepassing E2E Leg actoren en factoren vast, uitgaande van equivalentieklassen. Grafische weergave van testsituaties. Eenvoudig te onderhouden. Proces flow door de systemen. Focus op de primaire scenario s (bv use case of happy flow) met variaties van E2E actoren en factoren Levensloop van gegevens door het E2E landschap (Create, Read, Update, Delete), inclusief controles op onmogelijkheden Statistisch Gebruik Op basis van informatie met betrekking tot gebruik van processen en ketens, bepalen welke onderdelen met welke zwaarte moeten worden getest. Operational profiles (hoe wordt het systeem gebruikt) Load profiles (hoe gebruikt het systeem de resources) Exploratory Noodzakelijk vanwege het gebrek aan documentatie, tijd, data, omgevingen en de leercurve

66 E2E Testomgeving & Data als ware het productie Virtualisatie Gecontroleerd Releasemanagement Test data management Synchronisatie inclusief tijdreizen! Syntax Semantiek Data vervuiling Levensloop Foutafhandeling Traceerbaarheid Toegang Beveiliging Tijdigheid Snelheid 69

67 E2E Testtools & Automatisering Testtools maken het mogelijk (services) geautomatiseerd te testen Geautomatiseerd testen om frequent (continu) regressietesten te kunnen uitvoeren Standaard interfaces om eenvoudiger te kunnen testen in complexe omgevingen 70

68 E2E Issuemanagement Registreren van een bevinding is niet genoeg! Bepaal waar in de keten het probleem ontstaat Bepaal de oorzaak van het probleem en de noodzakelijke oplossing Inclusief budget Houd rekening met de verschillende rollen & verantwoordelijkheden Het project is al afgelopen 71

69 E2E Testteam Test + All-round tester, ervaren in frontend en backend Havik in plaats van Mol Vind ketenaspecten in een woud aan specificaties Vertaalt processen in systemen en vice versa Herkent E2E flows door het landschap Begrijpt data & databases, leest interfaces Communicatie Resources 72 Testers en architecten, business analisten, eindgebruikers, ontwerpers, ontwikkelaars, hardware & netwerk specialisten,

70 E2E Stakeholders Intern Operations, Ontwikkeling, Business, Projecten, Extern Sourcing Partner, Overheid, Financiële Instellingen, Budget en verantwoordelijkheid Let op, het is geen onderdeel van de projecten! Separaat budget is noodzakelijk Overall planning Communicatie Change Control Release Management 73

71 Enablers voor E2E Helicopter blik E2E Risico Analyse & Test Ontwerp Testomgeving De vruchtbare bodem Testdata Essentieel als water Testtools & automatisering Te veel planten om met de hand te kweken 74

72 75

73 Ontbijt agenda Welkom en Introductie Martin Pol Cloud Computing in Testperspectief Testen in Cloudperspectief Kees Blokland End-to-End testen Ruud Teunissen einde, eventueel nog even napraten 76