KENMERKEN MODEL BASED TESTING TOOLS

Transcriptie

1 Testoptimal Helpt de met data selectie /data generatie volgens CTE Aan logische testgevallen Kan de leesbare logische testgevallen dekking op het op data dekking op de requirements opgenomen in het Goed Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Geen voor web en GUI Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Grafisch Sublen Is het mogelijk een op te bouwen uit sub-len Slicing (deel testbaar ) Simulatie van het Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen) Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Online en offline mogelijk Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) Is de MBT te koppelen met andere uitvoeringsing Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan $2000 Aanschaf/ $400 per jaar Onder welke licentie wordt de aangeboden, denk hierbij Closed Geen ondersteuning bij sales traject Support van leverancier of community Wie levert ondersteuning bij problemen met de Leverancier, redelijk Zijn er trainingen of opleidingen beschikbaar voor de ing Tijd die noodzakelijk is om de goed te kunnen gebruiken Kort Minimaal en ervaring opleidings niveau om te Tester met enige erings Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Windows Mac welke taal wordt ondersteund (Ruby, va, C#, eigen taal) Scripting M-script, va script, Groovy script Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het In welk domein of combinatie van domeinen is de len Administratief

2 DTM Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het Goed Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Geen, alleen van opstellen test (snel te leren) Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Grafisch Sublen Slicing (deel testbaar ) Simulatie van het Is het mogelijk een op te bouwen uit sub-len Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen), o.b.v. geselecteerde testscenario Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Tool maakt testcases aan die handmatig uitgevoerd moeten worden of kunnen worden opgevoerd in t.b.v. automatiseren testuitvoer Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) via gegenereerde Excel in HP QC Is de MBT te koppelen met andere uitvoeringsing Mogelijkheden hiervoor worden onderzocht Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan Onder welke licentie wordt de aangeboden, denk hierbij Support van leverancier of community Wie levert ondersteuning bij problemen met de Desktop 1199,-/ jaar Kosten SaaS nog niet definitief vastgesteld (zal laag zijn) Closed, Desktop en SaaS Lange termijn/ Bedrijf heeft sterke balans en geen schulden Leverancier Zijn er trainingen of opleidingen beschikbaar voor de ing, zeer goed Tijd die noodzakelijk is om de goed te kunnen gebruiken Zeer kort Minimaal en ervaring opleidings niveau om te Geen Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Alle welke taal wordt ondersteund (Ruby, va, C#, eigen taal) Hoeft niets geprogrammeerd te worden Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het, maar niet geautomatiseerd In welk domein of combinatie van domeinen is de len

3 Smartesting CertifyIT Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het Laag Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp, zoveel leer als ontwikkelaar noodzakelijk Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Grafisch Sublen Slicing (deel testbaar ) Simulatie van het Is het mogelijk een op te bouwen uit sub-len Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen) Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Offline geautomatiseerd en offline handmatig Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) Is de MBT te koppelen met andere uitvoeringsing Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan Duur, apart reken op basis van gebruik Onder welke licentie wordt de aangeboden, denk hierbij Closed Support van leverancier of community Wie levert ondersteuning bij problemen met de Leverancier Zijn er trainingen of opleidingen beschikbaar voor de ing goed Tijd die noodzakelijk is om de goed te kunnen gebruiken Lang Minimaal en ervaring opleidings niveau om te Uitgebreide UML noodzakelijk, voor de uitvoer een test automatiseerder Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Windows welke taal wordt ondersteund (Ruby, va, C#, eigen taal) OCL (hoort bij UML) Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het is extern In welk domein of combinatie van domeinen is de len Administratief

4 MBTsuite Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Grafisch Sublen Slicing (deel testbaar ) Simulatie van het Is het mogelijk een op te bouwen uit sub-len Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen) Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) Is de MBT te koppelen met andere uitvoeringsing Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan 5000,- Onder welke licentie wordt de aangeboden, denk hierbij Closed Lange termijn Support van leverancier of community Wie levert ondersteuning bij problemen met de Zijn er trainingen of opleidingen beschikbaar voor de ing goed Tijd die noodzakelijk is om de goed te kunnen gebruiken Kort Minimaal en ervaring opleidings niveau om te Kort Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Windows welke taal wordt ondersteund (Ruby, va, C#, eigen taal) OCL Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Beperkt Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het In welk domein of combinatie van domeinen is de len

5 SpecExplorer Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het Vereist opleiding Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Tekstueel Sublen Slicing (deel testbaar ) Simulatie van het Is het mogelijk een op te bouwen uit sub-len Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen) Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases / (zelf ) Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) / (zelf ) Is de MBT te koppelen met andere uitvoeringsing / (zelf ) Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan Gratis/ Vereist Visual Studio Onder welke licentie wordt de aangeboden, denk hierbij Closed Niet duidelijk Support van leverancier of community Wie levert ondersteuning bij problemen met de Zijn er trainingen of opleidingen beschikbaar voor de ing goed / alleen video's Tijd die noodzakelijk is om de goed te kunnen gebruiken Kort/ Lang met extensies Minimaal en ervaring opleidings niveau om te Lang Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Windows welke taal wordt ondersteund (Ruby, va, C#, eigen taal) C# Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het, deel van Visual Studio In welk domein of combinatie van domeinen is de len

6 Axini TestManager Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het Wel testdata generatie, geen CTE On-the-fly test generatie, er zijn verschillende testgeneratie strategieen te kiezen, gedeeltelijk: geeft inzicht met welke data waarden is getest Vereist opleiding Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Modelleer Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Tekstueel met visuele weergave (readonly) van Sublen Is het mogelijk een op te bouwen uit sub-len Slicing (deel testbaar ) Simulatie van het Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen), genereert fysieke testgevallen. Tool gebruikt constraint solver, zowel algemeen als voor testgevallen en validaties (-check properties) Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Online en Offline. Default Online. Volledige automatisering van het testproces Na een fout wordt doorgegaan met volgende testgeval Integratie Generatie Aansluiting met andere s, Aansluiting met andere s, het Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) Is de MBT te koppelen met andere uitvoeringsing, moet los gemaakt worden. In praktijk wordt (broser)link naar testgeval gebruikt in s van derden, exporteren testgevallen, gebruik verschillende adapters Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan Software as a service Onder welke licentie wordt de aangeboden, denk hierbij Closed Lange termijn/ Partnerships met system integrators Support van leverancier of community Wie levert ondersteuning bij problemen met de Leverancier goed Zijn er trainingen of opleidingen beschikbaar voor de ing, verschillende trainingen zijn aanwezig: testen en/of leren van basis tot expert inclusief certificering. Tijd die noodzakelijk is om de goed te kunnen gebruiken Ongeveer 1-2 maanden Minimaal en ervaring opleidings niveau om te Belangrijkste is analytisch vermogen. Enige automatiserings helpt met het leren van de leertaal. Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Web-based (enkel browser nodig) welke taal wordt ondersteund (Ruby, va, C#, eigen taal) AML (Axini Modeling Language) Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het In welk domein of combinatie van domeinen is de len

7 (J)Torx Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het On-the-fly test generatie Redelijk Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Modelleer Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Grafisch en tekstueel Sublen Slicing (deel testbaar ) Simulatie van het Is het mogelijk een op te bouwen uit sub-len Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen) Afhankelijk van leertaal Afhankelijk van leertaal Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Online Gedeeltelijk Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Enkele academische s Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) Afhankelijk van leertaal Is de MBT te koppelen met andere uitvoeringsing Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan 0,- Onder welke licentie wordt de aangeboden, denk hierbij Open-source Academisch Universiteit Support van leverancier of community Wie levert ondersteuning bij problemen met de Zijn er trainingen of opleidingen beschikbaar voor de ing Tijd die noodzakelijk is om de goed te kunnen gebruiken Kort Minimaal en ervaring opleidings niveau om te Enige ervaring MBT Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Overal met va welke taal wordt ondersteund (Ruby, va, C#, eigen taal) Hoeft niets geprogrammeerd te worden Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het In welk domein of combinatie van domeinen is de len

8 Torxakis Aan logische testgevallen op data Helpt de met data selectie /data generatie volgens CTE Kan de leesbare logische testgevallen dekking op het dekking op de requirements opgenomen in het Wel testdata generatie, geen CTE On-the-fly test generatie Niet Noodzaak meerdere specialismen Naast test, ook testautomatiserings, bouw of ontwerp Modelleer Tekstueel of grafische len Het gaat hier om het basis, niet de condities etc Tekstueel Sublen Slicing (deel testbaar ) Simulatie van het Is het mogelijk een op te bouwen uit sub-len Genereert de automatisch testdata aan de hand van condities in het Is het mogelijk om stukjes onafhankelijk testbaar te Is het mogelijk om simulatie met het te doen (stap voor stap door het lopen) Is online testing mogelijk (lering en uitvoering door dezelfde ), of wordt er door de testscripts uitgevoerd, of maakt de test cases aan, die handmatig Heeft de de mogelijkheid om bij uitvoer zichzelf te Online Gedeeltelijk Integratie Generatie Aansluiting met andere s, Kan de aansluiten op andere tests, bijv. test cases Enkele academische s Aansluiting met andere s, het Aansluiting met andere s, Kan het ook worden geladen in een andere (MBT) Kunnen rapporten en defects, in geval van een online, worden geladen in een testmanagement (bijv. HP QC) Is de MBT te koppelen met andere uitvoeringsing Leverancier Leverancier Kosten Wat kost het om de te gebruiken, denk hierbij aan 0,- Onder welke licentie wordt de aangeboden, denk hierbij Binnenkort open-source Academisch Universiteit Support van leverancier of community Wie levert ondersteuning bij problemen met de Zijn er trainingen of opleidingen beschikbaar voor de ing Tijd die noodzakelijk is om de goed te kunnen gebruiken Gemiddeld Minimaal en ervaring opleidings niveau om te Enige ervaring MBT Technisch Generiek Platform OS Op welk OS werkt de, eren maar ook uitvoering Overal met Haskell welke taal wordt ondersteund (Ruby, va, C#, eigen taal) Programmeren niet nodig Kan de omgaan met nondeterminisme Is het mogelijk rekening te houden met non-determinisme in de len Kan de omgaan met parallellisme Is het mogelijk rekening te houden met parallellisme in de len Debugmogelijkheden van Is het mogelijk om vanuit het, in combinatie met het In welk domein of combinatie van domeinen is de len