Testen en beoordelen van software. beschrijving van eisen en procedures

Transcriptie

1 beschrijving van eisen en procedures Aan: Projectgroep Ontwikkeling FlorEcom (PROF) Van: G. Heemskerk Betreft: Testen en beoordelen software Versie: 6 Datum: 31 januari 2002

2 1. Inleiding Deze notitie beschrijft de eisen die worden gesteld aan FlorEcom berichten en aan de applicaties die deze berichten versturen, ontvangen en verwerken. Voorts wordt aangegeven op welke wijze wordt gecontroleerd of aan deze eisen wordt voldaan en wanneer de betrokken applicatie als "FlorEcom-capable" wordt beschouwd. Het volgende hoofdstuk geeft een schets van het algemene beeld. Hoofdstuk 3 bespreekt de inhoudelijk aspecten waarop de berichten worden gecontroleerd. Hoofdstuk 4 behandelt de criteria waarop de applicatie bij de afhandeling van fouten en uitzonderingen zal worden beoordeeld. Hoofdstuk 5 beschrijft de te volgen procedure. De bijlagen geven een overzicht van testberichten (A), foutdetectieberichten (B), een aanmeldingsformulier (C), self-test rapportage formulier (D) en een evaluatieformulier (E). 1.1 Versie beheer Versie datum documentnaam reden van uitgifte 6 31/01/2002 Testen en beoordelen software Updaten tekst 6.2, 7.4 Formulieren pag. 1

3 2. Algemeen De algemene eisen ten aanzien van het testen en beoordelen zijn vastgelegd in hoofdstuk 8 van de General Implementation Guideline (GIG). Daarin staat dat de testen betrekking hebben op 4 aspecten: 2.1 Berichten de uitgewisselde FlorEcom berichten; algemene aspecten t.a.v. de FlorEcom applicatie; de communicatie; de ontwikkelaar van de software. De berichten worden gecontroleerd op de volgende aspecten: correctheid en volledigheid van aangemaakte berichten: o structuur, o verplichte en conditionele segmenten, o verplichte en conditionele data elementen, o bericht codes en qualifiers; correcte vertaling van ontvangen (maximum) berichten: o verplichte, conditionele en optionele segmenten en data elementen, o bericht codes and qualifiers, o industrie standaard codes; bericht volgorde, identificeren en refereren. 2.2 FlorEcom applicaties De software zal worden gecontroleerd op de correcte ondersteuning van FlorEcom business rules, zoals beschreven in de Functionele Procedurebeschrijving (FPB) en de Set Implementation Guideline (SIG) behorende bij de BB/MVA orderberichten en het FlorEcom aanbod/aanbiedingbericht, en op een correcte afhandeling van fouten en uitzonderingen. 2.3 De communicatie Dit heeft betrekking op: - het initiëren, uitvoeren en afsluiten van sessies via Florinet; - het rechtstreeks of via de softwareleverancier downloaden van codelijsten. 2.4 De software ontwikkelaar De ontwikkelaars van FlorEcom applicaties dienen eerstelijns hulp en ondersteuning aan hun gebruikers te verlenen. pag. 2

4 3. Het testen van de berichten T.a.v de berichtuitwisseling worden aan de te testen applicatie de volgende eisen gesteld: 3.1 Verzenden van berichten: Koperapplicatie Een kopersapplicatie wordt gevraagd om een of meer berichten met een, voor de betrokken applicatie, maximum invulling te genereren. De berichten dienen te voldoen aan de eisen van een minimum bericht met de verplichte data, zoals vastgelegd in de CM van de betrokken berichten BB/MVA applicatie Een BB/MVA dient te voldoen aan dezelfde eisen die aan een reguliere kwekers- of kopersapplicatie worden gesteld. Daarnaast zal worden bekeken of de applicatie voldoet aan de in de FPB gestelde eisen t.a.v. de berichtafwikkeling over de diverse schakels heen Kweker applicatie Een kwekersapplicatie dient in elk geval een aanbod/ aanbieding te kunnen produceren die voldoet aan de minimum eisen zoals vastgelegd in de CM QUOTES. Verder moet een maximale order kunnen worden ontvangen en dienen de gegevens daarvan aan de gebruikers aanschouwelijk worden gemaakt. Op basis daarvan moet de applicatie een order respons met diverse statussen kunnen genereren, waarin ten minste alle data uit de corresponderende order(regel) zijn opgenomen Controle Bij de controle van verzonden berichten wordt gekeken naar syntactische en structurele correctheid conform FlorEcom Convention Manual: volgorde segmenten en data-elementen; delimitors; verplichte en conditionele segmenten en data-elementen; UNB-UNZ en UNH-UNT segment tellers ; correcte berichtcodes en qualifiers. 3.2 Ontvangen van berichten Omdat elke verzender een maximum bericht mag verzenden, moet een ontvanger in staat zijn de volgende maximum berichten te ontvangen. Voor een voorlopige goedkeuring moet de applicatie ten minste de typische varianten van de testberichten aankunnen. Een typisch bericht houdt qua invulling het midden tussen een minimum en maximum bericht Kopers applicatie maximum aanbodbericht; maximum eenheidsorder respons; maximum verzamelorder respons BB/MVA applicatie maximum verzamelorder; maximum eenheidsorder respons. pag. 3

5 3.2.3 Kweker applicatie maximum eenheidsorder Controle Bij de controle van deze ontvangen berichten wordt gekeken of de betrokken data in de applicatie worden verwerkt. Onder verwerking wordt hier verstaan: 3.3 Berichtstroom opslag van alle verplichte en conditionele data in een daartoe bestemd veld in de database en display in de gebruikersinterface, en: opslag van de optionele data op eenzelfde wijze als de verplichte velden, of in een memoveld dat voor de gebruiker toegankelijk is. FlorEcom sales (Orders en Ordrsp) berichten maken deel uit van een transactie waarbinnen berichten elkaar volgens een logische stramien kunnen opvolgen. Tijdens de testen wordt gecontroleerd op het correct opvolgen van de daarover in de GIG en SIG (Set Implementation Guideline) vastgelegde regels ten aanzien van: Identificatie Interchanges; Messages; Documenten Refereren Op header niveau (preceding own and preceding other); Op regelniveau Header/detail coherence eenheidsorders; eenheidsorder response berichten. Een en ander zal worden gecontroleerd aan de hand van door de geteste applicatie gegenereerde responsberichten. pag. 4

6 4. Testen van applicaties Of en in hoeverre een applicatie voldoet aan de door FlorEcom gestelde procedurele eisen, komt vooral tot uitdrukking in de omgang met fouten en uitzonderingen. Een applicatie wordt geacht op een gedisciplineerde wijze met fouten en uitzonderingen (F&U) om te gaan. De algemene eisen hieromtrent zijn vastgelegd in hoofdstuk 7 van de GIG. Inzake F&U wordt onderscheid gemaakt tussen: 4.1 F&U niveaus F&U niveaus; Detectie van F&U s; Melding van F&U s Session level errors Deze hebben betrekking op het leggen van verbinding met het netwerk: falende verbinding met het netwerk: falende telefoonverbinding, fouten in communication programme parameter(s), sender unknown to MHS; recipient unknown to MHS; MHS fails to connect to recipient; Correctheid van berichtheader en codering Voor dit laatste aspect volgt FlorEcom te standaarden die in de sector zijn vastgelegd c.q. worden gevolgd en die zijn beschreven door FlorEcom (Technische afspraken Florinet.com) Edifact errors Fouten bij de vertaling van de berichten. UNB-UNZ en/of UNH-UNT mismatches; incorrecte scheidingstekens; incorrecte segmenten of segment groep volgorde; ontbrekende verplichte segmenten; incorrecte (composite) data element volgorde binnen segmenten; ontbrekende verplichte data elementen; incorrect data element formaat Document exchange errors Fouten in de berichtstroom: ontbrekende referenties; onbekende referenties; incorrecte bericht volgorde; niet toegestane bericht codes en qualifiers; niet bestaande bericht codes en qualifiers; verstreken response tijden Document content errors Fouten/uitzonderingen in de inhoud van berichten: schending van de header-detail coherence rule (indien van toepassing): pag. 5

7 o ontbrekende response regels (in eenheidsorder response); o niet toegestane toevoegingen; niet bestaande EAN adres code; niet bestaande product gerelateerde codes: o VBN product codes, o VBN verpakkingcodes, o VBN sorteringscodes; ontbrekende verplichte sorteringskenmerken; ontbrekende of onvolledige beladingsgegevens Semantische F&U s Binnen FlorEcom worden de volgende semantische controles onderkend: - correcte combinatie van VBN code en sorteringscodes; - logica van beladingsgegevens; - logische geldigheidsdatums. 4.2 Detectie van fouten en uitzonderingen In de GIG wordt een onderscheidt gemaakt tussen native en foreign error detectie Native errors Dit betreft het detecteren, door de interne applicatie, van fouten bij de aanmaak voorafgaand aan de verzending van een eigen bericht Foreign errors Dit betreft het vaststellen van fouten in een ontvangen bericht van de andere partij. 4.3 Melding van fouten en uitzonderingen De GIG maakt hier een onderscheid tussen interne en externe melding Interne signalering Interne signalering betreft het geven van een melding van aangetroffen native en foreign F&U s aan de eigen gebruiker. Dit dient op een duidelijke en consequente wijze te geschieden. Hierop zal tijdens het testen worden gecontroleerd door middel van een verzameling errortest berichten (zie bijlage 2) Externe melding Externe melding betreft de signalering van aangetroffen foreign errors aan de verzender van het betrokken bericht. Binnen FlorEcom zijn hieromtrent afspraken gemaakt omtrent het EAB (veilingen) en Quotes bericht (LAB). pag. 6

8 5. Testprocedure 5.1 Aanmelding voor testen Een softwarehuis of zelfbouwer, die zijn applicatie wil laten testen door FlorEcom, dient zich bij de FlorEcom service desk aan te melden. Op het aanmeldingsformulier (zie bijlage 3), geeft de betrokkene onder meer aan wanneer zijn applicatie voor het testen gereed is en welke functionaliteit dan zal worden ondersteund. De FlorEcom testmedewerker maakt samen met de aanvrager een planning van de aanvangsdatum en afsluitdatum van het testtraject. Het testen van een applicatie neemt onder normale omstandigheden circa 4 dagdelen in beslag. De geschatte doorlooptijd bedraagt 1 week. 5.2 Uitvoering van de testen Te verzenden berichten M.b.t. source messages (aanbiedingen van verkopers, orders van kopers) wordt de applicatie gevraagd een voor hun maximale variant te produceren. Zodra deze zijn ontvangen in een van de twee testpostbussen van FlorEcom, worden deze door de FlorEcom-testmedewerker op correctheid, volledigheid en overeenstemming met de door de betrokken bouwer zelf opgegeven functionaliteit beoordeeld. De resultaten worden als regel binnen een half uur aan de verzender teruggekoppeld. Om het verzenden van response berichten (door applicaties van BB/MVA en verkopers) te toetsen, zal de FlorEcom-medewerker een selectie van circa 10 voorbeeldberichten versturen, waarop de betrokken applicatie dient te reageren Te ontvangen berichten De FlorEcom-testmedewerker zal op basis van een door een kopersapplicatie aangeboden source message een maximale respons produceren. Deze dient door de betrokken applicatie correct te worden verwerkt. Op basis daarvan dient een recurring order te worden aangemaakt. De ontvangst van non source messages door kopers (aanbod/aanbieding), BB/MVA (verzamel orders en eenheidsorder response berichten) en kwekers (verzamel- en eenheidsorders) zal door de aanvrager eerst zelf worden getoetst aan de hand van een selectie van 10, door de testmedewerker aan de aanvrager vooraf aangeboden willekeurige modelberichten van diverse typen. De aanvrager dient de FlorEcom-testmedewerker over de resultaten van deze self-test te rapporteren via een daartoe bestemd rapportageformulier (bijlage D). Op basis van dit formulier zal de FlorEcom-testmedewerker een nadere steekproefsgewijze controle uitvoeren. Verder zal de afhandeling van fouten worden getoetst op basis van een selectie van 10 willekeurige foutdetectieberichten. De ontvanger dient te tonen op welke wijze deze fouten en uitzonderingen binnen de applicatie worden verwerkt. 5.3 Het goedkeuren van de applicatie voor gebruik FlorEcom zal vooralsnog geen officiële certificaten uitreiken aan softwareleveranciers. In een analyse die in het voorjaar van 2000 door FlorEcom is uitgevoerd naar de mogelijkheden van het 'certificeren van software' is aangetoond dat dit nogal wat haken en ogen heeft: De functionele en technische eisen van FlorEcom zullen de komende periode nog regelmatig worden aangevuld en aangepast, hetgeen ook consequenties heeft voor de software; pag. 7

9 Softwareleveranciers wijzigen hun software regelmatig; iedere nieuwe versie van de software zal opnieuw getest moeten worden voor het toekennen van een certificaat; Het toekennen van een certificaat door FlorEcom heeft ook juridische consequenties; Met name de functionele eisen en de eisen t.a.v. het omgaan met uitzonderingen zijn dusdanig dat een applicatie hierop pas goed kan worden beoordeeld wanneer deze gedurende een langere tijd in productie is, waarbij het functioneren in combinatie met de applicaties van veilingen en andere relaties kan worden geëvalueerd. FlorEcom wil daarom het testtraject op een praktisch wijze invullen met als doel de gebruikers en hun softwareleveranciers te ondersteunen bij het "FlorEcom-capable" maken van hun applicaties. FlorEcom zal na het succesvol doorlopen van de testen de softwarebouwer 'toestemming geven' gebruikerstesten te gaan uitvoeren met de veilingen en andere relevante relaties. Nadat deze succesvol zijn afgesloten kan de software in productie worden genomen. Op dat moment wordt de software beschouwd als "FlorEcomcapable". Software is volledig 'FlorEcom-capable" wanneer deze in staat is tot het produceren van syntactisch, structureel en inhoudelijk correcte en volledige aanbod/aanbiedingen, orders en order responsberichten volgens de daarvoor geldende business rules, zoals beschreven in de FPB en de CM van de BB/MVA sales set. Software is gedeeltelijk "FlorEcom-capable" als deze aan het bovenstaande voldoet, met uitzondering van de eisen ten aanzien van: de aanmaak en ontvangst van aanbod/aanbiedingberichten; identificatie van interchanges en messages op niveau van de EDI vertaler; de ontvangst van sub lines; de ondersteuning van recurring messages. 5.4 Technische informatie Testberichten De door de applicaties zelf aangemaakte testberichten dienen precies 3 composite (samengesteld product) regels te bevatten. Een composite mag een of meer sub lines bevatten. De testberichten dienen geldige codes (VBN artikelnummers, verpakkingscodes, sorteringscodes, EAN codes en qualifiers te bevatten) FlorEcom test mailboxen: Florinet test mailbox: mb00081@florinet.com pag. 8

10 6. Bijlage A: testberichten 6.1 Algemeen De testberichten vallen in twee categorieën uiteen: - standaard testberichten, bedoeld om het gedrag van een applicatie onder normale omstandigheden te testen, en - foutberichten, bedoeld om de omgang met fouten en uitzonderingen te beoordelen. 6.2 EAN nummers in testberichten In de testberichten zijn de volgende EAN nummers opgenomen: Status EAN EAN Betekenis Dummy Testverkoper Dummy Testkoper FlorEcom Veiling FloraHolland vestiging Naaldwijk FlorEcom Veiling VBA FlorEcom Landelijke aanbodsbank (LAB) Dummy Catalogus partij (dummy) Dummy EAN testcontactpersoon (dummy) Dummy Testaflever EAN Dummy Testproducent Dummy Testinspectie agent FlorEcom EAN afleverlocatie voor box koper Aalsmeer De betrokken testnummers dienen binnen de te beoordelen applicatie (tijdelijk) in hun interne EAN tabel te worden opgenomen. 6.3 Standaard testberichten Minimum berichten Een minimum bericht betreft een bericht: zonder sub lines; definitieve en voorlopige orders; aantallen gespecificeerd in stuks. Dit bericht bestaat in de varianten potplanten en snijbloemen. Minimum berichten: QUOTES (offer): Catalogus naar koper: TEST TEST Verkoper naar koper: TEST TEST ORDERS: pag. 9

11 Koper naar veiling: TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST Koper naar verkoper: TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST Veiling naar verkoper: TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST ORDRSP (respons): Verkoper naar koper: TEST TEST TEST TEST TEST TEST TEST TEST TEST Verkoper naar veiling: TEST TEST TEST TEST pag. 10

12 TEST TEST TEST TEST TEST Veiling naar koper: TEST0109-F01-77 TEST029-F01-61 TEST030-F01-62 TEST0108-F01-76 TEST0103-F01-71 TEST0105-F01-73 TEST0107-F01-75 TEST0104-F01-72 TEST0106-F01-74 TEST0124-F typische berichten Een typische bericht betreft een minimum bericht plus: accessoires (geen parts); aantallen in alle eenheidstypen. Typische berichten: QUOTES (offer): LAB naar koper: TEST TEST TEST TEST Catalogus naar koper: TEST TEST TEST TEST TEST Verkoper naar LAB: TEST TEST TEST TEST Verkoper naar catalogus: TEST TEST TEST TEST Verkoper naar koper: TEST TEST TEST pag. 11

13 TEST ORDERS: Koper naar veiling: TEST TEST TEST TEST TEST Veiling naar verkoper: TEST TEST Koper naar verkoper: TEST TEST TEST TEST ORDRSP (respons): Verkoper naar veiling: TEST TEST Verkoper naar koper: TEST TEST TEST TEST Veiling naar koper: TEST051-F01-63 TEST052-F01-64 TEST053-F01-65 TEST054-F01-66 TEST057-F01-70 pag. 12

14 6.3.3 maximum berichten Een maximum bericht betreft een typische eenheidsorder waarvan alle dataelementen tot hun maximum lengte zijn ingevuld, plus een maximaal voorkomen en een volledige uitvulling van: accessoires en parts (meervoudig genest) ; NAD (FO); RCS; DOC en LIN.DOC; volledige PIA; volledige CCI-CAV; maximaal aantal referenties op regelniveau; consumentenprijs. Maximum berichten: QUOTES bericht: Catalogus naar koper TEST TEST TEST Verkoper naar catalogus TEST TEST TEST Verkoper naar koper TEST TEST TEST ORDERS bericht: Koper naar veiling TEST TEST TEST Veiling naar verkoper TEST TEST Koper naar verkoper TEST TEST TEST ORDRSP bericht: Veiling naar koper TEST016-F TEST017-F TEST018-F Verkoper naar koper TEST TEST TEST Verkoper naar veiling TEST TEST pag. 13

15 7. Bijlage B: Foutdetectie berichten Ter controle op de afhandeling van fouten zullen de applicaties worden geconfronteerd met berichten die de volgende type fouten bevatten: 7.1 Schendingen van de header-detail coherence rule: ontbrekende response regels (in eenheidsorder responses); niet toegestane toevoegingen; wijzigingen in de headergegevens (moeten automatisch een statuswijziging; van de responsstatus op regelniveau opleveren). 7.2 Fouten in codes en qualifiers; EAN codes; VBN product codes; VBN verpakkingcodes; VBN sorteringscodes. 7.3 Fouten in identificatie en referencing in interchanges, message en documenten op kop en regelniveau (recurring messages). 7.4 Schending van de business rules ontbrekende verplichte sorteringskenmerken; ontbrekende of onvolledige beladinggegevens; ongeldige combinatie van VBN code en sorteringscodes; logica van quantumprijzen logica van beladinggegevens logische geldigheidsdatums. 7.5 Error test messages Bij FlorEcom zijn voor elke van de onderscheiden berichttypen foutdetectieberichten beschikbaar. pag. 14

16 Bijlage C: aanmeldingsformulier test en beoordeling FlorEcom capabele software datum aanvraag:.. Bedrijfsnaam: Adres: Contactpersoon:... Telefoon: Fax: adres: Test mailbox: type: Florinet/ Gewenste aanvangsdatum test:. Gewenst niveau: volledig/deel VRAGEN OVER DE APPLICATIE Type applicatie: EDI vertaler: kopers/agent/verkopers zelfbouw//andere:.. Capabilities applicatie: Ondersteunde berichttypen: Enkelvoudige gelaagde sub lines: Meervoudige geneste sub lines: Documenten op kopniveau: Documenten op regelniveau: n responsregels op 1 orderregel Maximaal aantal productkenmerken: RCS segmenten: Ophalen codelijsten: Ophalen/versturen LAB aanbod: Recurring messages Toepassing applicatie: Interne foutsignalering: Wijze van foutsignalering: 9, 310, 105, 221, 231, F01 ja/nee ja/nee ja/nee: ja/nee: ja/nee (alleen in verzamelorder/response).. ja/nee ja/nee ja/nee ja/nee planten/bloemen/beide ja/nee:. pag. 15

17 Bijlage D: aangifte self-test rapport SELF TEST Bedrijfsnaam:. Contactpersoon:. Gewenst niveau: volledig/deel TESTBERICHT TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST016-F TEST017-F TEST018-F TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST029-F01-61 TEST030-F01-62 TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST Getest J/N OK J/N pag. 16

18 pag. 17 TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST051-F01-63 TEST052-F01-64 TEST053-F01-65 TEST054-F01-66 TEST TEST TEST057-F01-70 TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST

19 TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST0103-F01-71 TEST0104-F01-72 TEST0105-F01-73 TEST0106-F01-74 TEST0107-F01-75 TEST0108-F01-76 TEST0109-F01-77 TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST TEST0124-F01-78 TEST TEST TEST TEST TEST TEST TEST TEST pag. 18

20 Bijlage D: evaluatieformulier Bedrijfsnaam: Contactpersoon: Toegekend niveau: Tester:.. volledig/deel. Datum:.. EVALUATIE Type applicatie: EDI vertaler: kopers/agent/verkopers zelfbouw/andere:.. Communicatie: OK/niet OK omdat: EDI vertaling: structuur en syntax Codes en qualifiers Ondersteunde berichttypen: Sublines Documenten op kopniveau: Documenten op regelniveau: Maximaal aantal productkenmerken: OK/niet OK omdat: OK/ niet OK, te weten:.. 9, 310, 105, 221, 231, F01 nee/ja: enkelvoudig/meervoudig ja/nee: ja/nee:.. N responsregels op 1 orderregels: ja/nee RCS segmenten: PIA segmenten: Consumentenprijs Ophalen codelijsten: Ophalen/versturen LAB aanbod: Identificatie en referencing Recurring messages Toepassing applicatie: Interne foutsignalering: Wijze van foutsignalering: Overige opmerkingen: ja/nee compleet/deels: ja/nee ja/nee ja/nee OK/niet OK omdat OK/niet OK omdat planten/bloemen/beide ja/nee: pag. 19