Testprotocol voor systeem- en praktijktest

Transcriptie

1 Bijlage 26 Testprotocol voor systeem- en praktijktest Mauritskade HC s Gravenhage Telefoon Fax F. van Lanschot Bankiers Amsterdam K.v.K. Amsterdam

2 Testprotocol voor systeem- en praktijktest 1. Inleiding In het gunningsreglement is uiteengezet dat het besluit met betrekking tot het voornemen tot gunning wordt genomen onder de voorwaarde dat de aanbieder er in slaagt om een door de Stichting IMN ontworpen praktijk- en systeemtest met succes te doorlopen. In deze bijlage wordt het testprotocol beschreven op basis waarvan de Stichting IMN zal beoordelen of al dan niet wordt voldaan aan de belangrijkste eisen met betrekking tot exploitatie van het LCM. Deze eisen hebben met name betrekking op het behandelen van IM-meldingen en op het functioneren van AIM, EMI, Ontvangststation en Ongevallenradar. Dit document behandelt de volgende onderwerpen: doel en scope van de test voorwaarden waaraan moet worden voldaan voordat de test plaats kan vinden beschrijving van de testomgeving testprotocol (draaiboek) gestelde eisen aan de resultaten criteria voor bepalen eindoordeel. 2. Doel en scope van de test De test heeft tot doel om vast te stellen of de aanbieder beschikt over de kennis en de automatiseringsinfrastructuur om de kernactiviteiten het LCM op correcte wijze te kunnen uitvoeren. De test richt zich daarbij met name op de volgende onderwerpen: de correcte aanname en registratie van telefonische meldingen op IM-wegen en op OWN-wegen

3 de automatische herkenning van de in een melding opgegeven locatie als IM of OWN de automatische toewijzing van de in een IM-melding of OWN-melding opgegeven locatie aan het juiste rayon het automatisch inschakelen van de juiste berger het geautomatiseerd vaststellen van de juiste starttijd van een IM-melding het goede functioneren van de koppeling van het alarmcentralesysteem met EMI en het op de juiste wijze toepassen van EMI voor de behandeling van IM-meldingen en OWN-meldingen het goede functioneren van de koppeling van het alarmcentralesysteem met het Ontvangststation en het op de juiste wijze verwerken van de via het Ontvangststation doorgegeven meldingen het automatisch opbouwen van een telefonische verbinding met de berger als deze een melding in EMI niet tijdig opent het registreren en aan de berger doorgeven in EMI van eventuele updates van de melding het registreren van de door de berger bij afmelding doorgegeven informatie en het afsluiten van de melding het goede functioneren van de koppeling met het AIM het goede functioneren van de koppeling met de Ongevallenradar. 3. Voorwaarden waaraan moet worden voldaan voordat de test plaats kan vinden Voor aanvang van de test moet door de aanbieder aan de volgende voorwaarden zijn voldaan: 1. Het alarmcentralesysteem en de telefooncentrale van de aanbieder zijn zo ingericht dat correcte starttijden kunnen worden bepaald voor elke IM-melding. 2. De koppelingen tussen het alarmcentralesysteem van de gegunde aanbieder en de testomgevingen van AIM, EMI, Ontvangststation en Ongevallenradar zijn gereed en technisch getest. 3. Het alarmcentralesysteem van de aanbieder is zo ingericht dat het automatisch en realtime de juiste berichten kan versturen naar AIM en Ongevallenradar. 4. Het alarmcentralesysteem van de aanbieder is zo ongericht dat het automatisch en realtime berichten kan versturen naar en ontvangen van EMI en het Ontvangstsation. 5. De gegunde aanbieder heeft een coördinator aangesteld. Deze zal zorgdragen voor het treffen van de noodzakelijke voorbereidingen en voorzieningen voor het 3

4 uitvoeren van de test. Daarnaast zal hij tijdens de test zorgdragen voor de coördinatie van activiteiten. 6. Voor het testen zijn twee centralisten beschikbaar die telefonisch meldingen aannemen, verwerken en ze doorgeven aan de juiste bergers. Telefonische aanname is alleen nodig als de melding niet in elektronische vorm door het Ontvangststation wordt aangeboden. Telefonische doorgifte is alleen nodig als de elektronische melding via EMI niet tijdig door de berger wordt geaccepteerd. 7. Er zijn twee telefoonlijnen beschikbaar waarop, gedurende de test, meldingen kunnen worden aangenomen (geen keuzemenu of indirecte aanname). De Stichting IMN zorgt ervoor dat de volgende voorbereidingen en voorzieningen treffen: 1. Een testcoördinator die de test zal leiden en zal zorgen voor de voorbereiding. De testcoördinator is geruime tijd voor de aanvang van de test te beschikbaar het beantwoorden van vragen. 2. De beschikbaarheid van een testomgeving, testvoertuigen en smartphones/tablets met daarop EMI voor de bestuurders van de testvoertuigen. 3. Een planning van de testdagdelen. 4. Een technisch aanspreekpunt voor vragen met betrekking tot het AIM, EMI, Ontvangststation en Ongevallenradar en de gebruikte webservices. 5. Toegang tot de operatie van de huidige exploitant van het LCM voor het uitvoeren van observaties. 6. Toegang tot een medewerker van het LCM voor het afnemen van een interview. 7. Toegang tot een beheerder van het AIM voor het afnemen van een interview. 8. Toegang tot bergers voor het afnemen van interviews over het gebruik van EMI. 4. Beschrijving van de testomgeving Het is niet mogelijk om de test in de dagelijkse operatie van de Stichting IMN uit te voeren. Dit betekent dat test zal worden verricht door uitvoering van een simulatie. Daartoe zullen in het verband van de test de volgende rollen worden ingevuld: 1. Een persoon die zorgt voor het aanbieden van elektronische en telefonische meldingen. Deze persoon vervult tijdens de test de rol van de meldende instantie en meldt de incidenten (en updates)elektronisch of telefonisch aan bij de alarmcentrale van de aanbieder. De Stichting IMN zorgt voor invulling van deze rol. 2. Twee alarmcentralemedewerkers die meldingen aannemen en registreren in het alarmcentralesysteem. Deze medewerkers zorgen ook voor het bellen van de berger als deze tenminste niet via EMI wordt ingeschakeld en de melding via EMI 4

5 accepteert. De aanbieder draagt zorg voor invulling van deze rollen en voor de uitwerking van instructies over het op correcte wijze aannemen en behandelen van IMmeldingen. 3. Een of meerdere bergers aan wie een IM-melding telefonisch of via EMI wordt doorgegeven en die tijdens de test naar de gemelde incidenten zullen rijden, om aldaar een berging na te bootsen en telefonisch of via EMI af te melden. De Stichting IMN zal de hiervoor benodigde bergers engageren. Tijdens de test zijn de volgende systemen aanwezig en in bedrijf: 1. Het alarmcentralesysteem van de geselecteerde aanbieder, geschikt voor aanname en verwerking van IM-meldingen en voor het doorsturen en accepteren van berichten via de webservice naar AIM, EMI, Ontvangststation en Ongevallenradar. 2. Testomgevingen van AIM, EMI, Ontvangststation en Ongevallenradar. 3. De webservices waarmee de informatie uit het alarmcentralesysteem naar AIM, EMI, Ontvangststation en Ongevallenradar wordt gestuurd en vanuit EMI en Ontvangststation in het alarmcentralesysteem wordt ontvangen. 4. Één of meer bergingsvoertuigen met een zogenaamde Momo die gekoppeld is aan het AIM-testsysteem en waarvan de chauffeur een smartphone of tablet heeft met daarop de EMI-app. 5. Testprotocol (draaiboek) Het draaiboek voor het testen bestaat uit het nabootsen van IM-meldingen zoals deze zich voordoen in de operationele praktijk van het LCM. Hiertoe zullen circa vijftig gesimuleerde meldingen telefonisch of elektronisch aan de geselecteerde aanbieder worden doorgegeven. Deze meldingen moeten door de aanbieder worden verwerkt. De geselecteerde exploitant dient in het verband van de test de daartoe aangewezen testberger(s) in te schakelen via EMI of telefoon. De testbergers zullen vervolgens naar het incident rijden, een berging nabootsen en deze daarna telefonisch of via EMI afmelden. Er zullen verschillende soorten in de praktijk voorkomende meldingen worden nagebootst, zoals: ontvangst van een elektronische melding OWN-melding die niet als niet-im-melding herkend moet worden standaard IM-melding en berging standaard OWN-melding en berging melding met locatie-update 5

6 annulering van de berging door LCM melding met als resultaat een loze rit melding waarbij de berger het afgemelde resultaat aanpast melding van een incident op een IM-weg zonder hectometerpalen melding via EMI die door de berger niet wordt geopend melding via EMI die wel wordt geopend, maar niet wordt geaccepteerd idem waarbij de berger na telefonische opdrachtverlening de melding in EMI alsnog accepteert. De genoemde voorbeelden vormen geen limitatieve opsomming. Er kunnen ook andere praktijkgevallen in de test voorkomen. Er zal vooraf geen informatie over deze meldingen worden gegeven. Het bereiken van een goed testresultaat vraagt van de aanbieder een gedegen kennis van het LCM-proces en van de bijzonderheden die zich daarin kunnen voordoen. De aanbieders wordt daarom geadviseerd om zich in dit proces te verdiepen en kennis op te bouwen van de verschillende soorten meldingen en de van ontwikkelingen die zich tijdens de behandeling van een melding voor kunnen doen. Om de vereiste kennis op te bouwen krijgen zij de gelegenheid om gedurende maximaal twee uur mee te luisteren met een alarmcentralemedewerker van het LCM, een interview af te nemen van maximaal twee uur met een daartoe aangewezen medewerker van het LCM en een interview af te nemen met een beheerder van het AIM. De opzet is dat er twee keer een dagdeel wordt getest. De te benutten dagdelen zullen in overleg worden vastgesteld. De testresultaten en opgeleverde rapportages worden opgeslagen en na afronding van de laatste testsessie geanalyseerd. De resultaten worden zo snel mogelijk na afronding van de analyse aan de tenderboard gerapporteerd. Deze zal vervolgens de partij ten gunste van welke het voorlopig gunningsbesluit was genomen van die resultaten in kennis stellen. Er worden geen deelresultaten per testsessie vastgesteld. Zoals in het gunningsreglement is beschreven, is het mogelijk om bij een negatief testresultaat binnen twee weken de test opnieuw te doorlopen. 6. Eisen aan de door de aanbieder in de test toe te passen systemen Aan het alarmcentralesysteem van de aanbieder worden bij de uitvoering van de test de volgende eisen gesteld: gebruik van NWB voor juiste invoer van de locatie van meldingen; voor meldingen op het hoofdwegennet dient gebruik te worden gemaakt van de BPS-notatie; voor meldingen op andere IM-wegen, -straten, op- en afritten en points of interest zoals 6

7 benzinestations of parkeerplaatsen dient van de ingevoerde locatie een X/Y-coördinaat te worden vastgesteld en opgeslagen integratie van de meest actuele versie van de gepubliceerde rayongrenzen, hectometerpalen, IM-wegen en gunningen aan bergers in het alarmcentralesysteem ten behoeve van automatische selectie van type melding (IM of OWN), rayon en berger geautomatiseerde bepaling van starttijd IM-melding op basis van informatie uit telefooncentrale en EMI inbouw van zogenaamde triggers in het alarmcentralesysteem die zorgen dat op het juiste moment in het LCM proces de juiste informatie wordt verstuurd naar andere systemen geautomatiseerde verwerking van het door bergers via EMI gemelde resultaat van meldingen koppeling via webservice met AIM, EMI. Ontvangststation en Ongevallenradar synchronisatie van alle gebruikte systemen aan een atoomklok. 7. Criteria ter beoordeling van de testresultaten Elke inschrijver kan zelf bepalen op welke wijze het meldingsproces, alarmcentralesysteem, telefoonsysteem en de overige relevante systemen worden ingericht. De beoordeling van de testresultaten is alleen gebaseerd op de toetsing van die resultaten aan de voor de test geformuleerde criteria. Dat houdt in dat op basis van vastlegging van informatie in het AIM en EMI en middels handmatig registratie door controleurs (zoals tijdstip telefonische doorgifte melding naar berger en alarmcentrale) wordt vastgesteld of processen en systemen voldoen aan de gestelde eisen. Criterium 1, identificatie OWN-meldingen Meldingen die betrekking hebben op een locatie die geen IM-weg is, dienen als zodanig te worden herkend, en volgens de voor dergelijke meldingen geldende procedure behandeld te worden. Dat wil zeggen dat voor elk te bergen voertuig een apart dossier is aangemaakt en dat voor dat dossier de juiste berger is ingeschakeld. Tenminste 80% van de in de test opgenomen meldingen van dit type dient correct te worden behandeld. Criterium 2, snelheid koppeling AIM Tenminste 90% van de ontvangen IM-meldingen, -updates en -afmeldberichten dient binnen 90 seconden door het alarmcentralesysteem aan het AIM te zijn verstuurd en in het AIM te zijn ontvangen. 7

8 Criterium 3, berekening van aanrijdtijden voor elke melding Het AIM dient voor alle meldingen waarbij sprake is van een berging in staat te zijn om een aanrijdtijd te berekenen. Tijdens de test worden externe factoren die ertoe kunnen leiden dat dit niet gebeurt, uitgeschakeld: het incident wordt op de correcte locatie aangemeld, de berger heeft een goed functionerende Momo, en het AIM functioneert goed. Dat betekent dat de oorzaak voor het optreden van uitval ligt in de registratie door de aanbieder en/of de koppeling tussen LCM, AIM en Ontvangststation. De beoordeling van de testresultaten vindt plaats aan de hand van onderstaand schema. Voor drie van de vier deeleisen mogen niet meer afwijkingen optreden dan de in het schema gegeven percentages. Categorie Eis (maximale uitval) Melding en berging zonder bijzonderheden 10% Berging met updates in de melding (locatiewijziging) 20% Berging van een incident op een IM-weg zonder hectometerpalen 20% Loze rit of annulering: geen berekening van aanrijdtijd 20% Criterium 4, juistheid van de berekende aanrijdtijden Na doorgifte van de melding bij de testberger wordt door hem de tijd bijgehouden tot het moment dat hij arriveert bij het incident. Deze tijd moet overeenkomen met de door het AIM berekende aanrijdtijd. De mate waarin de berekende aanrijdtijd afwijkt van de werkelijke aanrijdtijd, is het tweede criterium voor de beoordeling. Het verschil tussen de door het AIM berekende aanrijdtijd en de feitelijke aanrijdtijd mag in geen enkel geval meer dan 2 minuten bedragen. Criterium 5, stabiliteit van de koppeling met AIM en EMI De mate waarin de koppeling bestand is tegen uitval vormt het vijfde criterium voor de beoordeling. De beoordeling van de testresultaten vindt plaats aan de hand van onderstaand schema. Aan tenminste vijf van de zes eisen moet worden voldaan. Categorie Korte uitval van de koppeling (< 20 seconden) Eis Automatisch herstel van de koppeling, gemiste data blijft bewaard aan cliëntkant en wordt na herstel koppeling opnieuw gestuurd Tijdsvolgorde berichten blijft na herstel intact 8

9 Lange uitval van de koppeling (> 20 seconden) EMI Categorie Korte uitval van de koppeling (< 1 minuut) Lange uitval van de koppeling (> 1 minuut) Signalering/logging van de uitval aan cliëntkant van de koppeling Gemiste data blijft bewaard aan cliëntkant en wordt na herstel koppeling opnieuw gestuurd Tijdsvolgorde verstuurde berichten blijft na herstel van de koppeling intact Automatische signalering van uitval (via ) naar het LCM Eis Automatisch herstel van de koppeling, gemiste data blijft bewaard aan cliëntkant en wordt na herstel koppeling opnieuw gestuurd Signalering/logging van de uitval aan cliëntkant van de koppeling Gemiste data blijft niet bewaard aan cliëntkant en wordt na herstel koppeling niet opnieuw gestuurd Automatische signalering van uitval (via ) naar het LCM Criterium 6, juiste en tijdige doorgifte van de melding aan EMI en verwerking van een afmelding via EMI in het alarmcentralesysteem De communicatie tussen het alarmcentralesysteem en EMI is tijdkritisch. Daarnaast moet ook de data die wordt verstuurd vanuit het alarmcentralesysteem correct en volledig zijn. De verwerking van de retourinformatie vanuit de EMI-app moet geautomatiseerd en direct worden verwerkt in het alarmcentralesysteem. De beoordeling van de testresultaten vindt plaats aan de hand van onderstaand schema. Aan zes van de zeven deeleisen moet worden voldaan. 9

10 Categorie Tolerantie Afwijking Als berger EMI niet gebruikt, wordt berger onmiddellijk <10 seconde 20% na registratie van de melding gebeld IM-melding geeft direct na invoer een pushnotificatie <1 seconde 25% in de EMI-app en de EMI-webapplicatie Openen melding in app leidt tot automatische registratie <5 seconde 10% en verzending juiste starttijd naar AIM Acceptatie binnen 45 seconden van een melding in Niet van toepassing 20% EMI zorgt ervoor dat geen telefonische opdrachtverlening aan de berger plaatsvindt Als melding niet binnen 45 seconden wordt geaccepteerd, wordt berger binnen dertig seconden daarna door een automatisch opgezet gesprek gebeld <5 seconde 20% Doorgegeven incidentlokatie, type incident, aantal kentekens en kentekennummer kloppen in de EMI-app en de webapplicatie Melding kan worden afgemeld met juiste afloop in EMI-app en webapplicatie. De afmelding wordt juist ontvangen en verwerkt in alarmcentralesysteem Niet van toepassing Niet van toepassing 10% 10% Criterium 7, juiste en tijdige verwerking van een elektronische melding door het alarmcentralesysteem De communicatie tussen het Ontvangststation en het alarmcentralesysteem is tijdkritisch. Daarnaast moet de informatie uit het Ontvangststation correct in het alarmcentralesysteem worden verwerkt en omgezet in een opdracht aan de juiste berger. Tenminste 90% van de ontvangen elektronische meldingen moet binnen een minuut na ontvangst op correcte wijze aan de juiste berger te worden doorgegeven via EMI of een telefonische opdracht. Aan het Ontvangststation moet binnen een minuut na inschakeling van de berger (hier te begrijpen als de starttijd van de melding in de zin van het AIM) een retourbericht worden gestuurd waaruit blijkt dat melding in goede orde is ontvangen en heeft geleid tot inschakeling van de juiste berger. 10

11 Criterium 8, ontvangen IM-meldingen moeten op de juiste wijze en tijdig aan de Ongevallenradar worden aangeboden. Tenminste 90% van de ontvangen meldingen moet correct en binnen 40 seconden na registratie in het alarmcentralesysteem in de Ongevallenradar worden gepresenteerd. Testresultaat De aanbieder slaagt voor de test als de testresultaten aan alle gestelde testcriteria hebben voldaan. Disclaimer De eisen die worden gesteld aan de exploitant van het LCM tijdens de uitvoering van de exploitatie-overeenkomst gaan veel verder dan de hier beschreven testcriteria. Het slagen voor de test impliceert dan ook niet dat de aanbieder aan al die eisen voldoet. De test heeft slechts tot doel om vast te stellen of de aanbieder in staat kan worden geacht te zijner tijd aan alle gestelde eisen te voldoen. 11