SURF Bijeenkomst 8 maart 2018

Maat: px

Weergave met pagina beginnen:

Download "SURF Bijeenkomst 8 maart 2018"

Dirk Peeters
5 jaren geleden
Aantal bezoeken:

1 SURF Bijeenkomst 8 maart 2018 Ervaringen Europese Aanbesteding Toetssoftware Rob van den Heuvel rob@vdhc.net Projectleider Digitaal Toetsen UU ( ) Projectleider Digitaal Toetsen TU/e (nov 2015 heden) Projectleider Digitaal Toetsen ai RU Nijmegen (2017 heden)

2 Programma - Welkom - Warming Up (Mentimeter) - Presentatie ervaringen EA s - Workshop (intervisie), discussie - Afsluiting

3 Situatie bij start 7 faculteiten (inclusief UMCU), studenten Beperkt aantal toetssystemen in gebruik, weinig ervaring UMCU, veel ervaring met TestVision 9 faculteiten, studenten Bestaand toetssysteem OnCourse (open source, zelf ontwikkeld, eigen beheer, uitfasering), redelijke ervaring DT. 8 faculteiten (inclusief Radboud MC), studenten Bestaand toetssysteem TAO (open source, zelf ontwikkeld, eigen beheer, uitfasering), weinig ervaring DT RadboudUMC, veel ervaring met TestVision Allen: keuze Openbare Europese Aanbesteding voor aanschaf toetssoftware (omvang opdracht omvang markt)

4 Het project Aanschaf toetssoftware + dig Feedback Oplossing beveiligd toetsen Opzet ondersteuningsorganisatie Implementatie: project - beheer Aanschaf toetssoftware Oplossing beveiligd toetsen Opzet ondersteuningsorganisatie Implementatie: project - beheer Aanschaf toetssoftware Oplossing beveiligd toetsen Opzet ondersteuningsorganisatie Implementatie: project - beheer Doorlooptijd: Doorlooptijd: Doorlooptijd: Voorbereiding project + EA: 14 mnd EA realisatie + startklaar: 4 mnd Implementatie project: 12 mnd In beheer: vanaf januari 2016 Voorbereiding project + EA: 12 mnd EA realisatie + startklaar: 4 mnd Implementatie project: 14 mnd In beheer: vanaf juli 2018 Voorbereiding project + EA: 9 mnd EA realisatie + startklaar: 4 mnd Implementatie project: lopend In beheer: vanaf studiejaar 2019 Scope Scope Scope Reguliere vraagtypen (gesloten/open) SaaS oplossing Geen PC zalen/ BYOD, UU Chromebooks Wiskundige vraagtypen, parametrisatie Reguliere vraagtypen (gesloten/open) SaaS oplossing Geen PC zalen, wel BYOD = STEP Reguliere vraagtypen (gesloten/open) SaaS oplossing PC zalen + RU Chromebooks

5 De organisatie Stuurgroep + projectgroep + werkgroepen Projectleider Digitaal toetsen + Projectleider EA Onderwijs, IT, Juridische zaken, Inkoop, Fbeheer, ondersteuning Inventarisatie PID Businesscase Projectplan PvA implementatie (PRINCE2 methodiek) Stuurgroep + projectgroep + werkgroepen Projectleider Digitaal toetsen Onderwijs, IT, Juridische zaken, Inkoop, Fbeheer, ondersteuning Inventarisatie PID Businesscase Projectplan PvA implementatie (PRINCE2 methodiek) Stuurgroep + projectgroep + werkgroepen Projectleider Digitaal toetsen Onderwijs, IT, Juridische zaken, Inkoop, Fbeheer, ondersteuning Inventarisatie Projectplan PvA implementatie

6 Het resultaat Remindo UU Chromebooks 650x, 3 grote zalen, hybride Chromebooks op locatie (200x)

7 Het resultaat Met SoWiSo STEP: Secure Test Enviroment Protocol via USB Stick op studentenlaptops (dekking 85%) + vervangende laptops

8 Het resultaat RU Chromebooks 576x, 20 zalen

9 Inkoopproces software via een aanbesteding

10 Marktconsultatie Doel: aanscherping PvE en offerteaanvraag, inzicht markt 4 marktpartijen, schriftelijk en via mondelinge presentatie (3 uur) Anoniem verslag, opgenomen EA Doel: aanscherping PvE en offerteaanvraag, inzicht markt 4 marktpartijen, mondeling (informeel) en via Skype Geen verslag in EA Doel: aanscherping PvE en offerteaanvraag, inzicht markt Aanscherping PvE, inzicht markt 5 marktpartijen, mondeling (informeel) Geen verslag in EA

11 Gunningscriteria + uitvoering G1 Prijs 30 euro 4-8 G2 Kwaliteit 70 G2.1 Gesloten wensen G2.2 Open wensen UITVOERING Gesloten wensen: ja/nee - punten Open wensen: beoordelen (kwant/kwal), mate detail/relevantie G1 Prijs 30 Open/plafond G2 Kwaliteit 70 G2.1 Userexperience 40 G2.2 Performance& Value Add 15 G2.3 Implem. plan 15 UITVOERING Userexp: demo gebruikers 2,5 uur Perfor/Value: sessie 1 uur + docs vooraf Implem. Plan: sessie 1 uur + docs vooraf

12 Gunningscriteria + uitvoering G1 Prijs 30 Open/plafon d G2 Kwaliteit 70 G2.1 Demo + gebruikerservaring 40 G2.2 Visie + Use Cases 20 G2.3 Implem. plan 10 UITVOERING Demo 2 uur/ gebruikerservaring 3 uur Visie 1 uur / use cases 1 uur Implementatie schriftelijk, toelichting gunning

13 14

14 15

15 EA documenten - Inkoopstrategie (intern) - Offerteaanvraag (RFP) - Dossier financiële afspraken (DFA) - PvE + PvW + scoringsmodel - Concept Overeenkomst - Prijzenblad - Begrippenkader - Marktconsultatiedocument - Beoordelingssystematiek - Proces en instructie beoordelingsteams - Duurzaamheid verklaring - Concept risicoprofiel

16 Aanbestedingsproces Vragen via NvI, 4 inschrijvers (dezelfde als NvI) Beoordeling open wensen, Ranking obv pt prijs/kwaliteit Gunning 1 partij, afwijzing overig, verificatie eisen (6x) - positief Alcatel termijn (bezwaartermijn), contract maart 15 (4 jaar + 2) Vragen via NvI, 1 inschrijver (partnership) Beoordeling demo + sessies Gunning partij, verificatie eisen (12x) - positief Alcatel termijn (bezwaartermijn), contract april 17 (3 jaar + 1) Vragen via NvI, 4 inschrijvers Beoordeling demo + gebruikerservaring + visie + use cases Gunning 1 partij, afwijzing overig, verificatie eisen - positief Alcatel termijn (bezwaartermijn), contract nov 17 (3 jaar + 1+1)

Complexe thema s - Samenwerking met medische faculteit (bij Universiteiten), vaak eigen toetssysteem/veel ervaring (wet van de remmende voorsprong?

17 Complexe thema s - Samenwerking met medische faculteit (bij Universiteiten), vaak eigen toetssysteem/veel ervaring (wet van de remmende voorsprong?) - Verhouding gunningscriteria prijs/kwaliteit en tarief uitvraag - Wijze van uitvraag: POC, Demo, Gebruikerstesten, Visie-sessies - Juridische- en privacy aspecten - Invulling en uitwerking Programma van Eisen/Wensen: functioneel/technisch - Interne afstemming, draagvlak, mandaat, besluitvorming

18 Lessons Learned EA - Een goede aanbesteding doorlopen is teamwork! - Nauwe samenwerking met inkoop vereist, overweeg PL EA - Zorg voor voldoende draagvlak/verbinding met faculteiten/diensten - Zorg voor resources en duidelijkheid over doelen en strategie - Kwaliteit gaat voor kwantiteit en snelheid (publiceer indien klaar) - Communiceer regelmatig met achterban (updates) - Ben voorzichtig met communicatie met leveranciers tijdens EA - Reken op 6 12 maanden voorbereiding (opzet, inventarisaties, stukken)

19 Lessons Learned EA - PvE maken kost het meeste tijd, onderschat dit niet - Sta tijdens het EA proces regelmatig stil bij de eerder opgestelde doelen - Benut een demo van de inschrijvers + gebruikerservaring (1 e beeld) - Niet alles kun je vooraf weten, vastleggen of inschatten - Zoek een partij die meedenkt als partner (ontwikkeling functionaliteiten) - Er blijft altijd wat te wensen over

20 Advies voor implementatie - Aanstelling technisch projectleider, naast algemeen PL - Inrichting verdelen in: technisch, functioneel, organisatorisch - Beperkt aantal pilots (in opbouw): verschillende doelen - Start met centrale ondersteuningsrol, dan overdracht naar key users, coördinator per faculteiten in die rol - Aandacht voor docenten, intensieve begeleiding - Houd de scope van het project goed in de gaten, ga voor geleidelijke groei - Zorg dat je de beheersorganisatie tijdens de projectfase al meeneemt - Deel successen

21 Tot slot Dank voor uw aandacht! SUCCES! Rob van den Heuvel

Vergelijkbare documenten

DIGITAAL TOETSEN, CASUS AVANS. Eky Fioole / Jan Snijders Leer- en Innovatiecentrum. Eky Fioole en Jan Snijders

DIGITAAL TOETSEN, CASUS AVANS. Eky Fioole / Jan Snijders Leer- en Innovatiecentrum. Eky Fioole en Jan Snijders DIGITAAL TOETSEN, CASUS AVANS Eky Fioole / Jan Snijders Leer- en Innovatiecentrum Eky Fioole en Jan Snijders Context In 2013 12 systemen voor digitaal toetsen een onbalans tussen vraag en aanbod Een hoog