SURF Bijeenkomst 8 maart 2018 Ervaringen Europese Aanbesteding Toetssoftware Rob van den Heuvel www.digitaletoetsing.nl rob@vdhc.net Projectleider Digitaal Toetsen UU (2013 2015) Projectleider Digitaal Toetsen TU/e (nov 2015 heden) Projectleider Digitaal Toetsen ai RU Nijmegen (2017 heden)
Programma - Welkom - Warming Up (Mentimeter) - Presentatie ervaringen EA s - Workshop (intervisie), discussie - Afsluiting
Situatie bij start 7 faculteiten (inclusief UMCU), 35.000 studenten Beperkt aantal toetssystemen in gebruik, weinig ervaring UMCU, veel ervaring met TestVision 9 faculteiten, 12.500 studenten Bestaand toetssysteem OnCourse (open source, zelf ontwikkeld, eigen beheer, uitfasering), redelijke ervaring DT. 8 faculteiten (inclusief Radboud MC), 30.000 studenten Bestaand toetssysteem TAO (open source, zelf ontwikkeld, eigen beheer, uitfasering), weinig ervaring DT RadboudUMC, veel ervaring met TestVision Allen: keuze Openbare Europese Aanbesteding voor aanschaf toetssoftware (omvang opdracht omvang markt)
Het project Aanschaf toetssoftware + dig Feedback Oplossing beveiligd toetsen Opzet ondersteuningsorganisatie Implementatie: project - beheer Aanschaf toetssoftware Oplossing beveiligd toetsen Opzet ondersteuningsorganisatie Implementatie: project - beheer Aanschaf toetssoftware Oplossing beveiligd toetsen Opzet ondersteuningsorganisatie Implementatie: project - beheer Doorlooptijd: Doorlooptijd: Doorlooptijd: Voorbereiding project + EA: 14 mnd EA realisatie + startklaar: 4 mnd Implementatie project: 12 mnd In beheer: vanaf januari 2016 Voorbereiding project + EA: 12 mnd EA realisatie + startklaar: 4 mnd Implementatie project: 14 mnd In beheer: vanaf juli 2018 Voorbereiding project + EA: 9 mnd EA realisatie + startklaar: 4 mnd Implementatie project: lopend In beheer: vanaf studiejaar 2019 Scope Scope Scope Reguliere vraagtypen (gesloten/open) SaaS oplossing Geen PC zalen/ BYOD, UU Chromebooks Wiskundige vraagtypen, parametrisatie Reguliere vraagtypen (gesloten/open) SaaS oplossing Geen PC zalen, wel BYOD = STEP Reguliere vraagtypen (gesloten/open) SaaS oplossing PC zalen + RU Chromebooks
De organisatie Stuurgroep + projectgroep + werkgroepen Projectleider Digitaal toetsen + Projectleider EA Onderwijs, IT, Juridische zaken, Inkoop, Fbeheer, ondersteuning Inventarisatie PID Businesscase Projectplan PvA implementatie (PRINCE2 methodiek) Stuurgroep + projectgroep + werkgroepen Projectleider Digitaal toetsen Onderwijs, IT, Juridische zaken, Inkoop, Fbeheer, ondersteuning Inventarisatie PID Businesscase Projectplan PvA implementatie (PRINCE2 methodiek) Stuurgroep + projectgroep + werkgroepen Projectleider Digitaal toetsen Onderwijs, IT, Juridische zaken, Inkoop, Fbeheer, ondersteuning Inventarisatie Projectplan PvA implementatie
Het resultaat Remindo UU Chromebooks 650x, 3 grote zalen, hybride Chromebooks op locatie (200x)
Het resultaat Met SoWiSo STEP: Secure Test Enviroment Protocol via USB Stick op studentenlaptops (dekking 85%) + vervangende laptops
Het resultaat RU Chromebooks 576x, 20 zalen
Inkoopproces software via een aanbesteding
Marktconsultatie Doel: aanscherping PvE en offerteaanvraag, inzicht markt 4 marktpartijen, schriftelijk en via mondelinge presentatie (3 uur) Anoniem verslag, opgenomen EA Doel: aanscherping PvE en offerteaanvraag, inzicht markt 4 marktpartijen, mondeling (informeel) en via Skype Geen verslag in EA Doel: aanscherping PvE en offerteaanvraag, inzicht markt Aanscherping PvE, inzicht markt 5 marktpartijen, mondeling (informeel) Geen verslag in EA
Gunningscriteria + uitvoering G1 Prijs 30 euro 4-8 G2 Kwaliteit 70 G2.1 Gesloten wensen G2.2 Open wensen UITVOERING 35 35 Gesloten wensen: ja/nee - punten Open wensen: beoordelen (kwant/kwal), mate detail/relevantie G1 Prijs 30 Open/plafond G2 Kwaliteit 70 G2.1 Userexperience 40 G2.2 Performance& Value Add 15 G2.3 Implem. plan 15 UITVOERING Userexp: demo gebruikers 2,5 uur Perfor/Value: sessie 1 uur + docs vooraf Implem. Plan: sessie 1 uur + docs vooraf
Gunningscriteria + uitvoering G1 Prijs 30 Open/plafon d G2 Kwaliteit 70 G2.1 Demo + gebruikerservaring 40 G2.2 Visie + Use Cases 20 G2.3 Implem. plan 10 UITVOERING Demo 2 uur/ gebruikerservaring 3 uur Visie 1 uur / use cases 1 uur Implementatie schriftelijk, toelichting gunning
14
15
EA documenten - Inkoopstrategie (intern) - Offerteaanvraag (RFP) - Dossier financiële afspraken (DFA) - PvE + PvW + scoringsmodel - Concept Overeenkomst - Prijzenblad - Begrippenkader - Marktconsultatiedocument - Beoordelingssystematiek - Proces en instructie beoordelingsteams - Duurzaamheid verklaring - Concept risicoprofiel
Aanbestedingsproces Vragen via NvI, 4 inschrijvers (dezelfde als NvI) Beoordeling open wensen, Ranking obv pt prijs/kwaliteit Gunning 1 partij, afwijzing overig, verificatie eisen (6x) - positief Alcatel termijn (bezwaartermijn), contract maart 15 (4 jaar + 2) Vragen via NvI, 1 inschrijver (partnership) Beoordeling demo + sessies Gunning partij, verificatie eisen (12x) - positief Alcatel termijn (bezwaartermijn), contract april 17 (3 jaar + 1) Vragen via NvI, 4 inschrijvers Beoordeling demo + gebruikerservaring + visie + use cases Gunning 1 partij, afwijzing overig, verificatie eisen - positief Alcatel termijn (bezwaartermijn), contract nov 17 (3 jaar + 1+1)
Complexe thema s - Samenwerking met medische faculteit (bij Universiteiten), vaak eigen toetssysteem/veel ervaring (wet van de remmende voorsprong?) - Verhouding gunningscriteria prijs/kwaliteit en tarief uitvraag - Wijze van uitvraag: POC, Demo, Gebruikerstesten, Visie-sessies - Juridische- en privacy aspecten - Invulling en uitwerking Programma van Eisen/Wensen: functioneel/technisch - Interne afstemming, draagvlak, mandaat, besluitvorming
Lessons Learned EA - Een goede aanbesteding doorlopen is teamwork! - Nauwe samenwerking met inkoop vereist, overweeg PL EA - Zorg voor voldoende draagvlak/verbinding met faculteiten/diensten - Zorg voor resources en duidelijkheid over doelen en strategie - Kwaliteit gaat voor kwantiteit en snelheid (publiceer indien klaar) - Communiceer regelmatig met achterban (updates) - Ben voorzichtig met communicatie met leveranciers tijdens EA - Reken op 6 12 maanden voorbereiding (opzet, inventarisaties, stukken)
Lessons Learned EA - PvE maken kost het meeste tijd, onderschat dit niet - Sta tijdens het EA proces regelmatig stil bij de eerder opgestelde doelen - Benut een demo van de inschrijvers + gebruikerservaring (1 e beeld) - Niet alles kun je vooraf weten, vastleggen of inschatten - Zoek een partij die meedenkt als partner (ontwikkeling functionaliteiten) - Er blijft altijd wat te wensen over
Advies voor implementatie - Aanstelling technisch projectleider, naast algemeen PL - Inrichting verdelen in: technisch, functioneel, organisatorisch - Beperkt aantal pilots (in opbouw): verschillende doelen - Start met centrale ondersteuningsrol, dan overdracht naar key users, coördinator per faculteiten in die rol - Aandacht voor docenten, intensieve begeleiding - Houd de scope van het project goed in de gaten, ga voor geleidelijke groei - Zorg dat je de beheersorganisatie tijdens de projectfase al meeneemt - Deel successen
Tot slot Dank voor uw aandacht! SUCCES! Rob van den Heuvel www.digitaletoetsing.nl rob@vdhc.net