Samenvatting. Nationaal Actieplan

Transcriptie

1 Samenvatting Reviewrapport Nationaal Actieplan e-learning 1

2 2 Samenvatting Reviewrapport Nationaal Actieplan e-learning 3 Nationaal Actieplan e-learning ( ) In 2006 ging het Nationaal Actieplan e-learning van start, een groot onderwijsinnovatieprogramma van SURF dat zich richtte op het verbeteren van de instroom, doorstroom, het studierendement en de kwaliteit van het hoger onderwijs met de inzet van ICT. Het Nationaal Actieplan e-learning wilde instellingen in staat stellen met behulp van ICT beter in te spelen op de individuele behoeften van de studenten, om effectiever onderwijs mogelijk te maken. ICT-innovaties die hun effecten reeds op kleine schaal hadden bewezen, werden binnen de projecten van dit programma verder ontwikkeld en opgeschaald. De onderwerpen die binnen de projecten centraal stonden vertegenwoordigden een breed scala aan belangrijke actuele thema s binnen onderwijsinnovatie, zoals studieloopbaanbegeleiding, verbeteren van de kwaliteit van instroom, docentprofessionalisering en het grensvlak van opleiding en beroepspraktijk. Het Nationaal Actieplan e-learning is gefinancierd door de instellingen van hoger onderwijs, georganiseerd in VSNU en HBO-raad, en het Ministerie van Onderwijs, Cultuur en Wetenschappen. SURF SURF is de ICT-samenwerkingsorganisatie van het Nederlandse hoger onderwijs en onderzoek. Binnen SURF werken de Nederlandse universiteiten, hogescholen en onderzoeksinstellingen samen aan grensverleggende ICT-innovaties, waarmee ze de basis creëren om optimaal gebruik te maken van de mogelijkheden van ICT en te excelleren in hun onderwijs en onderzoek. Facts & Figures Nationaal Actieplan E-Learning 22 projecten 5 jaar 154 instellingen 16,7 miljoen euro 22 projecten werden in vijf jaar tijd gestart en afgerond Per project werkten minimaal drie instellingen samen; dit leidde tot het ontstaan van constructieve kennisnetwerken en samenwerkings verbanden In totaal participeerden 154 instellingen: 15 universiteiten, 37 hogescholen, 11 ROC s,78 vo-scholen en 13 overige instellingen Facts and figures In het kader van het Nationaal Actieplan e-learning konden universiteiten en hogescholen projectvoorstellen indienen om samen te werken aan innovatieve ICT-toepassingen voor het onderwijs. Ook samenwerking met instellingen voor middelbaar beroepsonderwijs en instellingen voor voortgezet onderwijs was mogelijk. In vijf jaar tijd zijn 22 projecten uitgevoerd. In totaal waren ruim mensen betrokken bij de projecten, afkomstig van in totaal 154 instellingen voor hoger onderwijs, middelbaar beroepsonderwijs en voortgezet onderwijs. Voor de projecten was in totaal 16,7 miljoen euro beschikbaar: de gemiddelde projectbegroting bedroeg , 30% hiervan werd door de instellingen gefinancierd docenten, projectleiders, studenten en scholieren In totaal participeerden ruim docenten, projectleiders, studenten en scholieren De gemiddelde projectbegroting bedroeg ruim euro. Voor de 22 projecten was de totale begroting 16,7 miljoen euro Werkwijze binnen het Nationaal Actieplan e-learning Opzet programma Het programmamanagement van SURF heeft in het kader van het Nationaal Actieplan e-learning driemaal een tender uitgeschreven, op basis waarvan projectteams afkomstig uit het hoger onderwijs projectvoorstellen konden indienen. De Wetenschappelijk Technische Raad, bestaande uit onafhankelijke deskundigen, beoordeelde die projectvoorstellen op kwaliteit en aansluiting op de doelen van het programma, en adviseerde SURF over de toekenning van de subsidies. Alle projectteams waarvan de voorstellen waren goedgekeurd maakten vervolgens een Controlling Document, (een uitgebreid projectplan dat is gebaseerd op het projectvoorstel), waarin zij een aantal eindproducten of deliverables (zoals een ontwikkelde lesmethode of tool) beschreven die ze binnen de looptijd van het project wilden realiseren. Innovatieprogramma s zoals het Nationaal Actieplan e-learning voert SURF uit volgens de methode SURF. Instellingen voor hoger onderwijs ontvangen subsidie, en worden ook door SURF ondersteund bij de uitvoering van hun projecten. Methode SURF Voor de ontwikkeling van het hoger onderwijs en onderzoek zijn verschillende subsidies beschikbaar. Om deze optimaal te benutten hanteert SURF de methode SURF. Dit houdt in dat de doelstellingen die bij deze subsidies horen, worden omgezet in een programma. Hogescholen en universiteiten kunnen vervolgens voorstellen voor projecten indienen. Binnen de methode SURF gelden enkele speciale voorwaarden waaraan projecten moeten voldoen: Samenwerking van meerdere (minstens drie) instellingen. De instellingen krijgen voor een deel subsidie, maar leveren zelf ook een aanzienlijke financiële bijdrage (volgens het matchingsprincipe). De resultaten van het project zijn te gebruiken door alle instellingen voor hoger onderwijs en onderzoek.

3 4 Samenvatting Reviewrapport Nationaal Actieplan e-learning 5 Programmamanagement SURF Het programmamanagement formuleert onder andere de opzet van een programma, ontwikkelt tenders op grond van de programmadoelstellingen, en organiseert een onafhankelijke beoordeling van de ingediende projectvoorstellen door de Wetenschappelijk Technische Raad (zie onder). Daarnaast is SURF verantwoordelijk voor de bewaking van de projectuitvoering door de Commissie Projectbewaking, en het verspreiden en beschikbaar stellen van de projectresultaten. Wetenschappelijk Technische Raad De Wetenschappelijk Technische Raad bestaat uit erkende autoriteiten, die niet alleen de nieuwste ontwikkelingen op hun specifieke expertisegebied kennen, maar ook letterlijk thuis zijn in de wereld van het hoger onderwijs. In zijn functie als onafhankelijk adviesorgaan beoordeelt de WTR onder meer bij elke tender de ingediende projectvoorstellen en brengt hierover advies uit aan het bestuur van SURF. Review Als onderdeel van de afronding van het programma heeft SURF onderzocht of het Nationaal Actieplan e-learning zijn doelstellingen heeft bereikt, en welke lessen kunnen worden getrokken voor de vormgeving van toekomstige (subsidie)-programma s. Om die vragen te beantwoorden is in 2012 een review van het programma uitgevoerd. De reviewers waren drs. Elly Teune-Kasbergen en dr. Jos Willems. Drs. Elly Teune- Kasbergen was lid van de Raad van Bestuur van Fontys Hogescholen en voorzitter van het Platformbestuur ICT en Onderwijs van SURF tussen Dr. Jos Willems was lid van het College van Bestuur van Hogeschool Zuyd en van van het Platformbestuur ICT en Onderwijs van SURF. Succesfactoren De reviewers concluderen dat het Nationaal Actieplan e-learning op een aantal belangrijke punten een succes is geweest. Zo hebben alle individuele projecten relevante resultaten kunnen ontwikkelen, en een grote slag kunnen maken als het gaat om de implementatie en opschaling van die innovaties. Daarnaast heeft het programma netwerken weten te creëren die toekomstige samenwerking vergemakkelijken, en de kans groter maken dat de projectresultaten in gebruik blijven. Het Nationaal Actieplan e-learning kende een aantal specifieke voorwaarden: instellingen moesten kunnen aantonen dat zij met hun projecten konden bijdragen aan het verbeteren van de instroom/doorstroom van studenten en het vergroten van het studierendement en de kwaliteit in het hoger onderwijs. In het programma was veel aandacht voor het meten van de effecten van de producten (of deliverables) die de projecten hebben opgeleverd, en de verduurzaming van de resultaten. Opleveren van de deliverables Binnen de projecten is men erin geslaagd om alle of bijna alle beoogde deliverables op te leveren, zoals men die in de Controlling Documents had opgenomen; alle projectteams zijn hierbij binnen de tijd en het budget van het project gebleven. De strakke planning en structuur droegen hier zeker aan bij, evenals de ondersteuning door SURF en de feedback van de Commissie Projectbewaking. Het enthousiasme van de projectdeelnemers en de goede samenwerking tussen de verschillende instellingen vormden hierbij ook belangrijke succesfactoren. Samenwerking Het Nationaal Actieplan e-learning resulteerde in intensieve samenwerking tussen onderwijsinstellingen over de sectoren heen, waardoor het programma nationale impact bereikte, keten-denken stimuleerde, en een schat aan breed toegankelijk materiaal opleverde. Er zijn verschillende permanente samenwerkingsverbanden en netwerken ontstaan naar aanleiding van de projecten. Een dergelijke samenwerking levert niet alleen direct succes op (samenwerking over instellingen heen), maar heeft ook op langere termijn nog zijn effecten (vormen van netwerken, verspreiding van inzichten, borgen van projectresultaten, et cetera). Controlling Document Veruit de meeste projectteams en projectleiders gaven aan dat het schrijven van het Controlling Document hen hielp om gezamenlijke doelstellingen helder te formuleren, en het hen gemakkelijker maakte om op koers te blijven. Ook de leden van de stuurgroep ervoeren veel voordeel en houvast van een goed Controlling Document.

4 6 Samenvatting Reviewrapport Nationaal Actieplan e-learning 7 Commissie Projectbewaking De Commissie Projectbewaking van SURF beoordeelt de voortgang van de projecten op een aantal vooraf vastgestelde momenten, volgens vooraf vastgestelde criteria. Op grond van hun beoordeling kan de Commissie Projectbewaking projectteams advies geven over de (verdere) planning en de uitvoering van projecten. De Commissie Projectbewaking is een onafhankelijke commissie, bestaande uit personen die op basis van hun specifieke expertise op het gebied van (ICT)-onderwijsinnovaties, en hun ervaring met (grote) onderwijsorganisaties en grote projecten zijn geselecteerd. De reviews van de Commissie Projectbewaking Zowel de projectleiders als de leden van de stuurgroep zijn erg positief over de feedback van de Commissie Projectbewaking. De discussies die zij hadden met de leden van deze commissie werden als zeer ondersteunend en inspirerend ervaren. Ondersteuning van de projecten door het programmamanagement Het SURF-programmamanagement bood de projectteams de nodige ondersteuning bij het uitvoeren van hun projecten, bijvoorbeeld door cursussen projectmanagement en workshops over effectmeting en verduurzaming aan te bieden. Deze begeleiding werd unaniem gewaardeerd, zo bleek tijdens de gesprekssessies binnen de review en uit de deskresearch. De communicatie van het programmamanagement met de projectleiders werd ook als zeer prettig ervaren, met het juiste evenwicht tussen sturen, volgen, verbinden en steunen. Disseminatie van de projectresultaten Alle projecten hebben een disseminatieplan gemaakt, waarvan zij alle, of de meeste van de daarin beschreven activiteiten hebben uitgevoerd. Vast onderdeel van de disseminatie bestond bij veel projecten uit een presentatie van de projectresultaten, onder andere op de SURF Onderwijsdagen. Alle projecten van het Nationaal Actieplan e-learning zijn daarnaast opgenomen in een repository van SURF, en in 2012 is een brochure uitgegeven met de titel Studiesucces op een hoger plan: Nationaal Actieplan e-learning ( ) ( waarin een beschrijving van het gehele programma en korte samenvattingen van alle projecten zijn opgenomen. Aandachts- en ontwikkelingspunten Samenvoegen van projecten met hetzelfde thema In twee gevallen heeft het Platformbestuur ICT en Onderwijs besloten meerdere projecten met hetzelfde thema binnen het Nationaal Actieplan e-learning samen te voegen om ze voor subsidie in aanmerking te laten komen, met de bedoeling de beide projectteams hun krachten te laten bundelen. In de praktijk bleek het echter veel tijd en energie te kosten om die projecten met elkaar te integreren als het gaat om de formulering van projectdoelen en het verdelen van de projecttaken. SURF Repository De SURF Repository is een digitale bewaarplaats waarin de projecten en hun resultaten vindbaar en doorzoekbaar zijn. Van de 21 projecten zijn in totaal 86 deliverables in deze repository te vinden of te downloaden ( In 2012 is een brochure uitgegeven met de titel Studiesucces op een hoger plan: Nationaal Actieplan e-learning ( ). Op staat een beschrijving van het gehele programma en korte samenvattingen van alle projecten opgenomen. Aanbeveling: Kies bij de toekenning van subsidie voor projecten met vergelijkbare thema s voor één project, of voor meer projecten, maar voeg ze niet samen. Controlling Document De Controlling Documents werden door de projectteams als een onmisbaar instrument gezien om het project op koers te houden. De beoordeling van deze documenten vormde een behoorlijke uitdaging, die een zeer brede kennis van onderwijsinnovatie en ervaring met projectmanagement vereist. SURF heeft deze taak naar behoren verricht, maar dit kon niet voorkomen dat er enkele keren Controlling Documents zijn goedgekeurd die niet (helemaal) voldeden aan de voorwaarden zoals die in de tender waren gesteld. Professionalisering De betrokkenen bij de projecten hebben in ruime mate competenties weten te ontwikkelen, zodat zij ook in eventuele vervolgprogramma s van grote waarde kunnen zijn bij de ontwikkeling van ICT-innovaties. De nieuwe inzichten die zijn ontstaan rondom het gebruik van ICT in het onderwijs hadden in het bijzonder hun uitwerking op de directe betrokkenen in het onderwijsveld (zoals de docenten), die hierdoor een professionaliseringsslag in hun onderwijs konden maken. Aanbeveling: Laat de beoordeling van de Controlling Documents uitsluitend uitvoeren door personen die ervaren zijn op het gebied van onderwijsinnovatieprogramma s en de methode SURF.

5 8 Samenvatting Reviewrapport Nationaal Actieplan e-learning 9 Deskundigheid binnen het project Binnen de projecten van het Nationaal Actieplan e-learning bestonden twee van de vaste onderdelen uit het meten van de effecten van de opgeleverde deliverables, en het schrijven van een implementatieplan, waarin projectleden ideeën moesten formuleren over hoe de deliverables op grotere schaal verduurzaamd en geïmplementeerd kunnen worden. De projectteams hebben zich enorm ingezet om beide onderdelen op de juiste wijze uit te voeren; ze konden hierbij tevens extra begeleiding krijgen via SURF in de vorm van workshops en advies. Toch bleken het meten van effecten en het maken van een implementatieplan lastige opgaven te zijn, die een specifieke expertise en ervaring vereisen die de projectteams niet altijd voldoende in huis hadden. Aanbeveling: Neem bij de beoordeling van projecten mee dat projectteams die deel uitmaken van een bestaande samenwerkingsstructuur (of waarvan het ten minste waarschijnlijk is dat ze tegen het einde van het project zo n structuur hebben gerealiseerd) over het algemeen succesvoller zijn. Ontsluiten van effecten op programmaniveau Alle projecten hebben veel aan disseminatie gedaan, zodat de resultaten van die projecten konden worden verspreid. Het is daarnaast voor geïnteresseerden, betrokkenen en de subsidiegever belangrijk om een beeld te krijgen van het effect op programmaniveau. Aanbeveling: Geef effectmeting en implementatie een vaste plaats binnen de projecten, en laat het projectteam hier specifieke deskundigen bij betrekken. Maak de aanwezigheid van vereiste expertise tot een criterium bij de beoordeling van de projectvoorstellen. Aanbeveling: Maak bij de verspreiding van de resultaten en effecten een onderscheid tussen programma-en projectniveau, en ontsluit na afloop van een programma de resultaten van het programma in zijn geheel. Een goed voorbeeld daarvan is de wiki van het programma Studiekeuzegesprekken: wat werkt?. Kwartaalrapportages De leden van de projectteams zijn verplicht om elk kwartaal een rapportage te schrijven over de voortgang van hun project. De geïnterviewden zijn het er over eens dat het schrijven en indienen van de kwartaalrapportages nuttige activiteiten zijn die de projecten op het juiste spoor kunnen houden, maar de omvang en de frequentie waarmee deze rapportages moesten worden ingeleverd werden door de projectteams als een belasting ervaren: de tijd en de kosten die de administratieve verplichtingen met zich mee brengen was onevenredig groot, met name bij projecten met veel deelnemers. Naarmate het thema van een innovatieprogramma breder is opgezet, is het dissemineren van de programmaresultaten lastiger, omdat men minder makkelijk kan terugvallen op een gemeenschappelijk concept op basis waarvan men de resultaten van de individuele projecten met elkaar kan vergelijken en verbinden. In dit licht is het verstandig om bij het opzetten van een innovatieprogramma toe te spitsen op één concreet thema, zoals bij het SURF-programma Studiekeuzegesprekken: wat werkt? is gedaan. Aanbeveling: Zie er strenger op toe dat alleen relevante en noodzakelijke informatie over de projecten uitgewerkt worden in kwartaalrapportages, liefst volgens een vast format met een beperkt aantal pagina s. De werklast en bureaucratie die nu wordt ervaren kan hiermee drastisch worden verminderd. Effectmeting Effectmeting was een vast onderdeel binnen alle tenders, en de opzet ervan is in de loop van de tenders behoorlijk geprofessionaliseerd: elke volgende tender werd er specifieker geformuleerd waaraan de effectmetingen moesten voldoen, en in de laatste tenders konden de projectleiders bovendien ondersteuning krijgen bij het opzetten van hun effectmeting door workshops te volgen en advies te krijgen van deskundigen. Maar ook met de grote professionaliseringsslag die is gemaakt bleek het nog steeds een complexe opgave om die effecten te bepalen. Aanbeveling: Denk na over een concretere invulling van de effectmeting. Stel verplicht dat men beredeneert wat het verband is tussen de te ontwikkelen deliverables en het effect daarvan op het studierendement binnen het hoger onderwijs. Dit moet een logische en toetsbare redenering zijn, onderbouwd door wetenschappelijk onderzoek, op basis waarvan tenminste een indirecte relatie kan worden beschreven tussen de individuele projectopbrengsten en de hogere doelstellingen van het gehele innovatieprogramma. Verduurzaming van de projectresultaten Binnen de projecten van het Nationaal Actieplan e-learning is veel aan disseminatie gedaan, waardoor de projectresultaten de nodige bekendheid hebben gekregen. Het zou voor de verduurzaming van die projectresultaten wenselijk zijn als de deliverables hun weg zouden kunnen vinden naar (nog) meer instellingen, zodat er uiteindelijk een olievlekwerking naar instellingen buiten het project kan plaatsvinden. Als er sprake is van een vaste samenwerkingsstructuur (zoals de special interest groups van SURF, de Its Academy, de ICL, enzovoorts), dan is het waarschijnlijker dat de resultaten geborgd kunnen worden dan binnen een toevallige samenwerking. De kans dat er een olievlekwerking plaatsvindt is dan ook groter, omdat er steeds nieuwe leden tot een dergelijke samenwerkingsstructuur kunnen toetreden die de projectresultaten gaan gebruiken.

6 10 Samenvatting Reviewrapport Nationaal Actieplan e-learning 11 Werkwijze Om een zo goed mogelijk beeld te krijgen van de succes- en verbeterpunten van het programma voerden de reviewers de evaluatie in twee stappen uit: 1. Deskresearch: Analyse van het reeds beschikbare onderzoeksmateriaal met betrekking tot het Nationale Actieplan e-learning, onder andere een enquête onder projectleiders (2011) en een analyse van de eindrappor tages van de projecten. 2. Interviews met verschillende groepen die bij de uitvoering van het Nationaal Actieplan e-learning betrokken zijn geweest. In de gesprekssessies kwamen onder meer de volgende onderwerpen aan bod: Meten van de effecten van de ontwikkelde deliverables. Implementatie van de ontwikkelde deliverables. Disseminatie van de projectresultaten. Rol van het SURF-programmamanagement, de Wetenschappelijk Technische Raad en de Commissie Projectbewaking bij de uitvoering van het project. Plaats en de effecten van het Controlling Document en de kwartaalrapportages binnen de projecten. Bestuurders Mr. Ineke van Oldeniel: lid van College van Bestuur van Saxion Hogescholen, voorzitter Platformbestuur ICT en Onderwijs van SURF. Drs. Frans van Kalmthout: vice-voorzitter van het College van Bestuur van Avans Hogeschool, lid Platformbestuur ICT en Onderwijs van SURF. Programmamanagement SURF: Drs. Annette Peet: van projectmanager Nationaal Actieplan e-learning. Drs. Christien Bok: van 2006 tot 2010 projectmanager Nationaal Actieplan e-learning, sinds 2010 programmamanager ICT en Onderwijs. Drs. Tom Dousma: van programmamanager ICT en Onderwijs, vanaf 2010 directeur bij Studiekeuze123. De geïnterviewden vormden een zeer diverse vertegenwoordiging van betrokkenen bij het Nationaal Actieplan e-learning, uit verschillende onderdelen van het onderwijsveld en de wetenschap: Voorzitters stuurgroep als opdrachtgevers vanuit de bij het project betrokken instellingen: Dr. Cees de Groot (UvA): directeur College of Science, voorzitter van de stuurgroepen van de projecten: NKBW 1 en 2, en MarchET. Drs. José Frijns (VU): voorzitter van de stuurgroep van het OASE-project en directeur van de Universiteitsbibliotheek van de Vrije Universiteit. Drs. Harrie van de Ven (Fontys): voorzitter van de stuurgroep van het project Zwaluwstaart, directeur van de Fontys-PABO s. Deskundigen duurzaamheid en effectmeting: Ir. Michiel van Geloven, als extern adviseur (bij Interimichiel) betrokken geweest bij Nationaal Actieplan e-learning. Dr. Cees Terlouw (lector, Saxion): betrokken geweest bij 2 projecten, DINK en Kies Actief Toolkit, heeft daarnaast bijgedragen aan de workshop over effectmeting voor de Nationaal Actieplan e-learning-projectleiders. Dr. Alfons ten Brummelhuis: hoofd Onderzoek Kennisnet, heeft daarnaast bijgedragen aan de workshop over effectmeting voor de Nationaal Actieplan e-learning-projectleiders. Projectleiders: Drs. Joost Termeer (Universiteit van Amsterdam): projectleider van het project E-klassen. Drs. Wim Didderen (Open Universiteit): projectleider van het project Kansrijk Doorstromen. Contactpersonen platform Onderwijs: Dr. Ineke Lam (Universiteit Utrecht): teamleider en adviseur hoger onderwijs bij het Centrum voor Onderwijs en Leren, is voorzitter van het Contactpersonenplatform Onderwijs. Drs. Marij Veugelers (Universiteit van Amsterdam): projectmanager E-learning bij de IT-afdeling van de Universiteit van Amsterdam. Drs. Heino Logtenberg (Saxion Hogeschool): programmamanager ICT & Onderwijs bij Saxion Hogescholen.

7 12 Samenvatting Reviewrapport Nationaal Actieplan e-learning Colofon Auteur Judith Evertse Ontwerp Vrije Stijl, Utrecht SURF Graadt van Roggenweg 340 Postbus GG Utrecht T +31 (0) F +31 (0) info@surf.nl Deze publicatie verschijnt onder de licentie Creative Commons Naamsvermelding 3.0 Nederland.