Drieluik over innovatie met impact

Transcriptie

1 TH & MA themahogeronderwijs.org Sinds eind jaren negentig stimuleert SURF de samenwerkingsorganisatie van instellingen in het hoger onderwijs en onderzoek ICT-innovatie in het hoger onderwijs, met als doel de kwaliteit van het onderwijs te verbeteren. In drie artikelen schetsen we achtereenvolgens de ontwikkeling van een instrumentarium voor innovatieprogramma s; de zoektocht naar een zinvol framework voor het vormgeven van evaluatie; en tenslotte geven we inzicht in de impact van de programma s en lessons learned. Drieluik over innovatie met impact Deel 2: De zoektocht naar betekenisvolle evaluatie Christien Bok en Annette Peet SURFfoundation In de afgelopen tien jaar hebben instellingen voor hoger onderwijs in SURF-verband ervaringen opgedaan met de mogelijkheden die ICT biedt in het onderwijs. Dit gebeurde binnen verschillende stimuleringsprogramma s: het Onderwijsvernieuwingsprogramma ( ), het Nationaal Actieplan e-learning ( ) en Studiekeuzegesprekken wat werkt? ( ). ICT- leggen vaak kiemen voor de toekomst: na het zaaien kan er niet altijd direct worden geoogst. De maken onderdeel uit van een langdurig veranderproces in het onderwijs, waarbij ICT bijdraagt aan het eigentijds en aantrekkelijk maken van het onderwijs, en aan het verbeteren van de kwaliteit ervan, door het efficiënter en/of effectiever te maken. De vraag welke rol een project precies speelt in een verandertraject is vaak moeilijk te beantwoorden, laat staan te kwantificeren. Toch is het belangrijk om te onderzoeken wat de toegevoegde waarde van is, en wat succes- en faalfactoren zijn. Het inzichtelijk maken van de toegevoegde waarde vergroot de kans dat de resultaten uit het project ook worden geadopteerd en duurzaam worden ingezet. Om gericht te kunnen investeren in innovatie, is het dus van belang om inzicht te krijgen in wat wel en niet werkt. In theorie is iedereen het erover eens dat evaluatie een noodzakelijke voorwaarde is bij het uitvoeren van innovatie. Maar in de praktijk blijkt het vormgeven van evaluatie binnen en programma s makkelijker gezegd dan gedaan. SURF ontwikkelt op basis van voortschrijdend inzicht een aanpak voor de evaluatie van, met hulp van experts uit instellingen voor hoger onderwijs, Kennisnet en TNO, die net als SURF innovatie stimuleren en uitvoeren. In dit artikel beschrijven we onze belangrijke lessons learned bij het uitvoeren van evaluaties rond innovatie en wat belangrijke elementen zijn in de aanpak van evaluaties. Verschillende stadia van innovatie In de loop van de jaren ontwikkelde ICT-innovatie zich van onderzoek naar de mogelijkheden van ICT in de onderwijspraktijk naar het strategisch inzetten van ICT in het onderwijs. Eind jaren negentig was ICT nog een relatief nieuw fenomeen in het onderwijs en werd er vooral geëxperimenteerd met nieuwe toepassingen en mogelijkheden. Zo werd onderzocht welke rol bijvoorbeeld GPS, online samenwerkingstools of streaming video in het onderwijs zouden kunnen spelen. Op het moment dat meer kennis en ervaring ontstond over wat kansrijke toepassingen zijn voor het onderwijs kon een volgende stap gezet worden, en werd een proof of concept ontwikkeld. Geleidelijk ontstond de behoefte om een volgende stap te zetten en technieken die hun potentie voor het onderwijs bewezen hadden, op grotere schaal te kunnen invoeren. Het Nationaal Actieplan e-learning ( ) was daarop gericht. Het programma heeft een strategische doelstelling: het verhogen van studierendement en/of het verbeteren van de instroom, 59

2 TH & MA 3-11 Grassroots Ontwikkel Opschalings Implementatie DOEL: kleinschalige experimenten met nieuwe technieken in onderwijspraktijk DOEL: ontwikkelen en ontwerpen van kansrijke technieken in onderwijspraktijk DOEL: op grotere schaal inzetten van succesvolle technieken in de onderwijspraktijk DOEL: succesvolle technieken implementeren in bestaande organisatie Figuur 1: Succesvolle kunnen 'doorgroeien' naar een volgend stadium doorstroom en uitstroom in het hoger onderwijs. De die de instellingen binnen het programma uitvoerden, moesten bijdragen aan die doelstelling. Van experiment tot implementatie Afhankelijk van het stadium van innovatie, heeft een project bepaalde karakteristieken. SURF wil met vier typen de groei van kleinschalige experimenten naar implementatie faciliteren. Succesvolle kunnen doorgroeien naar een volgend stadium. Grassroots zijn kleine experimentele (ontwikkel), vaak uitgevoerd door één persoon in een kleine setting, om te onderzoeken op welke manier methoden of technieken kunnen worden ingezet in de onderwijspraktijk. Ontwikkel ondersteunen de (door)ontwikkeling of het ontwerp van een ICT-innovatie tot een proof of concept door een kleine groep van samenwerkende instellingen. Opschalings bieden instellingen de mogelijkheid om te onderzoeken of methoden en technieken die in een kleinere setting succesvol waren, ook op grotere schaal werken. Een volgende logische stap vormen implementatie waarbij de innovatie ook daadwerkelijk op grote schaal wordt ingevoerd. Met deze wil SURF in toekomstige programma s experimenteren. Waar tot dusver binnen een programma voor één type project werd gekozen, zullen nieuwe thematische programma s ruimte bieden aan meerdere stadia van innovatie. Inherent aan innovatie is dat niet alle experimenten werken. Daarom is evaluatie essentieel, om onderbouwd te besluiten of een experiment kansrijk genoeg is om door te groeien naar een volgend stadium. Hoewel de aard en de omvang van de evaluatie verschilt per type project kunnen we drie generieke fases onderscheiden bij het uitvoeren van evaluaties: vooraf, tijdens en na het project. Een goede start Evaluatie begint niet pas na afloop van een project. Juist de periode voor de start van een project is een cruciaal moment om een experiment te kunnen evalueren. Dat Lessons Learned 1: Expliciteren van de doelstelling De ervaring leert dat als de doelstelling en de redenering die ten grondslag ligt aan een project worden geëxpliciteerd, doorgaans de kwaliteit van het projectplan verbetert, wat weer een positief effect heeft op de uitvoering van het project. Het expliciteren van de doelstellingen en de hypothese van een project vragen om een investering die zich tijdens en na afloop van het project ruimschoots terugbetaalt. Zeker als het hele projectteam er samen aan werkt, zorgt dat voor een soepele start en uitvoering van een project, omdat men gezamenlijk richting geeft aan het project. begint bij het expliciteren van de doelstelling van het project. Waarom wordt gekozen voor een bepaalde interventie? De keuze voor een interventie is gebaseerd op een veronderstelling over de werking ervan. Die veronderstelling is vaak gebaseerd op intuïtie. Het is de kunst om die veronderstelling te onderbouwen, bijvoorbeeld door gebruik te maken van resultaten van eerdere onderzoeken en beschikbare literatuur. Bij voorkeur worden de doelstellingen en de hypothese van het project ook getoetst bij toekomstige gebruikers. In de werkwijze van SURF is het expliciteren van de doelstelling en de aannames die eraan ten grondslag liggen een van de criteria om in aanmerking te komen voor subsidie. Projectvoorstellen worden beoordeeld op kwaliteit en kansrijkheid door de Wetenschappelijk Technische Raad (WTR) van SURF. De WTR bestaat uit erkende autoriteiten, die niet alleen de nieuwste ontwikkelingen op hun specifieke expertisegebied kennen, maar ook letterlijk thuis zijn in de wereld van het hoger onderwijs. Als een project wordt gesubsidieerd moet een Controlling Document worden opgesteld, waarin de op te leveren resultaten, de projectinrichting, planning en financiën worden beschreven. Deze instrumenten stimuleren een goede start van de evaluatie van. 60

3 TH & MA themahogeronderwijs.org Lessons Learned 2: onderscheid programma- en projectdoelstelling Het Nationaal Actieplan e-learning heeft als doelstelling het verhogen van de participatie in en het studierendement het hoger onderwijs. Om te kunnen meten of het programma die doelstelling zou halen, moesten de kwantificeren welke bijdrage zij zouden leveren aan de programmadoelstelling. Soms is de relatie met de programmadoelstelling echter indirect. Het heeft geen zin om waardevolle die indirect bijdragen aan de programmadoelstelling, te vragen hun resultaten direct te relateren aan de programmadoelstellingen. Daarmee wordt geen bruikbare bijdrage geleverd aan de evaluatie van de programmadoelstellingen, noch aan de projectdoelstellingen. Lessons Learned 3: slim omgaan met beschikbare middelen Om een hypothese wetenschappelijk te toetsen en een causaal verband aan te kunnen tonen tussen de interventie en de effecten moeten er voldoende gegevens beschikbaar zijn, en moet gewerkt worden met een controlegroep. Dat is binnen innovatie, gezien de beperkte looptijd en geringe onderzoeksbudgetten vaak niet haalbaar. Bovendien vraagt de aard van vaak om een praktijkgerichte aanpak van evaluatie, waarin ook kwalitatief onderzoek een belangrijke rol speelt. In de praktijk sluiten steeds vaker allianties met onderzoeksgroepen en lectoraten om een deel van de evaluatie uit te voeren. Op deze manier wordt er slim gebruik gemaakt van beschikbare expertise en menskracht. Invulling van programmadoelstelling Innovatie van SURF worden uitgevoerd in het kader van programma s. De programma s worden opgesteld in samenspraak met de instellingen voor hoger onderwijs, om te garanderen dat ze aansluiten bij de ontwikkelingen binnen het hoger onderwijs. Instellingen die uitvoeren zijn vrij om hun eigen specifieke projectdoelstellingen te kiezen binnen de thematische innovatieprogramma s, die optimaal aansluiten op hun eigen situatie. De doelstellingen van de zijn een specifieke invulling van de programmadoelstelling. Praktijkgericht onderzoek Bij de aanvang van het project krijgt de evaluatie daadwerkelijk invulling. Een eerste stap is de nulmeting. Deze is van belang om te kunnen onderzoeken of de doelstelling wordt behaald. Op basis van die nulmeting ontstaat tijdens het project een beeld of de interventie inderdaad leidt tot de gewenste nieuwe situatie. Tijdens het project wordt op gezette tijden de stand van zaken ten opzichte van de nulmeting bekeken. Evaluatie tijdens het project zorgt voor voortdurende reflectie: of de doelstellingen nog wel worden gehaald, en of in het project de juiste middelen worden ingezet om de doelstellingen te halen. Als het nodig is, kan dan tijdig worden bijgestuurd. Ook kan, op basis van de uitkomsten van de evaluatie gedurende het project, blijken dat de hypothese moet worden bijgesteld. Door tijdens het project te blijven volgen of de hypothese nog spoort met de werkelijkheid en te onderbouwen waarom wel of waarom niet, kan innovatie op een onderbouwde manier gestuurd worden. In de loop van een project komen ook tal van onverwachte, niet voorziene zaken aan het licht. Die onverwachte effecten kunnen een heel belangrijke rol spelen in de evaluatieresultaten, en moeten daarom voldoende aandacht krijgen. In een dynamisch proces als het onderwijs waarin zoveel externe factoren een rol spelen, het heel moeilijk is om een directe relatie aan te tonen tussen een verandering in het onderwijs en een ICT-interventie. Het is dus heel belangrijk om ook omgevingsfactoren mee te nemen in de evaluatie. De evaluatie van de verschillende typen hebben elk hun eigen insteek. De evaluatie van grassroots is meestal kleinschalig en kortcyclisch van aard. Als sprake is van ontwikkel waarin een protoptype of redelijk uitgekristalliseerde interventie wordt ingezet, richt de evaluatie zich op de vraag of de verwachte opbrengsten zich in de praktijk voordoen. Dit kan aanleiding geven tot opschaling. In opschalings is van belang na te gaan of de verwachte opbrengsten zich ook op grote(re) schaal aandienen. De binnen de SURF-programma s kennen geen apart budget voor onderzoek. Het leeuwendeel van de middelen wordt besteed aan de subsidie voor innovatie. Het onderzoek dat wordt uitgevoerd, vindt plaats binnen de innovatie zelf. De middelen voor onderzoek zijn dus beperkt en grootschalig onderzoek is daarom niet mogelijk. Projecten moeten daarom realistische keuzes maken over wat zij willen en kunnen evalueren. Door vooraf de doelstellingen en de hypothese helder te omschrijven is het makkelijker om de belangrijkste vragen te identificeren die in het project beantwoord zouden moeten worden. Welke vragen dat zijn, en hoeveel dat er zijn, wordt mede bepaald door de (te verwachten) beschikbaarheid van data, de beschikbare expertise, tijd en menskracht. Dit betekent prioriteiten stellen in wat je precies gaat meten, en bepalen van welke populatie je informatie wilt verzamelen. Om zo efficiënt mogelijk gebruik te maken van beschikbare middelen verdient het aanbeveling 61

4 TH & MA 3-11 Voor Tijdens Na Lange Termijn Doelstelling, hypothese, onderbouwing van gekozen interventie Monitoring doelstelling Toetsing hypothese Eventueel bijsturing Conclusie & evaluatie Lessons learned Conculsies lange termijn. Figuur 3: Prioriteiten stellen in wat je precies gaat meten, en bepalen van welke populatie je informatie wilt verzamelen Grassroots Ontwikkel Opschalings Implementatie Figuur 2: Onderscheid in kwalitatieve en kwantitatieve evaluatie zo veel mogelijk gebruik te maken van data die al door de instelling verzameld worden, en aansluiting te zoeken bij onderzoeksgroepen binnen instellingen. Enthousiasme en inspiratie Als duidelijk is welke vragen relevant zijn voor de evaluatie is het zaak om te kiezen voor de beste methode om die vragen te beantwoorden. Hierbij is onderscheid te maken in kwalitatieve en kwantitatieve evaluatie. Het belang van kwalitatief onderzoek, bijvoorbeeld in de vorm van observaties, interviews, enquêtes en focusgroepen, mag niet worden onderschat. Kwalitatief onderzoek kan een indicatie geven over de waarde van de interventie, en het geeft inzicht in de ervaringen van gebruikers. Het succes van een interventie hangt namelijk ook nauw samen met het enthousiasme van de personen die ermee werken. Door dit enthousiasme inzichtelijk te maken is de kans groot dat anderen ook enthousiast worden. Resultaten en bevindingen zijn dan nog niet wetenschappelijk van aard, maar kunnen wel dusdanig veel belovend zijn, dat ook mensen buiten het project enthousiast worden en geïnspireerd raken. Hoewel het geen wet van Meden en Perzen is, is het naarmate een project meer richting opschaling en implementatie gaat mogelijk om meer gebruik te maken van kwantitatieve methodes, en van evaluaties met controlegroepen. Evaluatie van het proces Kwalitatief onderzoek Kwantitatief onderzoek Daar waar de projectleider tijdens het project zorgt voor de inhoudelijke evaluatie en onderzoekt of de interventie oplevert wat werd verondersteld, zorgt de Commissie Projectbewaking van SURF tijdens het project voor de bewaking van het proces. Deze onafhankelijke commissie bestaat uit experts op het terrein van ICT-onderwijsinnovaties en het uitvoeren en begeleiden van grote. De bewaking is primair gericht op de bewaking van planning, budget en beoogde resultaten. Dit gebeurt om te voorkomen dat ontsporen in planning en budget. Daarbij ontstaat een spanningsveld: juist in het geval van innovatie moet voldoende ruimte zijn voor experimenteren en moet voldoende mogelijkheid zijn om plannen aan te passen op basis van de inhoudelijke evaluatie die de instellingen uitvoeren. Innovatie- en veranderprocessen verlopen lang niet altijd volgens plan, maar kunnen grillig zijn. Koerswijziging gedurende het project moet daarom altijd mogelijk zijn, mits goed onderbouwd. Het gaat er tenslotte om dat de doelstelling van een project gehaald wordt, niet dat precies wordt uitgevoerd wat vantevoren bedacht was. De balans opmaken Na afloop van een project is het moment om de bevindingen op een rijtje te zetten en conclusies te trekken. Verschillende componenten zijn waardevol om op te nemen in het evaluatieverslag: zijn de doelstellingen behaald? Zijn de beloofde deliverables geleverd? En vooral ook: wat zijn de lessons learned? In de praktijk zijn projectteams en opdrachtgevers vooral gericht op het behalen van succes, en te weinig op het leren van opgedane ervaringen, succesvol of niet. Terwijl leren van wat niet werkt een heel essentieel onderdeel is van innovatietrajecten. Sterker: een kenmerk van innovatie is dat er ook zaken niet lukken. Bij een bedrijf als Google geldt zelfs het adagium: 'als er niet genoeg mislukt, dan hebben we niet genoeg geprobeerd.' De evaluatie na afloop van het project bestaat ook uit het laten zien wat de toegevoegde waarde van ICT kan zijn in het onderwijs, en welke factoren de adoptie ervan bepalen. De resultaten van die evaluatie zijn heel goed bruikbaar voor de disseminatie van de projectresultaten. Geleerde lessen en procesevaluaties zijn waardevol voor instellingen voor hoger onderwijs, zo kunnen zij voortbouwen op eerdere ervaringen. Ook moet er voldoende kennisuitwisseling zijn binnen en tussen de verschillende innovatieprogramma s, zodat projectleiders in verschillende stadia van innovatie van elkaar kunnen leren, ook over wat niet werkt. 62

5 TH & MA themahogeronderwijs.org Voor Tijdens Na Lessons Learned 4: Wees realistisch over wat je kunt meten PROGRAMMA: Nationaal strategisch programmadoelstellingen Hypothese Onderbouwing gekozen interventie (programmaactiviteiten en criteria voor projectsubsidies) PROJECT: Projectvoorstel met: Projectdoelstelling Hypothese Onderbouwing gekozen interventie PROCES Selectie door WTR op basis van programmacriteria en kwaliteitscriteria Controlling Document met uitgewerkte planning en budget PROGRAMMA: Nulmeting rondom thema in hoger onderwijs Monitoring doelstelling Toetsing hypothese, kwalitatief/kwantitatief Eventueel bijsturing PROJECT: Prioriteren evaluatievragen, haalbaarheidsanalyse evaluatie Inrichten meetprogramma, kwalitatief en/of kwantitatief Nulmeting Monitoring doelstelling Toetsing hypothese, kwalitatief/kwantitatief Eventueel bijsturing PROCES Voortgangsbewaking door Commissie Projectbewaking op basis van kwartaalrapportages en reviews. PROGRAMMA: Evaluatie programmaresultaten, op basis van doelstellingen en hypothese en op basis van projectresultaten Procesevaluatie Disseminatie van resultaten en lessons learned PROJECT: Evalueren projectresultaten op basis van doelstelling en hypothese Procesevaluatie Disseminatie van resultaten en lessons learned PROCES End Review door Commissie Projectbewaking SURF had bij het Nationaal Actieplan e-learning aanvankelijk de ambitie om effecten op langere termijn te meten. Maar instellingen liepen tegen heel praktische grenzen op. De waren gericht op doorontwikkeling en implementatie, op zichzelf al weerbarstige trajecten, waar ze maar beperkte tijd voor hadden. Het bleek lastig te om daarnaast ook invulling te geven aan effectmeting, En bovendien: echte effecten worden pas zichtbaar als de implementatie is afgerond, en er dankzij de ICT interventie een nieuwe situatie is ontstaan. In het onderwijs is een cyclus van een jaar vaak een goede periode om te onderzoeken of rendementen gestegen zijn. Vaak bleek het niet mogelijk deze cyclus in de projectperiode te passen. Daarom neemt SURF het meten van effecten op lange termijn niet meer op in de criteria voor het uitvoeren van project. Figuur 4: Een project vormt vaak een eerste stap in een veranderingsproces. Effecten op langere termijn Een project vormt vaak een eerste stap in een veranderingsproces. De echte effecten van die verandering zijn meestal pas op langere termijn zichtbaar. Het kan dan bijvoorbeeld gaan om kwaliteitaspecten als hogere studenttevredenheid, meer efficiëntie of effectiviteit van het onderwijs. Het meten van effecten op langere termijn valt buiten het bereik van die met subsidie van SURF worden uitgevoerd, die vaak maximaal twee jaar duren. Door de evaluatie vooraf, tijdens en na afloop van het project, zou het voor instellingen wel eenvoudiger moeten zijn om die effecten op termijn te meten. Tenslotte is het juist het inzicht in de effecten van investeringen die relevant zijn voor de instellingen. Idealiter worden evaluaties van geïmplementeerde methoden en technieken opgenomen in de reguliere instellingsevaluaties. Dit gebeurt bij een aantal uit het Nationaal Actieplan e-learning. Een heldere redeneerketen Om invulling te geven aan de drie stadia van evaluatie, en ook aan de effectmeting op lange termijn, kan de redeneerketen een handig hulpmiddel zijn. Redeneerketen Om te beschrijven hoe de interventie helpt om tot de gewenste situatie te komen ontwikkelden Daan Andriessen en Eja Kliphuis van Hogeschool INHOLLAND de redeneerketen. Deze kent vier onderdelen, die, afhankelijk van het soort project, gehanteerd kunnen worden: 1. Beschrijving probleem en context: Wat is het probleem waarvoor de innovatie wordt ontworpen? Hoe zit de opleiding in elkaar en hoe kan de context van de onderwijsinstelling waarin de innovatie wordt toegepast het beste worden beschreven? 2. Explicitering van de redeneerketen: Waarom lost de interventie (in de vorm van de gekozen ICT-innovatie of methode) het probleem binnen de opleiding op? 3. Beschrijving innovatie: Hoe beschrijf je de innovatie zo dat andere instellingen die eventueel kunnen overnemen? De innovatie moet zo duidelijk en compleet mogelijk worden beschreven, zodat een geïnteresseerde leek er iets aan kan hebben en kan inschatten of het op zijn of haar context van toepassing is. 4. Effectmeting: Welke effecten kan je meten, waarvoor zijn data beschikbaar of te verzamelen? Hoe kan het effect van de interventie het beste worden gemeten? Evaluatie op programma-niveau SURF stimuleert de evaluatie op projectniveau, maar wil ook inzichtelijk maken wat de opbrengst van een programma als geheel is geweest. Daarbij gaat het niet alleen om de resultaten van de verschillende, maar ook om de lessons learned en dwarsverbanden. De evaluatie van een programma zou er daarom in grote lijnen hetzelfde uit moeten zien als de evaluatie van een project. In thematische programma s die SURF momenteel ontwikkelt, vormt de evaluatiemethodiek daarom ook onderdeel van het innovatieprogramma als geheel. Binnen programma s met een thematische insteek is het 63

6 TH & MA 3-11 Deliverables Resultaten om al dan niet op voort te bouwen Informatie over de werking van de interventie kansrijkheid voor doorgroei/ implementatie Informatie over onverwachte resultaten kansrijkheid voor doorgroei/ implementatie Lessons learned Voor vervolg en nieuwe Lessons learned 5: Vergelijkbaarheid blijft lastig Komen tot vergelijkbare evaluaties blijft lastig. Een uniforme wijze van evalueren blijft lastig te realiseren, wat een gevolg is van een steeds terugkerend dilemma: voor het meten van effecten van onderwijsinterventies moeten deze zoveel mogelijk op dezelfde wijze uitgevoerd en gemeten worden, maar de praktijk vraagt vaak verschillen in aanpak. Een serieuze investering in het ontwikkelen voor een format dat resultaten vergelijkbaar maakt is daarbij van belang. SURF stelt alle resultaten beschikbaar voor instellingen kansrijkheid van nieuwe (WTR) kansrijkheid van nieuwe (WTR) Voor vervolg en nieuwe (CP) Figuur 5: De evaluatiemethodiek is onderdeel van het innovatieprogramma als geheel zinvol om de resultaten van de verschillende binnen het programma onderling te kunnen vergelijken, om vast te stellen welke interventies wel en welke niet werken en onder welke omstandigheden. Het programma Studiekeuzegesprekken, wat werkt? is zo n programma. Het is erop gericht om inzicht te krijgen in wat succesvolle manieren zijn om studiekeuzegesprekken in te richten en in te zetten in het studiekeuzeproces. Om daar een uitspraak over te kunnen doen, werd een format ontwikkeld, zodat de resultaten van de verschillende vergeleken konden worden. Op die manier wilde het programma een antwoord geven op de vraag wat werkt en wat niet. Dat is gedeeltelijk gelukt. In de praktijk bleek dat vergelijkbaarheid toch lastig was, simpelweg omdat de omstandigheden binnen verschillende instellingen weer sterk verschillen. De uitkomsten van een aantal kon echter wel ten opzichte van elkaar worden vergeleken in een cross-case analyse. Zo bood het programma toch enig inzicht in de verschillende uitwerkingen van studiekeuzegesprekken en hun effect op verschillende variabelen. Samenvattend Om inzicht te krijgen in de kansrijkheid van experimenten met ICT in het onderwijs, is evaluatie van groot belang. Er zijn drie stadia van evaluatie te onderscheiden; voor, tijdens en na een project. Daarnaast zijn er drie niveaus van evaluatie te onderscheiden: op programmaniveau, op projectniveau, en op procesniveau. ICT-innovatie leveren verschillende resultaten op. De resultaten van de evaluatie dienen verschillende doelen. Over SURF In SURF werken de Nederlandse universiteiten, hogescholen en onderzoeksinstellingen samen aan grensverleggende ICT-innovaties. Ze creëren zo de basis om optimaal gebruik te maken van de mogelijkheden van ICT en te excelleren in hun onderwijs en onderzoek. SURF bestaat uit drie organisaties: SURFfoundation, SURFnet en SURFdiensten. Binnen SURF-programma s zijn de resulaten van belang in het langdurige veranderings- en vernieuwingsproces dat de instellingen voor hoger onderwijs uitvoeren. Enerzijds bieden ze inzicht in de kansrijkheid van experimenten om door te groeien, anderzijds bieden ze leerpunten voor de beoordeling en uitvoering van nieuwe. In het laatste deel van dit drieluik gaan we in op factoren die de kansrijkheid bepalen om van een experiment naar daadwerkelijke implementatie te komen. Christien Bok is werkzaam bij de SURFfoundation bok@surf.nl Annette Peet is werkzaam bij de SURFfoundation peet@surf.nl Met dank aan Daan Andriessen van INHOLLAND, Alfons ten Brummelhuis van Kennisnet en Matthijs Leendertse van TNO Bronnen: & 10 jaar onderwijsinnovatie. Evertse, J., februari 2011 Onderwijsvernieuwings, 10 jaar innovatie in de praktijk. SURFfoundation, april 2008 Studiekeuzegesprekken in het hoger onderwijs. Drs. Fred Verbeek, Dr. Marjan Glaudé, Drs. Edith van Eck, september