toetsing en toetsgestuurd LeRen Meer studiesucces en minder werkdruk in het hoger onderwijs met behulp van (digitaal) toetsen SURFfoundation Hojel City Center, gebouw D Graadt van Roggenweg 340 3531 AH Utrecht Postbus 2290 3500 GG UTRECHT T 030 234 66 00 F 030 233 29 60 info@surf.nl www.surffoundation.nl mei 2010 Routeboekje voor het indienen van projectvoorstellen voor de tender 2010
inhoudsopgave VooRwooRD 1 PRoGRAmmA ToETSinG En ToETSGESTUURD LEREn 2 pijler 1 Het verminderen van studie-uitval en werkdruk in het hoger onderwijs 4 pijler 2 Expertisenetwerk kwaliteit van (digitaal) toetsen 8 pijler 3 nationale technische infrastructuur 10 ALGEmEnE VooRwAARDEn En PRoCEDURE 12 PLAnninG 14 pijler 1 Format Projectvoorstel 16 pijler 2 Format Projectvoorstel 20
Voorwoord Het programma Toetsen en Toetsgestuurd Leren geeft een belangrijke impuls aan de mogelijkheden die digitaal toetsen biedt. In het programma pakken onderwijsinstellingen twee maatschappelijke problemen aan: studie-uitval van studenten en werkdruk van docenten. Daarnaast geeft het programma een impuls aan de kwaliteitszorg en de kwaliteit van toetsing in het onderwijs door kennis over toetsen en bijspijkeren te bundelen. Onderwijsinstellingen worden uitgenodigd om in samenwerkingsverbanden projectvoorstellen in te dienen op het gebied van toetsing en bijspijkeren. Het programma richt zich op initiatieven die gebaseerd zijn op bestaande instellingsoverstijgende samenwerkingsverbanden. Projecten kunnen ook in samenwerking met instellingen voor voortgezet en/of middelbaar beroepsonderwijs worden uitgevoerd. Wij zijn ervan overtuigd dat onderwijsinstellingen met behulp van dit programma een belangrijke impuls kunnen geven aan de mogelijkheden die digitaal toetsen en toetsgestuurd leren kunnen bieden. Wij hopen daarom op vernieuwende en kansrijke projectvoorstellen. Amandus Lundqvist Voorzitter Algemeen Bestuur Stichting SURF Ineke van Oldeniel Voorzitter Platformbestuur ICT en Onderwijs 1
Toetsing en Toetsgestuurd Leren Het programma Toetsing en Toetsgestuurd Leren wil door middel van de ontwikkeling en implementatie van digitale toetsen de uitval onder studenten in het hoger onderwijs verminderen, de werkdruk van docenten verlagen en een bijdrage leveren aan de verbetering van de kwaliteit van toetsing in het onderwijs. Door middel van projectsubsidies kunnen instellingen voor hoger onderwijs gezamenlijk ICT-oplossingen ontwikkelen die voortbouwen op good practices, om de aansluiting en de voortgang in het hoger onderwijs met behulp van digitale toetsen en digitaal bijspijkermateriaal te verbeteren. In een landelijk expertisenetwerk wordt kennis over de kwaliteit van toetsen ontwikkeld, gebundeld en ontsloten. Een nationale technische infrastructuur die in het programma wordt ingericht bundelt succesvolle nationale initiatieven op het gebied van toetsing en bijspijkeren. Instellingen voor hoger onderwijs hebben de laatste jaren veel ervaring opgedaan met (digitaal) toetsen. Het programma Toetsing en Toetsgestuurd Leren biedt nu nog losstaande diensten en producten een centrale plek door een technische infrastructuur met een centrale beheersorganisatie in te richten. Door succesvolle samenwerkingsprojecten te bundelen geeft het programma een impuls aan de kwaliteit van toetsen. Het programma biedt ruimte aan initiatieven van onderwijsinstellingen die met behulp van digitale toetsen en online bijspijkermateriaal de uitval van studenten verminderen en/of de werkdruk van docenten terugdringen. Vanuit het expertisenetwerk dat het programma faciliteert leveren experts uit het onderwijsveld praktische handreikingen op, ondersteund door onderzoeksresultaten, die bijdragen aan het verbeteren van de kwaliteitzorg en de kwaliteit van toetsing in het onderwijs. Een professionaliseringstraject voor docenten, docentopleiders, opleidingsdirecteuren en examencommissies maakt daar onderdeel van uit. De oplevering van een technische infrastructuur, de inrichting van een ontwikkel- en beheerorganisatie en de gezamenlijke inkoop van applicaties 1 borgen de continuïteit van bestaande toetsprojecten. Pijler 1 Het verminderen van studie-uitval en werkdruk in het hoger onderwijs Binnen de eerste pijler kunnen onderwijsinstellingen in samenwerking projecten uitvoeren die gericht zijn op het verminderen van de studieuitval in het hoger onderwijs en/of het verminderen van de werkdruk van docenten, met behulp van de inzet van digitaal toetsen. Op pagina 16 zijn de criteria voor het indienen van projectvoorstellen binnen pijler 1 beschreven. Pijler 2 Expertisenetwerk kwaliteit van toetsen Binnen de tweede pijler worden kennis en expertise op het gebied van kwaliteitszorg en de kwaliteit van toetsing in het onderwijs gebundeld en ontsloten in een expertisenetwerk. Binnen het expertisenetwerk wordt gebruikgemaakt van de resultaten en ervaringen van de projecten die binnen pijler 1 worden uitgevoerd. Op pagina 20 zijn de criteria voor het indienen van projectvoorstellen binnen pijler 2 beschreven. Pijler 3 technische beheer- en infrastructuur Binnen de derde pijler wordt een technische infrastructuur ingericht met een bijbehorende ontwikkel- en beheerorganisatie, die de continuïteit van de projecten borgt. De technische infrastructuur wordt vormgegeven op basis van de wensen van de projecten die binnen pijler 1 worden uitgevoerd. Alle projecten die binnen pijler 1 en 2 worden uitgevoerd, leveren daarom ook een bijdrage aan de activiteiten binnen de technische infrastructuur. blz 4 blz 8 blz 10 De activiteiten in het programma worden uitgevoerd binnen drie pijlers, die onlosmakelijk met elkaar verbonden zijn. 2 3 2 3
Pijler 1 pijler Het verminderen van studie-uitval en werkdruk in het hoger onderwijs 1 Binnen pijler 1 kunnen onderwijsinstellingen in samenwerkingsverbanden projectvoorstellen indienen die met behulp van digitale (voortgangs)toetsen en/of online studie- en bijspijkermateriaal een bijdrage leveren aan: Het verminderen van de studie-uitval in het hoger onderwijs en/of Het verlagen van de werkdruk van docenten in het onderwijs. Voor 2010 is een subsidiebedrag van 2.000.000 beschikbaar. In 2011 wordt een tweede tender voor pijler 1 uitgeschreven, ook met een budget van 2.000.000. Projecten die binnen pijler 1 worden uitgevoerd hebben een looptijd van maximaal twee jaar en starten uiterlijk 1 maart 2011. Elk project ontvangt maximaal 400.000 subsidie, op voorwaarde dat er matching van minimaal 30% plaatsvindt. Projecten die voortbouwen op al behaalde resultaten van instellingsoverstijgende initiatieven op het gebied van toetsing en bijspijkeren, komen voor subsidie in aanmerking. Projectvoorstellen die zich richten op aansluitingsproblemen die studenten ondervinden in de overgang naar een ander onderwijsniveau, moeten altijd in samenwerking met het toeleverende en het ontvangende onderwijsveld worden uitgevoerd. Projecten kunnen ook met de arbeidsmarkt worden uitgevoerd. Binnen het programma Toetsing en Toetsgestuurd Leren staat kennisuitwisseling centraal. De ervaringen vanuit de projecten kunnen een plek krijgen in het expertisenetwerk (pijler 2) en vice versa. De projecten die binnen pijler 1 worden uitgevoerd, zijn leidend bij het formuleren van de specificaties van de technische infrastructuur (pijler 3). Van uitvoerders van projecten in pijler 1 wordt daarom verwacht dat zij ten minste tien dagen per jaar reserveren voor kennisuitwisseling en samenwerking met projecten uit pijler 2 en 3. Hiertoe organiseert SURFfoundation regelmatig programmabijeenkomsten voor projectleiders. Deelname aan het programma Toetsing en Toetsgestuurd Leren betekent dat projecten zich committeren aan de verwachte bijdragen aan programma-activiteiten. Studie-uitval Studie-uitval vormt een substantieel probleem in het hoger onderwijs. In het eerste studiejaar in het hoger onderwijs staakt ongeveer 10% van de studenten hun studie. Voor een op de tien studiestakers in het hoger onderwijs is een moeizame overgang vanuit de vooropleiding naar de vervolgstudie de belangrijkste oorzaak. Studenten ondervinden aansluitingsproblemen omdat de toelatingseisen van opleidingen niet altijd naadloos aansluiten op de eindtermen van de vooropleiding: excellente studenten hebben meer uitdaging nodig, terwijl studenten met een kennisachterstand behoefte hebben aan meer ondersteuning. De meeste aansluit problemen doen zich voor op het gebied van wiskunde, statistiek, Nederlandse en Engelse taalvaardigheid. Uitval na het eerste studiejaar wordt voor een groot deel veroorzaakt door studieachterstanden die, als ze te laat gesignaleerd worden, nauwelijks nog in te halen zijn. Digitale toetsen bieden flexibiliteit en de mogelijkheid om studenten beter en sneller inzicht te geven in wat zij kunnen, welk niveau van hen wordt verwacht en op welke punten bijspijkeren of het opfrissen van kennis nodig is. Zo kunnen studenten op basis van toetsuitslagen effectief worden doorverwezen naar (online) studiemateriaal, al dan niet ingebed in (zomer)cursussen. Deze oplossingen kunnen studenten helpen bij aansluitingsproblemen die zij ondervinden tussen verschillende onderwijsniveaus, en kunnen excellente studenten extra uitdagingen bieden. Docenten kunnen met behulp van digitale toetsing beter en sneller het niveau van studenten vaststellen. Het stelt ze in staat hun studenten heel gericht aanvullend onderwijsmateriaal aan te bieden, zodat studenten hun kennisachterstanden zelfstandig of begeleid kunnen overbruggen. Dit kan studie-uitval en studievertraging verminderen. Ook na het eerste jaar is het hebben van een goed zicht op de voortgang van de individuele studenten van belang. Voortgangstoetsen kunnen daarbij behulpzaam zijn. Voortgangstoetsen geven zowel de student als de docent inzicht in de persoonlijke kennisontwikkeling van de individuele student. Instellingen kunnen daarnaast de voortgang van cohorten vaststellen, en de positie van een individuele student binnen het cohort vaststellen en beoordelen. Voortgangstoetsen bieden instellingen ook een benchmark voor de toetsing van hun onderwijskwaliteit, zeker als dezelfde voortgangstoets binnen verschillende instellingen wordt afgenomen. Het programma Toetsing en Toetsgestuurd Leren wil een bijdrage leveren aan het verminderen van de studie-uitval van studenten in het hoger onderwijs, bijvoorbeeld door: het verbeteren van de aansluiting van het voortgezet en middelbaar beroeps onderwijs op het hoger onderwijs, door gezamenlijk diagnostische toetsen en bijspijker- en opfrismateriaal te ontwikkelen; het verbeteren van de studievoortgang van studenten door het inzetten van voortgangstoetsen; het verbeteren van de aansluiting van het hoger onderwijs naar het werkveld, door gezamenlijk toetsbanken te ontwikkelen die bijvoorbeeld kunnen worden ingezet voor een betere voorbereiding op stages. 4 5
Pijler 1..Het meeste heil mag worden verwacht van projecten en initiatieven waarbij in reactie op actuele omstandigheden bottom-up samenwerking bij de programmering van het onderwijs wordt gezocht door diverse instellingen, ten einde kennisdiscrepanties te voorkomen dan wel weg te werken. We noemen hier naast Webspijkeren 2 de Nationale Kennisbank Basisvaardigheden Wiskunde als project van het Nationaal Actieplan e-learning, waarvan de VSNU, de HBO-raad, het ministerie van OCW en SURFfoundation initiatiefnemers zijn, en het project MathMatch. Facilitering vindt plaats in de vorm van overkoepelende stimuleringsprogramma s, maar instellingen moeten zelf het initiatief nemen, samenwerking zoeken en projecten definiëren. Onderwijsraad, Referentieniveaus en aanvang hoger onderwijs Werkdruk De werkdruk van docenten in het hoger onderwijs is hoog. Ruim 10% van het takenpakket van docenten bestaat uit het maken en het nakijken van de toetsen, het geven van feedback en het doorverwijzen naar aanvullend studiemateriaal. Met de invoering van de bachelor-masterstructuur is het aantal toetsmomenten alleen maar toegenomen. Met steeds meer toetsmomenten ontstaat de urgentie om het maken van toetsen en het nakijken ervan efficiënter te organiseren. Daarnaast zien docenten zich geconfronteerd met een steeds heterogenere studentenpopulatie: (internationale) studenten met de meest uiteenlopende vooropleidingen en achtergronden beschikken over zeer verschillende voorkennis als zij starten met hun opleiding. Docenten moeten daarom veel extra tijd investeren om ervoor te zorgen dat studenten het juiste startniveau voor hun cursus hebben. Met behulp van ICT is tijdswinst te behalen waar het gaat om het ontwikkelen, afnemen en nakijken van toetsen. Dat kan gaan om het - over instellingsgrenzen heen - ontwikkelen van toetsbanken, het automatisch nakijken van digitale toetsen, en het op maat aanbieden van bijspijkermateriaal. Aan de hand van automatisch gegenereerde feedback kunnen studenten geconstateerde kennisachterstanden zelfstandig inhalen met behulp van digitaal onderwijsmateriaal. Het programma Toetsing en Toetsgestuurd Leren wil een bijdrage leveren aan het verminderen van de werkdruk van docenten, bijvoorbeeld door: het verminderen van de ontwikkeltijd van toetsen door in samenwerkingsverbanden van docenten van verschillende instellingen digitale toetsbanken te ontwikkelen; het verminderen van de nakijktijd van toetsen door de inzet van digitale toetsen, zodat resultaten geautomatiseerd gecontroleerd kunnen worden; het verminderen van de investering in het bijspijkeren van studenten die over onvoldoende voorkennis beschikken om een cursus met succes af te ronden, door bijspijkermateriaal van goede kwaliteit on-line beschikbaar te stellen zodat studenten hun kennis zelfstandig kunnen bijspijkeren; het aanbieden van expertise en professionalisering op het gebied van toetsing voor docenten, en het ondersteunen van het gezamenlijk ontwikkelen van toetsbanken; het aanbieden van technische ondersteuning en deskundigheids bevordering van docenten die gebruikmaken van software die de eigen instelling niet ondersteunt. 6 7
Pijler 2 pijler 2 Expertisenetwerk kwaliteit van (digitaal) toetsen Het programma Toetsing en Toetsgestuurd Leren zet een nationaal expertisenetwerk op waarin kennis over toetsen ontwikkeld, gebundeld en ontsloten wordt. In het expertisenetwerk kunnen toetsdeskundigen en onderzoekers uit het voortgezet en hoger onderwijs praktijkonderzoek uitvoeren naar aspecten die de kwaliteit van toetsing in het onderwijs kunnen verbeteren. Hiermee levert het programma een bijdrage aan het verbeteren van de kwaliteitszorg en de kwaliteit van (digitaal) toetsen in het onderwijs. Daarnaast worden vanuit het netwerk professionaliseringstrajecten voor (toets) ontwikkelaars en docenten aangeboden, en wordt advies gegeven over landelijke (disciplinegerichte) samenwerking op het gebied van toetsbanken, voortgangstoetsen en flexibel onderwijsmateriaal. Instellingen kunnen projectvoorstellen indienen voor het uitvoeren van de onderzoeksprojecten. Praktijkonderzoek Via praktijkonderzoek ontwikkelt het expertisenetwerk kennis en inzicht die bijdragen aan de verbetering van de kwaliteit van toetsen binnen het onderwijs. Het praktijkonderzoek is gericht op het verkrijgen van inzicht in de opbrengsten van het gebruik van digitale toetsen en de randvoorwaarden waaronder deze opbrengsten kunnen worden gerealiseerd. De uitkomsten van het praktijkonderzoek staan ten dienste van de kennisontwikkeling van professionals die in het onderwijs werkzaam zijn. Inzicht in de (on) mogelijkheden van digitaal toetsen maakt helder onder welke condities digitaal toetsen wel of niet effectief is. Deze kennis stelt professionals in staat gefundeerde keuzes te maken en geeft inzicht in de mate waarin en de manier waarop digitaal toetsen kan bijdragen aan het verbeteren van de kwaliteit van het onderwijs. De link naar de praktijk in het onderzoek wordt ook gelegd door intensieve kennisuitwisseling met de projecten die binnen pijler 1 worden uitgevoerd. Voor de onderzoeksprojecten die binnen het expertisenetwerk worden uitgevoerd is een subsidiebedrag van 720.000 beschikbaar. De projecten hebben een looptijd van maximaal drie jaar en starten uiterlijk in maart 2011. Elk project ontvangt maximaal 120.000 subsidie, op voorwaarde dat er een matching van minimaal 30% plaatsvindt. Het praktijkonderzoek binnen het expertisenetwerk levert een bijdrage aan de kwaliteit van digitaal toetsen door onderzoek te doen naar bijvoorbeeld: effecten van digitaal toetsen en toetsgestuurd leren op vermindering van studie-uitval en werkdruk van docenten; optimaliseren van het kwaliteitszorgproces rondom (digitale) toetsen en (landelijke) toetsbanken; optimaliseren van automatisch gegenereerde effectieve feedback; benchmarking en longitudinaal onderzoek; de huidige kwaliteitsborging van toetsing in het hoger onderwijs, gericht op het formuleren van maatregelen ter verbetering; identificeren van toetsitems die niet betrouwbaar en/of niet valide zijn. De resultaten van het praktijkonderzoek worden via het expertisenetwerk ontsloten voor een brede doelgroep. Het doel is good practices beschikbaar te stellen, bijvoorbeeld in de vorm van protocollen/ procedures voor digitaal toetsen, en een professionaliseringsprogramma rond (digitaal) toetsen te ontwikkelen. Goed onderwijs is één ding, maar het toetsen van goed onderwijs is een vak apart. De afgelopen jaren gaat er steeds meer aandacht uit naar toetsing. Niet alleen bij de accreditatie van opleidingen heeft toetsing en examinering een meer prominente plaats gekregen, ook de Inspectie voor het Onderwijs heeft twee studies gewijd aan toetsing en veel universiteiten en hogescholen zijn zelf aan de slag gegaan met toetsing. Toch is dit niet genoeg voor het ISO; nog te vaak krijgen wij klachten over toetsing, en iedere student kent wel een vak waarvan het tentamen niet veel voorstelt. Toetsing; een vak apart, ISO, juni 2009 Instellingen van het voortgezet tot het hoger onderwijs kunnen projectvoorstellen indienen voor praktijkonderzoek rond het verbeteren van de kwaliteit van (digitaal) toetsen. Instellingen en/of personen die beschikken over specialistische kennis kunnen voor het project samenwerkingsverbanden aangaan, maar samenwerking is voor projecten binnen pijler 2 geen noodzakelijke voorwaarde. Behalve praktijkonderzoek staan ook kennisuitwisseling, advies en training op het gebied van toetsing en toetsgestuurd leren centraal binnen het expertisenetwerk. Van uitvoerders van projecten van pijler 2 wordt daarom verwacht dat zij ten minste tien dagen per jaar reserveren voor kennisuitwisseling en samenwerking met projecten uit pijler 1 en 2. Hiertoe organiseert SURFfoundation regelmatig programmabijeenkomsten voor projectleiders. Deelname aan het programma Toetsing en Toetsgestuurd Leren betekent dat projecten zich committeren aan de verwachte bijdragen aan programmaactiviteiten. 8 9
Pijler 3 Nationale technische infrastructuur pijler 3 Er is de laatste jaren veel ervaring opgedaan met (digitale) diagnostische toetsen, het flexibel aanbieden van bijspijker- en opfrisonderwijs en het aanbieden van voortgangstoetsen. Door samenwerking tussen instellingen wordt grote winst geboekt, in termen van kostenbesparing en kwaliteit. Tegelijkertijd lopen deze consortia van instellingen tegen organisatorische problemen aan en vergt het slim inzetten en beheren van ICT op dit terrein specialistische kennis. Succesvolle instrumenten en samenwerkingsverbanden dreigen daarom door organisatorische problemen te stranden. Toetsen zijn een integraal onderdeel van het geven van onderwijs. Er zou daarom ook net zoveel aandacht naar het opstellen van goede toetsen moeten gaan als naar het geven van goed onderwijs. Toetsing; een vak apart, ISO, juni 2009 Centraal beheer Het programma Toetsing en Toetsend Leren biedt een nationale technische infrastructuur en een centrale beheerorganisatie die nu nog los van elkaar ontwikkelde diensten en producten rond toetsing en bijspijkeren bundelt op een centrale plek. Al beschikbaar en nieuw te ontwikkelen materiaal kan via die infrastructuur centraal worden ontsloten. De gewenste specificaties voor de infrastructuur worden geformuleerd in nauwe samenspraak met projecten die van de infrastructuur gebruik willen gaan maken. De projecten die binnen pijler 1 worden uitgevoerd, zijn leidend bij het formuleren van de specificaties. Door succesvolle initiatieven onder te brengen in een nationale technische infrastructuur, waarin beheer, onderhoud en ontwikkeling centraal worden geregeld, wordt continuïteit van succesvolle diensten en producten gefaciliteerd. Door deze bundeling en opschaling kunnen bovendien veel kosten worden bespaard. Binnen pijler 3 coördineert SURFfoundation de opzet van een technische infrastructuur, die bestaat uit een sectoroverstijgende generieke basisinfrastructuur (servers en netwerken). De infrastructuur biedt een stabiele omgeving aan voor toetsapplicaties, maar schrijft niet voor welke applicaties dat dienen te zijn. Hoewel er geen verplichting is, levert het wel schaalvoordelen op om gebruik te maken van dezelfde applicaties. Door bundeling en opschaling wordt het mogelijk om voor specifieke applicaties centraal expertise beschikbaar te stellen, waar dat voor afzonderlijke instellingen nauwelijks mogelijk is. Het delen van dezelfde applicatie levert ook een kostenbesparing op en is daarmee een extra stimulans voor onderwijsinstellingen om zich aan te sluiten. Het is de verwachting dat het aantal verschillende applicaties waarvan instellingen gebruik willen maken beperkt zal zijn. De technische infrastructuur biedt ruimte aan projecten ongeacht de fase waarin zij zich bevinden. Een project dat zich nog in een innovatiefase bevindt kan op een eenvoudige wijze gebruikmaken van de beschikbare basis infrastructuur en zelfs van applicaties die al zijn aangesloten op de basis infrastructuur. Zodoende kunnen de projecten zich meer richten op het toetsen zelf in plaats van de onderliggende techniek. De projecten uit pijler 1 dragen bij aan het inrichten van de technische infrastructuur. Om te komen tot de specificaties van de technische infrastructuur en de implementatie van hun diensten, investeren zij een deel van hun projectbudget in pijler 3. De activiteiten binnen pijler 3 worden gecoördineerd door de projectcoördinator die is aangesteld bij SURFfoundation. 10 11
Algemene voorwaarden en procedure Voorwaarden projectvoorstel 1. Projectvoorstellen kunnen worden ingediend door instellingen voor hoger onderwijs. Projecten binnen pijler 1 worden uitgevoerd door tenminste drie instellingen, waarvan tenminste twee instellingen voor hoger onderwijs. Instellingen voor voortgezet en middelbaar beroepsonderwijs kunnen ook participeren in de projecten. 2. Projectvoorstellen dienen volgens het format projectvoorstel te worden ingediend (zie pagina 16 t/m 23). 3. Projectvoorstellen dienen te voldoen aan de algemene voorwaarden en dienen tijdig te worden ingediend, uiterlijk 15 september 2010, 16.00 uur, per post en per mail. Het voorstel gaat vergezeld van de checklist, die te vinden is op www.surffoundation.nl/toetsen. Procedure voorbereiding projectaanvraag De besluitvorming voor subsidiëring van projecten wordt gebaseerd op basis van uitgewerkte projectvoorstellen. SURFfoundation begeleidt indieners van projecten die daar prijs op stellen bij het opstellen van hun projectaanvraag. SURFfoundation organiseert informatiebijeenkomsten waarin de tender, de procedure en de criteria worden toegelicht. 1. Er vinden twee informatiebijeenkomsten plaats voor belangstellenden voor het programma Toetsing en Toetsgestuurd Leren. Tijdens deze bijeenkomsten is er gelegenheid om ideeën verder uit te werken en samenwerking te zoeken met andere partijen. a. 25 mei 2010, 10.00 uur tot 13.00 uur, SURFfoundation, Utrecht b. 10 juni 2010, 12.00 uur tot 16.00 uur, Hogeschool Domstad, Utrecht 2. Projectindieners kunnen vanaf 10 mei 2010 een beroep doen op het programmamanagement van het programma Toetsing en Toetsgestuurd Leren voor advisering bij het opstellen van hun projectvoorstellen via bok@surf.nl, of 030-2346658. Procedure indiening 1. Het projectvoorstel kan worden ingediend tot woensdag 15 september 2010 16.00 uur. Het projectvoorstel moet digitaal en per post worden ingediend ter attentie van Christien Bok, Platform ICT en Onderwijs SURFfoundation, Postbus 2290, 3500 GG Utrecht, en per mail via info@surf.nl. Het projectvoorstel dient tijdig te zijn ingediend door de universiteit of hogeschool die als penvoerende instelling zal optreden, en ondertekend te zijn door het College van Bestuur van de penvoerende instelling. Het projectvoorstel dient vergezeld te gaan van alle originele letters of intent van de Colleges van Bestuur van alle projectpartners. Een voorbeeld van een letter of intent is te vinden op www.surffoundation.nl/toetsen. Procedure beoordeling en subsidiebesluit 1. SURF legt het projectvoorstel voor aan de Wetenschappelijk Technische Raad (WTR, www.surffoundation.nl/wtr) van Stichting SURF, met het verzoek het voorstel inhoudelijk te beoordelen en het Platformbestuur ICT en Onderwijs te adviseren. De beoordelingscommissie bestaat behalve uit leden van de WTR ook uit externe deskundigen. 2. De WTR nodigt de indieners van projectvoorstellen uit voor een toelichtend gesprek. De gesprekken vinden plaats tussen 4 en 7 oktober 2010. 3. Projectindieners ontvangen uiterlijk 1 november 2010 het conceptadvies van de WTR, en worden in de gelegenheid gesteld om het conceptadvies op feitelijke onjuistheden en omissies te controleren voordat dit advies aan het Platformbestuur wordt voorgelegd. Een reactie kan tot 2 november 2010 16.00 uur worden ingediend via info@surf.nl. 4. Projectindieners kunnen naar aanleiding van het advies van de WTR een reactie van maximaal 500 woorden voorleggen aan de WTR, uiterlijk 2 november 2010 16.00 uur. 5. Het Platformbestuur ICT en Onderwijs besluit eind november 2010 welke projecten in aanmerking komen voor subsidie. Het Platformbestuur ICT en Onderwijs baseert zich bij zijn besluit op het advies van de WTR. 6. Na afloop van de beoordelingsprocedure kunnen projectindieners de procedure evalueren met de secretaris van de WTR en/of het programmamanagement. Opvragen en uitbetaling subsidie 1. De penvoerder legt uiterlijk een maand na afloop van elk kalenderkwartaal een voortgangsrapportage met een financiële verantwoording voor aan de Commissie Projectbewaking van SURF. Na goedkeuring wordt subsidie betaalbaar gesteld aan de penvoerder, op basis van de daadwerkelijk gemaakte kosten in het betreffende kwartaal. De penvoerder en deelnemende instellingen financieren dus altijd de gemaakte kosten voor. De penvoerder is verantwoordelijk voor onderlinge verrekening van betaalbaar gestelde subsidie. 2. SURF stelt in afwachting van de accountantsverklaring maximaal 80% van de toegekende subsidie betaalbaar. De eindafrekening vindt plaats nadat SURF de accountantsverklaring van de penvoerder heeft ontvangen en goedgekeurd. 12 13
Uitvoering van de projecten 1. De projectindiener werkt het goedgekeurde projectvoorstel uit tot een definitief Controlling Document. De projectleider wordt hierbij geadviseerd door het programmamanagement. Het definitieve Controlling Document kan tot uiterlijk 1 februari 2011 bij SURFfoundation worden ingediend. SURFfoundation beslist uiterlijk op 15 februari 2011 over goedkeuring van het Controlling Document. Na goedkeuring van het Controlling Document kan het project starten. Projecten starten uiterlijk 1 maart 2011. 2. De relatie tussen Stichting SURF en de uitvoerende instellingen wordt geformaliseerd in de subsidievoorwaarden. De subsidievoorwaarden worden door Stichting SURF en de penvoerende instellingen ondertekend. De standaard subsidievoorwaarden zijn via www.surffoundation.nl/toetsen te raadplegen. 3. De bewaking van de voortgang van het project heeft Stichting SURF belegd bij de Commissie Projectbewaking (CP, www.surffoundation.nl/cp). 4. De penvoerder verplicht zich de Commissie Projectbewaking te voorzien van de door deze commissie gevraagde informatie, binnen de door hen gestelde termijnen. 5. Met deelname aan het programma Toetsing en Toetsgestuurd Leren committeert de penvoerder zich tot deelname aan programma-activiteiten. planning Datum Formele deadlines Begeleidingstraject Uitvoering 10 mei 2010 Opening call for tender Programma Toetsing en Toetsgestuurd Leren advisering door programmamanagement Call beschikbaar via www.surffoundation.nl/toetsen 25 mei 2010 Informatiebijeenkomst SURFfoundation, Utrecht 10 juni 2010 Informatiebijeenkomst Hogeschool Domstad, Utrecht Aanmelden via www.surffoundation.nl/bijeenkomsten Aanmelden via www.surffoundation.nl/bijeenkomsten 15 september 16.00 uur Deadline indienen projectvoorstellen Indienen per post t.a.v. Christien Bok, SURFfoundation, Postbus 2290, 3500 GG Utrecht, en per mail via info@surf.nl 16 september 2010 Voorleggen ontvankelijke projectvoorstellen aan de WTR door SURFfoundation 4-7 oktober 2010 Gesprekken projectindieners met Wetenschappelijk Technische Raad 1 november 2010 Conceptadvies Wetenschappelijk Technische Raad naar indieners Projectindieners ontvangen een uitnodiging voor het gesprek tegelijk met de ontvangstbevestiging van het projectvoorstel Projectindieners ontvangen het conceptadvies per mail 2 november 2010 16.00 uur Eind november 2010 december 2010 1 december 2010 1 februari 2011 Reactie op conceptadvies van indieners naar Wetenschappelijk Technische Raad Besluit subsidiëring door Platformbestuur ICT en Onderwijs informatievoorziening projectleiders gesubsidieerde projecten Het programmamanagement begeleidt projectleiders bij het opstellen van het definitieve Controlling Document Projectindieners sturen een reactie op het conceptadvies per mail naar info@surf.nl Het programmamanagement deelt het subsidiebesluit telefonisch mee aan de projectindieners Startbijeenkomst projectleiders gesubsidieerde projecten Het programmamanagement beoordeelt de ingediende Controlling Documents 1 februari 2011 Deadline indienen definitief Controlling Document Het programmamanagement stelt de ingediende Controlling Documents definitief vast uiterlijk 1 maart 2011 Start van gesubsidieerde projecten Startbijeenkomst nieuwe projecten 14 15
Pijler 1 Format Projectvoorstel Pijler 1 Op www.surffoundation.nl/toetsen staat een checklist met de eisen waaraan het projectvoorstel moet voldoen. 1. Voorblad Op het voorblad staan gegevens over penvoerder, deelnemende instellingen en projectinformatie. Het format voor het voorblad dat gebruikt moet worden is te downloaden op www.surffoundation.nl/toetsen. 2. Samenvatting Beschrijf in maximaal 150 woorden: de probleemanalyse en doelstellingen die ten grondslag liggen aan het project; het beoogde projectresultaat; de beoogde aanpak. 3. Onderbouwing en beoogd resultaat a. Probleemstelling of ambitie en analyse Beschrijf het probleem of de ambitie die ten grondslag ligt aan het project voorstel en de relevantie daarvan in relatie tot één of beide thema s van het programma Toetsing en Toetsgestuurd Leren. Maak een diagnose van het probleem: waardoor wordt het veroorzaakt, welke actoren en onderwijsniveaus zijn betrokken bij het probleem, en welke pogingen zijn al gedaan om het probleem op te lossen? b. Projectdoelstellingen en ambitieniveau Beschrijf de doelstellingen van het project, wat is de gewenste toestand die het project gaat opleveren? Beargumenteer hoe het project bijdraagt aan het realiseren van de ambities van het programma Toetsing en Toetsgestuurd Leren: verminderen van de studie-uitval en/of werkdruk van docenten. Formuleer het ambitieniveau in meetbare resultaten. c. Beoogd resultaat en afbakening Beschrijf de interventie die u gaat plegen om de doelstellingen van het project te realiseren. Onderbouw waarom de gekozen interventie volgens u leidt tot de gewenste uitkomsten van het project. Beschrijf de deliverables van het project, de concrete resultaten die u in het project gaat opleveren. Beschrijf de afbakening van de activiteiten: wat wordt in het project wel en wat niet aangepakt. Maak op basis van een quick scan helder hoe het project zich verhoudt tot andere initiatieven die zich op dezelfde problematiek richten. Beschrijf welke methoden, technieken en/of instrumenten worden ingezet om het projectdoel te realiseren. Alleen projecten die voortbouwen op bewezen technieken komen voor subsidie in aanmerking. Onderbouw daarom het bewezen succes van de gebruikte technieken, methoden en/of instrumenten, liefst in de context van het project. Beargumenteer waarom de betrokken actoren bereid zouden zijn om met deze technieken, methoden en/of instrumenten te werken. d. Doelgroep en belanghebbenden Beschrijf op welke doelgroepen het projectvoorstel zich richt, en welk belang deze en mogelijk andere doelgroepen (kunnen) hebben bij de resultaten van het project. Geef aan wat de omvang van de beoogde doelgroep is in termen van beoogde impact tijdens de projectperiode en na afloop daarvan. Bij de beoordeling van de projectvoorstellen spelen de omvang van de beoogde doelgroep en de effecten voor deze doelgroep een rol, omdat het programma Toetsing en Toetsgestuurd Leren streeft naar nationale impact. 4. Plan van aanpak a. Activiteitenplan Beschrijf de concrete deelresultaten en activiteiten in helder onderscheiden werkpakketten. Wees in de beschrijving van de deelresultaten zo specifiek m1ogelijk, beschrijf ze SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdgebonden). Elk werkpakket bevat per activiteit in ieder geval: beschrijving van de op te leveren concrete deliverables; beschrijving van de kwaliteitscriteria; personele inzet van de deelnemende instellingen. De deliverables komen terug in de planning en de begroting. b. Planning met standlijnenoverzicht Beschrijf de activiteiten binnen het project met start- en einddata. Hanteer bij de fasering zoveel mogelijk (kalender)kwartalen. Beschrijf in een standlijnenoverzicht (zie www.surffoundation.nl/ toetsen voor een voorbeeld) per werkpakket wanneer welke deliverables worden opgeleverd en door wie. Het project heeft een looptijd van maximaal 24 maanden, en start uiterlijk op 1 maart 2011. c. Projectorganisatie Beschrijf hoe de projectorganisatie is ingericht. Beschrijf in elk geval: samenstelling en taakstelling projectmanagement en stuurgroep; persoonsgegevens en korte beschrijving ervaring projectleider van de penvoerende instelling; rollen en verantwoordelijkheden van betrokkenen; rapportagestructuur en besluitvormingsproces. Projecten moeten worden uitgevoerd door ten minste drie instellingen, waarvan ten minste twee instellingen voor hoger onderwijs. 16 17
Pijler 1 Beschrijf de samenstelling van het projectconsortium, de penvoerder en de inbreng van de verschillende partners. Onderbouw hoe het project met de gekozen strategie aansluit bij het instellingsbeleid van de deelnemende instellingen. Projecten die zich richten op het verbeteren van de aansluiting van de verschillende onderwijsniveaus en/of de arbeidsmarkt, dienen altijd in samenwerking met betrokken partijen (voortgezet onderwijs, middelbaar of hoger beroepsonderwijs en/of de arbeidsmarkt) te worden uitgevoerd. d. Projectbegroting Gebruik voor de projectbegroting het format op www.surffoundation.nl/toetsen. Een rekenvoorbeeld voor het aan te vragen subsidiebedrag en de kosten voor projectmanagement, disseminatie is te vinden op www.surffoundation.nl/toetsen. Het project heeft een projectbudget van maximaal 553.633. Subsidietoekenning voor het project vindt plaats op basis van matching: deelnemende instellingen matchen ten minste 30% van het totale projectbudget. Kosten voor projectleiderschap en financieel management van de penvoerende instelling worden 100% vergoed tot maximaal 7,5% van het totale projectbudget. Als deze kosten hoger zijn dan 7,5% van het totale projectbudget vindt er matching plaats volgens het matchingspercentage van 30%. Voor deelname aan programma-activiteiten dienen ten minsten tien dagen per jaar te worden gereserveerd. Deelname aan het programma Toetsing en Toetsgestuurd Leren betekent dat projecten zich committeren aan deze bijdragen aan programmaactiviteiten. Voor alle projectmedewerkers, ook voor ingehuurde externe partijen, wordt een vast uurtarief van 75 inclusief eventuele BTW gehanteerd. Service van derden die niet gebaseerd is op de inzet van uren, kan onderbouwd worden opgenomen in de projectbegroting. Licentiekosten voor de duur van het project kunnen worden opgenomen in de projectbegroting. Aanschaf van hardware wordt alleen gefinancierd als het noodzakelijk is voor de uitvoering van het project en geen onderdeel uitmaakt van de reguliere exploitatie van de deelnemende instellingen. Kosten voor het schrijven van het projectvoorstel worden niet vergoed. Na toekenning van subsidie voor het projectvoorstel kunnen de kosten voor het opstellen van een Controlling Document worden opgenomen in de projectbegroting, met een maximumbedrag van 4.500. SURF subsidieert 70% van deze kosten. te betrekken en het daadwerkelijk gebruik van de resultaten te stimuleren. Ten minste 7,5% van het projectbudget wordt gereserveerd voor disseminatie en kennisoverdracht. f. Evaluatie en kwaliteitsbewaking Beschrijf hoe het project wordt geëvalueerd tijdens de uitvoering en na afronding, en hoe de kwaliteitsbewaking wordt vormgegeven. Sluit bij de evaluatiemomenten zoveel mogelijk aan bij de projectbewaking door de Commissie Projectbewaking, zoals beschreven in de subsidievoorwaarden (zie www.surffoundation.nl/toetsen). g. effectmeting Beschrijf op welke manier u gaat meten of de gewenste effecten worden gerealiseerd en met behulp van welke indicatoren u dat gaat meten. Maak bij het opstellen van het meetprogramma gebruik van de doelstellingen, het ambitieniveau en de interventies zoals die in de onderbouwing van het projectvoorstel zijn geformuleerd. h. Haalbaarheid en risicomanagement Maak aannemelijk dat het project haalbaar is en maak een risicoanalyse met daarin de belangrijkste risicofactoren en hun mogelijke impact op het project. Geef ook aan welke maatregelen het projectmanagement kan nemen om de risico s te voorkomen of te beheersen. i. Duurzaamheid, verankering en exploitatie Beschrijf hoe de resultaten van het project na afloop binnen de deelnemende instellingen verankerd worden. In de subsidievoorwaarden is de voorwaarde opgenomen dat instellingen garant staan voor de exploitatiekosten na afloop van het programma (zie subsidievoorwaarden op www.surffoundation.nl/toetsen). Uiterlijk een maand voor het einde van het project dient een definitief implementatieplan te worden opgeleverd. 5. Letters of intent deelnemende instellingen Het projectvoorstel wordt ingediend door een instelling voor hoger onderwijs, en bevat alle originele letters of intent van alle deelnemende instellingen. Een voorbeeld van een letter of intent is te vinden op www.surffoundation.nl/toetsen. e. Disseminatie en kennisoverdracht Beschrijf welke activiteiten georganiseerd worden voor kennisoverdracht om de uitkomsten en ervaringen met anderen te delen. Beschrijf de beoogde gebruikers van de resultaten en de middelen die worden ingezet om de verschillende gebruikers bij het project 18 19
Pijler 2 Format Projectvoorstel Pijler 2 Op www.surffoundation.nl/toetsen staat een checklist met de eisen waaraan het projectvoorstel moet voldoen. 1. Voorblad Op het voorblad staan gegevens over penvoerder, deelnemende instellingen en projectinformatie. Het format van het voorblad dat gebruikt moet worden is te downloaden op www.surffoundation.nl/ toetsen. 2. Samenvatting Beschrijf in maximaal 150 woorden: het te onderzoeken thema en de doelstellingen; de onderzoeksopzet en het beoogde resultaat; de beoogde aanpak. 3. Doelstellingen Beschrijf de doelstellingen van het onderzoeksproject, en beargumenteer hoe het onderzoek bijdraagt aan het realiseren van de ambities van het expertisenetwerk: het verbeteren van de kwaliteit van (digitaal) toetsen in het hoger onderwijs. Beschrijf op welke manier het onderzoek in theoretisch, methodisch en/of descriptief opzicht van belang is. Onderbouw hoe de resultaten toepasbaar zijn in de onderwijspraktijk, en in hoeverre wordt samengewerkt met professionals uit het onderwijsveld. Beschrijf hoe het onderzoek zich verhoudt tot andere initiatieven die zich op dezelfde problematiek richten. 4. Onderzoeksopzet a. Probleemstelling en probleemanalyse Beschrijf de probleemstelling die ten grondslag ligt aan het projectvoorstel. Wat is er al bekend over het probleem, en wat nog niet? Beschrijf de achtergrond van het probleem: waardoor wordt het veroorzaakt, welke actoren en onderwijsniveaus zijn betrokken bij het probleem, en welke pogingen zijn al gedaan om het probleem op te lossen? b. Onderzoeksdesign Formuleer de onderzoeksvraag en de deelvragen die beantwoord worden. Beschrijf voor welk onderzoeksdesign is gekozen om de onderzoeksvragen te beantwoorden. Onderbouw waarom het design, de instrumenten en selectie doelmatig en geschikt zijn. c. Beoogd resultaat en afbakening Beschrijf het beoogde resultaat van het project en maak helder wat er na afloop van het onderzoek beschikbaar komt. Beschrijf de afbakening van het onderzoek: wat wordt wel en wat niet aangepakt. d. Doelgroep Beschrijf op welke doelgroep het onderzoek zich richt, en welk belang deze en mogelijk andere doelgroepen (kunnen) hebben bij de resultaten van het project. e. Onderzoeker(s) / onderzoeksgroep Onderbouw waarom de onderzoeker(s) / onderzoeksgroep en institutionele omgeving adequaat zijn voor het uitvoeren van het onderzoek. 5. Plan van aanpak a. Activiteitenplan Beschrijf de concrete deelresultaten en activiteiten in helder onderscheiden werkpakketten. Wees in de beschrijving van de deelresultaten zo specifiek mogelijk, beschrijf ze SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdgebonden). Elk werkpakket bevat per activiteit in ieder geval: - beschrijving van de op te leveren concrete deliverables; - beschrijving van de kwaliteitscriteria; - personele inzet van de deelnemende instellingen. De deliverables komen terug in de planning en de begroting. b. Planning met standlijnenoverzicht Beschrijf de activiteiten binnen het project met start- en eind data. Hanteer bij de fasering zoveel mogelijk (kalender)kwartalen. Beschrijf in een standlijnenoverzicht (zie www.surffoundation.nl/ toetsen voor een voorbeeld) per werkpakket wanneer welke deliverables worden opgeleverd en door wie. Het project heeft een looptijd van maximaal 36 maanden, en start uiterlijk op 1 maart 2011. c. Projectorganisatie Beschrijf hoe de projectorganisatie is ingericht. Beschrijf in elk geval: samenstelling en taakstelling projectmanagement; persoonsgegevens en korte beschrijving ervaring projectleider; rollen en verantwoordelijkheden van betrokkenen; rapportagestructuur en besluitvormingsproces. d. Projectbegroting Gebruik voor de projectbegroting het format op www.surffoundation.nl/toetsen. Het projectbudget is gebaseerd op maximaal 120.000 subsidie. Subsidietoekenning voor het project vindt plaats op basis van matching: deelnemende instellingen matchen ten minste 30% van het totale projectbudget. 20 21
Pijler 2 Kosten voor projectleiderschap en financieel management van de penvoerende instelling worden 100% vergoed tot maximaal 7,5% van het totale projectbudget. Als deze kosten hoger zijn dan 7,5% van het totale projectbudget vindt er matching plaats volgens het matchingspercentage van 30%. Een rekenvoorbeeld voor het aan te vragen subsidiebedrag en de kosten voor projectmanagement en disseminatie is te vinden op www.surffoundation.nl/toetsen. Voor alle projectmedewerkers wordt een vast uurtarief van 75 incl. BTW gehanteerd. Kosten voor het schrijven van het projectvoorstel worden niet vergoed. Na subsidiëring van het projectvoorstel worden de kosten voor het opstellen van een Controlling Document vergoed tot maximaal 2.500 op basis van matching. e. Disseminatie en kennisoverdracht Beschrijf welke activiteiten georganiseerd worden voor kennisoverdracht om de uitkomsten en ervaringen met anderen te delen: hoe worden de opgebouwde kennis en good practices gebundeld en ontsloten in het landelijk expertisenetwerk? Beschrijf de beoogde gebruikers van de resultaten en de middelen die worden ingezet om de verschillende gebruikers bij het project te betrekken en het daadwerkelijk gebruik van de resultaten te stimuleren. Ten minste 7,5% van het projectbudget wordt gereserveerd voor disseminatie en kennisoverdracht. Aanvullend worden er ten minste tien dagen per jaar gereserveerd voor de samenwerking en kennisoverdracht binnen het expertisenetwerk en met de projecten die binnen pijler 1 worden uitgevoerd. Deelname aan het programma Toetsing en Toetsgestuurd Leren betekent dat projecten zich committeren aan bijdragen aan programmaactiviteiten. f. Evaluatie en kwaliteitsbewaking Beschrijf hoe het project wordt geëvalueerd tijdens de uitvoering en na afronding, en hoe de kwaliteitsbewaking wordt vormgegeven. Sluit bij de evaluatiemomenten zoveel mogelijk aan bij de projectbewaking door de Commissie Projectbewaking, zoals beschreven in de subsidievoorwaarden (zie www.surffoundation.nl/toetsen). g. Haalbaarheid en risicomanagement Maak aannemelijk dat het project haalbaar is en maak een risicoanalyse met daarin de belangrijkste risicofactoren en hun mogelijke impact op het project. Geef ook aan welke maatregelen het projectmanagement kan nemen om de risico s te voorkomen of te beheersen. 6. Letters of intent deelnemende instellingen Indien het project wordt uitgevoerd door meer dan een instelling, treedt een van de instellingen op als penvoerder. Het projectvoorstel bevat dan alle originele letters of intent van alle deelnemende instellingen. Een voorbeeld van een letter of intent is te vinden op www.surffoundation.nl/toetsen. 22 23
colofon Grafisch ontwerp en opmaak Vrije Stijl grafisch ontwerp & concept Druk Drukkerij Libertas, Bunnik Stichting SURF Mei 2010 24