4. beoordelen of de voortgangsrapportage voldoet aan de eisen die Stichting SURF daaraan stelt en derhalve goedgekeurd kan worden.

Transcriptie

1 Memo Aan Commissie Projectbewaking Van Reviewcommissie Datum Kenmerk XX.XXX.XXX Betreft Intake Review project 'Non satis scire' Samenvatting De Commissie Projectbewaking bewaakt in opdracht van de directeur van Stichting SURF de voortgang van het project 'Non satis scire'. In dat kader voert de Commissie Projectbewaking een zgn. Intake Review uit. De heer Roel Rexwinkel en mevrouw Annemieke ter Borg (Reviewcommissie) hebben namens de Commissie Projectbewaking de Intake Review voorbereid. De Reviewcommissie heeft haar bevindingen, conclusies en advies verwerkt in voorliggend memo. In dit memo komen achtereenvolgens aan bod: inleiding Intake Review: doel en resultaat Intake Review: werkwijze karakteristieken van het project resultaten tot dusverre bevindingen conclusies en advies. Inleiding De directeur van Stichting SURF heeft de Commissie Projectbewaking verzocht de voortgang van het project 'Non satis scire' te bewaken De Commissie Projectbewaking heeft deze opdracht geaccepteerd en voert de projectbewaking uit volgens de werkwijze die voor de Tender Toetsing en Toetsgestuurd Leren 2010 is vastgesteld. Dit betekent dat de Commissie Projectbewaking: op basis van kwartaalrapportages de voortgang van het project toetst; drie keer een inhoudelijke beoordeling van het project uitvoert, te weten: o enkele maanden na de start van het project (Intake Review; dit document) o ongeveer halverwege de projectperiode (Mid Term Review) o na afloop van het project (End Review). Intake Review: doel en resultaat Een Intake Review heeft de volgende doelen: 1. beoordelen of de Commissie Projectbewaking op basis van de voorliggende stukken (controlling document, eerste rapportage) haar opdracht goed kan uitvoeren; 2. beoordelen of het project goed uit de startblokken is gekomen; 3. met de projectleider de beheers-, succes- en faalfactoren, en het risicomanagement bespreken; 4. beoordelen of de voortgangsrapportage voldoet aan de eisen die Stichting SURF daaraan stelt en derhalve goedgekeurd kan worden. Een Intake Review resulteert in een schriftelijk advies van de Commissie Projectbewaking aan de directeur van Stichting SURF. Intake Review: werkwijze De Commissie Projectbewaking bepaalt voor elk project welke leden van de Commissie eerst verantwoordelijken en dus de Reviewers zijn. Voor het project 'Non satis scire' zijn dat mevrouw Annemieke ter Borg de heer Roel Rexwinkel Intake Review project Non satis scire memo Reviewcommissie 1

2 De Reviewcommissie bereidt de Intake Review voor. In het kader van de Intake Review heeft de Reviewcommissie de volgende documenten beoordeeld resp. in de beoordeling meegenomen: controlling document (ons kenmerk ) eerste voortgangsrapportage: kwartaalrapportage maart-mei 2012 (ons kenmerk ). Daarnaast heeft de Reviewcommissie op 7 juli 2012 te Amsterdam met de projectleiders een gesprek gevoerd. Hierbij waren zowel de huidige projectleider Inge Molenaar, als haar vervangster Tanja Janssen (beide UvA) en de co-projectleider Alessandra Corda (UL) aanwezig. De Reviewcommissie heeft haar bevindingen, conclusies en advies opgenomen in het hier voorliggende memo. Een concept van dit memo is voorgelegd aan de projectleider met het verzoek te reageren. Haar reacties zijn waar relevant in dit memo verwerkt en/of in de vorm van een afzonderlijk document bijgevoegd. Het memo is geagendeerd voor bespreking in de vergadering van de Commissie Projectbewaking d.d. 25 september Als onderdeel van de Intake Review wordt vastgesteld of de projectleider uitgenodigd wordt daarbij aanwezig te zijn. Karakteristieken project Deelnemers en financiering Het project wordt uitgevoerd door Universiteit van Amsterdam, Instituut voor de Lerarenopleiding ILO (penvoerder). Aan het project doen alle universitaire lerarenopleidingen mee, in totaal 13 partners: Universiteit van Amsterdam (UvA) Universiteit Leiden (UL) Erasmus Universiteit Rotterdam (EUR) Radboud Universiteit Nijmegen (RUN) Rijksuniversiteit Groningen (RUG) Technische Universiteit Delft (TUD) Technische Universiteit Eindhoven (TUE) Universiteit Maastricht (UM) Universiteit van Tilburg (UvT) Universiteit Twente (UTwente) Universiteit Utrecht (UU) Vrije Universiteit Amsterdam (VU) Wageningen Universiteit (WU) De uitvoering vindt plaats in de periode van 1 maart 2012 t/m 28 februari De projectbegroting bedraagt Stichting SURF heeft maximaal subsidie voor de uitvoering beschikbaar gesteld. Doel van het project De universitaire eerstegraads lerenopleidingen zijn academische beroepsopleidingen. Door hun aard is de toetspraktijk complex en arbeidsintensief. In het project Non satis scire wordt de toetsing en beoordeling in zowel de minor-- als masterprogramma s aangepakt. In Non satis scire wordt gewerkt aan het (door)ontwikkelen en standaardiseren van beoordeling van digitale producten en digitaal toetsen. Dit gebeurt niet alleen door informatie te verzamelen en af te stemmen, maar ook door pilots uit te voeren waarbij gebruik wordt gemaakt van het ontwikkelde beoordelingsmateriaal. Het doel van het onderhavige project is derhalve niet alleen inzicht te verkrijgen in een goede beoordelingspraktijk, maar deze praktijk ook te implementeren en te evalueren: Non satis scire, weten is niet voldoende. De doelstellingen van het project zijn het terugdringen van de tijd die opleiders van de universitaire lerarenopleiding besteden aan toetsen en beoordelen en het verbeteren van de studievoortgang van studenten van de opleiding. Beoogd eindresultaat Intake Review project Non satis scire memo Reviewcommissie 2

3 Beoogde projectresultaten zijn, naast de ervaringen in de pilots, een digitale itembank (met procedures) voor de toetsing van een gedeelde kennisbasis, gedeelde digitale beoordelingsprocedure van onderzoeksplannen, de inzet van digitale video bij het beoordelen van de onderwijspraktijk en de inzet van zelftoetsen in een digitaal portfolio. Project en mijlpalen Het project is onderverdeeld in de volgende werkpakketten: Werkpakket 1. Projectmanagement Doel van dit werkpakket is het leiden en stroomlijnen van het project, de werkpakketten en de contacten met de instellingen alsmede het informeren en betrekken van de stuurgroep en Stichting SURF. Werkpakket 2. Effectmeting Voor het meten van effecten wordt gebruik gemaakt van de CIMO--logic van Denyer, Tranfield en Van Aken (2008) waarbij effecten (Outcomes) worden gerelateerd aan het proces (Mechanisms) in een bepaalde interventie binnen een bepaalde context. Werkpakket 3. Digitale toetsing kennisbasis van docenten Het doel van dit werkpakket is het ontwikkelen, delen en implementeren van een digitale itembank en digitale beoordelingsprocedures voor de toetsing van de kennisbasis van aanstaande docenten in zowel de minor-- als masterprogramma s van de universitaire lerarenopleiding. Focus ligt op de inhoud van de items en beoordelingsprocedure en niet op de techniek (databank en toetssystemen). Werkpakket 4. Digitale beoordeling van onderzoeksplan Het doel van dit werkpakket is het ontwikkelen, delen en implementeren van een digitale beoordelingsprocedure voor de beoordeling van onderzoeksplannen van aanstaande docenten in de masterprogramma s van de universitaire lerarenopleiding. Werkpakket 5. Beoordeling van onderwijspraktijk Het doel van dit werkpakket is het ontwikkelen, delen en implementeren van een procedure voor de beoordeling van digitale video van de onderwijspraktijk van aanstaande docenten in zowel het minor-als masterprogramma van de universitaire lerarenopleiding. Werkpakket 6. Zelftoetsen in digitaal portofolio Het doel van dit werkpakket is het ontwikkelen, delen en implementeren van zelftoetsen voor de beoordeling van competenties van aanstaande docenten in hun digitale portfolio. Deze zelftoetsen hebben niet alleen tot doel competenties van studenten in kaart te brengen (toetsen), maar ook te reflecteren op de ontwikkeling in competenties zoals die middels zelftoetsing worden beoordeeld (toetsgestuurd leren). Werkpakket 7: Disseminatie en valorisatie Het doel van dit werkpakket is het bekend maken en verspreiden van de projectresultaten en het blijvend beschikbaar maken van deze resultaten voor het Nederlandse hoger onderwijs. Projectorganisatie Projectgroep De projectleider is Inge Molenaar (UvA) die hierin nauw samenwerkt met de co- projectleider Alessandra Corda (UL). Zowel de projectleider als co-projectleider hebben ruime ervaring in het leiden van SURF-projecten en in activiteiten rond de inzet van technologie in het onderwijs. Inge Molenaar zal in het tweede kwartaal stoppen met haar werkzaamheden voor het project. De nieuwe projectleider is Tanja Janssen (ILO, UvA). Het projectteam bestaat uit de werkpakketleiders (zie hieronder). De partners zijn als volgt onder de werkpakketten verdeeld: Werkpakket Partner Werkpakketleiding 1. Projectmanagement UvA, UL, TUE, UU UvA (Inge Molenaar), UL (Alessandra Corda) 2. Effectmeting UvA UvA (Inge Molenaar) 3. Digitale toetsing kennisbasis UvA, RUG, UM, UTwente, UU UvA (Wim van Kleef; per 1-6 Jantina Huizenga) Intake Review project Non satis scire memo Reviewcommissie 3

4 4. Digitale beoordeling van het onderzoeksplan 5. Beoordeling van onderwijspraktijk via digitale video 6. Zelftoetsen in digitaal portfolio 7. Disseminatie en valorisatie UvA, UL, RUN, RUG, TUD, TUE, UvT, UTwente, UU UL, EUR, RUN, TUD, TUE, UM, UvT, UTwente, UU, VU, WU TUD, TUE, UTwente, WU UvA, UL UU (Frans Kranenburg) UL (Alessandra Corda) TUE (Ruurd Taconis) UvA (Inge Molenaar, UL (Alessandra Corda) De werkpakketleiders zijn verantwoordelijk voor de oplevering van de daarbij behorende producten. Stuurgroep De stuurgroep bestaat uit: Prof. dr Gert Rijlaarsdam, voorzitter, ICL Universiteit van Amsterdam Prof. dr Frans Oort, lid, Directeur Graduate School Child Development and Education Universiteit van Amsterdam Prof. dr Jos Beishuizen, lid, ICL Vrije Universiteit Amsterdam Prof. dr Wilfried Admiraal, lid, Universiteit Leiden De stuurgroep is bij het project betrokken voor advies op hoofdlijnen. Op verzoek van de projectleider of vervangend projectleider kan de stuurgroep zich nadrukkelijk bemoeien met bijsturing van het project. Daarnaast rapporteert de projectleider in ieder geval halfjaarlijks naar de stuurgroep over de stand van zaken in het project. Klankbordgroep De Interuniversitaire Commissie Lerarenopleidingen (ICL) vormt het klankbord van het project; twee leden van de stuurgroep (Rijlaarsdam en Beishuizen) zijn ook lid van de ICL. Een derde lid (Oort) is directeur van de graduate school waar het project wordt ondergebracht. Het vierde lid (Admiraal) heeft het consortium bij elkaar gebrachte en het project aangevraagd. Resultaten tot dusverre Hieronder de resultaten per werkpakket: Werkpakket 1. Projectmanagement Het controlling document (CD) is opgeleverd. De startbijeenkomst heeft plaatsgevonden op 29 maart Voor de 3 partners die niet a aanwezig konden zijn, is op 15 mei een vergadering gehouden in Utrecht. De dropbox-omgeving is ingericht en in gebruik genomen door alle partners. Werkpakket 2. Effectmeting Volgens de CIMO-logic methodiek is er per werkpakket een overzicht gemaakt van de interventie, mechanisme, context en uitkomsten. Per werkpakket is via de werkpakketleiders gevraagd aan de instellingen om de context en de pilots te beschrijven. Deze zullen als input dienen voor de ontwikkeling van de evaluatie-instrumenten. Tevens is er begonnen met een literatuuronderzoek naar het meten van de werkdruk. Werkpakket 3. Digitale toetsing kennisbasis van docenten Alle 5 partners hebben pilotcoördinatoren voor WP3 aangewezen. Er is een oriënterende vragenlijst verspreid en ingevuld door alle partners. Hierin zijn vragen beantwoord over literatuur (resultaat 1), de toetsmatrijs (resultaat 2), het gebruik van een digitale itembank (resultaat 3), de beoordelingsprocedure (resultaat 4). Een format voor de beschrijving van de pilots is aan het begin van het tweede kwartaal verspreid. Betrokken bij pilots: circa 27 opleiders en 390 studenten. De pilots zullen worden uitgevoerd vanaf september 2012 tot december De resultaten van de andere formats zijn nog niet geanalyseerd maar de nieuwe werkpakketleider gaat hiermee voortvarend te werk. Werkpakket 4. Digitale beoordeling van onderzoeksplan Alle partners (9) hebben geïnventariseerd welke programma-onderdelen zich voor dit werkpakket lenen. Er is informatie verzameld over de eisen die gesteld worden aan onder- Intake Review project Non satis scire memo Reviewcommissie 4

5 zoeksplannen van aanstaande docenten en gehanteerde beoordelingsprocedures. Zo is een start gemaakt voor resultaten 1, 2 en 3. Alle partners hebben inmiddels ook een beschrijving gemaakt van de voorgenomen pilot (resultaat 4). De opleidingen maken van de gelegenheid gebruik om d.m.v. de pilots het onderzoeksplanningsproces (transparanter) op te zetten. Ze stellen de focus daarbij op het leereffect c.q. studievoortgang, werkdrukvermindering, verbeteren van feedback en het onderzoeksproces zelf. Daarnaast worden ook doelen gesteld met betrekking tot digitale feedback en opstellen van criteria voor beoordeling Betrokken bij pilots: circa 50 opleiders, 75 begeleiders op school en 230 studenten. Pilots starten in augustus 2012 en duren tot september Werkpakket 5. Beoordeling van onderwijspraktijk Alle partners hebben pilotcoördinatoren voor WP5 aangewezen. 10 van de 11 partners hebben een opzet gemaakt voor de richtlijnen voor het gebruik van video (resultaat 1), procedure voor beoordeling van videomateriaal (resultaat 2) en hebben het eerste deel van de pilotbeschrijving (resultaat 3) opgeleverd. Er zijn binnen de instellingen medewerkers benaderd en afspraken gemaakt rond de uitvoering van de pilots vanaf augustus. 1 partner (TUD) zal dit in het tweede kwartaal doen. Op basis van de informatie in resultaat 1, 2 en 3 wordt de vragenlijst samengesteld voor de effectmeting (WP2). Betrokken bij pilots: 98 opleiders en 213 studenten. Pilots starten vanaf aug 2012 en worden afgerond tussen jan en aug 2013 Werkpakket 6. Zelftoetsen in digitaal portofolio Er is een format opgesteld voor de inventarisatie van de stand van zaken m.b.t. het gebruik van interactieve vragenlijsten in de lerarenopleiding, in het bijzonder het onderdeel portfolio. Het format is verspreid en documentatie over het gebruik van (digitale) zelftoetsen bij alle vier de partners is verzameld. Daarnaast zijn de diverse pilotbeschrijvingen (resultaat 3) verzameld. Tenslotte is er een aanzet gemaakt voor de opzet van de bibliotheek. Betrokken bij pilots: circa 25 opleiders en 100 studenten. Pilots starten in augustus 2012 en duren tot december Werkpakket 7: Disseminatie en valorisatie De startconferentie heeft plaats gevonden op 29 maart. Inge Molenaar heeft een presentatie verzorgd over WP2 tijdens een bijeenkomst voor alle projectleiders van de tender toets en toetsgestuurd leren op 21 maart. De website van het project is is beschikbaar gekomen en wordt de komende weken verder gevuld. De volgende werkconferentie wordt georganiseerd op 4 oktober. Bevindingen De Reviewcommissie heeft ter voorbereiding van de Intake Review gesproken met de projectleiding. Dit gesprek verliep in een open en prettige sfeer. De vragen van de Reviewcommissie zijn uitgebreid en naar tevredenheid beantwoord. De Reviewcommissie heeft op basis van het gesprek en de projectdocumentatie een goed beeld gekregen van het project. Hieronder zijn de bevindingen van de Reviewcommissie (puntsgewijs) weergegeven. Documentatie Op basis van het Controlling Document en de eerste voortgangsrapportage is de opdracht goed uitvoerbaar voor de Commissie Projectbewaking. De eerste voortgangsrapportage is zowel in inhoudelijk, planmatig als financieel opzicht helder en overzichtelijk en geeft een goed beeld van de stand van zaken per werkpakket en blikt tevens vooruit. Mogelijke risico s en (tegen)maatregelen worden benoemd Verloop eerste projectfase Het project is goed uit de startblokken gekomen. Het project loopt op schema. Er worden geen grote risico's gesignaleerd. Het enige risico dat de reviewcommissie ziet is de verandering van projectleider. De zeer ervaren projectleider heeft een nieuwe baan en wordt vervangen door een ervaren onderzoekster, met minder projectleiderservaring. De co-projectleider is wel een stabiele factor. Zij is zeer gedreven en enthousiast en in het verleden ook al bij diverse SURF projecten betrokken geweest. Intake Review project Non satis scire memo Reviewcommissie 5

6 Het project beoogt een verbeterslag te maken in zowel de competentietoetsing als kennistoetsing in de universitaire lerarenopleidingen. Hoe kan men de transparantie, validiteit en betrouwbaarheid verhogen en de toetsing efficiënt inrichten? Het betreft een project met 13 relatief kleine opleidingen voor in totaal zo'n 2000 studenten. Men ziet voordelen in het bundelen van de krachten. Men is gestart met een succesvolle werkconferentie, waarbij concept formats voor de inventarisatie van de huidige situatie en doelen per werkpakket besproken werden. Dit leverde meteen een zinvolle inhoudelijke uitwisseling van ervaringen en hoge betrokkenheid en een gezamenlijk beeld op. Bijna alle samenwerkingspartners waren vertegenwoordigd. Voor de instellingen die er niet waren, is een inhaalbijeenkomst georganiseerd. Nieuw is de kennistoetsing hierbinnen. Bij de lerarenopleidingen lag het accent de laatste jaren vooral op de competentietoetsing. Het betreft postmasteropleidingen, studenten hebben al een mastertitel, hun vakinhoudelijke kennis hoeft niet meer te worden getoetst. Toch is er een ontwikkeling in het toetsen van meer didactisch, pedagogische kennis. Het werkpakket kennistoetsing richt zich vooral op het construeren van toetsvragen (bottom-up) en minder op het systeem waarin de toetsvragen opgeslagen worden en de manier waarop ze aangeboden gaan worden. Men wacht de ontwikkelingen in Pijler 3 af. Men heeft bij de inventarisatie ontdekt dat de gebruikte literatuur een grote overlap vertoont en dat de grotere opleidingen al over meer toetsitems beschikken. Er is nog geen enkele opleiding die digitaal toetst. Ook voor de andere werkpakketten is geïnventariseerd wat de stand van zaken is, welke pilots op welk moment op de rol staan en wat de doelstellingen per pilot zijn. Men verwacht niet binnen 2 jaar van de projectperiode enorme effecten te kunnen bereiken of te kunnen meten. De SMART-geformuleerde ambities zijn een streven voor de langere termijn. Er worden in ieder geval 2 vragenlijsten ontwikkeld waarin de (perceptie) van de werkdruk gemeten wordt. Het is nog niet geheel duidelijk hoe de studievoortgang gemeten zal worden. Er zijn nog rendementscijfers van 2011 beschikbaar die voor de nulmeting gebruikt zouden kunnen worden. Het is de vraag hoe zinvol dit is omdat het rendement ook bepaald wordt door vele andere variabelen. Succesfactoren: Het is voor alle lerarenopleidingen een onderdeel van strategie op lange termijn en daarom is het draagvlak voor het project groot Er wordt gewerkt met een kleine projectgroep met enthousiaste deelnemers die bereid zijn om te delen. Het betreft bovendien een homogene groep, ze ervaren dezelfde problematiek, ze zitten op 1 lijn en hebben een gedeeld beeld Bovendien is men bij de startconferentie per werkpakket uitgebreid bezig gegaan met de formats die gebruikt worden bij de inventarisatie van de situatie per instelling. Hierdoor werd het draagvlak vergroot en gingen mensen meteen de dialoog aan. Deze bottom-up aanpak wordt ook als een van de succesfactoren genoemd. De lijnen tussen de projectleiding en de stuurgroepleden zijn kort (zelfde gebouw). De stuurgroep komt alleen in actie als er problemen dreigen. Die voorziet men nog niet. De stuurgroep maakt deel uit van het landelijk orgaan voor de lerarenopleidingen ICL. De leden zien dit als een van de vele projecten waarbij ze samen betrokken zijn en alle opleidingen doen mee. Het sluit goed aan bij het beleid van de instellingen en OCW Conclusies en advies Conclusies Op basis van het Controlling Document en de eerste voortgangsrapportage is de opdracht goed uitvoerbaar voor de Commissie Projectbewaking. De eerste voortgangsrapportage is helder en overzichtelijk en geeft een goed beeld van de stand van zaken per werkpakket en blikt tevens vooruit. De voortgangsrapportage kan goedgekeurd worden. Het project is goed uit de startblokken gekomen en loopt op schema. Het kan gekwalificeerd wor- Intake Review project Non satis scire memo Reviewcommissie 6

7 den als een groen project. Het draagvlak voor het project binnen de lerarenopleidingen is groot te noemen, men zit op dezelfde lijn, heeft een gemeenschappelijk doel en is bereid kennis te delen. Er zijn geen specifieke risico s te noemen, anders dan de wisseling in projectleiding. De nieuwe projectleider wordt momenteel ingewerkt. Advies De Reviewcommissie adviseert: de voortgangsrapportage goed te keuren; de Intake Review met positief gevolg af te sluiten; de directeur SURF te adviseren de opgevraagde subsidie betaalbaar te stellen; de projectleider niet uit te nodigen voor de bespreking van de Intake Review tijdens de eerstvolgende vergadering van de Commissie Projectbewaking. Intake Review project Non satis scire memo Reviewcommissie 7