ɪntuɪt: ENGLISH TUTORING THROUGH IT

ɪntuɪt: ENGLISH TUTORING THROUGH IT OVP-Project SURF 2005 Controlling Document: OW 06.0405 Tussenrapportage 4: oktober 2006-januari 2007 Eindrapportage Proof-of-Conceptfase 31 januari 2007 Penvoerende instelling: Rijksuniversiteit Groningen Partnerinstellingen: Universiteit Leiden Universiteit van Tilburg Radboud Universiteit Nijmegen Universiteit Maastricht Universiteit Utrecht

2 Inhoudsopgave I INLEIDING... 3 II PROJECTVOORTGANG ALGEMEEN... 4 III EVALUATIE VAN DE PROJECTRESULTATEN... 6 PROJECTMATIG (PROCES)... 6 INHOUDELIJK (PRODUCT)... 7 CONCLUSIE... 9 IV RISICOANALYSE EN RISICOMANAGEMENT... 10 V KOSTENOVERZICHT... 13 CUMULATIEF OVERZICHT... 13 GEVRAAGDE SUBSIDIE... 14 VI RAPPORTAGE WERKPAKKETTEN EN PROJECTMANAGEMENT... 15 Voortgang en resultaten WP1: Toetsen... 15 Opgeleverde documenten WP1:... 16 Gerealiseerde personele kosten WP1:... 17 Voortgang en resultaten WP2: Oefenen... 17 Opgeleverde documenten WP2:... 19 Gerealiseerde personele kosten WP2:... 20 Voortgang en resultaten WP3: Begeleiden... 20 Opgeleverde documenten WP3:... 22 Gerealiseerde personele kosten WP3:... 22 Voortgang en resultaten WP4: Didactiek... 23 Opgeleverde documenten WP4:... 24 Gerealiseerde personele kosten WP4:... 24 Voortgang en resultaten WP5: Techniek... 24 Opgeleverde documenten WP5:... 25 Gerealiseerde personele kosten WP5:... 25 C. PROJECTMANAGEMENT... 26 VII STANDLIJNENOVERZICHT... 27 WP1... 27

3 I Inleiding Deze 4 e tussenrapportage van het SURF OVP INTUIT is tevens bedoeld als eindrapportage van de Proof-of-Conceptfase. In verband hiermee wordt, naast de gebruikelijke rapportage, in een afzonderlijk hoofdstuk Evaluatie van de Projectresultaten (III) aandacht besteed aan wat het eerste jaar heeft opgeleverd en in hoeverre aan de in het CD geformuleerde criteria voor continuering is voldaan. Daarnaast wordt op grond van de aanbevelingen uit het Aanvullend Review van november 2006 in een apart hoofdstuk aandacht besteed aan de risicoanalyse en het risicomanagement binnen het project. Om de evaluatieve onderdelen naar voren te halen is de gedetailleerde beschrijving per werkpakket opgenomen in een later hoofdstuk (VI) dan gebruikelijk. De planning voor de Opschalingsfase is in een afzonderlijk document opgenomen, dat is opgezet als Controlling Document voor de periode april 2007-maart 2008. Alle documenten waarnaar wordt verwezen in de tekst zijn beschikbaar op de interne website van het project (SURFGroep INTUIT, https://www.surfgroepen.nl/sites/intuit). Toegang tot deze site is eveneens verleend aan de reviewers van het project. Sake Jager Projectleider INTUIT Alessandra Corda Co-projectleider INTUIT 31 januari 2007

4 II Projectvoortgang algemeen De uitvoering van INTUIT is ook in de laatste fase van het eerste jaar grotendeels volgens plan verlopen. Een belangrijke ontwikkeling was echter dat de UM haar aandeel in het project heeft moeten beperken en op 18 januari 2007 heeft besloten om zich terug te trekken voor het tweede jaar. Desalniettemin is binnen alle werkpakketten verdere voortgang geboekt. In totaal zijn sinds de zomer 2006 zes nieuwe pilots opgestart, waarvan inmiddels vijf zijn voltooid en één nog in uitvoering is. Twee pilots konden niet meer binnen de proof-of-conceptfase worden opgestart. Al met al stemmen de uitvoering van de pilots en de mondelinge en schriftelijke rapportages hierover tot tevredenheid. Zoals gebruikelijk is alle documentatie m.b.t. de pilots te vinden op https://www.surfgroepen.nl/sites/intuit in de folder Projectresultaten. Binnen WP1 Toetsen is de module Dialang Plus ontwikkeld. Dit is een in Blackboard opgezette leereenheid die bestaat uit inhoudelijke en bedieningstechnische instructies waarmee studenten de Dialang toets zelfstandig kunnen uitvoeren en hun persoonlijke doelen m.b.t. verbetering van deelvaardigheden kunnen vastleggen en voorleggen aan de begeleidende docent. Het concept voor deze opzet is bedacht in het kader van de werkzaamheden binnen WP4 Didactiek. Met de module kon binnen de projectperiode geen pilot worden uitgevoerd. Met een ander pakket binnen WP1, SET-10 is wel een nieuwe pilot uitgevoerd. Bij deze pilot zijn nieuwe doelgroepen betrokken en is de betrouwbaarheid van de toetsen onderzocht door vergelijking met docentbeoordelingen en uitkomsten van een andere taaltoets. De bevindingen m.b.t. SET-10 blijven onverminderd positief. Binnen WP2 Oefenen, waar sterk behoefte was om de inventarisatie van beschikbare software verder uit te breiden, zijn nieuwe pilots opgezet met programmatuur t.b.v. spreekvaardigheid (twee pilots) en het Europees taalportfolio. De pilots m.b.t. spraaktoepassingen laten zien dat aan het gebruik van spraaktechnologie binnen het TVO nog steeds veel bezwaren kleven (technische haperingen, feedback onbetrouwbaar). Vooralsnog blijft de taalleerder m.b.t. verbetering van de uitspraak en spreekvaardigheid vooral aangewezen op een menselijke beoordelaar (het bovengenoemde SET-10 blijft wat dat betreft een positieve uitzondering). De inzetbaarheid van ICT in de digitale leeromgeving hierbij is voornamelijk in de vorm van digitaal aanbieden van fragmenten, opnemen van de stem en afluisteren op afstand. De pilots wijzen verder uit dat zelfs zeer gemotiveerde leerders zich er moeilijk toe kunnen zetten om uit eigen beweging met het materiaal te gaan oefenen. Dit versterkt de opvatting, die tijdens de didactische workshops steeds duidelijker is geworden, dat verhoging van de autonomie van de leerder extra hoge eisen stelt aan de rol van de docent als initiator en begeleider van het leerproces. Dit is een van de aandachtspunten van een pilot met het taalportfolio waaraan een groep medewerkers van de UVT momenteel deelneemt. Eerdere ervaringen met het programma Ellips aan de UM wijzen in dezelfde richting. Een tweede pilot met Ellips aan de UM kon o.a. vanwege personele problemen geen doorgang vinden (zie hoofdstuk III voor verdere toelichting van dit punt). Binnen WP3 Begeleiden is het taalportfolio gebruikt met nieuwe groepen cursisten (studenten en medewerkers) aan ULei; bij de UU is door het niet tijdig gereed komen van een Engelstalig interface voor www.europeestaalportfolio.nl uiteindelijk vooral gewerkt met de CAN-DO statements van het Europees Referentiekader (CEFR) in combinatie met verschillende andere programma s. De ervaringen zijn wisselend. De pilot met medewerkers is afgebroken omdat het werken met de technologie die succesvol bij studenten was toegepast voor deze groep niet werkte. Onvoldoende technische vaardigheden en een andere motivatie of verwachtingspatroon spelen hierbij een rol. Bij de UU heeft combinatie van verschillende programma s om het onderwijs met ICT te ondersteunen goed uitgepakt (o.a. Blackboard, RITE-codes, Academic Wordlist), maar over het belang van het Europees taalportfolio (ook indien uitsluitend wordt gewerkt met de CAN-DO statements) blijven gerede twijfels. Het feit dat sommige onderdelen (dossier) ook op een andere manier beschikbaar kunnen worden gesteld of dat de instrumenten minder geschikt zijn voor studenten op een hoog niveau (University College) spelen hierbij waarschijnlijk een rol. Binnen WP4 Didactiek is een inhaalslag gemaakt m.b.t. de integratie in Blackboard. Het in de vorige rapportage genoemde concept van de Language Toolbox is verder opgepakt. Via een learning unit in Blackboard kunnen studenten nu zelfstandig verschillende onderdelen van Dialang doorlopen, resultaten interpreteren en persoonlijke leerdoelen bepalen. Bij de ontwikkeling is samengewerkt met de docenten die betrokken zijn bij WP1 en WP2. Het is de bedoeling op vergelijkbare manier verschillende instrumenten in de Language Toolbox te integreren. Verschillende in het ka-

5 der van het project beproefde instrumenten worden de komende tijd nog in de toolbox opgenomen (ook in februari en maart, buiten de feitelijke projecttijd om). De opzet fungeert als model voor bredere toepassing aan alle instellingen in jaar 2. De tweede activiteit, het organiseren van didactische workshops voor en door docenten, is gecontinueerd. Er zijn workshops gehouden in oktober en januari. Door de workshops zijn o.a. de ideeën over de implementatie van autonoom taalleren en de opzet voor de opschalingsfase verder geconcretiseerd. Binnen WP5 Techniek zijn verdere werkzaamheden aan Ellips en www.europeestaalportfolio.nl uitgevoerd. Binnen Ellips betreft het verdere verbeteringen in verband met het gebruik van A-Select en het opzetten van een verbeterde rechtenstructuur binnen de auteursomgeving. Bredere implementatie (A-Select is alleen nog geactiveerd voor de RUG) is afhankelijk van de oplevering van het gefedereerd identity en authenticatiebeheer van SURFNet (voorjaar 2007 verwacht). T.a.v. www.europeestaalportfolio.nl geldt dat een Engelstalig interface beschikbaar is gekomen in november dat nog verder moet worden getest. Genoemde activiteiten zijn deels uitgevoerd door derde partijen. T.a.v. een andere activiteit, het opzetten en onderhouden van de publieke website www.intuitproject.nl, geldt dat de site is aangepast en dat een medewerker is aangesteld om de site van inhoud te voorzien. Op de site is informatie te vinden over het project en de pilots die zijn uitgevoerd. De site zal de komende tijd worden uitgebreid in het kader van de externe disseminatie. De gedetailleerde rapportage per werkpakket is vanwege de toegevoegde evaluatieve hoofdstukken en de leesbaarheid van het document als geheel verplaatst naar hoofdstuk VI. Overzicht centrale projectactiviteiten (exclusief lokale of bilaterale activiteiten) Datum Activiteit 6 oktober 2006 Workshop Didactiek 31 oktober 2006 Overleg projectteam 7 november 2006 Stuurgroepvergadering 8 november 2006 Tussentijds Review CP 14 november 2006 Overleg A-Select (SURF Onderwijsdagen) 28 november 2006 Ellipsoverleg: aanpassingen A-Select + beheer 9 januari 2007 Overleg projectteam 17 januari 2007 Workshop Didactiek 19 januari 2007 Stuurgroepvergadering 1 1 Ivm de weersomstandigheden kon de bijeenkomst geen doorgang vinden. De twee belangrijkste agendapunten (participatie UM en opzet jaar 2) zijn telefonisch en via de mail afgehandeld.

6 III Evaluatie van de projectresultaten Projectmatig (proces) De eerste fase van het project is, ondanks het grote aantal deelnemende instellingen, procesmatig goed verlopen. Het activiteitenplan, vastgelegd in het Controlling Document, is in grote lijnen uitgevoerd zoals gepland. De grootste bijstelling heeft plaatsgevonden binnen WP 4 Didactiek waar het opzetten van een scholingstraject in de vorm van afzonderlijk scholingsmateriaal niet werkelijk in een behoefte leek te voorzien, waardoor uiteindelijk is gekozen voor scholing de vorm van landelijke workshops. De herallocaties van het budget waarover eerder is gerapporteerd (naast WP4, in WP2 en PM) hebben niet geleid tot overschrijdingen. Er resteert een budgetbedrag van 20.313,35 en een subsidiebedrag van 12.090,01. De projectadministratie is zonder noemenswaardige problemen verlopen. Ondanks de behaalde resultaten is de uitvoering niet zonder tegenslagen verlopen. Het programma Dialang was niet beschikbaar bij de start van enkele pilots. In één geval leidde dit tot het vervallen van het pilot; een alternatieve opzet bleek niet mogelijk, temeer omdat de betrokken docent door persoonlijke omstandigheden enige tijd was uitgeschakeld. De mogelijkheden om tussentijdse problemen te ondervangen binnen het tijdsbestek van het project zijn, in vergelijking tot eerdere SURF-projecten waar de uitvoerders bij betrokken zijn geweest, zeer beperkt, waardoor een zekere uitval onvermijdelijk is. Bij de pilots was uitgegaan van een zekere risicospreiding, waardoor de invloed van deze uitval op het project als geheel o.i. beperkt is gebleven. Zie ook het hoofdstuk Risicoanalyse en risicomanagement voor discussie van dit punt. In oktober 2006 heeft de UM gemeld problemen te hebben bij de verdere uitvoering van het project binnen de UM. Deze hingen samen met personele omstandigheden (twee langdurige ziektegevallen en daarmee gepaard gaande hoge werkdruk) en beperkte beschikbaarheid binnen het team van andere docenten die voldoende vertrouwdheid hebben met ICT-talenonderwijs. Na onderling overleg is besloten om in de 4e rapportage periode minder uren personeel van de UM in termen van gewerkte uren in te zetten. Na afweging binnen de Stuurgroep en overleg met de projectleiding heeft de UM besloten zich voor het tweede jaar uit het project terug te trekken. Een reden voor deze keus is naast de bovengenoemde personele situatie, vooral dat de uitkomsten van de pilots in het eerste jaar tot het inzicht hebben geleid dat de directe implementatie binnen het UM-onderwijs beperkt is, in elk geval op korte termijn. Daarnaast is het moeilijk om aan een aantal randvoorwaarden m.b.t. uitvoering, zoals het gebruik van Blackboard, te voldoen. Aangezien het project in het tweede jaar onmiddellijke opschaling beoogt en de doelstelling heeft om concrete onderwijstoepassingen te realiseren, is voortgezette deelname voor de UM-collega s daarom niet haalbaar. Hoewel begin november al duidelijk werd dat UM de deelname waarschijnlijk niet zou kunnen continueren is de definitieve beslissing pas genomen op basis van het conceptplan voor jaar 2 en na deelname van UM aan de afsluitende workshop voor docenten. Het verzoek van de Review Cie om te trachten UM bij het project te blijven betrekken speelde hierbij een rol. De UM heeft aangegeven het project wel graag inhoudelijk te blijven volgen, via deelname aan de docentenworkshops en andere disseminatie-activiteiten, en voortgaande participatie in het Ellipsconsortium, mede omdat onderwijstoepassingen op langere termijn en voor het onderwijs van ándere monderne vreemde talen wél denkbaar zijn. Er zal niet worden getracht om een nieuwe partner te vinden omdat het project erop is ingericht om de lokaal behaalde resultaten op te schalen door bredere toepassing binnen de andere instellingen. De gezamenlijke omvang van de resterende partners is groot genoeg om dit concept te realiseren. Bovendien is onduidelijk in hoeverre een nieuwe instelling past binnen dit concept (wat kunnen zij inbrengen?). Tenslotte worden door participatie van UVT en RUG in het NAP Project Succesvolle doorstroming HBO-WO al andere partners (TU Delft, Haagse Hogeschool, Hanzehogeschool) betrokken bij toepassing van dit concept in een andere context. Over het geheel genomen is het project uitstekend verlopen, zoals ook mag blijken uit de tussentijdse rapportages en reviews. Er is in een tijdsbestek van amper een jaar veel bereikt: de beoogde resultaten, gekoppeld aan de pilots die binnen verschillende instellingen zijn uitgevoerd, zijn merendeels behaald en er is een goede balans gevonden tussen de centrale afstemming van activiteiten en het lokaal uitvoeren ervan. De deelnemers (voornamelijk docenten) aan alle instellingen zijn op de hoogte van de activiteiten die bij andere instellingen zijn uitgevoerd en zijn in staat om voort te bouwen op de lokaal en elders opgebouwde ervaringen. Van het project gaat zowel een directe (uitvoering afgesproken taken) als indirecte (uitwisseling kennis en ervaringen) invloed uit op het gebruik van ICT in het taalonderwijs bij de betrokken talencentra.

7 Inhoudelijk (product) In het hoofdstuk Resultaten en criteria voor toetsing in het Controlling Document wordt gesteld dat: Het opleveren van bovenstaande resultaten leidt tot een geleidelijke opbouw van de ICTgeïntegreerde leeromgeving voor toetsen, oefenen en begeleiden van Engelse taalvaardigheid. Aan het eind van jaar 1 moeten de verschillende componenten afzonderlijk in pilots met cursisten zijn getest en geïntegreerd in een Blackboardcursus waarmee autonoom leren langs verschillende leerroutes kan worden ondersteund. Nu het project de eindfase van jaar 1 heeft bereikt worden de contouren van ICT-geïntegreerde leeromgeving geleidelijk zichtbaar. Door de pilots is duidelijk geworden welke programma s kunnen worden ingezet en op welke manier. De ICT-geïntegreerde leeromgeving zal op basis van de huidige ervaringen o.a. bestaan uit de volgende componenten: Blackboard als overkoepelend systeem SET-10 en Dialang voor toetsing en self-assessment Ellips, AWL Tools en per instelling verschillende digitale recorders voor oefenen Europees Taalportfolio, in de vorm van www.europeestaalportfolio.nl of een hierop gebaseerde set CAN-DO statements, voor begeleiding, self-assessment en dossier. De integratie in Blackboard is nader uitgewerkt in het idee van de Language Toolbox voor de autonome taalleerder. De toolbox wordt toegepast als instrument binnen en buiten taalcursussen. Voor nadere informatie hierover, zie ook de gedetailleerde rapportage over WP1, WP2 en WP4. Het is realistisch om te stellen dat de toolbox verder moet worden doorontwikkeld om ingezet te kunnen worden als volwaardig instrument in het talenonderwijs. Naast genoemde programma s is er bovendien nog een aantal programma s en resources dat in de toolbox kan worden opgenomen. Met verschillende van deze programma s en resources is binnen de instellingen al ervaring opgedaan (soms in het verlengde van het project, zoals met de Quick Placement Test). De volgende stap zal daarom zijn om ook deze kennis samen te brengen en te benutten bij uitbreiding van de toolbox. Dit is voorzien als een activiteit voor jaar 2. Een belangrijke vraag in dit opzicht is uiteraard of aan de criteria voor continuering is voldaan. De criteria die het projectteam zichzelf heeft opgelegd zijn opgenomen in het Controlling Document (p. 12). We citeren de oorspronkelijke criteria daarom hieronder en bespreken ze afzonderlijk aan de hand van de actuele stand van zaken binnen het project. Criterium 1: Didactische transformatie Plan: Het bereiken van een didactische transformatie gebaseerd op autonoom leren en het CEF is een belangrijke doelstelling binnen het project. Uit de evaluaties van het scholingsprogramma voor docenten en de pilots met studenten moet naar voren komen dat doceren en leren op deze manier aanspreekt. Het is realistisch om aan te nemen dat binnen een jaar alleen de eerste stappen binnen een dergelijk transformatieproces kunnen worden gezet. Appreciatie door docenten en studenten is een indicator of de goede weg wordt ingeslagen. Discussie: Zoals aangegeven is het niet realistisch om aan te nemen dat binnen een jaar bij alle instellingen een didactische transformatie kan worden bereikt. Veeleer zal een aanzet worden gegeven tot het invoeren van een nieuwe didactiek waarin autonoom leren en CEF een belangrijke plaats innemen. In de selectie van programmatuur en de opzet van de workshops hebben autonoom leren en CEF een belangrijke rol gespeeld. Van instrumenten die hier nauw mee samenhangen (o.a. Europees taalportfolio, Dialang, AWL) is de inzetbaarheid in het onderwijs bepaald. Didactische scenario s om ze in te zetten zijn ontwikkeld. Bij aanvang van het project waren deze (in ieder geval binnen de betrokken instellingen) niet beschikbaar. De appreciatie van de nieuwe manier van werken verschilt per programma en soms per instelling. Met programma s waarmee INTUIT in jaar twee verder wil zijn de ervaringen bij minimaal één van de instellingen die de pilot heeft uitgevoerd positief. In de tweede fase zullen de betreffende programma s en de bijbehorende didactische scenario s binnen meerdere instellingen in gebruik worden genomen, waardoor een nog beter beeld van appreciatie en overdraagbaarheid zal ontstaan.

8 Duidelijk is dat sommige instellingen verder zijn in het beoogde transformatieproces dan andere. Er is sprake van vooruitgang vanaf verschillende startposities. Met betrekking tot het oorspronkelijke beoordelingscriterium denken we dat een realistische koers met betrekking tot didactische vernieuwing is gekozen die in nauwe samenwerking met de vakdocenten is opgezet. We vertrouwen erop dat we deze koers in jaar 2 kunnen vasthouden en dat hiermee de volgende stap in het transformatieproces kan worden gezet. Criterium 2: Positieve waardering Plan: Er worden pilots uitgevoerd met verschillende programma s. Het uitvoeren van de pilots is een voorwaarde voor continuering. Dit levert waardevolle informatie op over de wijze waarop programma s kunnen worden ingezet (welke vaardigheid, welke doelgroep, relatie tot de andere programma s). Uitgangspunt van deze procedure is dat sommige programma s geschikt zullen blijken om te gebruiken, terwijl andere zullen afvallen. De programma s waarmee het concept verder opgebouwd gaat worden, moeten door docenten en cursisten positief worden gewaardeerd. Discussie: De pilots zijn voor het overgrote deel uitgevoerd en hebben inderdaad waardevolle informatie opgeleverd over hoe de programmatuur kan worden ingezet. Van sommige programma s is gebleken dat ze duidelijk niet inpasbaar zijn in de beoogde context; over enkele bestaan nog twijfels bij enkele instellingen (bv. Europees Taalportfolio in de vorm van www.europeestaalportfolio.nl). Docenten en cursisten zijn echter positief over de meeste dragende programma s van het concept. Criterium 3: Dekking onderscheiden gebieden Plan: Het concept voorziet in gebruik van ICT binnen drie onderscheiden gebieden: toetsen, oefenen en begeleiden. Indien mocht blijken dat voor géén van de beproefde gebieden een passende inzet van ICT mogelijk is, dan moet het project na jaar 1 worden stopgezet. Om van een geslaagd concept te kunnen spreken moet de inzet van ICT binnen minimaal twee van de beoogde gebieden kunnen worden gerealiseerd. Discussie: Binnen de drie onderscheiden domeinen zijn aansprekende toepassingen mogelijk. Criterium 4: Overdraagbaarheid Plan: Het ontwikkelde concept moet overdraagbaar zijn. In jaar 1 worden verschillende onderdelen binnen maximaal twee van de betrokken instellingen uitgeprobeerd. Scholing, programmatuur en technische ondersteuning moeten niet zodanig zijn toegesneden op de lokale infrastructuur en populatie dat overdracht naar andere instellingen onmogelijk is. Discussie: De wijze van scholing is in jaar 1 bijgesteld. De docentworkshops die zijn opgezet ter vervanging van de ontwikkeling van scholingsmateriaal voorzien in een duidelijke behoefte en zullen in jaar 2 worden voortgezet. De huidige lijst van programmatuur bevat geen programma s die niet op alle lokaties kunnen worden gebruikt. De mogelijkheden binnen Blackboard die worden benut voor de Toolbox zijn gebaseerd op standaardfunctionaliteit binnen Blackboard. Op mogelijke problemen met verschillende versies van Blackboard wordt geanticipeerd door de ontwikkeling en aanpassing op de lokale systemen te verrichten. Dit garandeert optimale bruikbaarheid in de onderwijscontext. Dit is ook een betere garantie voor continuïteit na afloop van het project. Een referentiemodel voor alle ontwikkelde tools wordt bijgehouden op de Blackboardserver van de RUG. Geëxporteerde varianten van de Language Toolboxes worden als zip-bestand op de SURFGroep voor INTUIT gezet (met gebruikmaking van het versiebeheersysteem) Indien import en export vanwege versieverschillen niet mogelijk is, is het betrekkelijk eenvoudig om via knippen en plakken de inhoud van de centrale Blackboard-server over te brengen naar de lokale Blackboard-server. Afhankelijk van de ervaringen kan een deel van het budget van het nieuwe WP Techniek worden ingezet om specifieke functionaliteit voor uitwisseling te ontwikkelen. Eventuele derde partijen kunnen op deze manier na afloop van het project eveneens profiteren van de ontwikkelde componenten.

9 Conclusie Het projectteam is van oordeel dat de uitvoering en inhoudelijke resultaten van het project zodanig zijn dat aan de oorspronkelijk geformuleerde criteria voor continuering wordt voldaan en wil het project graag op korte termijn opschalen voor bredere toepassing binnen de overgebleven instellingen. Het terugtreden van de UM wordt betreurd, maar dit levert geen belemmeringen op voor uitvoering van het project zoals beschreven in het separate Controlling Document voor de Opschalingsfase

10 IV Risicoanalyse en risicomanagement In de eerdere rapportages zijn risicoanalyse- en risicomanagement onderbelicht gebleven (vgl. aanbevelingen Aanvullend Review, november 2006). De afsluiting van fase 1 van het project is een goed moment om de risico s die samenhangen met een eventueel vervolg van het project nog eens goed in kaart te brengen. Hierbij houden we ook rekening met de slaag- en faalfactoren die in het Controlling Document waren voorzien. Samenwerking tussen de instellingen: In het Controlling Document werd de samenwerking zowel gezien als een voorwaarde voor het slagen van het project (gemeenschappelijk belang) als een mogelijk risico (groot aantal deelnemers, afhaken partners). In jaar 1 is gebleken dat de samenwerking goed georganiseerd kon worden en voornamelijk voordelen met zich heeft meegebracht. De aanpak waarbij steeds twee partners samen werkten aan een deelproject betekende een spreiding van risico s die in de praktijk goed heeft uitgepakt. Bovendien kon door de samenwerking in betrekkelijk korte tijd veel werk worden verzet (programma s getest, pilots uitgevoerd, etc.). Hierdoor was de voortgang van het project als geheel minder kwetsbaar als af en toe een pilot uitviel of een programma onbruikbaar bleek. De risico s voor het project bleven op die manier beperkt. Bovendien viel voldoende kruisbestuiving plaats tussen de deelprojecten (o.a. via de workshops) om een bredere inzet van de beproefde programma s en methodieken mogelijk te maken. Lokale draagkracht De samenwerking in de huidige vorm heeft een tijdelijk karakter. De implementatie van de projectresultaten zal uiteindelijk lokaal moeten plaatsvinden. Dit betekent dat ieder talencentrum afzonderlijk maatregelen zal moeten treffen om de projectresultaten te consolideren. Docenten moeten blijvend betrokken kunnen worden bij de projectresultaten, de beproefde tools moeten voldoende aansluiten bij de lokale situatie, er zal geld moeten worden vrijgemaakt om sommige programma s in licentie te nemen, etc. Fase 2 van het project, waarbij de onderlinge samenwerking wordt gehandhaafd maar waarbij iedere instelling de opschaling (meer programma s, meer docenten, meer studenten betrekken) lokaal organiseert zal in dit opzicht van graadmeter zijn van de lokale draagkracht op dit punt. Juist met het oog hierop is in de planning voor jaar 2 extra tijd ingeruimd voor overleg op lokaal niveau. Betrokkenheid docenten In het Controlling Document zijn verschillende factoren genoemd die direct te maken hebben met de betrokkenheid van de docenten. Als slaagfactoren werden genoemd dat het project voorziet in de oplossing van een concreet probleem bij de betrokken instellingen en dat wordt gewerkt met Blackboard, een programma dat binnen alle instellingen wordt gebruikt. Als mogelijke risicofactoren werden genoemd: onvoldoende draagvlak voor de onderwijskundige uitgangspunten en het overdragen van de resultaten aan docenten die niet direct bij het project betrokken zijn geweest. Deze risico s worden beperkt door het organiseren van centrale workshops, waaraan kan worden deelgenomen door alle docenten van de betrokken talencentra. Verder is overdracht aan collega s als een specifieke taak opgenomen voor jaar 2. Hierbij dient te worden opgemerkt dat er aanzienlijke verschillen zijn tussen de omvang van de secties Engels binnen de verschillende talencentra. In verband hiermee zal de invulling van de overdracht per instelling variëren. Het bovengenoemde risico met betrekking tot lokale draagkracht speelt hierbij een rol omdat vanuit het project alleen de kosten voor de overdragende docenten voor een deel kunnen worden vergoed; niet van de docenten op wie de resultaten moeten worden overgedragen. Afhankelijkheid programmatuur: De Review Cie merkt terecht op dat onvoldoende aandacht is besteed aan de risico s van het gebruik van commerciële en niet-commerciële software van derde partijen binnen het project. De opmerkingen hangen direct samen met de perikelen m.b.t. de beschikbaarheid van het programma Dialang in de afgelopen zomer, maar gelden in feite voor het gebruik van alle off-the-shelf programmatuur binnen het project. Vooropgesteld dat het zelf ontwikkelen van programmatuur voor de doelgebieden toetsen, oefenen, en begeleiden geen optie is (zowel voor wat betreft de voorwaarden van SURF als voor wat betreft het garanderen van continuïteit na afloop van het project), brengt het gebruik van programmatuur van derden altijd een zeker risico met zich mee. Een commerciële uitgever kan bepaalde programmatuur terugtrekken van de markt (bij online programmatuur betekent dit het sluiten van de website of dienst) of een niet-commerciële partij (instelling, afdeling of individuele medewerker) kan besluiten programmatuur niet langer te ondersteunen of be-

11 schikbaar te stellen, of erger nog: zonder duidelijk besluit vooraf, verdwijnt het programma op een gegeven moment door het vertrek van een medewerker of veroudering van de gebruikte technologie. Het onderwijsconcept binnen INTUIT stoelt op verschillende programma s die ieder voor zich een risicofactor zijn. Juist door de programma s in combinatie te gebruiken worden de risico s beperkt. De volgende tabel geeft een korte risicoinventarisatie per programma: Programma Risicoinventarisatie Risico Risicomanagement SET-10 Wisseling uitgevers Stijging licentiekosten Dialang Bètarelease sinds ca. 2000. AWL, Gapmaker, Highlighter Ellips Europees Taalportfolio Momenteel geen DNO of licentie mogelijk Aanbieden op eigen server niet toegestaan Website door individuele medewerker Vrij ingewikkelde auteursomgeving Nog niet volledig uitontwikkeld Federaties A-Select nog niet beschikbaar Website onder beheer derde partij (SLO) Beëindiging financiering OC&W Beperkte impact op onderwijsprogramma als geheel (individuele afname, beperkte tijdsduur toets, niet enige vorm van toetsing) Grote aantal gebruikers wereldwijd Paradepaardje Raad van Europa Nieuwe versie in voorbereiding Principe bereidheid bij instellingen om mee te werken aan beschikbaarheid op basis van licentiemodel (enkele euro s per student) Voortdurend contact met ontwikkelaars/providers (bezoeken oktober 2006, april 2007; regelmatig emailcontact) Grote aantal gebruikers wereldwijd Technisch eenvoudig concept (na te maken) Relatie met andere projecten Ondergebracht in consortium (jaarlijkse bijdragen en continuïteit) Betrokkenheid instellingen op niveaus inhoud en techniek Gedragen door alle geledingen onderwijs Concept is belangrijker dan implementatie. M.n. can-do statements van belang Om continuïteit te waarborgen is inmiddels een stichting in oprichting, met een Raad van Advies. Alessandra Corda (coprojectleider INTUIT) is gevraagd om zitting te

12 Blackboard Hoge kosten Participatie talencentra in enkele gevallen lastig door licentieovereenkomsten met faculteiten Verschillende versies binnen instellingen nemen in de redactieraad namens universiteiten Beschikbaar bij alle deelnemende instellingen Gestandaardiseerd (IMS, SCORM) Aansluiting bij lokale versies Eenvoudige uitwisseling tussen instellingen, eventueel via knippen en plakken De risico s om het project voort te zetten op basis van o.a. bovengenoemde programma s zijn o.i. acceptabel. Voor SET-10 en Dialang zijn geen alternatieven beschikbaar met dezelfde functionaliteit. SET-10 wordt voor specifieke doelgroepen ingezet en bestaat al meer dan 10 jaar. Dialang vervult een centrale rol in het project. De verwachting (o.a. op grond van persoonlijke contacten van medewerkers van de RUG met de makers) is dat er binnen een jaar een verbeterde versie zal verschijnen op basis van een licentiemodel. Structurele inzet na afloop van het project zal niet plaatsvinden indien dan nog steeds onduidelijkheid bestaat over het dienstenniveau en de betrouwbaarheid. M.n. voor het self-assessment deel zijn alternatieven voorhanden. Voor de overige programma s geldt dat alternatieven beschikbaar zijn met (deels) dezelfde functionaliteit. Het belangrijkste is echter dat het overkoepelend didactisch concept niet berust op slechts één programma en dat nieuwe programma s voor andere deelvaardigheden kunnen worden ingepast.

13 V Kostenoverzicht Cumulatief overzicht Begroting Gerealiseerde projectkosten Restant begroting (A) Voorgaande periode(s) in rapportage periode t/m rapportageperiode (B) (A)-(B) Proof-of-conceptdeel Materiële kosten 7.000,00 114,71 906,47 1.021,18 5.978,82 Personele kosten -WP1 47.688,00 29.864,00 9.358,00 39.222,00 8.466,00 -WP2 50.928,00 42.317,00 14.406,00 56.723,00 5.795,00- -WP3 47.580,00 30.794,00 15.871,50 46.665,50 914,50 -WP4 42.534,00 21.159,50 13.778,00 34.937,50 7.596,50 -WP5 56.248,00 27.465,15 18.603,83 46.068,98 10.179,02 Totaal personele kosten 244.978,00 151.599,65 72.017,33 223.616,98 21.361,02 Overige kosten 0,00 -projectmanagement 20.637,50 20.882,50 10.697,50 31.580,00 10.942,50- -accountant 4.857,50 0,00 0,00 0,00 4.857,50 -vergaderkosten, reiskosten, secretariaatskosten 2.500,00 2.384,06 3.600,93 5.984,99 3.484,99- Totaal overige kosten 27.995,00 23.266,56 14.298,43 37.564,99 9.569,99- Onvoorziene kosten 2.543,50 0,00 0,00 0,00 2.543,50 Totaal Proof-of-conceptdeel 282.516,50 174.980,92 87.222,23 262.203,15 20.313,35 Opschalingsdeel Materiële kosten 7.000,00 7.000,00 Personele kosten -WP1 40.818,00 40.818,00 -WP2 43.599,00 43.599,00 -WP3 40.170,00 40.170,00 -WP4 59.808,00 59.808,00 -WP5 50.550,00 50.550,00 Totaal personele kosten 234.945,00 234.945,00 Overige kosten -projectmanagement 20.637,50 20.637,50 -accountant 4.857,50 4.857,50 -vergaderkosten, reiskosten, secretariaatskosten 2.500,00 2.500,00 Totaal overige kosten 27.995,00 27.995,00 Onvoorziene kosten 2.543,50 2.543,50 Totaal Opschalingsdeel 272.483,50 272.483,50 TOTAAL PROJECT 555.000,00 174.980,92 87.222,23 262.203,15 292.796,85

14 Gevraagde subsidie Toegekende subsidie P-o-C-fase 177.764,90 Opgevraagd vorige periode(s) 113.341,55 Opgevraagd deze periode: - materiële kosten 543,88 - personele kosten 43.210,40 - overige kosten 2.160,56 - kosten projectmanagement (60% subsidiabel)* 6.418,50 Totaal 52.333,34 52.333,34 - Nog resterende subsidie P-o-C 12.090,01 * Zoals gerapporteerd is in de vorige rapportageperiode het maximale PM voor 100% subsidie bereikt. Daarom is in deze rapportage het standaard percentage van 60% toegepast. De opgevraagde subsidie kan overgemaakt worden op: Bankrekeningnummer 40 17 18 468 T.n.v. Rijksuniversiteit Groningen Inzake Fac. Letteren o.v.v. INTUIT

15 VI Rapportage werkpakketten en projectmanagement Voortgang en resultaten WP1: Toetsen Uitvoerders: RUG en RU Aan de RU Nijmegen stonden in deze verslagperiode de evaluatie van de 2 pilots centraal. In de pilots werd gebruik gemaakt van het softwarepakket SET 10 om de spreekvaardigheid Engels te toetsen. In de eerste pilot werd de telefoonversie getest op 6 studenten biomedische wetenschappen, 4 studenten en 1 coördinator management wetenschappen van de Radboud Universiteit. Verder werden 6 accounts van SET 10 naar de Universiteit Groningen gestuurd en 15 naar de Universiteit Leiden voor evaluatie. Ten behoeve van de beoordeling van de inhoudelijke effectiviteit zijn de resultaten van de SET 10 toets afgezet tegen de resultaten van Quick Placement Tests en de niveauwaardering naar het oordeel van de docenten. De groep toetsnemers bestond in pilot 2 uit 14 docenten biomedische wetenschappen die Lecturing in English volgden en 16 studenten die een Cambridge course volgden bij het UTN. Daarnaast zijn diverse tests gedaan door projectcoördinatoren van de andere instellingen. De computerversie van SET10 is niet getest, hetgeen te maken had met het logistieke probleem de testpersonen op een specifieke locatie bijeen te brengen, alsook de voorkeur van de deelnemers voor de telefoontest die zij op een zelfgekozen moment in een eigen omgeving konden afnemen. Over de technische uitvoering is de RU, ook na de tweede pilot zeer tevreden. In technisch, praktisch en organisatorisch opzicht voldoet de test. Verder zijn er nieuwe aanvullende inzichten uit de tweede pilot naar voren gekomen, en werden sommige bevindingen uit de eerste pilot bevestigd c.q. weerlegd. De instructies en vragen kon men soms moeilijk verstaan, o.a. vanwege de diverse stemmen op de band. In de tweede pilot bleek men overwegend positief te zijn over de feedback die het systeem direct na de toets geeft. Het vergelijk van resultaten SET10 met de QPT en assessments door de docenten zelf heeft een grote correlatie opgeleverd. Echter een belangrijke bevinding uit de tweede pilot is dat in de hogere score-regionen slechts heel beperkt gedifferentieerd wordt naar niveau. De conclusie is dat op proficiency-niveau SET10 niet als diagnostische tool kan dienen. De differentiatie rond (CEF) B1 niveau levert wel bruikbare indicaties op. SET10 kan gebruikt worden als een alternatief voor een intake-gesprek bij cursussen (met een groot aantal deelnemers) waarin spreekvaardigheid een belangrijke rol speelt. Belangrijk technisch aspect hierbij is dat de docent de mogelijkheid tot naluisteren van de opname heeft. Bij de RUG kon de pilot met Dialang, zoals eerder gemeld, vanwege problemen met het programma geen doorgang vinden. In plaats daarvan hebben de docenten functionele specificaties aangeleverd voor de Dialang Plus module binnen Blackboard. Er zijn verschillende ontwerpen gemaakt, waarna uiteindelijk gekozen is voor de opzet van de module als een learning unit binnen Blackboard. De module is opgezet als onderdeel van de cursus waarbinnen hij zal worden toegepast. Binnen genoemde cursus is ook het andere online materiaal dat voor studenten beschikbaar is herordend als voorbereiding van de zgn. Language Toolbox die uiteindelijk in de context van verschillende cursussen kan worden gebruikt en ook na afloop van de cursussen, zo is de bedoeling, voor studenten beschikbaar zal blijven (autonomie van de leerder in onze optiek houdt o.a. in dat de student tools moet krijgen aangereikt en deze moet leren gebruiken meestal in het kader van een taalcursus- die hij gedurende zijn hele studietijd en liefst ook daarna moet kunnen blijven gebruiken om zelf te blijven werken aan verbetering van de taalbeheersing. Met het oog hierop zullen ook de andere tools waarvan tijdens het project is gebleken dat ze goed voldoen in de Language Toolbox worden geïntegreerd. Docentinstructies worden eveneens toegevoegd. Door deze opzet kunnen docenten per instelling en per groep bepalen welke tools ze willen aanzetten en welke niet. Andere deelnemers in het project hebben via een gastaccount toegang tot de betreffende module. Dit systeem zal in de voorbereidingsfase van jaar 2 zo worden aangepast dat iedere instelling de Language Toolbox binnen de eigen Blackboardomgeving kan toepassen. Voortgang WP1 Oefenen Start Eind Status Commentaar Proof of Concept (jr 1) 5-12-05 Voorbereiding 5-12-05 1-3-06 Volgens schema uitgevoerd.

16 Afronding P-o-C Behoeftenanalyse Selectie en beoordeling software Afronding voorbereidingstraject Uitvoering Disseminatie Detailplanning Fase1 Fase2 Inhoudelijke aanpassingen Maken van draaiboek voor docenten en studenten Uitvoering pilot met cursisten aan eigen instelling Evaluatie Afronding pilots fase1 Inhoudelijke aanpassingen Maken van draaiboek voor docenten en studenten Uitvoering pilot met cursisten aan eigen instelling Evaluatie Afronding pilots fase2 Startconferentie Interne en externe informatievoorziening Slotconferentie Overleg en rapportage 5-12-05 1-2-06 1-3-06 Thu 2-3-06 Thu 2-3-06 21-3-06 21-3-06 12-4-06 16-5-06 19-6-06 19-7-06 14-8-06 14-8-06 18-8-06 2-10-06 6-11-06 4-12-06 23-1-06 Thu 26-1-06 23-1-06 16-1-07 10-1-06 28-12-05 28-2-06 1-3-06 4-12-06 20-3-06 19-7-06 15-5-06 15-5-06 16-6-06 18-7-06 19-7-06 4-12-06 Sat 30-9-06 Sat 30-9-06 3-11-06 1-12-06 4-12-06 Thu 26-1-06 16-1-07 22-1-07 voltooid RU: voltooid RU: voltooid RU: voltooid volgens schema. In deze fase alleen telefoonversie van SET-10 beproefd. Evaluaties ook al goeddeels gereed. Instructies waren voldoende duidelijk; Zie voor: instructies; draaiboek, vragenlijst evaluatie, evaluatierapport en verslag pilot de opgeleverde documenten op de website. Verbeterpunten nav pilot 1: Eerstejaarsstudenten betrekken (RUG) Medewerkers betrekken (RU) Integratie in Blackboard. Vergelijking telefoon versie Set 10 met Internetversie Set 10 (RU); Vergelijking met test en oordeel van de docenten. Vergelijking resultaten uit Set 10 test met Quick Placement. Verbeterpunten pilot 1 opgenomen in pilot 2. Ivm problemen Dialang: Pilot RU: alleen SET-10 Pilot RUG: andere opzet: combinatie met WP4, pilot afgelast. Interne disseminatie volgens schema. Meer docentbijeenkomsten georganiseerd. Verslagen e.d. op interne website geplaatst. Opgeleverde documenten WP1: Pilotbeschrijvingen Evaluatieverslagen WP1 Letter to testers SET10 Final scores CEF/SET10/QPT/teachers assessments SET10 instructies Versant

17 Test score example Dialang Plus module Model Language Toolbox Gerealiseerde personele kosten WP1: WP1 Toetsen Begroot Gerealiseerd Proof of Concept (jr 1) 47.688,00 39.222,00 Voorbereiding 4.178,00 6.471,00 Behoeftenanalyse 1.614,00 1.892,00 Selectie en beoordeling software 2.564,00 4.579,00 Afronding voorbereidingstraject 0,00 0,00 Uitvoering 30.042,00 21.527,00 Detailplanning 1.282,00 1.468,00 Fase1 14.380,00 12.234,00 Inhoudelijke aanpassingen 5.020,00 5.262,00 Maken van draaiboek voor docenten en studenten 1.004,00 1.394,00 Uitvoering pilot met cursisten aan eigen instelling 5.576,00 5.318,00 Evaluatie 2.780,00 260,00 Afronding pilots fase1 0,00 0,00 Fase2 14.380,00 7.825,00 Inhoudelijke aanpassingen 5.020,00 3.145,00 Maken van draaiboek voor docenten en studenten 1.004,00 112,00 Uitvoering pilot met cursisten aan eigen instelling 5.576,00 3.458,00 Evaluatie 2.780,00 1.110,00 Afronding pilots fase2 0,00 0,00 Disseminatie 9.715,00 7.537,00 Startconferentie 3.120,00 3.712,00 Interne en externe informatievoorziening 3.475,00 3.825,00 Slotconferentie 3.120,00 0,00 Overleg en rapportage 3.753,00 3.687,00 Afronding P-o-C 0,00 0,00 Voortgang en resultaten WP2: Oefenen Uitvoerders: UvT en UM In de vierde projectperiode zijn in Tilburg voor het werkpakket oefenen verschillende activiteiten uitgevoerd. In de eerste plaats is tijd besteed aan het zoeken naar en beoordelen van bestaande softwarepakketten en e-learning programma s voor het zelfstandig oefenen en verbeteren van het individuele uitspraakniveau Engels. Gebleken is dat vrijwel al het materiaal dat hiervoor te vinden is, ontwikkeld is voor training van uitspraak van Amerikaans Engels. Om die reden is het voor onze doelgroep niet bruikbaar. Dergelijke programma s zijn wel bekeken maar niet nader beschreven in het checklistsjabloon. Overige programma s, die wel bruikbaar leken, zijn nader onderzocht en getest. Het gaat om de programma s BBC radio, English Club, Eurofluent, Eyespeak, Gong, Sephonics en Sanako. Beschrijvingen zijn te vinden in de betreffende checklists. Het meest veelbelovend leek het programma Eyespeak, waarop besloten werd hiermee een pilot uit te voeren. Ook de tegenhanger van de Sanako Media Assistant, de Renet Player van het merk Maro, waar de UvT een licentie voor heeft, leek interessant voor een pilot. Als tweede en derde activiteit zijn zodoende twee afzonderlijke pilots opgezet. Met een kleine groep van 5 medewerkers van de Universiteit, die zich vrijwillig hadden aangemeld is een pilot opgezet om de bruikbaarheid van het programma Eyespeak voor zelfstudie te testen. Hiertoe werden bij Eyespeak een zestal persoonlijke accounts aangekocht. Voor de proefpersonen is een handleiding geschreven voor het werken met Eyespeak en een instructie voor deelname aan deze pilot. Alle proefpersonen kregen mondeling nadere toelichting op het programma en op hun rol in de pilot. De eerste resultaten laten vooral zien dat het zelfs voor zeer gemotiveerde medewerkers niet meevalt om zonder enige druk van cursusverplichtingen toe te komen aan werken met dit programma. Het streven was om deze pilot voor kerstmis 2006 af te ronden maar op verzoek van enkele proefpersonen is de pilot verlengd tot na de kerstvakantie. Nadere informatie over de inhoud van het programma en over de mogelijke meerwaarde ervan wordt beschreven in een evaluatieverslag dat in januari 2007 zal worden geschreven. Ook met de Renet Player van Maro is een pilot uitgevoerd. Deze tool is toegevoegd aan twee bestaande cursussen. De ene cursus is een cursus voor studenten, de andere een docententraining.

18 Doel van deze pilot is tweeledig. Enerzijds willen we nagaan of en hoe het technisch gezien mogelijk is de Renet Player aan te bieden via Blackboard en of het studenten met behulp van de handleiding lukt de tool te downloaden en op hun eigen PC te installeren en te gebruiken met de door de docent, ook in Blackboard aangeboden geluidsfragmenten. Anderzijds willen we nagaan of deze tool tegemoet komt aan de behoefte van zowel docenten als studenten om thuis zelfstandig te kunnen oefenen met het beluisteren en naspreken / inspreken van tekst. Ook van deze tweede pilot worden de resultaten in januari 2007 verwacht. De eerste indruk is dat de tool bruikbaar is en studenten inderdaad in staat stelt thuis te oefenen met aangeboden stimulusmateriaal. Naast deze twee pilots gericht op training van uitspraak is nog een derde pilot opgezet. Deze derde pilot heeft tot doel om te komen tot integratie van de werkpakketten toetsen, oefenen en begeleiden. In deze pilot willen we nagaan in hoeverre de bevindingen van Intuit tot dusver in een praktijksituatie kunnen worden ingevoerd. De ideeën van Intuit sluiten mooi aan bij een vraag die bij het Talencentrum van de UvT werd neergelegd. Een team van medewerkers van de Dienst Studenten Zaken wilde graag een training Engels waarbij veel ruimte moest zijn voor de grote individuele verschillen in zowel behoefte als taalvaardigheidsniveau van beheersing van het Engels. Bovendien zocht men een werkwijze waarbij het voor de deelnemers mogelijk moest zijn om veel zelfstandig te kunnen werken aan verbetering van eigen specifieke probleemgebieden, liefst ook nog nadat de cursus is afgelopen. Voor deze groep is een cursusopzet gemaakt waarbij men begint met inschatting van het eigen taalvaardigheidsniveau voor bepaalde vaardigheden middels het digitale Europese taalportfolio (getest in werkpakket 3: begeleiden). Van andere vaardigheden wordt het beginniveau getest middels afname van de Dialangtest (getest in werkpakket 1: toetsen). Op basis van het beginniveau dat zo in kaart wordt gebracht en op basis van de behoefte van de individuele deelnemer wordt een studieadvies uitgebracht. Waar mogelijk wordt de deelnemer verwezen naar oefenprogramma s die hij zelfstandig kan doorwerken (getest in werkpakket 3:oefenen). Waar nodig en mogelijk wordt in contacturen aandacht besteed aan vaardigheden die het beste op die wijze getraind kunnen worden. Alle handleidingen voor, en links naar de benodigde programma s worden aangeboden middels een speciaal hiervoor ingerichte Blackboardsite, genaamd de Toolbox. Deze pilot is pas gestart in december 2006 en heeft een looptijd die langer is dan deze vierde projectperiode. De eerste indrukken zijn positief: de deelnemers zijn zeer te spreken over de gekozen opzet waarbij veel ruimte voor zelfreflectie en autonoom leren is ingeruimd. In Maastricht is verder gewerkt met het programma Ellips. Er is gewerkt aan de voorbereiding van een vervolgpilot met het oefenmateriaal voor Gezondheidswetenschappen. Het materiaal hiervoor wordt in het kader van een ander project ontwikkeld (binnen INTUIT kan maar op beperkte schaal inhoud worden gemaakt). De pilot is nog niet uitgevoerd vanwege diverse redenen. In de eerste plaats vindt het betreffende onderwijs pas later plaats. Door een hoge werkdruk, persoonlijke omstandigheden en een dreigende reorganisatie is de betrokkenheid van de docenten bij het project sterk teruggelopen en konden de overeengekomen activiteiten moeilijk worden uitgevoerd. Voor de volgende fase speelt bovendien een rol dat werken met meerdere programma s moeilijk te realiseren zal zijn, zowel voor wat betreft de aansluiting bij het onderwijs als voor wat betreft de technische implementatie (dit geldt o.a. voor Blackboard). Met het oog hierop heeft UM besloten niet te participeren in fase 2 van het project. Betrokkenheid bij de overige partners blijft via participatie in het Ellipsconsortium en door deelname aan de didactische workshops. Voortgang WP2 Oefenen Start Eind Status Commentaar Proof of Concept (jr 1) 5-12-05 Voorbereiding 5-12-05 1-3-06 Groslijst software is in periode vier verder uitgebreid. Behoeftenanalyse Alle opgeleverde documenten Selectie en beoordeling software 5-12-05 1-2-06 28-12-05 28-2-06, 2 e sessie najaar zijn te vinden op de projectsite. Afronding voorbereidingstraject 1-3-06 1-3-06 Uitvoering Detailplanning Fase1 Inhoudelijke aanpassin- Thu 2-3-06 Thu 2-3-06 21-3-06 21-3-06 4-12-06 20-3-06 19-7-06 15-5-06 Eerste pilots Tilburg en Maastricht zijn volledig afgerond, de genoemde taken zijn uitgevoerd, bijbehorende documenten opgeleverd, inclusief evaluatieverslag en lijst van verbeterpunten.

19 Afronding P-o-C Disseminatie Fase2 gen Maken van draaiboek voor docenten en studenten Uitvoering pilot met cursisten aan eigen instelling Evaluatie Afronding pilots fase1 Inhoudelijke aanpassingen Maken van draaiboek voor docenten en studenten Uitvoering pilot met cursisten aan eigen instelling Evaluatie Afronding pilots fase2 Startconferentie Interne en externe informatievoorziening Slotconferentie Overleg en rapportage 12-4-06 16-5-06 19-6-06 19-7-06 14-8-06 14-8-06 18-8-06 2-10-06 6-11-06 4-12-06 23-1-06 Thu 26-1-06 23-1-06 16-1-07 10-1-06 15-5-06 16-6-06 18-7-06 19-7-06 4-12-06 Sat 30-9-06 Sat 30-9-06 3-11-06 1-12-06 4-12-06 Thu 26-1-06 16-1-07 22-1-07 In Tilburg twee pilots voltooid, derde pilot loopt nog. voor twee pilots Tilburg., twee pilots Tilburg. Tweede serie pilots Tilburg is uitgevoerd, de genoemde taken zijn uitgevoerd, bijbehorende documenten opgeleverd, inclusief evaluatieverslag en lijst van verbeterpunten.. Opgeleverde documenten WP2: Checklist BBC Radio Checklist English Club Checklist Eurofluent Checklist Eyespeak Checklist Gong Checklist Sephonics Checklist Sanako Media Assistant Powerpoint Intuit Pilot II Pilot beschrijving Eyespeak Pilot beschrijving Renet Player Pilot beschrijving Toolbox Student Manual Renet Player Relan Pro Eyespeak instructie en handleiding Evaluation form Eyespeak Evaluation form Renet Player Handout language portfolio (update december 2006) Rapportage pilots Eyespeak & Renet Player (=evaluatie)

20 Gerealiseerde personele kosten WP2: WP2 Oefenen Begroot Gerealiseerd Proof of Concept (jr 1) 50.928,00 56.723,00 Voorbereiding 4.412,00 8.261,00 Behoeftenanalyse 1.668,00 1.668,00 Selectie en beoordeling software 2.744,00 6.593,00 Afronding voorbereidingstraject 0,00 0,00 Uitvoering 32.148,00 36.556,00 Detailplanning 1.372,00 1.899,00 Fase1 15.388,00 15.294,00 Inhoudelijke aanpassingen 5.380,00 4.936,00 Maken van draaiboek voor docenten en studenten 1.076,00 1.094,00 Uitvoering pilot met cursisten aan eigen instelling 5.972,00 5.934,00 Evaluatie 2.960,00 3.330,00 Afronding pilots fase1 0,00 0,00 Fase2 15.388,00 19.363,00 Inhoudelijke aanpassingen 5.380,00 7.236,00 Maken van draaiboek voor docenten en studenten 1.076,00 1.419,00 Uitvoering pilot met cursisten aan eigen instelling 5.972,00 7.600,00 Evaluatie 2.960,00 3.108,00 Afronding pilots fase2 0,00 0,00 Disseminatie 10.372,00 8.275,00 Startconferentie 3.336,00 2.960,00 Interne en externe informatievoorziening 3.700,00 3.293,00 Slotconferentie 3.336,00 2.022,00 Overleg en rapportage 3.996,00 3.631,00 Afronding P-o-C 0,00 0,00 Voortgang en resultaten WP3: Begeleiden Uitvoerders: ULei en UU In de rapportageperiode zijn aan beide instellingen nieuwe pilots uitgevoerd en geëvalueerd. Aan de UU is uiteindelijk gekozen om niet met de vertaalde Engelstalige versie van het Europees Taalportfolio te werken. Deze versie bleek te laat beschikbaar om nog in dit semester te gebruiken (de Engelstalige versie is nodig omdat veel studenten geen Nederlands spreken). Bovendien was er scepsis over het gebruik van portfolio s in kortlopende cursussen. In Utrecht is daarom besloten te werken met de can-do statements voor schrijfvaardigheid (CEF) en de RITE-codes (voor beoordeling van schrijfproducten) zoals die worden beschreven op de Good Practice -site van SURF. Voor de RITE-codes werden verwijzingen geformuleerd naar online oefenmateriaal, waardoor studenten zichzelf verder konden ontwikkelen. Ook worden studenten geïnstrueerd in het gebruik van de Academic Word List om het woordgebruik in hun schriftelijk werk te verbeteren. In combinatie vergroten deze drie instrumenten het zelfinzicht van de studenten, maken zij de studenten zelf verantwoordelijk voor hun eigen leren en stimuleren zij hun autonomie. De docenten hebben tevens ervaring opgedaan met het ontwikkelen en gebruiken van een Blackboard-cursus. De evaluatie is positief, behalve een paar kanttekeningen over het nut van zichzelf beoordelen via de can-do statements. Wel is het zo dat men heeft moeten afwijken van het oorspronkelijk plan, namelijk de studenten met Dialang en met de can-do statements te laten werken, omdat Dialang lang niet beschikbaar was. De can-do statements zijn dus geïsoleerd aangeboden, en dat is wellicht een van de redenen dat de studenten zichzelf beoordelen met deze checklist niet zo nuttig vonden. Wat ook een rol kan hebben gespeeld, is dat studenten met een papieren versie van de can-do statements, die via de ELO beschikbaar was gesteld, hebben gewerkt. Hierdoor was het niet mogelijk om meteen te weten, zoals in de interactieve versie op www.europeestaalportfolio.nl, of een student de cesuur had gehaald en dus op een bepaald niveau presteerde of niet. ULei heeft ook in de tweede serie pilots met www.europeestaalportfolio.nl gewerkt. Voor deze tweede serie is zowel met studenten (focus: spreek- en schrijfvaardigheid) als met medewerkers (focus: spreekvaardigheid) gewerkt. De pilot met medewerkers is echter niet afgerond, omdat de cursisten grote problemen bleken te hebben met de techniek. Hoewel de docenten hadden verwacht dat deze doelgroep meer moeite zou hebben dan de studenten, en hiervoor extra instructiebijeenkomsten en materiaal hadden ontwikkeld, was de drempel te hoog. Het gebruik van de digitale recorder was veel problematischer dan ze dachten. Een voorbeeld: men wist bijvoorbeeld niet dat de knop voor opname rond en rood was, en de knop voor afspelen een pijltje. Omdat deze symbolen standaard zijn in alle opnameapparatuur, van audiocassette tot video- en dvdrecorder hadden de docenten daarvoor geen specifieke instructie gegeven in de handout. Uit deze ervaring