7. De keuze van een elektronische leeromgeving

Transcriptie

1 ICT in het hoger onderwijs De keuze van een elektronische leeromgeving Marja Verstelle, Bas de la Parra en Peter Sloep Begin 2002 hebben verreweg de meeste instellingen voor hoger onderwijs één of meerdere leermanagementsystemen in gebruik (Droste e.a., 2001). Toch is er voldoende reden om nog in te gaan op de keuzeproblematiek. Een instellingsbrede implementatie is er op 28% van de instellingen. De overige instellingen verkeren in de pilotfase of hebben op één faculteit een bepaalde ELO faculteitsbreed ingevoerd. Vroeg of laat staat men in deze onderwijsinstellingen voor de keuze of men één systeem voor de hele instelling verkiest of niet en zo ja voor welk systeem men kiest. Op basis van welke informatie en argumenten, en via welk proces komt men dan tot een beslissing? Dit hoofdstuk biedt een handreiking bij het opstarten van een keuzetraject. Tegelijkertijd geeft het hoofdstuk u een beeld van mogelijke kwaliteitscriteria voor ELO s. Ook al heeft uw instelling al gekozen voor een ELO krijgt u te maken met de vraag of een nieuwe versie van de ELO met nieuwe mogelijkheden moet worden aangeschaft. En tenslotte kan er een moment komen dat u een andere, meer effectieve ELO wilt gaan gebruiken. De lezer vindt in dit hoofdstuk geen productvergelijkingen. Daarvoor zijn bronnen te raadplegen van onderzoekers die regelmatig ELO s en hun nieuwe versies gedetailleerd testen en vergelijken. Bij een bekend Amerikaans onderzoeksteam (Hall, 2000) zijn vier medewerkers meer dan 5 maanden fulltime bezig met het verzamelen van gegevens en het maken van de productbeschrijvingen. Voor het in het Nederlandse hoger onderwijs doet het CINOP onderzoek in opdracht van SURF (Droste, 2000). Met de voorbereiding, uitvoering en beschrijving van de testresultaten zijn per ELO twee medewerkers ieder circa een week fulltime bezig. We pretenderen in dit hoofdstuk dus niet om dit te evenaren. Zinvoller is het om in te gaan op de vraag wat de lezer aan de verschillende productvergelijkingen kan hebben; paragraaf 7.1 gaat hier op in. Hoewel onderwijskundige criteria bij de selectie van een ELO de belangrijkste zouden moeten zijn, blijkt in de praktijk vaak dat bij het kiezen uit de zogenaamde shortlist andere criteria doorslaggevend zijn: gebruiksvriendelijkheid, bedrijfszekerheid en technische criteria. Dergelijke criteria passeren in de paragraaf 7.2 de revue: in het pioniersstadium van de ELO s stonden keuzeprocessen in een ander perspectief dan vandaag; toen beoordeelde een enthousiaste docent of projectgroep welke ELO voor bijvoorbeeld een vakgroep geschikt was. Tegenwoordig valt er veel te zeggen voor één instellingsbrede, of minimaal faculteitsbrede ELO, wat uiteraard andere eisen stelt aan het systeem en aan het keuzeproces. We zullen in paragraaf 7.2 ook kort ingaan op de argumenten vóór en tegen instellingsbrede standaardisatie. We besluiten het hoofdstuk met aandacht voor het inrichten van het keuzeproces. Eén recept valt niet te geven, maar wel suggesties voor een gestructureerde aanpak en voor wie er een rol in zouden kunnen spelen.

2 De keuze van een elektronische leeromgeving 7.1 Beschrijvingen van ELO s en hoe deze te gebruiken Voor selectiedoeleinden zijn vooral beschrijvingen die uitgaan van een vaste verzameling criteria geschikt. Door het gebruiken van dezelfde verzameling criteria worden vergelijkingen tussen ELO s mogelijk. Bekende vergelijkende onderzoeken zijn die van Hall, Landon en Droste, van respectievelijk Amerikaanse, Canadese en Nederlandse herkomst. In dit hoofdstuk baseren we ons op het onderzoek dat het CINOP in opdracht van SURF voor het hoger onderwijs uitvoert en waarvan de beschrijvingen behalve in de uitgave uit 2000 ook via < beschikbaar zijn en aangevuld en geactualiseerd worden. Onder leiding van Joke Droste voert het CINOP ook onderzoek uit voor BVE sector (voorheen gepubliceerd via het VO, PO of voor bedrijven. Verschillen tussen vergelijkende ELO-onderzoeken De vergelijkende onderzoeken verschillen op een aantal punten van elkaar: a) Naar het type product dat beschreven wordt Hall biedt vergelijkende onderzoeken op het gebied van ELO s, auteurssystemen en Learning Content Management Systems (LCMS en). Voor elk van de drie producten wordt een aparte set van beoordelingscriteria gehanteerd. Landon vergelijkt online education delivery applications (ELO s, auteurssystemen, communicatietools) aan de hand van éénzelfde set criteria. Droste vergelijkt uitsluitend geïntegreerde pakketten (ELO s) die commercieel verkrijgbaar zijn. b) Naar de voorselectie, de keuze van de in het onderzoek betrokken ELO s In het vergelijkend onderzoek van Hall worden 60 ELO s beschreven. In de overige onderzoeken ligt dat aantal veel lager (Droste 14, Landon circa 15). Slechts drie ELO s komen bij alle drie voor. Wereldwijd zijn er meer dan 100 ELO s. Er heeft dus een voorselectie plaatsgevonden. De voorselectie vindt plaats op basis van de volgende overwegingen: Landelijk gebruik. Ieder onderzoek beschrijft alleen ELO s die in de desbetreffende landen gebruikt worden. Het veel grotere aantal beschreven Amerikaanse ELO s weerspiegelt de veel grotere markt voor e-learning in dit land. Soort instellingen. Het onderzoek van Droste beschrijft ELO s die gebruikt worden in het hoger onderwijs. Het Amerikaanse onderzoek is meer gericht op organisaties en het bedrijfsleven, ook al worden onderwijsinstellingen als doelgroep wel genoemd. Efficiëntie. Gegeven het grote aantal ELO s en het werk om deze te beoordelen beschrijft men niet alle ELO s, maar een selectie. Brandon Hall beoordeelt bijvoorbeeld alleen de meest representatieve ELO s per categorie (als Enterprise level, Classroom Management System e.a.). Vergelijkend onderzoek impliceert dus niet volledigheid.

3 ICT in het hoger onderwijs 101 Jaar van beoordeling. De snelheid waarmee ELO s zich ontwikkelen en nieuwe ELO s op de markt komen is groot. Een ELO kan bij een onderzoek op een bepaald tijdstip een heel andere beoordeling krijgen dan een half jaar later. c) Naar de verzameling van beoordelingscriteria De onderzoekers gebruiken verschillende verzamelingen van criteria. Hall hanteert bovendien een veel groter aantal dan de andere onderzoekers. In figuur 1 zetten we de categorieën van criteria naast elkaar. Nut en beperkingen van vergelijkend onderzoek De belangrijkste beperking van het vergelijkend onderzoek is de actualiteit van de gegevens. ELO s verouderen snel, het is dus belangrijk te checken op welke versie van de ELO een beschrijving betrekking heeft. Droste vangt dit enigszins op door nieuwe onderzoeksgegevens via de website te publiceren zodra ze beschikbaar komen. Bij Hall geeft de publicatiedatum van het rapport een indicatie van de actualiteit. Bij Landon is de datum waarop een pagina voor het laatst bewerkt is niet een goede indicatie voor de actualiteit van het productonderzoek. De gebruiker kan zich het beste oriënteren door naar de productversie te kijken. Het raadplegen van een vergelijkend onderzoek is om diverse redenen zinvol. Het geeft allereerst een goed beeld van variabelen die een rol kunnen spelen bij de keuze van een ELO. Het instrument op zich, de criteria die de onderzoekers gebruiken, zijn bruikbaar om een eigen selectie samen te stellen met prioritering of met wegingsfactoren. Dit kan dienen om snel tot een shortlist te komen van bijvoorbeeld vijf nader te onderzoeken ELO s. Ook biedt het vergelijken van scores van ELO s op een bepaald criterium een idee van de mogelijke waarden die zo n criterium kan aannemen. Prijsstelling bijvoorbeeld vertoont grote verschillen tussen de diverse ELO s, zowel qua grondslag van de tarieven als de tarieven zelf. Grondslag kan bijvoorbeeld zijn het aantal gebruikers maar ook het aantal gelijktijdige gebruikers. Verschillen in prijzen bestaan vervolgens in de staffels van aantallen gebruikers en de prijs per afzonderlijke student. Een goed beeld van deze prijsstellingsvarianten helpt enerzijds om eigen wensen aan te scherpen, anderzijds om bij onderhandelingen over de aanschaf betere uitkomsten te krijgen. Hall en Droste bieden ter ondersteuning uitgewerkte kostencases. Tot slot geven de criteria die voor de selectie van belang zijn, ook een helder beeld van de expertise die de organisatie moet inzetten om het keuzeproces zorgvuldig te doen verlopen. Hier komen we in de laatste paragraaf op terug. Voor organisaties die al over een ELO beschikken kan het nuttig blijven met regelmaat dergelijk vergelijkend onderzoek te raadplegen: het geeft zicht op mogelijkheden die andere ELO s bieden. Met behulp van deze informatie kan beter druk op de producent van de eigen ELO uitgeoefend worden om het systeem te upgraden.

4 De keuze van een elektronische leeromgeving Figuur7. 1 De vergelijkers vergeleken Onderzoeker Hall Droste Landon Herkomst VS Nederland Canada Beschreven producten Aantal beschreven systemen Doelgroep Beoordlingscriteria: aantal Beoordelingscriteria: categorieën Adviezen voor inrichting keuzeproces Websites afzonderlijk onderzoek voor ELO', auteurssystemen en Learning Content Management Systems (LCMS en) geïntegreerde ELO s die commercieel verkrijgbaar zijn (14 op website) circa 15 ELO s, auteurssystemen, en communicatie-tools in één onderzoek organisaties, bedrijfsleven (incl. hoger onderwijs hoger onderwijs onderwijs) user interface general functionality customized functionality security systems integration registration content and course management student tracking evaluation and testing tracking reporting training current data standards organisatie communicatie leerstof/toets kosten De tests worden gedaan vanuit de verschillende typen gebruikers: studenten, docent-begeleiders, ontwikkelaars, administrateurs, beheerders. ja ja nee De website van deze commerciële organisatie biedt online bestelprocedures voor vele actuele rapporten waaronder ook klanttevredenheidsonderzoek; voorts links, een lijst met veelgestelde vragen, persberichten, en enkele gratis te raadplegen bronnen. De website die gefinancierd wordt door SURF Educatie<F> biedt aanvullingen van vergelijkend ELO-onderzoek zodra beschikbaar. Daarbij ook actuele informatie over ELO s, achtergronden, gebruikerservaringen, overzichten van wie welk platform gebruikt in Nederland, onderzoek (implementatie en onderwijskundig), discussies, onderwijskundige tips. learner tools support tools technical information Versies van onderzochte producten worden niet duidelijk vermeld (kijk bij Other Limitations). Er zijn vier opties om de gegevens te raadplegen: vergelijking van 2 producten op eigenschappen bekijken per criterium per product vergelijken van 2 producten op geselecteerde criteria vergelijking met zelf ingegeven gewicht en prioriteit van criteria Verder biedt deze nietcommerciële website persberichten van leveranciers over b.v. belangrijke

5 ICT in het hoger onderwijs 103 Praktische gegevens Onderzoek is te downloaden tegen vergoeding van $795 overnames. Beschrijvingen zijn Online te raadplegen. online te raadplegen. Onder de knop Reviews Uitgebreide publicatie is regelmatig nieuw online kosteloos onder hoger vergelijkend onderzoek onderwijsinstellingen van derden. verspreid; nabestellingen voor 14,32 (ex. BTW) bij CINOP. Verdere ondersteuning die vergelijkend onderzoekers bieden De genoemde onderzoeken bieden meer dan alleen beoordelingen. Hall en Droste bieden ook nuttige adviezen voor het uitvoeren van het keuzeproces. Droste gaat in op gebruikssituaties, implementatiefases en opleidingsscenario's, de verschillende rollen en eisen van gebruikers, en mogelijke overwegingen vanuit de problematiek van onderwijsinstellingen. Hall biedt diverse shortlists van ELO s op basis van specifieke vraagstellingen. Ook voor een lijst van vragen die men de producent moet stellen of voor richtlijnen, suggesties en een voorbeeld voor een request for proposal kan men bij Hall terecht. Een request for proposal, een gebruikelijke procedure bij de aanschaf van softwaresystemen, is van belang in de laatste fase van het selectieproces. De shortlist is dan verder gereduceerd tot bijvoorbeeld twee of drie. Men wil de twee of drie producenten een voorstel laten maken op basis waarvan de finale beslissing wordt genomen. Op de site van Landon is het mogelijk om op diverse manieren on-line te vergelijken: zo kan men de beoordelingen van twee ELO s naast elkaar op het scherm laten verschijnen. Het onderzoek van Droste wordt via een website aangevuld met keuze-informatie die minder goed in cijfers te vatten valt maar evenzeer van belang is. Zoals overzichten van alle instellingen in Nederland die het ELO in kwestie gebruiken, informatie-uitwisseling van gebruikersgroepen, uitkomsten van evaluaties van gebruikers en de relatie tussen ELO s en onderwijsvisies in het hoger onderwijs. 7.2 Criteria Onderwijsvisies en de keuze van een ELO Van verschillende kanten wordt benadrukt dat de keuze voor een ELO primair bepaald moet worden door de onderwijsvisie. Dit roept echter een aantal vragen op. Binnen onderwijsinstellingen bestaan verschillende opleidingen met vaak een eigen onderwijsvisie. Betekent dit dat per opleiding een specifieke ELO gekozen moet worden? Wat gebeurt er als een student bij meerdere vakgroepen studeert of als een docent bij meerdere opleidingen doceert? Is het dan wenselijk dat hij of zij met verschillende ELO s moet werken? Is het onderhouden van meerdere ELO s wel financieel en organisatorisch op te brengen? Hoe vast zijn onderwijsvisies overigens en wat gebeurt er als de instelling of onderdelen daarvan een nieuwe visie wil introduceren? Wanneer een ELO eenmaal geïmplementeerd is, zijn de investeringen voor migratie naar een nieuwe ELO aanzienlijk. Het lijkt dus aan te

6 De keuze van een elektronische leeromgeving bevelen om bij het kiezen van een ELO met zoveel mogelijk bestaande en toekomstige onderwijsvisies rekening te houden. Ieder onderwijsleerproces kan gezien worden als een serie leeractiviteiten van de student en onderwijsactiviteiten van de docent. Dit kan vertaald worden in generieke eisen ten aanzien van de digitale ondersteuning van deze activiteiten. Welke faciliteiten zijn nodig voor communicatie, voor het inrichten van eigen groepsactiviteiten, voor het raadplegen van voortgangsinformatie en/of voor het publiceren van onderwijsmateriaal. Op deze manier kan er los van onderwijsvisies toch een serie eisen geformuleerd worden. Deze gedachtegang laat zien dat ELO s te zien zijn als hulpmiddel, vergelijkbaar met boeken, telefoon, tekstverwerker. Voor geheel verschillende onderwijsactiviteiten kan hetzelfde hulpmiddel gebruikt worden. Andere criteria Is de shortlist van ELO s vanuit onderwijskundige overwegingen eenmaal bepaald, dan blijken criteria met betrekking tot technische infrastructuur en bedrijfszekerheidkenmerken in de praktijk een belangrijke rol te spelen. Dit zal technici niet verbazen. Voor de lezer van dit boek, die naar ELO s kijkt vanuit de gedachte van de mogelijke betekenis voor het onderwijs, is dit vaak minder vanzelfsprekend. Bij het beoordelen van deze criteria komt de afdeling in beeld die verantwoordelijk zal zijn voor het onderhoud van het systeem. Een voorkeur op technische gronden kan uiteindelijk de doorslag geven boven de voorkeur op onderwijskundige gronden, zoals het keuzeproces bij de Vrije Universiteit in 2000 liet zien. Uit de twee geprefereerde systemen was TeleTOP hier eerste keus van het ICT Onderwijscentrum, Blackboard was de eerste keus van de automatiseringsafdeling. Een ander criterium dat in de praktijk vaak tot de meest doorslaggevende behoort, is de gebruiksvriendelijkheid voor docenten. Dit houdt verband met de relatieve onbekendheid van docenten met het werken met ELO s en met Internet. Uit onderzoek blijkt dat tijdgebrek bij docenten één van de belangrijkste knelpunten is voor de toepassing van ICT in het hoger onderwijs (Van Geloven e.a., 2000). Items als gebruiksvriendelijkheid en -gemak zijn met andere woorden belangrijke succesfactoren voor het invoeren van elektronische leeromgevingen. In het kort belichten we de genoemde criteria Technische infrastructurele criteria Deze criteria hebben te maken met het operationeel krijgen en houden van de ELO. Belangen die hieraan ten grondslag liggen zijn het bedrijfskritischer worden van ELO s; zwaardere eisen aan de beschikbaarheid (24 uur per dag, 7 dagen per week), de inbedding van ELO s in bestaande infrastructuur, en beveiliging. Aspecten waarop producten beoordeeld worden zijn: de integratie (informatieuitwisseling) en eventueel overlap in functionaliteiten met andere systemen binnen de organisatie, schaalbaarheid, aansluiting bij externe standaards (compatibiliteit met de IMS-standaard is een veel gehanteerd argument in keuzetrajecten, zoals bijvoorbeeld blijkt uit het rapport van de Erasmus Universiteit (1999) Keuze teleleerplatform EUR), kwaliteit van de koppeling met softwarepakketten van andere

7 ICT in het hoger onderwijs 105 leveranciers, de tijd nodig om te leren omgaan met het systeem, de kosten van het invoeren van het systeem en last but not least de veiligheidsaspecten. Het inbedden van een ELO in bestaande infrastructuur en het leggen van koppelingen met andere systemen in andere afdelingen is doorgaans een ingewikkelde en tijdrovende zaak en vraagt veel technische en organisatorische expertise. In pilotprojecten is dit overigens vaak minder het geval: de ELO staat nog op zichzelf zonder koppelingen en de afhankelijkheid van het systeem is nog niet kritisch. Continuïteit en bedrijfszekerheidcriteria Bedrijfszekerheidcriteria hebben te maken met het operationeel houden van de ELO, maar de focus ligt nu op de continuïteit van de ondersteuning die de producent levert en de mate waarin de functionaliteiten van de ELO mee-evolueren met ontwikkelingen op ICT-gebied en met de ontwikkelingen in het onderwijs. In essentie gaat het om het vaststellen van de continuïteit van de leverancier als bedrijf, de continuïteit van haar ondersteuning en van de continuïteit in de upgrading van de ELO. Direct in verband hiermee staat de openheid van het systeem in verband met mogelijke aanpassingen als gevolg van wensen van onderwijsinstellingen of bedrijven. Hoe kan vooraf zekerheid gekregen worden dat de elektronische leeromgeving operationeel blijft? Belangrijke aanknopingspunten voor potentiële klanten zijn de visie van de leverancier op de continuïteit en bedrijfszekerheid. De omvang, marktpositie en trackrecord van een bedrijf zijn minstens zo belangrijk. Welke continuïteitsgaranties biedt de leverancier? Hoe is diens financiële situatie; ook in relatie tot voorgaande jaren? Hoe is zijn marktaandeel; groeit dit of neemt dit af? Wat is zijn klantenportefeuille en welke veranderingen doen zich hierbij voor? Met welke strategische partners werkt de leverancier samen (grote multinationals, uitgevers)? Sommige leveranciers garanderen volgens gangbare normen de beschikbaarheid van hun broncode voor het geval zij zelf ooit zouden ophouden te bestaan. Belangrijke vragen zijn vervolgens: welke ondersteuning wordt geboden aan klanten, is de organisatie adequaat ingericht op service en support van derden, hoe groot is de supportafdeling en hoe goed is deze bereikbaar? Bijvoorbeeld bellen met een supportafdeling in de VS kan pas aan het eind van de middag, tenzij deze 24 uurs bezetting heeft. Hoe snel en effectief reageert men bij problemen (klanttevredenheidsonderzoek kan hier inzicht in geven)? Hoe komt de prioritering tot stand van productverbeteringen, met andere woorden is er inspraak van gebruikers en zo ja hoe is deze georganiseerd? Gebruikersgroepen kunnen een belangrijke rol spelen bij het behoud van de functionaliteit van een product. Gebruiksvriendelijkheid en -gemak Gebruiksvriendelijkheid en -gemak kunnen beoordeeld worden vanuit de perspectieven van de verschillende gebruikersgroepen mede in relatie tot hun rollen en tot hun ELO-ervaring. Studenten moeten bijvoorbeeld snel en zonder veel instructie hun weg kunnen vinden in de ELO. Docenten zonder ervaring met ELO s hebben behoefte aan een eenvoudige bediening, laagdrempelige interface, transparante structuur, een altijd bereikbare helpdesk, 100% uptime van het systeem en dergelijke. Tegemoet koming aan deze wensen bewerkstelligt dat docenten eerder bereid zijn om gebruik te maken van de ELO.

8 De keuze van een elektronische leeromgeving Gebruiksvriendelijke ELO s zijn van doorslaggevend belang voor het succes ervan, en kunnen de spontane vraag naar vakmodules en docenttraining fors doen toenemen. Instellingsbreed invoeren? Bovenstaande drie criteria roepen vragen op naar de wenselijkheid van het instellingsbreed invoeren van één specifieke ELO. Bij ongeveer een kwart van de onderwijsinstellingen is een ELO instellingsbreed ingevoerd. Daarnaast werken diverse instellingen thans nog met meerdere ELO s. Er bestaan in essentie geen onderwijsleerpsychologische redenen tegen het invoeren van eenzelfde ELO voor de gehele organisatie. Vanuit infrastructurele, efficientie- en kostenoverwegingen pleit veel voor een instellingsbrede invoering. Er zijn meer redenen. Door de invoering van het BaMa stelsel zullen meer studenten buiten de eigen opleiding of faculteit studieonderdelen gaan volgen. Vanuit het perspectief van deze studenten is het gebruiksvriendelijker om ook daar met dezelfde ELO te werken. Uniformering kan bovendien als positief bijeffect hebben dat er vaker ervaring uitgewisseld wordt tussen opleidingen. Een instellingsbreed systeem heeft ook negatieve kanten. Het vergt meer coördinatie, meer overleg. De ondersteuning voor de docenten en studenten wordt minder flexibel. Wat voorheen eventjes geregeld kon worden, moet nu via de juiste procedures bij de verantwoordelijke aangekaart worden. Vaak is dat een afdeling die ver weg zit. De eventuele kostenvoordelen van schaalgrootte die bijvoorbeeld bij administratieve en ondersteunende taken bereikt kunnen worden, worden soms weer te niet gedaan door hogere licentiekosten van koppelbare campussystemen (bij het bekende Blackboard is dit anno 2002 een prijsverschil van een factor 3 of meer). Veel instellingen werken momenteel met meerdere ELO s. Het radicaal afschaffen van op één na alle ELO s kan veel weerstand oproepen. Ter oplossing wordt soms gekozen voor een overgangsregeling waarbij de conversie naar de nieuwe ELO verzorgd wordt door een projectteam. Box 1 De criteria uit het keuzeonderzoek van de VU (ICT Onderwijscentrum VU, 2000). Zij spreken van een Digitale Leeromgeving (DLO). Onderwijskundige criteria: Er zijn goed ontwikkelde middelen voor samenwerkend leren (samenwerking tussen studenten). Er zijn voldoende hulpmiddelen om zelfwerkzaamheid van studenten goed te organiseren en te begeleiden. Het aanbieden van leerstof kan in diverse vormen (tekst, visueel materiaal, interactief studiemateriaal, e.d.) gebeuren.

9 ICT in het hoger onderwijs 107 Er zijn voldoende mogelijkheden beschikbaar om de DLO aan de eigen situatie aan te passen (de docent moet kunnen kiezen voor wel/niet gebruiken van functionaliteit, mogelijkheid om functionaliteit uit te breiden). Cursusoverstijgende tools voor de student zijn gewenst (zoals: portfolio, overzicht taken in diverse vakken e.d.). Er is goede sturing mogelijk voor de opzet van overzichtelijke onderwijsinformatie, ter ondersteuning van efficiënt studeergedrag. Technische criteria: Werking: De DLO moet kunnen draaien zonder grote extra inspanningen van de instelling. Op de te gebruiken server moet het systeem ook bij grote belasting een goede performance hebben. Koppelingsmogelijkheden van het systeem aan andere databases (studentenadministratie, tentamenregistratie) zijn een pré. Het uiterlijk moet aangepast kunnen worden op instellings- en eventueel facultair niveau. Beheer: Systeem moet zo min mogelijk onderhoud nodig hebben; beheer moet centraal maar eventueel ook decentraal kunnen plaatsvinden. Systeem moet goed beveiligd zijn tegen overbelasting en ongeautoriseerd gebruik. Het moet goed mogelijk zijn verschillende versies te beheren. Ondersteuning: Over ondersteuning door de leverancier (helpdesk, consultancy) dienen goede afspraken gemaakt te kunnen worden. Er dient goede gebruikersinformatie beschikbaar te zijn. Bij voorkeur dient de broncode beschikbaar te zijn, zodat aanpassingen in het systeem op instellingsniveau mogelijk zijn. Er moet voldoende zicht zijn op de te verwachten verdere technische ontwikkeling van het pakket, de aansluiting bij standaards, de integratie van nieuwe functies en de continuïteit van de leverancier. Flexibiliteit De instelling moet een redelijke invloed hebben op de layout van de DLO. Op instellingsniveau moet de DLO een specifiek uiterlijk kunnen krijgen, ten behoeve van de herkenbaarheid. Op het niveau van de docent moet gemakkelijk gekozen kunnen worden uit beschikbare functies. Daarnaast moet (enige) invloed mogelijk zijn op de presentatie van de DLO (bijv. kiezen voor taal op knoppen, knoppen met eigen labels toevoegen, VUlogo gebruiken). Als er specifieke wensen komen van faculteiten moet het mogelijk zijn om de functionaliteit van de DLO uit te breiden, bijvoorbeeld door deze te combineren met andere programma s. Beheer Het inzetten van een Digitale Leeromgeving vraagt dat er afspraken worden gemaakt over beheer van cursussen en studenten. Het beheer omvat vragen als: Wie zorgt er voor het aanmaken van (lege) cursussen en cursuscodes? Wie zorgt er voor het maken van back-ups van cursussen aan het eind van een trimester? Welke gebruikers krijgen toegang tot welke cursussen?

10 De keuze van een elektronische leeromgeving Wie mag gebruikers eventueel weer uit een cursus verwijderen? Welke docenten mogen inhoud toevoegen aan welke cursussen? Op welke manier kunnen studenten zich aanmelden voor de cursussen? Op welke wijze kunnen gastgebruikers toegang krijgen tot de cursussen? Dergelijke organisatorische beheerstaken moeten op verschillende manieren georganiseerd kunnen worden, afhankelijk van de vraag of iets centraal kan of mag gebeuren, op een faculteit of door individuele docenten. Gebruiksgemak Docenten: Docenten hoeven niet te beschikken over uitgebreide technische kennis en hebben bij voorkeur geen cliënt-software nodig. Toelichting: het mag een docent niet meer dan een paar uur kosten om met de applicatie te leren werken. Hoewel het werken met een cliëntsoftware niet per se gebruiksonvriendelijk hoeft te zijn, is het voor een applicatie die centraal ondersteund moet worden zeer lastig te realiseren, omdat dit verregaande medewerking en ondersteuning vergt van het facultaire systeembeheer. De interface voor de docent moet ergonomisch goed ontworpen zijn: het werken met de DLO dient inzichtelijk te zijn. De docent moet snel studiemateriaal, opdrachten e.d., kunnen toevoegen en wijzigen. Bij voorkeur kan de docent snel wisselen tussen docent-interface en student-interface om het effect te zien van aangebrachte wijzigingen. Er zijn goede handleidingen en helpfiles voor docenten beschikbaar. Het moet voor een docent eenvoudig zijn om gerichte keuzes te maken uit de verschillende mogelijkheden van de DLO. De docent moet eenvoudig zicht kunnen houden op de studievoortgang van studenten. Studenten: Studenten moeten met zeer weinig inspanning de structuur en werking van de DLO kunnen doorgronden. Dit mag niet meer vereisen dan een korte mondelinge instructie of een korte schriftelijke handleiding. Voor studenten dient de informatie in een duidelijke structuur te worden gepresenteerd. Studenten dienen geen extra ondersteunende (cliënt)software te installeren om met de leeromgeving te werken; de leeromgeving dient voor studenten volledig browsergeoriënteerd te zijn, zodat studenten vanaf iedere werkplek toegang kunnen krijgen. Bij voorkeur krijgen studenten exact die informatie gepresenteerd die voor hen van belang is. Die informatie dient niet alleen op cursusniveau, maar ook op opleidingsniveau georganiseerd te zijn, dat wil zeggen dat de DLO de student moet helpen om een overzicht te krijgen over verschillende vakken. De toegang tot de DLO en eventuele aanvullende applicaties dient zoveel mogelijk via één wachtwoord te verlopen. Kosten en betrouwbaarheid van de producent De kosten van de applicatie en de betrouwbaarheid en service van de producent van de software spelen uiteraard ook een rol bij de keuze. Het is van belang dat de kostenstructuur helder is, zodat bij voorbaat inzichtelijk is over welke producten en diensten beschikt kan worden tegen welk jaarlijks tarief. Hoewel het per definitie riskant is om een voorschot te nemen op toekomstige ontwikkelingen, is informatie over de toekomstplannen van de producten zeker van belang.

11 ICT in het hoger onderwijs Inrichting van het keuzeproces Betrekken van belanghebbenden en gebruikersgroepen Bij het gebruiken van een ELO zijn verschillende gebruikersgroepen te onderscheiden. Het is aan te bevelen om een eventueel aan te schaffen ELO vanuit de gezichtsvelden van de verschillende gebruikersgroepen te bekijken. Inventarisering van hun wensen en/of weerstanden verkleint de kans dat onverhoopt zaken over het hoofd worden gezien en levert doorgaans informatie op die een soepele invoering helpt bevorderen. In het algemeen onderscheidt men de volgende gebruikersgroepen: onderwijskundige ontwikkelaars, ontwerpers van onderwijs: elektronisch onderwijs vraagt andere kwaliteiten van onderwijsontwerpers en leidt tot andere onderwijssituaties; ontwerpers hebben bovendien wensen ten aanzien van ontwerpondersteuning (authoring tools, (her-)gebruik van materiaal e.d.). docenten: deskundigen, experts; zij krijgen te maken met andere manieren en tijden van communicatie, feedback geven, etc. Vaak hebben ze specifieke infrastructurele wensen. Bovendien moet men zich realiseren dat er veranderingen gaan optreden in taken en rollen, hetgeen kan leiden tot nieuwe ondersteuningswensen. studenten zijn de primaire gebruikers. voltijd of deeltijdstudent, dag- versus avondstudie, systeemkenmerken van hun PC, communicatieverbindingen etc. kunnen de keuze voor een ELO beïnvloeden. IT/ICT ers: in verband met integratie met andere systemen en/of processen, alternatieve en/of aanvullende IT/ICT-mogelijkheden, maken van aanvullende programmatuur, additionele onderhoudswerkzaamheden, aanleercurve, relatie met leverancier van ELO, helpdesk. managers: in verband met de continuïteit, kosten, managementinformatie, relatie met (toekomstig) organisatie- en/of overheidsbeleid, afbreukrisico. administratief personeel: in verband met invoeren van gegevens, controleren van gegevens, eventueel doorvoeren van gegevens en/of helpdeskfunctie. Werkgroep en werkwijze Het is aan te raden om bij het kiezen van een ELO een werkgroep met de benodigde expertise te formeren. Onderwijskundige kennis in brede zin, IT/ICT-kennis en bedrijfseconomische en bestuurlijke kennis zijn wenselijk. Zo vroeg mogelijk in het keuzeproces dient ook de inbreng van de verschillende overige gebruikersgroepen georganiseerd te worden (middels raadpleging of deelname in de werkgroep). In navolging van Hall wordt geadviseerd eerst een algemene beschrijving te maken van de aanleidingen voor het invoeren van een ELO en de beoogde effecten ervan. Deze analyse wordt aangevuld met een beschrijving van relevante aspecten uit de gebruikerssituatie, waaronder IT/ICT-situatie en -ontwikkelingen binnen de organisatie. Mede op basis van de sets van kenmerken die in de eerder beschreven vergelijkende onderzoeken gehanteerd zijn, kunnen vervolgens gewenste kenmerken van een ELO gespecificeerd worden. Deze worden vervolgens gewogen in de daarvoor gangbare termen van must have, nice to have etc. Op basis van de bestaande beschrijvingen van ELO s die aangevuld worden vanuit informatie uit recente artikelen en websites over ontwikkelingen op het gebied van

12 De keuze van een elektronische leeromgeving e-learning kan een shortlist van in aanmerking komende ELO s opgesteld worden. Gebruikelijke vervolgstap is het opstellen van een request for proposal : aan de geselecteerde bedrijven wordt een aantal specifieke nadere vragen gesteld. Op basis van de reacties op de request for proposals komt men tot een voorlopige keuze. De selectieprocedure wordt afgerond na het bezoeken van een organisatie die al werkt met de ELO en/of een demonstratie, aanvullende onderhandelingen en mogelijk een pilotexperiment. De output is een beargumenteerd voorstel dat moet leiden tot het geven van groen licht voor de aanschaf en implementatie van de gekozen ELO. 7.4 Tot slot Het kiezen van een ELO is geen eenvoudig proces, vanwege de snelle ontwikkelingen in de beschikbare functionaliteit, wensen van verschillende groepen gebruikers en marktposities van leveranciers. Er zijn vele hulpmiddelen om het keuzeproces te vergemakkelijken, variërend van uitgebreide, vergelijkende warenonderzoeken, adviezen om te komen tot een shortlist, richtlijnen voor en voorbeelden van request for proposal s en diverse online-mogelijkheden om ELO s te vergelijken. Daarnaast bestaan er diverse websites waar aandacht wordt besteed aan ontwikkelingen op het gebied van elektronische ondersteuning van onderwijsleerprocessen. Door voor de lezer de vergelijkers te vergelijken hopen we het effectief gebruik van deze bronnen te bevorderen. Op één onderwijsinstelling zal niet altijd één gedeelde onderwijsvisie zijn. Tegelijk neemt het belang van campusbrede standaardisatie van ELO s toe. Men kan zich afvragen in hoeverre een onderwijsvisie bepalend kan zijn voor de keuze van een ELO. De auteurs betogen dat onderwijsvisies als het ware vertaald kunnen worden in generieke eisen ten aanzien van de ELO. Een goede keus is een ELO die een grote variëteit van leeractiviteiten ondersteunt. Criteria die in de praktijk bij het selecteren van een ELO doorslaggevend blijken te zijn, liggen op het vlak van de technologische infrastructuur, de bedrijfszekerheid van de producent en gebruikersvriendelijkheid en -gemak. Wanneer op onderwijskundige gronden een shortlist van ELO s is opgesteld, blijken deze criteria in de praktijk vaak doorslaggevend. Het selectieproces kan het best uitgevoerd worden door een werkgroep, waarin in ieder geval onderwijskundige, ICT, bedrijfseconomische en bestuurlijke expertise aanwezig is. Het is van belang wensen en behoeften van diverse gebruikersgroepen te inventariseren. Een selectieprocedure kan stappen omvatten als het maken van een business case, specificeren van gewenste kenmerken, komen tot een shortlist, doen uitgaan van een request for proposal, bekijken van de ELO in de praktijk (bij andere gebruikers, via een demonstratie), een pilotexperiment met de ELO en een voorstel voor besluitvorming.

13 ICT in het hoger onderwijs Referenties Droste, J. (2000). Advies Keuze Teleleerplatform Utrecht, Stichting SURF/CINOP. Droste, J., J. Bunjes, J. de Ronde en M. van Wijngaarden. (2001). Teleleerplatforms in Nederland Quickscan keuze, implementatie en gebruik in het hoger onderwijs. Utrecht, Stichting SURF. < Geloven, M.P. van. (2000). ICT in het hoger onderwijs: gebruik, trends en knelpunten, < Hall, B. (2000). Learning Management Systems: How to choose the Right System for your organization, Sunnyvale USA, < ICT Onderwijscentrum VU. (2000). Het kiezen van een centraal ondersteunde Digitale Leeromgeving (DLO) voor de Vrije Universiteit, Rapport ten behoeve van de Adviesgroep ICT en Onderwijs, Amsterdam. Kruizinga. E. en Kouwenhoven, T. (1998). Groupware. Group aware maken van organisaties; Kenniscentrum CIBIT. Werkgroep Teleleerplatform (1999). Keuze teleleerplatform EUR, Erasmus Universiteit, Websites met (vergelijkende) informatie over ELO s Brandon Hall publiceert t.b.v. een brede doelgroep onder andere vergelijkend productonderzoek van ELO s, Authoring Tools en Learning Content Management Systems (LCMS). Canadese site gemaakt en bijgehouden door Bruce Landon e.a. Productinformatie t.b.v. beoordeling en selectie van veel in Canada gebruikte online educational delivery applications. Gedetailleerde analyse van groot aantal e-learning platforms, toetsprogramma s, communicatieprogramma s e.a. Tevens links naar diverse andere (soms verouderde) vergelijkende onderzoeken. De site bevat een nieuwsrubriek over ontwikkelingen rond ELO s en een woordenlijst en kan verouderde versies van ELO s bevatten. Thema-site van SURF Educatie<F> over e-learning, voor het hoger onderwijs, onderhouden door ICLON. Wat betreft ELO s informatie t.b.v. oriëntatie op en keuze; productinformatie en vergelijkend onderzoek door CINOP; gebruikers; gebruikerservaringen; leveranciers- en distributeursinfo. Bevat overzicht en beschrijving van leveranciers van ELO s content en diensten. Focus ligt op organisaties en bedrijven. Bevat tevens nieuws over ontwikkelingen rond e-learning en leveranciers. Een in februari 2002 geïntroduceerde vergelijking van ELO s door CHEST, de inkooporgansiatie voor de Britse onderwijssector. Zij vergelijkt enkele populaire Virtual Learning Environments (VLEs).

14 De keuze van een elektronische leeromgeving Criteria: Product description, Type of licence, Users/Location and use permissions, Rights issues, Hosted services Requirements, Product support, Standards and specification, Cost of product, Cost of training IT staff, Other staff, Cost of maintenance and support (on site hosting), Cost of maintenance and support (off site hosting), Other support services. Over claims van leveranciers in hoeverre ze leertechnologiestandaarden ondersteunen, op de site van de Britse Centre for Educational Technology Interoperability Standards.

15 H. Frencken, J. Nedermeijer, A. Pilot en I. ten Dam (redactie) ICT in het hoger onderwijs: stand van zaken Uitgever: Universiteit Utrecht (IVLOS), Postbus 80127, 3508 TC Utrecht, en Universiteit Leiden (ICLON) ISBN-nummer: Ontwerp omslag: Rob Houwen Druk: Drukkerij Zuidam & Uithof 2002 Universiteit Utrecht, IVLOS en Universiteit Leiden, ICLON Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of op enig andere manier, zonder voorafgaande schriftelijke toestemming van de redactie.