Verkenning Next DLO VU. Evaluatierapport Blackboard 2009

Transcriptie

1 Verkenning Next DLO VU Evaluatierapport Blackboard 2009 Learning / Community System Onderwijscentrum VU Amsterdam 8 oktober 2009

2 Evaluatierapport Blackboard Learning / Community System 2 Status Versie 2.1 Definitief Linda Mebus Carmen Peters (Hoofd afdeling Hoger Onderwijs, Onderwijscentrum VU) Datum 8 oktober 2009 Auteur Opdrachtgever Linda Mebus (coörd. en red.) Herman Jonker Hanna Kuijs Victor Maijer Steve Pang Karin Zondervan Adviseur ICT en Onderwijs, Onderwijscentrum VU Onderzoeker Kwaliteitszorg, Onderwijscentrum VU Beleidsmedewerker, Onderwijscentrum VU Adviseur ICT en Onderwijs, Onderwijscentrum VU Functioneel beheerder Blackboard, UCIT Functioneel beheerder Blackboard, UCIT Foto voorblad:

3 Evaluatierapport Blackboard Learning / Community System 3 Samenvatting Inleiding Dit evaluatierapport is onderdeel van het project Verkenning Next DLO VU, een initiatief van het Onderwijscentrum VU. Dit project heeft tot doel om het College van Bestuur te adviseren over de digitale leeromgeving (DLO) die het meest geschikt is om de komende 10 jaar de onderwijs- en leerprocessen van de VU te ondersteunen. Om een goed advies te kunnen geven over de toekomst, is een evaluatie van de huidige DLO van de VU vanzelfsprekend van belang. Dit rapport beschrijft de evaluatie van het Blackboard Learning System/Community System (LS/CS) en is specifiek gericht op het deel van Blackboard dat de cursuswebsites (courses) en organisaties (communities) omvat. Doel van deze evaluatie is om antwoord te geven op twee centrale onderzoeksvragen: 1. Hoe wordt Blackboard op de VU gebruikt? 2. Hoe wordt Blackboard door gebruikers en ondersteuners gewaardeerd? Methoden en technieken In de evaluatie is gebruik gemaakt van een combinatie van kwantitatieve data en kwalitatieve data. Deze data zijn verkregen aan de hand van drie methoden: een online vragenlijst voor studenten en docenten; interviews met docenten en ondersteuners; een analyse van gegevens uit de database van Blackboard; deskstudy. In januari en februari 2009 zijn in totaal 28 interviews gehouden met docenten, ondersteuners en een lid van de Universitaire Studentenraad. In totaal hebben 3462 studenten en 341 docenten de online vragenlijst geheel ingevuld. Dit is respectievelijk circa 16,3% en 21% van het totaal aantal VU studenten en docenten. Conclusies Zowel docenten als studenten en ondersteuners zijn redelijk tevreden over Blackboard. Men is met name blij dat er een centrale DLO is. Blackboard wordt vooral gebruikt voor informatievoorziening over en in het onderwijs. Docenten en studenten waarderen het sterk dat ze over deze basisfunctionaliteiten beschikken. Deze basisfunctionaliteiten zijn standaard voor iedere DLO. De gebruikersvriendelijkheid van Blackboard wordt minder gewaardeerd, vooral door docenten. Weliswaar vinden docenten Blackboard geen moeilijk programma, maar docenten vinden Blackboard inefficiënt en minder prettig in het gebruik. Een deel van de studenten vindt Blackboard verouderd en onoverzichtelijk overkomen. Blackboard is minder geschikt voor sterker studentgestuurde onderwijsvormen en het vormen van communities. Tijdens de invoering van Blackboard werd dit al aangegeven en dit is niet veranderd. Ook biedt Blackboard door zijn gerichtheid op cursussen weinig mogelijkheden om curriculumonderdelen samenhangend te presenteren. Er zijn koppelingen gemaakt tussen Blackboard en de studenten- en medewerkeradministratie. De data uit Blackboard zijn niet goed uitwisselbaar met andere systemen. De invloed vanuit de VU als klant op de ontwikkeling van Blackboard als leverancier en product is zeer gering.

4 Evaluatierapport Blackboard Learning / Community System 4 In dit eindrapport worden nog geen aanbevelingen gedaan t.a.v. het gebruik van Blackboard. Dit zal in het advies van het project Next DLO plaatsvinden.

5 Evaluatierapport Blackboard Learning / Community System 5 Inhoudsopgave VOORWOORD INLEIDING DOEL VAN DE EVALUATIE METHODEN EN TECHNIEKEN ONLINE VRAGENLIJSTEN INTERVIEWS DATABASE ANALYSE DESKSTUDY DOELSTELLING VAN BLACKBOARD DEFINITIE DLO DOELSTELLINGEN BIJ DE INZET VAN BLACKBOARD VISIE EN BELEID T.A.V. BLACKBOARD FUNCTIONALITEITEN IN BLACKBOARD RESULTATEN VAN DE EVALUATIE BLACKBOARDGEBRUIK OP DE VU ONTWIKKELINGEN IN DE TIJD TEVREDENHEID OVER BLACKBOARD TECHNIEK EN BEHEER ANDERE DIGITALE TOOLS CONCLUSIES...35 BIJLAGEN...39

6 Evaluatierapport Blackboard Learning / Community System 6 Voorwoord Tijdens het onderzoek viel op dat vrijwel alle betrokkenen zeer enthousiast waren over het evalueren van Blackboard en er graag aan meewerkten. Dit maakte het doen van het onderzoek tot een prettige taak. Hierbij willen wij (de werkgroep) alle mensen bedanken die tijd hebben besteed aan de evaluatie, met name degenen die tot een interview bereid waren.

7 Evaluatierapport Blackboard Learning / Community System 7 1. Inleiding Context Dit evaluatierapport is onderdeel van het project Verkenning Next DLO VU, een initiatief van het Onderwijscentrum VU. Dit project heeft tot doel om het College van Bestuur te adviseren over de digitale leeromgeving die het meest geschikt is om de komende 10 jaar de onderwijs- en leerprocessen van de VU te ondersteunen. Om een goed advies te kunnen geven over de toekomst, is een evaluatie van de huidige DLO van de VU van belang. Dit rapport beschrijft de evaluatie van het Blackboard Learning System/Community System (LS/CS) en is specifiek gericht op het deel van Blackboard dat de cursuswebsites (courses) en organisaties (communities) omvat. Het portfoliogedeelte van Blackboard, dat bij een select aantal opleidingen wordt ingezet, is apart geëvalueerd. Voor de resultaten van deze evaluatie verwijzen we naar het eindverslag Evaluatie Digitaal Portfolio 1. Het project Verkenning Next DLO VU omvat, naast de evaluatie van Blackboard, nog twee andere deelprojecten. In een behoefteonderzoek worden de behoeften van gebruikers ten aanzien van de toekomstige DLO in kaart gebracht. Hierbij gaat het zowel om de concrete behoeften van docenten, studenten en ondersteuners als om beleidsdoelstellingen van de faculteiten en het College van Bestuur. Daarnaast wordt onderzoek gedaan naar de huidige en toekomstige mogelijkheden van diverse systemen die een rol zouden kunnen spelen in de toekomstige DLO van de VU: Blackboard, Sharepoint, Sakai en Google Apps. Geschiedenis van Blackboard aan de VU In 2000 besloot het College van Bestuur tot de aanschaf van Blackboard als centraal ondersteunde DLO van de VU. Dit besluit kwam tot stand na verdeelde adviezen, waarbij uit onderwijskundige motieven de voorkeur uitging naar TeleTOP, terwijl om technische redenen Blackboard werd geprefereerd. Faculteiten die destijds reeds een andere DLO dan Blackboard gebruikten, werden niet verplicht om over te stappen naar Blackboard. Verschillende faculteiten bleven dan ook gebruik maken van andere DLO s (NetLearning, TeleTOP, LearningSpace en BSCW). Deze faculteiten dienden wel zelf zorg te dragen voor installatie, beheer en onderhoud van de DLO en de licentiekosten te betalen. In 2002 is het gebruik van DLO's aan de VU geëvalueerd. Besloten werd om de keuze voor Blackboard als centraal ondersteunde DLO te continueren. Opnieuw werden faculteiten niet gedwongen tot een overstap naar Blackboard. Echter, de kosten voor beheer, onderhoud en licentie deden alle faculteiten in de jaren daarna uiteindelijk beslissen over te stappen naar Blackboard. In 2002 werd aangenomen dat Blackboard, mits aangevuld met software voor specifieke onderwijssituaties, vooralsnog voldoende mogelijkheden bood voor de VU. De vraag is of Blackboard nu, ruim zes jaar later, nog steeds aan de eisen en wensen van gebruikers voldoet. Het contract dat de VU met Blackboard heeft afgesloten loopt tot 31 december Voor de periode daarna moet een goed onderbouwde keuze gemaakt kunnen worden met betrekking tot continuering van dit contract. Dit evaluatierapport speelt hierbij een belangrijke rol. 1 Evaluatierapport Digitaal Portfolio / Blackboard Content System door Sytze Boschma, Herman Jonker en Sanne Meeder (Onderwijscentrum VU)

8 Evaluatierapport Blackboard Learning / Community System 8 2. Doel van de evaluatie Onderzoeksvragen Doel van deze evaluatie is om antwoord te geven op twee centrale onderzoeksvragen: 1. Hoe wordt Blackboard op de VU gebruikt? 2. Hoe wordt Blackboard door gebruikers en ondersteuners gewaardeerd? Subvragen die uit de twee onderzoeksvragen voortkomen zijn: 1. a) Welke functionaliteiten worden gebruikt? Door wie? Hoe vaak? b) Waarvoor worden de functionaliteiten gebruikt? c) Is er een ontwikkeling te zien in de manier waarop Blackboard gebruikt wordt in de loop der jaren? d) Gebruikt men Blackboard zoals verwacht bij de invoering ervan? 2. e) Wat zijn de ervaringen van de verschillende gebruikers met Blackboard? f) Hoe tevreden zijn de verschillende gebruikers over Blackboard? g) Welke sterke punten worden ervaren bij het gebruik van Blackboard? h) Welke zwakke punten worden ervaren bij het gebruik van Blackboard? i) Hoe zien zij de toekomst van Blackboard bij de VU? Doelgroep De relevante doelgroepen voor dit onderzoek zijn studenten, docenten, management en ondersteunend personeel van de VU. De evaluatie richt zich op studenten, docenten en ondersteunend personeel van de VU. Het management is niet meegenomen in dit onderzoek aangezien zij in het Verkenning Next DLO deelproject Behoefteonderzoek al uitgebreid aan bod komen over strategie. Daarnaast is het management niet direct betrokken bij het gebruik van Bb. Wel is aan de facultaire ondersteuners gevraagd naar het huidige facultaire beleid rondom Blackboard. Onder ondersteunend personeel vallen zowel de facultaire ondersteuners (ICTO- en Blackboard contactpersonen; medewerkers onderwijsbureaus) als centrale ondersteuners (ICT&O adviseurs van het Onderwijscentrum; functioneel, technisch en applicatiebeheerders van UC-IT). Studenten, docenten en ondersteuners maken ieder op een andere wijze gebruik van Blackboard. Docenten richten een cursussite in. Zij bepalen welke functionaliteiten gebruikt kunnen worden en hoe. Zij plaatsen het materiaal dat studenten kunnen raadplegen. Daarna krijgt de student pas toegang. Tijdens een cursus kunnen docenten nog wijzigingen aanbrengen en bijvoorbeeld de opdrachten bekijken en beoordelen, groepen indelen. Studenten hebben minder rechten en vaak een passievere rol; zij kunnen bijvoorbeeld het materiaal bekijken, opdrachten inleveren en discussiebijdragen plaatsen., afhankelijk van de manier waarop een docent de cursussite heeft ingericht en gebruikt. Ondersteuners hebben weer andere rollen en bevoegdheden in en rondom Blackboard dan docenten. Per faculteit kunnen verschillen optreden. In een aantal gevallen hebben personen

9 Evaluatierapport Blackboard Learning / Community System 9 twee functies en zijn zij bijvoorbeeld zowel ICTO-contactpersoon als Blackboard ondersteuner. Hieronder worden de rollen beschreven. facultaire ICTO-contactpersonen: adviseren docenten over gebruik van ICT in het onderwijs, facultaire Blackboard ondersteuners: ondersteunen docenten en studenten in gebruik van Blackboard, facultaire medewerkers onderwijsbureaus; facultaire beheertaken, ICT&O adviseurs van het Onderwijscentrum: geven cursussen en demonstraties over Blackboard aan docenten, ondersteunen didactisch gebruik bij facultaire projecten, functioneel beheerders van UC-IT: ondersteunen de faculteiten in het gebruik van Blackboard, lossen lopende problemen op (of laten deze oplossen door applicatiebeheerder dan wel technisch beheerder) en proberen daarnaast de manier waarop de applicatie wordt gebruikt te reguleren, applicatiebeheerders van UC-IT: zorg voor beheer van de applicatie Blackboard zelf en van de database die gebruikt wordt door de applicatie, technisch beheerder van UC-IT: beheert de servers, controleert of er genoeg schijfruimte is, doet toegangscontrole, verzorgt back-ups, zorgt dat de servers draaien en bereikbaar zijn etc. Afgeleide doelen Dit evaluatierapport dient als input voor het beleidsadvies vanuit het project Verkenning Next DLO VU. De evaluatie is echter eveneens waardevol voor de andere deelprojecten binnen Next DLO. Op basis van ervaring met Blackboard kunnen criteria gedestilleerd worden waaraan een DLO volgens gebruikers en ondersteuners moet voldoen. Deze kunnen gebruikt worden in het behoefteonderzoek. Een afgeleid doel van de evaluatie is om faculteiten te informeren over de tevredenheid van hun studenten en docenten over Blackboard. Ook is de evaluatie een bron van informatie voor de functioneel beheerders, technisch beheerders, ICT&Onderwijs adviseurs en facultaire ondersteuners om hun dienstverlening te verbeteren. In dit eindrapport kunnen echter niet alle resultaten opgenomen worden. Vanwege het primaire doel van de evaluatie is er voor gekozen primair VU-brede resultaten te geven. Alleen daar waar sprake is van opvallende verschillen tussen faculteiten, zijn de resultaten uitgesplitst naar faculteit.

10 Evaluatierapport Blackboard Learning / Community System Methoden en technieken Na het opstellen van het onderzoeksplan heeft de werkgroep de werkwijze voor de evaluatie telefonisch besproken met de facultaire Blackboardondersteuners. Ook is in het ICTOcontactpersonenoverleg de werkwijze gepresenteerd en n.a.v. opmerkingen bijgesteld. In de evaluatie is gebruik gemaakt van een combinatie van kwantitatieve data en kwalitatieve data. Deze data zijn verkregen aan de hand van vier methoden: een analyse van gegevens uit de database van Blackboard; een online vragenlijst voor studenten en docenten; interviews met docenten en ondersteuners; deskstudy. In onderstaande tabel is per onderzoeksvraag (subvraag) aangegeven op welke doelgroep dit gericht is en welke methode gehanteerd is om tot een antwoord te komen. Onderzoeksvragen Doelgroep Methode a) Welke functionaliteiten worden gebruikt? Door wie? Hoe studenten database analyse vaak? docenten online vragenlijst ondersteuners b) Waarvoor worden de functionaliteiten gebruikt? studenten docenten c) Is er een ontwikkeling te zien in de manier waarop Blackboard gebruikt wordt in de loop der jaren? ondersteuners docenten ondersteuners interviews online vragenlijst interviews database analyse interviews d) Gebruikt men Blackboard zoals verwacht bij de invoering ervan? e) Wat zijn de ervaringen van de verschillende gebruikers met Blackboard? f) Hoe tevreden zijn de verschillende gebruikers over Blackboard? g) Welke sterke punten worden ervaren bij het gebruik van Blackboard h) Welke zwakke punten worden ervaren bij het gebruik van Blackboard ondersteuners studenten docenten ondersteuners studenten docenten ondersteuners studenten docenten ondersteuners studenten docenten ondersteuners i) Hoe zien gebruikers de toekomst van Blackboard bij de VU? docenten ondersteuners deskstudy interviews online vragenlijst interviews online vragenlijst interviews online vragenlijst interviews online vragenlijst interviews deskstudy interviews Figuur 1. Onderzoeksvragen, doelgroep en gebruikte methode Met behulp van de databaseanalyse was het mogelijk inzicht te krijgen in verschillende aspecten van het VU-brede gebruik van Blackboard en ontwikkelingen in het gebruik zichtbaar te maken. Aangezien Blackboard door (bijna) de gehele VU-populatie gebruikt wordt, is gekozen voor een online vragenlijst voor docenten en studenten. Met de vragenlijsten is getracht een zo groot mogelijk deel van de docenten- en studentenpopulatie bij het onderzoek te betrekken, om een zo breed en representatief mogelijk beeld te krijgen van de ervaringen van gebruikers van Blackboard. De vraag naar de ontwikkeling in het gebruik van Blackboard is met behulp van interviews en de databaseanalyse beantwoord. De toekomst is alleen met behulp van interviews onderzocht, aangezien dit met name in het behoefteonderzoek aan de orde zou komen. De interviews met docenten en ondersteuners dienen verder ter aanvulling, verdieping en verklaring.

11 Evaluatierapport Blackboard Learning / Community System 11 Er is voor gekozen om het Content System niet uitgebreid te analyseren vanwege het zeer beperkte gebruik. 2 Deze gecombineerde aanpak voor de evaluatie van Blackboard is redelijk uniek te noemen in universitair Nederland Online vragenlijsten De online vragenlijsten zijn ingezet om een breed beeld te krijgen van de functionaliteiten die gebruikt worden, van de ervaringen met Blackboard en vooral van de tevredenheid over het systeem. Instrument De vragenlijsten bevatten voornamelijk meerkeuzevragen, waarbij in sommige gevallen meerdere antwoorden konden worden gegeven. Voor vragen naar tevredenheid en intensiteit van gebruik zijn 5-puntsschalen gebruikt. Ook is een aantal open vragen opgenomen, waarin gevraagd werd naar sterke en zwakke punten van Blackboard en is ruimte geboden voor opmerkingen. De vragenlijst voor studenten bestond uit 23 vragen; de vragenlijst voor docenten bestond uit 28 vragen. Aan de studenten werden vragen gesteld over: intensiteit van gebruik, welke functionaliteiten ze gebruiken en de tevredenheid daarover, gebruiksgemak, technische problemen, behoefte aan en tevredenheid over ondersteuning, andere gebruikte digitale tools, sterke en zwakke punten van Blackboard. Aan docenten werden grofweg dezelfde vragen gesteld, aangevuld met vragen over redenen voor gebruik van Blackboard. Om ook buitenlandse studenten en docenten bij de evaluatie te betrekken is ook een Engelstalige versie van de vragenlijst opgesteld. De vragenlijsten zijn anoniem afgenomen, zodat men vrij kon zijn in het geven van een mening. Procedure De vragenlijsten zijn tussen 15 januari en 9 februari 2009 online beschikbaar geweest. Alle studenten en docenten van de VU zijn via facultaire contactpersonen uitgenodigd om de enquête in te vullen. Verwacht werd dat een uitnodiging door een bekende uit de faculteit meer respons oplevert dan een uitnodiging door een projectgroep van het Onderwijscentrum. De facultaire contactpersonen hebben de docenten en studenten van hun faculteit per mail geattendeerd op de vragenlijst. Ook waren er links te zien naar de vragenlijst op de inlogpagina en entreepagina van Blackboard. Als stimulans zijn onder de studenten die de enquête ingevuld hebben twee ipod Touch s verloot. 2 Het Content System bevat naast een digitaal portfolio ook functionaliteiten voor opslag en beheer van documenten.

12 Evaluatierapport Blackboard Learning / Community System 12 Respons Zoals in figuur 2 is weergegeven, hebben in totaal 3462 studenten en 341 docenten de vragenlijst geheel ingevuld. Dit is respectievelijk circa 16,3% en 21% van het totaal aantal VU studenten en docenten. Met name veel studenten van Letteren hebben de vragenlijst ingevuld (27%). Verder valt op dat studenten van FPP, FSW en het Onderwijscentrum ondervertegenwoordigd zijn. Wanneer de resultaten van de vragenlijsten worden uitgesplitst naar faculteiten kan over deze faculteiten daarom geen uitspraak worden gedaan. Hetzelfde geldt voor docenten van Godgeleerdheid en Wijsbegeerte, waar slechts één docent de vragenlijst invulde. Ook hebben weinig docenten van Geneeskunde de vragenlijst ingevuld. Docenten Studenten respons totaal 3 % van totaal respons totaal 4 % van totaal Aard- en levenswetenschappen % % Bewegingswetenschappen % % Economische wetenschappen en Bedrijfskunde % % Exacte Wetenschappen % % Geneeskunde % Godgeleerdheid % % Letteren % % Onderwijscentrum VU % % Psychologie en Pedagogiek % % Rechtsgeleerdheid % % Sociale Wetenschappen % % Tandheelkunde (ACTA) % % Wijsbegeerte % % Anders, namelijk 7 35 Totaal % ,3% Figuur 2. Respons op de vragenlijsten Analyse De meerkeuzevragen zijn geanalyseerd in SPSS, waarbij vooral gekeken is naar gemiddelden en standaarddeviaties. De open vragen zijn met behulp van interbeoordeling gescoord Interviews In januari en februari 2009 zijn in totaal 28 interviews gehouden met docenten, ondersteuners en een lid van de Universitaire Studentenraad. Het was niet haalbaar om gesprekken te realiseren met alle doelgroepen bij alle faculteiten. Daarom is gestreefd naar een redelijk beeld per 3 Totaal aantal docenten per faculteit. Het aantal docenten bij Geneeskunde is onbekend. 4 Totaal aantal studenten per faculteit (bachelor, master, premaster). Cijfers afkomstig van VU Studentenzaken Onderwijsstatistiek, Inschrijvingen en Instroom per nov Totaal aantal studenten aan VU(402) en UvA (478), aangezien alle ACTA-studenten zijn uitgenodigd om de enquête in te vullen.

13 Evaluatierapport Blackboard Learning / Community System 13 doelgroep van de ervaringen met Blackboard en de tevredenheid daarover, op basis van gesprekken bij verschillende faculteiten. Tijdens de interviews is gebruik gemaakt van een gestructureerde vragenlijst. Docenten Aan alle facultaire contactpersonen is gevraagd om docenten voor te dragen die Blackboard zeer intensief gebruiken of die een ander DLO gebruiken. Zo zijn 11 docenten geselecteerd die Blackboard zeer intensief gebruiken en 2 docenten die een andere DLO gebruiken (respectievelijk Fronter bij Geneeskunde en SURFgroepen bij Letteren). Met deze docenten is contact opgenomen en zij waren allen bereid om aan een interview mee te werken. Er zijn docenten geïnterviewd bij de volgende faculteiten: FALW(2), FBW, FEWEB, FEW, Geneeskunde (2), Godgeleerdheid, FPP (2), Rechten, ACTA, LET. Hierbij is gebruik gemaakt van een gestructureerde vragenlijst. De volgende onderwerpen kwamen in deze gestructureerde vragenlijst voor: (ontwikkeling in) gebruik, belang van Blackboard voor zijn/haar onderwijs tevredenheid, sterke en zwakke punten van Blackboard, ondersteuning, andere digitale tools, de toekomst. De interviews zijn in de periode januari-februari 2009 uitgevoerd. De gegevens uit de interviews zijn door twee projectmedewerkers in een tabel puntsgewijs samengevoegd en samengevat om overeenkomsten en verschillen te kunnen achterhalen. Zie de bijlagen voor een samenvatting en de tabel van de interviews met docenten. Facultaire ondersteuners Een aantal facultaire contactpersonen is gevraagd om een interview of om iemand voor te dragen voor een interview over hun eigen ervaringen en de ervaringen binnen de faculteit. De selectie is gemaakt op basis van verschillen in de grootte van de faculteit, de manier van ondersteuning en het aantal jaren ervaring als ondersteuner. Het interview met de contactpersoon van FBW kon wegens persoonlijke omstandigheden helaas niet doorgaan. In onderstaande tabel staan de geïnterviewde personen per faculteit. Faculteit FSW ACTA Geneeskunde FEWEB FEW Letteren FALW Onderwijscentrum ondersteuner Blackboard- en ICTO-contactpersoon Blackboard- en ICTO-contactpersoon Blackboard contactpersoon 2 medewerkers onderwijsbureau Blackboard contactpersoon ICTO-contactpersoon (voorheen ook Blackboard contactpersoon) ICTO-contactpersoon (voorheen ook Blackboard contactpersoon) Blackboard contactpersoon Figuur 3. Geïnterviewde facultaire ondersteuners De volgende onderwerpen kwamen in de gestructureerde vragenlijst voor: facultair beleid,

14 Evaluatierapport Blackboard Learning / Community System 14 (ontwikkeling in) gebruik binnen faculteit, tevredenheid onder studenten, docenten en henzelf, sterke en zwakke punten van Blackboard, techniek, beheer, ondersteuning, andere digitale tools, de toekomst. Contactpersonen van het Centrum voor Internationale Samenwerking en het Centrum voor Studie en Loopbaan hebben per sterke en zwakke punten van Blackboard aangegeven. De gegevens uit de interviews zijn door twee projectmedewerkers in een tabel puntsgewijs samengevoegd en samengevat om overeenkomsten en verschillen te kunnen achterhalen. Centrale ondersteuners Op centraal niveau zijn vragen gesteld aan de twee huidige functioneel beheerders, een voormalige functioneel beheerder, een applicatiebeheerder en een technisch beheerder van Blackboard. Op basis hiervan is een rapport opgesteld dat de drie beheersfuncties beschrijft en verslag doet van hun ervaringen met Blackboard van en de verwachtingen voor alternatieve DLO s. Dit rapport is als input gebruikt voor het evaluatierapport en als bijlage toegevoegd. ICT en Onderwijsadviseurs van het Onderwijscentrum hebben in een groepssessie aangegeven wat zij sterke en zwakke punten van Blackboard vinden. Deze adviseurs geven cursussen en advies over gebruik van Blackboard en zijn de voormalige functioneel beheerders van het systeem. Zie de bijlage voor een samenvatting van de genoemde sterke en zwakke punten door ICT&O adviseurs. Studenten Voor de mening van studenten is vooral afgegaan op de (open vragen in de) online vragenlijsten. Daarnaast is een interview gehouden met een lid van de Universitaire Studentenraad, mede naar aanleiding van de notitie van de USR Uitdagend Onderwijs & De Menselijke Maat Databaseanalyse Methode Doel van de databaseanalyse was om verschillende aspecten van het gebruik van Blackboard in kaart te brengen en ontwikkelingen in het gebruik zichtbaar te maken. In de database worden namelijk gegevens over alle gebruikers en alle functionaliteiten geregistreerd. Dit is vanaf augustus 2003 t/m heden bewaard. Deze gigantische hoeveelheid data is niet eenvoudig te 6 Universitaire Studentenraad, Uitdagend Onderwijs & De Menselijke Maat. Werkconferentie College van Bestuur en Universitaire Studentenraad, 8 januari 2009

15 Evaluatierapport Blackboard Learning / Community System 15 doorgronden. Ook het samenvoegen van data (nullen en enen) tot antwoorden op vragen was een ingewikkeld proces. De analyse richtte zich specifiek op het gebruik van verschillende functionaliteiten, operating systems en browsers. 7 Hierbij is gebruik gemaakt van verschillende bronnen. Voor de analyse van het gebruik van verschillende functionaliteiten zijn de databases met Blackboardgegevens gebruikt. Voor de analyse van gebruikte Operating Systems en browsers is gebruik gemaakt van de logbestanden van de Apache webserver. Bij de analyse is gebruik gemaakt van verschillende methoden. Allereerst zijn de data getransformeerd tot interpreteerbare informatie die vervolgens grafisch weergegeven kon worden of met andere analyse software verwerkt kon worden. Om de data te kunnen transformeren zijn zelfgeschreven Perl scripts gebruikt die de Oracle databases aanriepen en queries uitvoerden. De Perl scripts deden intern een aantal checks en operaties op de ontsloten data. Om antwoord te kunnen geven op de eerste vraag hoe het gebruik gekarakteriseerd kon worden zijn clustering technieken gebruikt. Dit is een techniek uit de Machine Learning theorie. De methode die is toegepast is "KMeans". De Open Source software die hiervoor is gebruikt is Weka. Door clustering werd het mogelijk om data samen te voegen. Ook is clustering gebruikt om tot verschillende soorten gebruikers met dezelfde eigenschappen (manier van gebruik) te komen. Op de vraag hoe de functionaliteiten zich afgelopen jaren hebben ontwikkeld zijn vooral tijdseries gebruikt die in grafieken zijn gerepresenteerd. Om het gebruik van OS en browsers te analyseren is de tool AWstats gebruikt. Missende data De activiteiten in Blackboard worden automatisch vrij uitgebreid geregistreerd. Door het ontbreken van een legenda van deze data kon echter de betekenis niet altijd achterhaald worden. Tijdens de analyses bleek ook dat een aantal gegevens niet (meer) wordt geregistreerd: Activiteiten op het Discussion Board worden sinds medio 2008 niet meer gelogd; Assigments en SafeAssign activiteiten worden niet gelogd. Verder is er in het verleden een aantal technische problemen opgetreden, waardoor de data over het sessiebeheer in Blackboard onbruikbaar zijn voor de analyse 8. Over de periode vóór 2006 waren ten tijde van de analyse slechts beperkte data beschikbaar. Deze gegevens zijn alleen geanalyseerd voor de belangrijkste functies, zoals het raadplegen van documenten Deskstudy Naast de vragenlijsten, interviews en database zijn verschillende andere bronnen gebruikt. Onderstaande drie bronnen zijn gebruikt om inzicht te krijgen in de redenen voor invoering van Blackboard en van een digitale leeromgeving in het algemeen. Hiermee kon de onderzoeksvraag "Gebruikt men Blackboard zoals verwacht bij de invoering ervan? beantwoord worden. Beleidsnotitie Informatie- en communicatietechnologie in het onderwijs aan de VU (Vrije Universiteit, juli 1999) 7 Zie voor details het rapport Blackboard Statistiek. Analyse van gebruikers data , Drs. V.N. Maijer, MBA 8 Dit kwam door invoering van de Load-Balanced omgeving in 2006.

16 Evaluatierapport Blackboard Learning / Community System 16 Het kiezen van een centraal ondersteunde Digitale Leeromgeving (DLO) voor de Vrije Universiteit. Rapport ten behoeve van de Adviesgroep ICT en Onderwijs, ICT Onderwijscentrum, april 2000 Digitale leeromgevingen aan de VU. Evaluatierapport ( ) en beleidsnotitie. Janneke van der Hulst, Gerdien Jansen, Patris van Boxel, ICT Onderwijscentrum, juli 2002 Om meer inzicht te krijgen in de manier waarop studenten het gebruik van Blackboard (en andere digitale tools) voorstaan, is onderstaande notitie bestudeerd. Dit gaf achtergrondinformatie bij het beantwoorden van onderzoeksvraag over de tevredenheid van studenten. Universitaire Studentenraad, Uitdagend Onderwijs & De Menselijke Maat. Werkconferentie College van Bestuur en Universitaire Studentenraad, 8 januari 2009 Verder is het jaarverslag van het bedrijf Blackboard Inc. geraadpleegd. Dit was belangrijk om de ervaringen en tevredenheid van met name de functionele en technische beheerders te verklaren. De gegevens uit het jaarverslag geven namelijk inzicht in de handelswijze van Blackboard en een verklaring voor de houding van Blackboard Inc. naar de VU als klant. Jaarverslag van Blackboard: Blackboard Inc. 10-K Annual report ( DF), 20 februari 2008 Tevens is er bij de facultaire contactpersonen geïnformeerd naar bestaande evaluaties van het gebruik en de tevredenheid met betrekking tot Blackboard. Deze waren bij de faculteiten niet aanwezig, behalve een analyse van het gebruik van Blackboard bij de faculteit Pedagogiek en Psychologie 9. In de standaard evaluatievragenlijst voor het onderwijs die sinds 2004 VU-breed gebruikt wordt, staan twee items over de digitale leeromgeving. De antwoorden van studenten op deze items in de collegejaren 2006/2007 en 2007/2008 zijn geanalyseerd. 9 Data verzameld door FPP ICTO- en Blackboard contactpersoon Hans van Helden

17 Evaluatierapport Blackboard Learning / Community System Doelstelling van Blackboard 4.1. Definitie DLO De term digitale leeromgeving (DLO) wordt binnen de VU op verschillende manieren gebruikt. In het project Verkenning Next DLO VU wordt een brede definitie gehanteerd van het begrip DLO. De term verwijst naar een samenhangend geheel van applicaties ter ondersteuning van de onderwijs- en leerprocessen. De digitale leeromgeving kan in deze definitie bestaan uit een samenspel van systemen. In de praktijk wordt de term DLO echter ook veelal gebruikt als benaming voor een specifieke applicatie, zoals Blackboard of Sakai. Dit evaluatierapport richt zich specifiek op Blackboard als applicatie die wordt ingezet als DLO. Veel studenten, docenten en ondersteuners van de VU kennen geen andere DLO dan Blackboard. De termen DLO en Blackboard zijn voor hen vaak synoniem. Een belangrijk aandachtspunt is daarom dat de tevredenheid van gebruikers over Blackboard niet volledig is los te koppelen van de tevredenheid over de aanwezigheid van een digitale leeromgeving in het algemeen. In de evaluatie is echter expliciet getracht om ook de specifieke tevredenheid over Blackboard te destilleren Doelstellingen bij de inzet van Blackboard Zoals eerder beschreven is Blackboard in 2000 ingevoerd als centraal ondersteunde DLO van de VU. Doel was om met behulp van ICT het onderwijs op systematische wijze te ondersteunen. Achterliggende doelen van de inzet van ICT in het onderwijs waren 10 : Verbeteren van de kwaliteit en studeerbaarheid van het onderwijs; Ontsluiten van wereldwijde kennisbronnen; Bevorderen van interactie tussen docenten en studenten; Bevorderen van zelfstandig leren en activerende onderwijswerkvormen; Vergroten van de efficiëntie van groepswerk; Studenten voorbereiden op een arbeidsmarkt waarin veel ICT-vaardigheid wordt gevraagd; Onderwijs toegankelijker maken voor studenten uit andere doelgroepen (deeltijdstudenten, ouderen, alumni, externe experts, buitenlandse studenten etc.); Vergroten van de transparantie van het onderwijs voor zowel studenten als docenten. Blackboard werd gezien als één van de middelen om deze doelstellingen te bereiken. In het evaluatierapport uit 2002 werd aangegeven dat Blackboard vooral geschikt geacht werd voor ondersteuning van het traditionele onderwijsmodel, waarbij docenten en cursussen als uitgangspunt worden genomen. Ditzelfde gold voor de andere DLO s die binnen de VU werden gebruikt: De DLO s worden overwegend ingezet als hulpmiddel bij de organisatie van bestaand onderwijs. ( ) ter ondersteuning van traditionele onderwijsvormen zoals hoor- en werkcolleges ( ) Er bestond twijfel over de vraag of Blackboard (en de andere DLO s) geschikte hulpmiddelen waren bij sterker studentgestuurde onderwijsvormen Beleidsnotitie Informatie- en communicatietechnologie in het onderwijs aan de VU (Vrije Universiteit, juli 1999) 11 Digitale leeromgevingen aan de VU: Evaluatierapport ( ) en beleidsnotitie, ICT Onderwijscentrum, juli 2002, p.3

18 Evaluatierapport Blackboard Learning / Community System Visie en beleid t.a.v. Blackboard In het evaluatierapport uit 2002 werd geadviseerd een lange termijn visie te ontwikkelen op de gewenste functionaliteiten van een geïntegreerde studeeromgeving voor studenten en docenten. Dit heeft vorm gekregen in het langlopende programma Digitale Leerinfrastructuur VU (2005 tot 2010) dat valt onder het team ICT en Onderwijs bij het Onderwijscentrum. Blackboard speelt hierin een belangrijke rol. In 2002 werd tevens het volgende advies gegeven: Faculteiten moeten gestimuleerd worden om voor hun eigen vakgebied een visie op onderwijsinnovatie en de gewenste rol van ICT en de DLO uit te werken. 12 Dit laatste is niet tot nauwelijks gebeurd. Volgens de geïnterviewde facultaire contactpersonen is er geen beleid ten aanzien van het gebruik van een DLO of Blackboard. Bij Letteren is dit wel in ontwikkeling en bij FALW zijn er beperkte afspraken. Er zijn wel facultaire werkafspraken door ICTO- en Blackboardondersteuners gemaakt Functionaliteiten in Blackboard In dit rapport wordt regelmatig verwezen naar bepaalde functionaliteiten in Blackboard. Onderstaande tabel biedt een overzicht van functionaliteiten, voorzien van een korte uitleg. Engelse term Nederlandse term Uitleg functionaliteit Announcements Mededelingen Verspreiden van actuele mededelingen tijdens de cursus Content Inhoud Informatie verspreiden over het vak, vakinhoudelijke documenten verspreiden Assignments Opdrachten Opdrachten plaatsen en inleveren. Ingeleverde opdrachten kunnen door de docent via het Gradebook ingezien en beoordeeld worden. SafeAssign SafeAssign Opdrachten inleveren met controle op plagiaat (check op overeenkomsten met tekst in andere documenten) Digital Dropbox Digital Dropbox Opdrachten inleveren in een virtueel postvak Discussion Board Discussielijst Plaats waar cursusdeelnemers (docenten en studenten) berichten kunnen plaatsen en op elkaar kunnen reageren, ook wel forum genoemd Gradebook Cijferlijst Overzicht van (deel)beoordelingen van alle studenten die deelnemen aan cursus. Test Toetsen Toetsen (verschillende vraagtypen mogelijk). Er kan tevens een pool van vragen gemaakt worden waaruit een toets wordt samengesteld. Versturen van naar cursusdeelnemers (individueel of aan een groep studenten/docenten). External links Externe links Plaatsen van hyperlinks naar externe bronnen op het Internet. Groups Groepen Ruimte binnen de cursus die alleen voor bepaalde cursusdeelnemers toegankelijk is. Virtual Classroom Virtueel Klaslokaal Ruimte voor synchrone communicatie waarbij cursusdeelnemers met behulp van een gedeeld schoolbord en tekstberichten met elkaar kunnen communiceren Light Chat Chat Ruimte voor synchrone communicatie waarbij cursusdeelnemers met behulp van tekstberichten kunnen communiceren Surveys Proeftoetsen Vragenlijsten Figuur 4. Functionaliteiten in Blackboard In de functionaliteiten van Blackboard is sinds 2002 weinig veranderd. Er is een aantal functionaliteiten bijgekomen, zoals plagiaatcontrole, maar de basis en werkwijze is hetzelfde gebleven. 12 idem, p.4.

19 Evaluatierapport Blackboard Learning / Community System Resultaten van de evaluatie Om tot resultaten te komen, zijn de gegevens uit de drie methodes (enquêtes, interviews en databaseanalyse) door het projectteam besproken en met elkaar vergeleken. Daar waar gegevens over hetzelfde thema elkaar ondersteunden, verklaarden en versterkten, kon een sterkere conclusie afgeleid worden. Per onderwerp wordt een VU-breed beeld gegeven. Waar mogelijk/nuttig worden ook de verschillen tussen faculteiten aangegeven. In de conclusie zal verder ingegaan worden op mogelijke verklaringen voor de verschillen per faculteit Blackboardgebruik op de VU Onduidelijkheid over aantal gebruikers Het percentage actieve gebruikers van Blackboard is de afgelopen jaren gestegen en lijkt nu te stabiliseren. Het is echter moeilijk te zeggen of het aantal gebruikers de afgelopen jaren gestegen is in verhouding tot de totale VU populatie. In Blackboard zijn meer mensen met docent-rol aanwezig dan het totale aantal docenten in de VU administratie. Het is onduidelijk of bijvoorbeeld student-assistenten, promovendi en gastdocenten zijn meegeteld in de VU administratie. Zij hebben in Blackboard vaak wel een docent-rol. Ook leverde de invoering dit jaar van het VU-net ID voor medewerkers onduidelijkheid op over het aantal docenten in Blackboard. Docenten kregen daardoor nieuwe accounts voor nieuwe cursussen, terwijl ze met het oude account toegang houden tot oude cursussen. Als docenten beide accounts gebruiken kan dubbeltelling ontstaan. Voor studenten geldt ook onduidelijkheid, aangezien zij soms zowel de rol van docent als van student binnen Blackboard hebben vanwege werkzaamheden als student-assistent. In de uitnodiging voor de enquête is aan docenten en studenten die Blackboard niet gebruiken, gevraagd om (een zeer korte versie van) de enquête in te vullen. Hierin hebben 30 van de 341 docenten aangegeven Blackboard niet te gebruiken. Zeven Docenten hebben aangegeven een andere DLO te gebruiken. Van de 3462 studenten hebben er 50 aangegeven Blackboard niet te gebruiken. 14 Studenten gebruiken een andere DLO. Circa 90% logt iedere dag of meerdere keren per week in, ook buiten kantooruren Uit de enquête blijkt dat de meeste docenten meerdere keren per week (52%) tot iedere dag (37%) inloggen op Blackboard in de periode dat ze onderwijs geven. Studenten loggen ook meerdere keren per week (43%) tot iedere dag (50%) in op Blackboard in de periode dat ze onderwijs volgen. Blackboard-gebruikers zijn niet alleen overdag tijdens kantooruren actief blijkt uit de Blackboard database-analyse. Ook s avonds en s nachts wordt er gebruik van het systeem gemaakt. Onderstaande figuur 5 laat de activiteit op een donderdag in februari zien waarbij '0' het uur van middernacht tot één uur s nachts is en '23' uur 's avonds tot middernacht is. Tijdens de piek op deze dag (om 13 uur) werd Blackboard door bijna mensen bezocht. Belangrijkste inzicht hierbij is dat Blackboard ook buiten kantooruren door duizenden mensen wordt gebruikt. In de avonduren wordt er veelvuldig gebruikt gemaakt van Blackboard en dat loopt door tot een uur of 1 's nachts. Om 22 uur waren nog mensen actief. Zelfs in de kleine uurtjes (2-6 uur) maken nog honderden mensen gebruik van Blackboard.

20 Evaluatierapport Blackboard Learning / Community System 20 Figuur 5. Gebruik van Blackboard op donderdag 5 februari 2009 Plaatsen van documenten en informatie meest gebruikt In de databaseanalyse is gekeken naar de intensiteit van het gebruik van verschillende functionaliteiten van Blackboard. Hieruit kwam naar voren dat het Content gedeelte het meest gebruikte onderdeel van Blackboard is. Binnen het Content-gedeelte worden vooral documenten geplaatst, zoals Word, PowerPoint- en PDF-bestanden. Mededelingen worden ook regelmatig gebruikt. Overige functionaliteiten zoals Discussion Board, Tests en vooral Gradebook worden op bescheiden schaal gebruikt. Twee onderdelen worden nauwelijks gebruikt: Virtual Classroom en Chat. Of deze functionaliteiten niet nodig zijn of dat de kwaliteit van deze functionaliteiten de beperkende factor is, kan op basis van de verzamelde data helaas niet worden vastgesteld. Ook in de vragenlijsten gaven docenten, in lijn met de resultaten van de databaseanalyse, aan Blackboard voornamelijk te gebruiken voor het plaatsen van documenten, informatie en mededelingen over een cursus. Docenten vooral basisgebruikers, intensiteit verschilt Om een inschatting te maken van de manier waarop docenten werken met Blackboard, zijn de activiteiten van docenten geclusterd. Hierbij is gekeken naar het aantal clicks in het Control Panel. Via het Control Panel richt de docent zijn cursus in; alleen gebruikers met docentrechten hebben hier toegang toe. Onderstaande tabel laat vier verschillende clusters van gebruikers

21 Evaluatierapport Blackboard Learning / Community System 21 zien 13. Er blijkt een grote groep basisgebruikers (circa 82%) te zijn. Onder basisgebruik valt de functie Documenten plaatsen (Content) en in mindere mate de functies Mededelingen plaatsen (Announcements) en soms ook Cijferlijst gebruik (Gradebook) 14. De basisgebruikers zijn niet bijzonder intensief bezig met Blackboard. In figuur 6 worden de basisgebruikers weergegeven als cluster 1. De grootste groep docenten klikt dus in het Control Panel 26 keer binnen de Content en een paar keer binnen de Announcements en Gradebook. Content is waar docenten hun documenten (Powerpoints, PDF s etc) neerzetten. Er is hier gekeken naar de activiteit van docenten in het eerste semester Het gaat om het aantal clicks per docent. Dit is niet verder gespecificeerd per cursus, mocht een docent in dat semester meerdere cursussen beheren. Daarnaast zijn er kleine groepen docenten die specialistisch gebruik maken van Blackboard. Cluster 2 (circa 14%) zijn intensieve gebruikers; zij gebruiken dezelfde functionaliteit als de basisgebruikers, maar dan vele malen intensiever. Cluster 3 (3%) zijn nog intensievere gebruikers, die ook de Testmanager en Digital Dropbox gebruiken. Er wordt relatief zeer veel binnen Announcements geklikt, dus communicatie speelt voor deze docent een grote rol. Cluster 4 (1%) zijn zeer intensieve allesgebruikers. Bij deze docenten ligt de nadruk op Content en Gradebook. Het relatief hoge aantal clicks bij Gradebook wijst op het laten inleveren, bekijken en becijferen van opdrachten via Blackboard. Cluster aantal docenten (percentage) 1: Basis 1573 (82%) 2: Intensief 271 (14%) 3: Intensief+ Communicatie 51 (3%) 4: Zeer intensief + opdrachten 27 (1%) Content Announcements Gradebook Test Manager Digital Dropbox Discussion Board Survey manager Figuur 6: Clusters gekarakteriseerd op basis van het aantal clicks in het Control Panel van september 2008 tot januari 2009 FEWEB grootste gebruiker (absoluut) Om een beeld te krijgen van de activiteit per faculteit, is gekeken naar het gebruik van content items (documenten en informatie). Zoals eerder beschreven is dit het meest gebruikte deel van Blackboard. Figuur 7 laat het aantal content clicks per faculteit zien. Dat is het aantal keer dat studenten en docenten van een faculteit een content item (bijvoorbeeld een PowerPoint of PDF) aanklikken en openen. Er zijn twee meetmomenten: de eerste drie maanden van het studiejaar en van het studiejaar De "Sum squared of errors" is aan de hoge kant met een waarde van ruim 20. Daarom kunnen de gevonden percentages en aantallen niet heel precies genomen worden en moet vooral gekeken worden naar het algemene beeld. Het kan ook wijzen op een zeer gevarieerd gebruik van Blackboard. 14 De standaarddeviatie van het gebruik van het Gradebook is hoog. Dat wil zeggen dat de intensiteit van Gradebook gebruik sterk verschilt per docent. Gemiddeld wordt het Gradebook echter evenveel gebruikt als Announcements.

22 Evaluatierapport Blackboard Learning / Community System 22 Figuur 7: Aantal geraadpleegde content items per faculteit (sep, okt en nov) 15 FEWEB blijkt de zwaarste gebruiker als het gaat om het raadplegen van content. Geneeskunde en FALW zijn ook redelijk zware gebruikers. Gezien het feit dat FEWEB ook de grootste faculteit is wat betreft studentenaantallen, is dit een logisch resultaat. In de volgende paragraaf is het gebruik per faculteit gecorrigeerd naar studentenaantal. Opvallend is dat bij FEWEB, evenals bij ACTA en FPP, tussen het studiejaar en een kleine daling te zien is in de geraadpleegde content. ACTA-studenten gebruiken Blackboard meest intensief In figuur 8 zijn de gegevens uit figuur 7 gerelateerd aan het aantal studenten van de faculteit. Figuur 8 toont per faculteit het aantal clicks per student. Uit de grafiek komt naar voren dat studenten bij ACTA het meest actief gebruik maken van Blackboard. In deze grafiek is duidelijker dan in figuur 7 - te zien dat de activiteit bij FEWEB en ACTA (in 2007 gemiddeld de meest intensieve gebruikers) is gedaald. Bij Geneeskunde is daarentegen een duidelijke stijging in het gebruik van Blackboard te zien Het Onderwijscentrum is niet meegenomen in deze analyse vanwege de zeer beperkte hoeveelheid gebruik t.o.v. de faculteiten. 16 Wijsbegeerte en Theologie zijn niet meegenomen in de grafiek. Gezien het zeer kleine aantal geraadpleegde content items binnen deze faculteiten is uitsplitsing per student niet representatief.

23 Evaluatierapport Blackboard Learning / Community System 23 Figuur 8: Gemiddeld aantal content hits (clicks) per student (sep, okt, nov) Docent bepalende factor In de interviews gaven facultaire ondersteuners aan dat de intensiteit van het gebruik van Blackboard vooral afhankelijk is van de docent, niet van het vak of de studiefase. Wel wordt bij onderwijs aan grote aantallen studenten, meer dan bij kleinere aantallen, grote waarde gehecht aan de organisatorische mogelijkheden van Blackboard, bijvoorbeeld doordat studenten zelf kunnen inschrijven op subgroepen. Uit de interne analyse bij FPP bleek dat Blackboard het meest intensief werd gebruikt bij vakken met grote groepen studenten. Didactisch gebruik blijft sterk achter bij organisatorisch gebruik De facultaire ondersteuners gaven aan dat het didactisch gebruik van Blackboard sterk achterblijft bij het organisatorisch gebruik: Blackboard wordt vooral gebruikt voor organisatie van het onderwijs, niet zozeer om nieuwe of actievere werkvormen in te zetten. Uit de vragenlijst blijkt inderdaad dat docenten Blackboard voornamelijk gebruiken voor de organisatie van de cursus en het aanbieden van inhoudelijk materiaal (zie figuur 9). Toch geeft 18 % van de docenten aan Blackboard ook te gebruiken om vernieuwende onderwijsvormen te realiseren (zie figuur 10). De Universitaire Studentenraad pleit in haar notitie Uitdagend Onderwijs & De menselijke maat voor een betere kennis bij docenten van de digitale mogelijkheden, waaronder Blackboard. Zij stellen: Het benutten van technische mogelijkheden is een toevoeging. De afwisseling in

24 Evaluatierapport Blackboard Learning / Community System 24 werkvormen die hierdoor kan worden gecreëerd werkt uitdagend. 17 Tot nu toe gebeurt dit volgens de USR nog te weinig. Waarvoor gebruikt u Blackboard? (Meerdere antwoorden mogelijk) Voor de organisatie van de cursus (actuele mededelingen, informatie over de cursus, laten inleveren opdrachten, ed.) 94% Aanbieden van inhoudelijk materiaal (collegesheets, artikelen, video s, links, ed.) 91% Voor (extra) oefenmogelijkheden of zelfstudie voor studenten 39% Voor het ondersteunen van samenwerkingsopdrachten voor studenten 28% Begeleiden van studenten op afstand 26% Anders, namelijk. 10% Figuur 9. Antwoorden uit de enquête op de vraag Waarvoor gebruikt u Blackboard? Waarom gebruikt u Blackboard? (Meerdere antwoorden mogelijk) Omdat studenten het verwachten 52% Omdat het er tegenwoordig gewoon bijhoort 50% Het maakt mijn tijdsbesteding efficiënter 45% Omdat de faculteit het verwacht 43% Het maakt mijn vak beter 40% Om specifieke groepen studenten goed te bedienen 22% Om vernieuwende onderwijsvormen te realiseren 18% Anders, namelijk. 17% Figuur 10. Antwoorden uit de enquête op de vraag Waarom gebruikt u Blackboard? Blackboard niet alleen via Internet Explorer gebruikt Blackboard wordt via Internet benaderd met behulp van een browser. De meest gebruikte browser is Internet Explorer (77%). Echter, een substantiële groep gebruikers gebruikt andere browsers zoals Firefox en Safari. Uit de enquête kwam de klacht naar voren dat Blackboard niet altijd volledig werkt bij andere browserversies dan Internet Explorer. Mobile Devices spelen nog geen rol Het feit dat Blackboard niet benaderbaar is via Mobile Devices zoals Smartphones lijkt nog geen grote rol te spelen onder studenten. Hierover kwamen in de vragenlijst slechts zeven klachten of opmerkingen Ontwikkelingen in de tijd Docenten minder actief in Blackboard Uit de analyse van de database blijkt, bij vergelijking van de activiteit in Blackboard tussen het eerste semester van het studiejaar en , een afname in activiteit in het Control Panel op alle tools, met uitzondering van het Gradebook. Dit betekent dat docenten in 17 Universitaire Studentenraad, 2009, p. 19, 20.