Eindrapportage. Invoering van het gebruik van Blackboard in het propedeuse-onderwijs van de Faculteit der Psychologie en Pedagogiek

Transcriptie

1 Eindrapportage Invoering van het gebruik van Blackboard in het propedeuse-onderwijs van de Faculteit der Psychologie en Pedagogiek Projecttitel: Invoering van Blackboard in het propedeuseonderwijs van de faculteit FPP Projectcode: ICT 2001/5 Faculteit: FPP Projectperiode: april april 2002 Opgesteld door: Patris van Boxel Rob van Leeuwen Datum: augustus 2002 Contactadres: p.a. Onderwijs Adviesbureau VU De Boelelaan 1105, kamer 1G HV Amsterdam tel

2 Inhoudsopgave 1 Doelstelling van het project Uitvoering Overzicht van Blackboard-gebruik bij FPP Gebruikersevaluatie Evaluatie bij studenten Werkwijze Mate en frequentie van Blackboard-gebruik Meningen over Blackboard Technische problemen Meest gewaardeerde onderdeel van Blackboard Verbeterwensen Gebruik van quizzes bij Inleiding functieleer & Algemene methodologie Evaluatie bij docenten Werkwijze Wijze van Blackboard-gebruik door docenten Tijdsinvestering Redenen voor gebruik van Blackboard Meningen over Blackboard Toekomstig gebruik Beschrijving van enkele 'good practices' bij FPP Conclusies en aanbevelingen...16 Bijlagen...18

3 1 1 Doelstelling van het project Sinds november 2000 wordt bij de faculteit FPP met de digitale leeromgeving Blackboard gewerkt. Begin 2001 werd bij het ICT Onderwijscentrum door de faculteit in het kader van de jaarlijkse ICTO-projectenronde een projectvoorstel ingediend. Doel hiervan was het systematisch invoeren van het werken met Blackboard, als een van de wijzen waarop activerend onderwijs aan de faculteit gestalte wordt gegeven. Tijdens de projectperiode zou ernaar gestreefd worden Blackboard bij minstens de helft van de propedeusevakken Psychologie en Pedagogiek in te voeren. Teneinde dit te realiseren zouden alle docenten van de propedeuse systematisch benaderd worden voor een gesprek met de adviseur ICT en onderwijs en/of onderwijskundig medewerker van het ICTO om na te denken over de (wijze van) invoering van Blackboard in het door hen verzorgde onderwijs. Doctoraaldocenten die op eigen initiatief zouden starten met Blackboard, zouden eveneens ondersteund worden. Het project zou de basis vormen voor een tweede projectfase ( ) waarbij de invoering van Blackboard in de doctoraalfase het speerpunt zou worden. In deze fase zou er geen ondersteuning vanuit het ICTO meer verleend worden. Het projectvoorstel werd gehonoreerd in maart 2001 en is in mei 2001 van start gegaan (met een looptijd van 1 jaar). In dit rapport wordt een overzicht gegeven van de belangrijkste activiteiten die hebben plaatsgevonden gedurende de projectperiode en de resultaten van evaluaties bij studenten en docenten. Ook worden enkele 'good practices' beschreven. Voor de belangrijkste conclusies en aanbevelingen wat betreft continuering van het project wordt doorverwezen naar pagina 17.

4 2 2 Uitvoering Overlegstructuur Tijdens de projectperiode is er nauwe samenwerking geweest tussen Rob van Leeuwen (facultair adviseur ICT en Onderwijs) en Patris van Boxel (onderwijskundig adviseur ICT Onderwijscentrum). Ook werd een projectcommissie ingesteld met daarin de voorzitters van de opleidingscommissies van de twee opleidingen van de faculteit, en de portefeuillehouder Onderwijs. Deze is in december 2001 samengekomen om voorgelicht te worden over de stand van zaken tot dusver. De commissie zal ook het eindverslag van het project bespreken. Fasering werkzaamheden Ondersteuning en scholing voor studenten Aan het begin van het collegejaar hebben alle propedeusestudenten Psychologie een (verplicht) practicum Inleiding ICT in het onderwijs gevolgd. Hierbij werd uitgebreid aandacht besteed aan het leren werken met Blackboard. Het practicum werd gegeven direct voorafgaand aan het vak Inleiding Functieleer. Alle propedeusestudenten Pedagogiek werden in de gelegenheid gesteld door middel van klassikaal onderwijs ook de 'Inleiding ICT in het onderwijs' te volgen (het was roostertechnisch niet mogelijk hen een practicum in de computerzalen van de faculteit aan te bieden). Dit zal overigens in het komende collegejaar wel het geval zijn. Verder is er op verzoek van de docenten voor de studenten van het vak Neuropsychologische Diagnostiek een apart practicum georganiseerd. Studenthandleidingen over Blackboard werden beschikbaar gesteld via het studiesecretariaat, de helpdesk van de Technische Dienst, en bij de adviseur ICT en Onderwijs. Ondersteuning en scholing voor docenten Tijdens het afgelopen collegejaar is door Rob van Leeuwen een cursus Inleiding Blackboard voor ongeveer 30 docenten georganiseerd. Zes docenten hebben daarnaast een cursus voor gevorderden bij hem gevolgd. Een tiental docenten hebben de basiscursus Blackboard van het ICTO bijgewoond. In het begin van de projectperiode zijn individuele gesprekken gevoerd met de docenten van de 12 propedeusevakken waarin volgens het projectplan het gebruik van Blackboard geïntroduceerd zou worden. In het eerste gesprek werd nagegaan hoe de docent Blackboard op zinnige wijze in zijn/haar onderwijs in zou kunnen zetten en werden de behoeften en wensen van de docent geïnventariseerd voor verdere ondersteuning en begeleiding. De mate en duur van de individuele begeleiding verschilden per docent. Daarnaast zijn veel doctoraaldocenten uit eigen beweging om advies en begeleiding komen vragen - ook hier varieerde ondersteuning van het beantwoorden van enkele doelgerichte vragen tot meer langdurige en intensievere begeleiding. Administratief beheer cursussen/gebruikers Het administratief beheer van zowel Blackboard-cursussen als -gebruikers is het grootste gedeelte van het collegejaar verzorgd door de facultaire adviseur ICT en onderwijs. Dit kwam in de praktijk neer op het aanmaken van gebruikersnamen voor zowel studenten als docenten; en het aanmaken van cursussen binnen de digitale leeromgeving Blackboard voor alle docenten (circa 100) die hun onderwijs met Blackboard ondersteund hebben. Het beheer van de studenten-gebruikersnamen in Blackboard is in de loop van het jaar overgenomen door het facultair studiesecretariaat. Om dit proces te vergemakkelijken is door Rob van Leeuwen een handleiding gebruiksbeheer ontwikkeld. Helpdesk voorziening De helpdesk van de Technische Dienst is het eerste aanspreekpunt voor computerproblemen van welke aard ook. Ook problemen met de digitale leeromgeving Blackboard worden hier gemeld. Afhankelijk van het soort probleem wordt de student ofwel direct geholpen door de facultaire adviseur ICT en Onderwijs, of doorgestuurd. Problemen met het inloggen op Blackboard bijvoorbeeld in feite een administratieve kwestie worden behandeld door het studiesecretariaat. Problemen met bijvoorbeeld het afdrukken van documenten binnen Blackboard worden opgelost door de helpdesk. Vragen over het lesmateriaal binnen een Blackboard-cursus dienen te worden opgelost door ofwel de docent of de facultaire adviseur ICT en onderwijs.

5 3 Evaluaties Halverwege de projectperiode (januari-februari 2002) zijn alle docenten uitgenodigd deel te nemen aan een online enquête over hun Blackboard-gebruik, alsook studenten van zes vakken waarbij Blackboard ingezet werd. Organisatie show and tell' sessie voor docenten: In februari 2002 werd een Blackboard bijeenkomst voor een veertigtal geïnteresseerde FPP-docenten georganiseerd. Op deze bijeenkomst werden de eerste resultaten gepresenteerd werden van de enquêtes bij docenten en studenten over hun bevindingen tot dusver met Blackboard. Docenten werden in de mogelijkheid gesteld feedback en commentaar op de resultaten te geven. Ook gaven drie collega-docenten, die op een interessante (activerende) manier Blackboard gebruiken in hun onderwijs, een demonstratie van de opzet hiervan.

6 4 3 Overzicht van Blackboard-gebruik bij FPP In de projectaanvraag werd aangegeven dat de faculteit er naar streefde om aan het eind van het projectjaar in 50% van de propedeusecursussen van beide opleidingen Blackboard te gebruiken. Dit zou neerkomen op ongeveer 12 cursussen: 6 bij Psychologie en 6 bij Pedagogiek. Hierbij zouden docenten betrokken zijn. In totaal werden een negentigtal vakken gedurende het academiejaar met Blackboard ondersteund. In onderstaande tabel wordt een overzicht gegeven van het aantal met Blackboard ondersteunde vakken per studiefase en per opleiding - in relatie tot het totaal aantal vakken in het curriculum. Met Blackboard ondersteunde vakken Totaal aantal vakken BB-ondersteunde vakken t.o.v. het totaal aantal vakken Propedeuse Psychologie Propedeuse Pedagogiek Doctoraal Pedagogiek Doctoraal Psychologie % 55% 40% 38% Zoals uit de gegevens in bovenstaande tabel blijkt, zijn de (kwantitatieve) projectdoelen ruimschoots behaald. Bij de opleiding Psychologie werd Blackboard ingevoerd bij vrijwel alle propedeuse-vakken, en bij de opleiding Pedagogiek bij ongeveer de helft. In totaal werden 15 propedeuse-vakken met Blackboard ondersteund. Hoewel dit niet expliciet geformuleerd werd in de projectaanvraag, werd Blackboard daarnaast ook al bij een groot gedeelte (ongeveer 40%) van de doctoraalvakken van de beide opleidingen in gebruik genomen. Naast de inzet bij 'gewone' cursussen, is Blackboard ook gebruikt worden bij bijvoorbeeld stage- en scriptiebegeleiding. In appendix 1 wordt een gedetailleerd overzicht gegeven van alle vakken waarbij Blackboard ingezet werd in het academiejaar Het totaal aantal docenten op de faculteit is 150. Ruim twee derde van de docenten heeft het voorbije jaar met Blackboard gewerkt (102). Hierbij ging het om een derde Pedagogiek en tweederde Psychologie-docenten (dit komt min of meer overeen met de verhouding van het aantal docenten die bij respectievelijk Pedagogiek en Psychologie werkzaam zijn). Dit aantal ligt dus ook veel hoger dan aanvankelijk geformuleerd stond in het projectvoorstel.

7 5 4 Gebruikersevaluatie 4.1 Evaluatie bij studenten Werkwijze In de loop van de projectperiode is het gebruik van Blackboard door een aantal FPP studenten geëvalueerd aan de hand van een (elektronische) vragenlijst. 1 Deze vragenlijst bestond uit een reeks (open en gesloten) standaardvragen die ook gebruikt werden in gelijkaardige evaluaties bij andere faculteiten, zodat VU-brede vergelijking mogelijk gemaakt werd. Deze vragen peilen naar de manier van Blackboard gebruik door de student, waardering voor de wijze van gebruik in specifieke cursussen en verbeterwensen. Daarnaast kon de docent, indien gewenst, aanvullende vragen formuleren die specifiek op het vak van toepassing waren (dit is bij twee vakken gebeurd - namelijk Algemene Methodologie en Inleiding Functieleer). In totaal werd Blackboard gebruik geëvalueerd bij 7 vakken (voorgelegd aan de projectcommissie in december 2001). Het ging daarbij om 4 propedeuse- en 3 post-propedeuse-vakken en 4 Psychologie-en 3 Pedagogiekvakken (zie tabel 1 voor lijst van vakken). Ondanks het streven naar een representatieve samenstelling van de evaluatiegroep, bestond het uiteindelijk aantal respondenten (310) voor ruim 80% uit Psychologie-propedeusestudenten die de vakken Algmene Methodologie en Inleiding Functieleer bij Dr. S. Los volgden. De reden hiervoor was dat bij deze twee vakken de docent tijdens het laatste practicum van beide vakken tijd reserveerde voor het invullen van de enquête. Bij andere vakken vond de evaluatie plaats tot 1 à 2 weken nadat het vak afgelopen was, met als gevolg een veel lagere respons. Tabel 1 Vak Aantal respondenten Studiefase en opleiding Algemene methodologie 126 (van 265) Propedeuse (Psy) Inleiding sociale psychologie 12 (van 172) Propedeuse (Psy) Inleiding functieleer 132 (van 345) Propedeuse (Psy) Methodologie A1 19 (van 102) Propedeuse (Ped) Management en Organisatie 4 (van 45) Post-propedeuse (Psy) Opvoeding in gezinsverband 12 (van 56) Post-propedeuse (Ped) Intelligentie onderzoek 5 (van 66) Post-propedeuse (Ped) Mate en frequentie van Blackboard-gebruik Om te beginnen werd gepeild naar de frequentie waarmee studenten inloggen bij hun vak op Blackboard en vanaf welke plek. Uit de cijfers op p. 6 blijkt dat er sprake is van regelmatig inloggedrag: meer dan de helft van de respondenten kijkt 2 tot 4 keer per week naar een vak op Blackboard, en 38% 1 keer per week. (Uit de Blackboard-gebruikersstatistieken van individuele vakken blijkt trouwens dat student ook 's avonds en in het weekend regelmatig inloggen). In totaal werkt 86% met Blackboard via een PC op de faculteit en 72% logt ook thuis in op BB. (Dit laatste cijfer stemt nagenoeg overeen met het aantal (uitwonende) studenten dat volgens een recent Surf-onderzoek over een PC thuis beschikt). 2 1 De vragenlijst werd gemaakt via de 'survey & quiz' module in Blackboard. Dit had als voordelen dat er vanuit een Blackboard cursuswebsite direct naar een vragenlijst gelinkt kon worden en dat de resultaten automatisch verwerkt en bijgehouden worden in het 'online gradebook' van de docent. 2 Pranger, R. (2001) Gebruikersonderzoek SURFnet Tilburg: Instituut voor sociaal-wetenschappelijk beleidsonderzoek en advies (IVA).

8 6 Hoe vaak gebruikte je Blackboard bij dit vak? (N=310) Dagelijks 4 % 2-4 keer per week 54 % 1 keer per week 38 % Minder dan 1 keer per week 4 % Nooit 0 Werken met Blackboard doe ik: (N=310) Op de faculteit 28 % Zowel op de faculteit als thuis 58 % Thuis 13 % Elders 1 % Meningen over Blackboard Studenten werd gevraagd door middel van een 5-puntsschaal (gaande van 1= zeer oneens tot 5= zeer eens ) een aantal uitspraken over Blackboard te beoordelen (o.a. over gebruiksgemak, nut, wijze van gebruik door de docent en Blackboard-ondersteuning). Van de gemiddelde scores per vak, werd telkens per stelling een totale gemiddelde (en gewogen) score berekend (met maximum score = 5). Hierbij werd wel telkens per vak bekeken of de score eventueel een uitschieter was, die nadere verklaring behoefde. Tabel 2 1. Het was duidelijk bij wie ik terecht kon met vragen over het werken met 4,08 Blackboard 2. Ik kon binnen Blackboard altijd de informatie vinden die ik zocht 4,09 3. Ik vind dat de docent goed gebruik maakte van Blackboard 4,21 4. Ik heb voordeel gehad van Blackboard bij het volgen van het vak 4,45 5. Over het geheel genomen heb ik veel waardering voor de Blackboard website bij 4,48 dit vak 6. Het was makkelijk om met Blackboard te leren werken 4,49 7. Ik vind het belangrijk dat elk vak een bijbehorende website in Blackboard heeft 4,55 Met gemiddelde scores die allemaal boven de 4 liggen word Blackboard globaal gezien zeer positief beoordeeld. Studenten vinden het een gemakkelijk programma om mee te werken, en de meesten zijn er het mee eens ze er voordeel mee halen bij het volgen van een vak. De uitspraak dat elk vak een bijbehorende website in Blackboard zou moeten hebben, wordt het stelligste ondersteund. Bij uitspraak 1 tonen de individuele scores bij de vakken dat het voor een aantal studenten niet altijd even duidelijk is bij wie men terecht kan met vragen over Blackboard. Bij de vakken Algemene Methodologie en Functieleer liggen de scores boven de 4 (beide vakken werden gegeven door dezelfde docent, die zelf veel vragen beantwoordde en problemen oploste in verband met het gebruik van de online quizzes), maar voor de overige 5 vakken liggen ze onder de 3,5 (met als laagste score 2,83). Dit wijst erop dat voorlichting omtrent Blackboard ondersteuning op de faculteit nog enige verbetering behoeft. De stelling Ik vond binnen Blackboard altijd de informatie die ik zocht riep een 15-tal uiteenlopende reacties op: sommige studenten interpreteerden dit als het soms niet kunnen vinden van een vak op Blackboard, anderen over het feit dat ze soms zoeken naar informatie binnen een verkeerd onderdeel van een cursuswebsite. Een zestal studenten betreurden het dat een quiz slechts eenmaal gemaakt kan worden, en dat de vragen daarna niet meer beschikbaar zijn (bijvoorbeeld om ze voor het tentamen nog eens te oefenen) Technische problemen Er werd bij studenten specifiek gevraagd naar eventuele problemen op het thuisfront met het openen van bestanden en programma s, en naar overige technische problemen (zowel thuis als op de faculteit). Thuis had ik problemen met het openen of downloaden van bestanden/programma s (N=310): Heel vaak 6% Vaak 6% Soms 18% Zelden 22% Nooit 23%

9 7 Niet van toepassing 25% (alleen gebruik op faculteit etc) De studenten die aangaven vaak of heel vaak problemen te hebben met openen van bestanden thuis, waren vrijwel allemaal studenten algemene methodologie en inleiding functieleer. Bij de quizzes in deze vakken werd vrij veel gebruikt gemaakt van plaatjes, filmpjes en java-applets die problemen veroorzaakten via een modemverbinding, doordat het lang duurde om ze te downloaden of niet op de thuiscomputer leesbaar waren. Ook het openen van sheets leidde soms tot het vastlopen van PC s. Ik heb andere technische problemen ondervonden tijdens het werken met Blackboard (N=310): Heel vaak 2% Vaak 5% Soms 21% Zelden 34% Nooit 36% Niet van toepassing 2% De meest voorkomende problemen zijn: Inlogproblemen, verloren wachtwoorden etc.; Uit Blackboard gegooid worden, bijvoorbeeld bij het navigeren tussen word-documenten. Vooral tijdens het maken van een quiz veroorzaakt dit ongewild uitloggen problemen, omdat de docent dan de student opnieuw toestemming moet geven om de quiz te maken; Het voortijdig verstrijken van de tijdslimiet bij quizzes - ook dan verliest de student toegang; Vooral op de thuiscomputer: problemen met het openen van pdf-bestanden & onbeschikbaarheid van acrobat reader (vooral op de thuiscomputer), en problemen met het uitprinten van sheets Meest gewaardeerde onderdeel van Blackboard Via een open vraag werd aan studenten gevraagd welk onderdeel van Blackboard ze bij hun vak het meest waardeerden. Het grote aantal antwoorden (315) kon vrij eenvoudig herleid worden tot een beperkt aantal categorieën en omgezet naar percentages: Beschikbaarheid van collegesheets 52% Gebruik van quizzes 22% Beschikbaarheid van antwoorden ondersteunend onderwijs 13% Ontvangen van feedback & bekijken van grades 4% Ontvangen van mededelingen 3% Uitprinten van informatie 3% Gebruik van en andere communicatiemogelijkheden 2% Beschikbaarheid van oefententamens 1% Bij alle vakken werd het beschikbaar gemaakt worden van de collegesheets en andere cursusinformatie als meest waardevol beschouwd. Zoals in het hoofdstuk 5.2 Evaluatie bij docenten ook aan de orde zal komen, is dit ook de voornaamste manier waarop Blackboard door de meeste docenten gebruikt werd. Bij de vakken waar Blackboard ook gebruikt werd voor het maken van oefentoetsen ( quizzes ) in practica (algemene methodologie en inleiding functieleer), werd dit ook expliciet gewaardeerd (ook al was het gebruik ervan verplicht), en kreeg de beschikbaarheid van collegesheets een lagere score ten voordele van de quizzes (zie tabel 3). Tabel 3 Meest gewaardeerde onderdeel in Inleiding Algemene Overige vakken Blackboard Functieleer Methodologie Collegesheets 42% 57% 69% Quizzes 20% 32% Niet gebruikt Antwoorden OO 29% Niet gebruikt Niet gebruikt Overige functies: mededelingen, , grades, oefententamens, 9% 11% 31%

10 Verbeterwensen Op verschillende vlakken werden door studenten verbeteringen gesuggereerd: zo zijn er inhoudelijke & functionele verbeterwensen in verband met Blackboard quizzes, en wordt aangegeven dat informatie liefst vóór aanvang van colleges op Blackboard geplaatst 'moet' worden en steeds up-to-date dient te zijn. Ook over de manier waarop informatie gestructureerd en ingedeeld wordt in Blackboard moet duidelijkheid zijn. Verder leeft de uitgesproken wens dat Blackboard méér gebruikt wordt: enerzijds in méér vakken en door méér docenten (dit sluit ook aan bij de sterk onderschreven stelling 7 in tabel 2), anderzijds dat er binnen websites nog méér soorten informatie wordt aangeboden (zoals cijfers en oefententamens, ) en dat er méér functionaliteit van Blackboard wordt ingezet (zoals het communicatie- en quizgedeelte). Ook geven enkele studenten het nut aan van integratie van Blackboard met andere student(administratie) systemen als Tisvu Gebruik van quizzes bij Inleiding functieleer & Algemene methodologie In voorgaande paragrafen is het gebruik van quizzes bij Inleiding functieleer en Algemene methodologie al enkele malen aan bod gekomen. Omdat de docent bij deze twee vakken ook enkele specifieke vragen met betrekking tot het gebruik van quizzes had geformuleerd, worden de antwoorden daarop hier nog kort even apart samengevat. Het gebruik van quizzes in practica is bij propedeuse studenten psychologie over het algemeen zeer positief ontvangen. Daarvan getuigen ondermeer volgende uitspraken: Ik denk dat het een goede manier van practicum is aangezien het vrij zelfstandig is en iedereen kan voor zich bepalen hoe serieus ze het nemen, en welke tijd en plaats Ik vond het prettig om mee te werken. Ook het feit dat je (tenminste ik) vaak samenwerkte met medestudenten en ik dit thuis minder snel doe, vond ik positief. Je bent daardoor actief met de stof bezig. Ik vond het echt heel erg leerzaam. Door de BB-quizzes heb ik veel meer geleerd dan uit het boek. En ik begreep de stof daardoor veel beter. De ruime meerderheid van studenten (97% bij algemene methodologie en 83% bij functieleer) was het eens met de stelling dat de quizzes 'nuttig' waren en dat ze voldoende ermee geleerd hadden. Daarnaast vond iets meer dan de helft de quizzes ook 'leuk'. Inhoudelijk vonden de meeste studenten de quizvragen goed aansluiten bij de collegestof, al hadden sommigen last (vooral bij inleiding functieleer) van het feit dat de vragen erg lang omschreven waren en veel leeswerk op het scherm vereisten. Technische problemen met quizzes zijn elders in dit rapport beschreven. 4.2 Evaluatie bij docenten Werkwijze Na afloop van het 1 e semester zijn alle FPP docenten via uitgenodigd om een online vragenlijst met open en gesloten vragen in te vullen. 3 In de vragenlijst werd gepeild naar de wijze waarop docenten Blackboard inzetten in het onderwijs en hun meningen over het programma. 3 Vragenlijst beschikbaar via

11 9 Achtenveertig docenten hebben de vragenlijst ingevuld. Achtentwintig docenten gaven aan in het eerste semester daadwerkelijk van Blackboard gebruik gemaakt te hebben. De overige 20 docenten gaven verscheidene redenen aan waarom ze Blackboard niet gebruikten tot dusver. De belangrijkste redenen die opgegeven werden, waren gebrek aan tijd (7), gebrek aan technische vaardigheden (6), het ontbreken van een zinvolle toepassing voor Blackboard (5) en, enigszins daarbij aansluitend, gebrek aan meerwaarde in het gebruik van Blackboard (4). In dit rapport worden de ervaringen gerapporteerd van de 28 docenten die Blackboard gebruikten in het eerste semester. Vijf docenten gaven meer dan 1 vak in deze periode, dus rapporteerden ook tegelijk over meerdere vakken. Na afloop van het tweede semester is besloten geen vragenlijst meer af te nemen, omdat de inschatting was dat deze resultaten slechts in beperkte mate zouden afwijken van deze van het 1 e semester. Wel heeft na afloop van het 2 e semester nog een gesprek plaatsgevonden met 1 docent (drs. P. Bosboom), die uitgebreid van Blackboard gebruik maakte gedurende deze periode, maar met een aantal specifieke technische problemen te maken kreeg (o.a bij het online inleveren van opdrachten) waarvan het belangrijk was ze mee te nemen in dit rapport Wijze van Blackboard-gebruik door docenten Blackboard werd gebruikt ter ondersteuning van verschillende categorieën van studenten: bij een ruime meerderheid (62%) van de vakken ging het om voltijdstudenten, bij 21% om deeltijdstudenten, en bij 12% om afstands- en contractstudenten. Ook werden diverse werkvormen ondersteund: bij meer dan de helft van de vakken ging het om een hoorcollege (53%), bij 26% om een werkcollege, bij 12% om een practicum en bij 8% om een stage of andere onderwijsvorm. Het is tot slot belangrijk om vast te stellen dat het programma ingezet werd bij verschillende groepsgroottes: bij 18% van de vakken ging het om minder dan 20 studenten, bij 30% tussen de 20 en 50, bij nog eens 30% tussen de 50 en 100 en bij 22% om meer dan 100. Docenten werd gevraagd aan te geven of en in welke mate ze Blackboard gebruikten voor een aantal nader beschreven leeractiviteiten: Tabel 4

12 10 Wijze van Blackboard gebruik Docenten N= Discussieren met studenten Evalueren onderwijsmodule Geven van feedback Beantwoorden van vragen Afnemen van toetsen Administratie studieresultaten Links naar (internet) bronnen Opdrachten voor studenten Actuele mededelingen Algemene cursusinformatie Uitgewerkte cursusplanning (Aanvullend) studiemateriaal In sterke mate ondersteunde leeractiviteiten Tabel 4 geeft aan voor welke leeractiviteiten Blackboard in sterke mate/regelmatig door docenten gebruikt werd. Het blijkt dat de meeste docenten (23 van de 28) Blackboard regelmatig gebruiken voor het verspreiden van studiemateriaal. Het gaat daarbij meestal om collegesheets, PowerPoint presentaties, samenvattingen, leesteksten enz. Ook zetten 13 docenten algemene informatie over de cursus, zoals roosters, studiegids teksten enz. op Blackboard, en 12 docenten gebruiken het regelmatig voor het geven van mededelingen over bv. zaalwijzigingen of tentamenregelingen (nog eens 12 docenten geven trouwens af en toe mededelingen op deze manier). Door een vijftal docenten wordt Blackboard regelmatig ingezet voor het aanbieden van verwijzingen naar externe studiebronnen (zoals links naar websites) en het geven van opdrachten. De inzet van Blackboard als communicatie- en toetsmedium scoort laag: slechts een handvol docenten gebruiken het programma regelmatig voor het beantwoorden van vragen (2), geven van feedback (2) discussie met studenten en digitaal afnemen van toetsen (2). Samenvattend kan gesteld worden dat Blackboard door docenten bij de faculteit FPP in hoofdzaak gebruikt wordt voor het stroomlijnen van de informatievoorziening, het gestructureerd aanbieden van studiemateriaal en logistieke ondersteuning van het onderwijs. Door enkele docenten wordt het gebruikt om actiever studentgedrag te bevorderen, bijvoorbeeld door het gebruik van discussies of digitale voorbereidingsopdrachten bij het college. Deze manier van inzet van de digitale leeromgeving is vergelijkbaar met die van andere faculteiten bij de VU. Het rapport Digitale leeromgevingen aan de VU: Evaluatierapport (2002) van het ICT Onderwijscentrum concludeert in een recent rapport van juni 2002 hieromtrent: "Onderwijskundig gezien worden de diverse DLO s op dit moment niet op fundamenteel verschillende wijzen ingezet in het onderwijs bij de faculteiten. Door individuele docenten worden er zeker innovatieve werkvormen ontwikkeld binnen de DLO, maar DLO s worden overwegend ingezet als hulpmiddel bij de organisatie van bestaand onderwijs. Er bestaan accentverschillen tussen faculteiten in het soort leeractiviteiten dat digitaal ondersteund wordt. Deze verschillen zullen een wisselwerking zijn tussen de kenmerken van de specifieke DLO en het karakter van het onderwijs van de faculteit." Zo is het gebruik van quizzes bij enkele vakken bij FPP een typisch voorbeeld van een toepassing die voortvloeit uit de wisselwerking tussen enerzijds de functionaliteit van Blackboard en anderzijds de behoefte om grote groepen propedeuse-studenten op een actieve manier met de leerstof te laten omgaan Tijdsinvestering

13 11 Een veelgestelde vraag van docenten die overwegen met Blackboard te gaan werken, is de tijdsinvestering die hiermee gepaard gaat. In de vragenlijst werd gepeild door de hoeveelheid tijd die docenten aan Blackboard spenderen door na te gaan: 1) hoeveel tijd ze nodig hadden om met het programma te leren werken (voor 24 van de 28 docenten was het programma nieuw); 2) hoeveel tijd ze nodig hadden om de cursuswebsite op te zetten en online leeractiviteiten te ontwerpen voorafgaand aan de onderwijsperiode en; 3) hoeveel tijd het onderhouden van de cursuswebsite tijdens de onderwijsperiode kostte, eventueel daarbij inbegrepen tijd voor het geven van online feedback aan studenten, begeleiden van discussies enz. Uit onderstaande resultaten blijkt dat het antwoord op die vraag enorm kan variëren per docent. Dit is namelijk afhankelijk van een aantal factoren, zoals de hoeveelheid ervaring die de docent reeds heeft met computers en internet en de hoeveel tijd die vrijgemaakt kan worden hiervoor. De belangrijkste factor is echter de wijze waarop Blackboard in de cursus zal gebruikt worden: zo zal het aanbieden van informatie doorgaans veel minder tijd in beslag nemen dan het ontwikkelen van een online toets met bijhorende feedback of het begeleiden van online discussies of formu leren van feedback tijdens de onderwijsperiode. Het meeste tijd lijkt bij FPP docenten uit te gaan naar het opzetten van de cursuswebsite voorafgaand aan de onderwijsperiode. Dit stemt overeen met het feit dat Blackboard vooral gebruikt wordt voor aanbieden van materiaal, wat voor de start van de cursus meestal klaargezet wordt, en minder voor het begeleiden van online leeractiviteiten zoals discussies, dat meer werk tijdens de onderwijsperiode zelf zou vergen. Tabel 5 Leren werken met Blackboard meer dan 40 uur 21 tot 40 uur 4 tot 20 uur 1 tot 4 uur Aantal docenten Tabel 6 Inrichten van Blackboard voorafgaand aan de onderwijsperiode meer dan 40 uur 21 tot 40 uur 5 tot 20 uur 1 tot 4 uur Aantal docenten Tabel 7 Werken met Blackboard tijdens de onderwijsperiode

14 12 meer dan 8 uur 5 tot 8 uur per week 1 tot 4 uur per week Minder dan 1 uur per week Aantal docenten Redenen voor gebruik van Blackboard Docenten werd ook gevraagd door middel van een 5-puntsschaal (gaande van 'zeer onbelangrijk' tot 'zeer belangrijk') aan te geven hoe belangrijk onderstaande redenen voor hen zijn om Blackboard te gebruiken. Hun scores werden omgerekend tot een gemiddelde score (maximum=5). Tabel 8 Ik vind het een handig hulpmiddel 4,7 Ik kan hiermee de kwaliteit van mijn onderwijs verbeteren 4,16 Ik kan hiermee mijn onderwijs efficiënter organiseren 4,08 Ik vind internet en computers interessant 3,48 Studenten kunnen hierdoor betere resultaten behalen 3,41 Ik kan hierdoor nieuwe onderwijsvormen in praktijk brengen 3,41 Studenten verwachten het van mij 3,39 De faculteit vraagt het van mij 2,9 Het feit dat Blackboard een handig hulpmiddel is en het onderwijs efficiënter kan organiseren, worden als zeer belangrijke redenen voor het gebruik ervan beschouwd. De kwaliteitsverbetering van het onderwijs die hierdoor ontstaat, wordt ook als belangrijke reden gegeven. Als minder belangrijk worden verwachtingen van studenten en de faculteit ten aanzien van het gebruik hiervan geacht. Een andere reden om Blackboard te gebruiken, die specifiek door twee docenten aangehaald werd, is 'studentvriendelijkheid'. Ook papierbesparing en tijdswinst werden nog als redenen opgegeven Meningen over Blackboard Docenten werd ook gevraagd een aantal stellingen te beoordelen over het werken met Blackboard in het algemeen en het effect van het gebruik ervan op hun onderwijs en contact met studenten. Dit gebeurde ook via een 5-puntsschaal lopende van 'zeer oneens' tot 'zeer eens'. Ook hier werden gemiddelde scores voor berekend (maximum =5). Tabel 9 Blackboard is gebruiksvriendelijk 3,84

15 13 Met Blackboard kon ik dingen realiseren die anders niet mogelijk waren 3,41 Ik ben tevreden over de manier waarop ik Blackboard heb gebruikt in mijn onderwijs 3,36 Blackboard bevordert mijn contact met studenten 2,88 Gebruik van Blackboard was aanleiding om mijn onderwijs te veranderen 2,87 Door Blackboard heb ik tijd bespaard 2,62 Veel docenten zijn het ermee eens dat Blackboard een gebruiksvriendelijk programma is en dat het toelaat dingen te realiseren die anders niet mogelijk zijn. Minder eens zijn ze het met de stellingen dat gebruik van Blackboard tijd bespaart en contact met studenten bevordert. Ook dat gebruik van Blackboard aanzet om het onderwijs te veranderen wordt slechts door 6 docenten echt onderschreven (ruim de helft van docenten houdt het op 'neutraal' bij deze vraag). Verder werd gepeild naar beperkingen die docenten ervaringen bij het inzetten van de digitale leeromgeving. Tien docenten geven aan dat onvoldoende gebruik door studenten een beperking is. Andere beperkingen die hoog scoren zijn ontoereikende computervaardigheden van studenten (8), onvoldoende computervoorzieningen voor studenten op de faculteit (7), technische problemen (7) en gebrek aan tijd (5). Uit de toelichting van docenten blijkt dat gebrek aan PC's ertoe kan leiden dat studenten informatie niet tijdig kunnen downloaden, maar ook dat het belemmert dat Blackboard op grotere schaal wordt ingezet voor bijvoorbeeld digitaal toetsen. Enkele docenten vragen ook om beter uitgeruste collegezalen (met internetaansluiting/beamer-voorzieningen) en goede scanner-voorzieningen zodat ze 'zelf het goede voorbeeld kunnen geven'. Technische problemen variëren in aard en omvang, van problemen met inloggen tot het feit dat externe applicaties (zoals Word) in conflict geraken met de Blackboard-omgeving. Rondom Blackboard werden ook door docenten op een aantal vlakken verbeterwensen geformuleerd: 1) Functionaliteit Vooral de beperkte -faciliteit moet volgens docenten beter ontwikkeld worden, alsook bepaalde aspecten van de toetsmodule (geen gebruik van getallen mogelijk, instabiele 'externe links' vanuit een quiz, studenten die uit een quiz gegooid werden en via de docent opnieuw toegang moeten krijgen etc.). Verder merkte een docent op dat formules niet gebruikt kunnen worden, waardoor voor psychometrie toepassingsmogelijkheden worden beperkt. 2) Navigatie & structuur Hierbij werden opmerkingen gemaakt over niet erg intuïtieve navigatie van Blackboard en het feit dat de structuur van cursusinformatie in een heel vroeg stadium moet vastgelegd worden, vermits er geen mogelijkheid is om met mappen te slepen. (Bij de studentenevaluatie werd trouwens ook vastgesteld dat het vinden van informatie soms bemoeilijkt wordt door een onduidelijke structuur). Wat Blackboard-ondersteuning op de faculteit betreft, blijkt bij docenten een duidelijke behoefte te bestaan om regelmatig op de hoogte gehouden te worden van ontwikkelingen rond Blackboard, het aangeboden krijgen van handleidingen, opfriscursussen na ingebruikname van een nieuwe Blackboard versie etc. Ook naar studenten toe moet via handleidingen e.d. het gebruik van Blackboard gestimuleerd en ondersteund worden Toekomstig gebruik Uit tabel 9 blijkt dat vrij veel docenten redelijk tot zeer tevreden zijn met de manier waarop ze Blackboard tot dusver hebben ingezet in het onderwijs. Positief is ook dat 22 docenten verder willen gaan met het inzetten van Blackboard in hun onderwijs. Daarbij willen 13 docenten aanpassingen maken, en 9 docenten het op precies dezelfde manier doen. De meningen zijn verdeeld over de aanname dat docenten bij een volgende module minder tijd zullen moeten besteden aan het inrichten en onderhouden van Blackboard: 12 docenten denken dat het minder tijd zal kosten, 6 docenten denken meer tijd en 7 weten het niet.

16 14 5 Beschrijving van enkele 'good practices' bij FPP Hoewel Blackboard door de meeste docenten vooral gebruikt wordt ter logistieke ondersteuning van hun vak, kan het ook ingezet worden om studenten actiever bij een vak te betrekken of met leerstof om te laten gaan. Bij onderstaande vakken hebben docenten Blackboard op dergelijke manier gebruikt. Er volgt telkens een korte beschrijving van de online leeractiviteit en er wordt aangegeven wat er goed aan deze opzet. Om de voorbeelden echt te bekijken, kunt u de betreffende docent vragen toegang te krijgen tot de cursus. Activerend gebruik van een discussielijst Vak: Docent: Studiefase: Interculturele psychologie en pedagogiek Johan Sturm Propedeuse Psychologie/Pedagogiek Doel van de discussielijst: Gedurende een korte periode ondersteuning bieden bij voorbereiding op tentamenvragen rond het boek "Het misverstand opvoeding" (hieromtrent worden ook vier colleges verzorgd). Opzet van de discussielijst: Onder de knop "Communication" vindt men de mogelijkheid om voorafgaand aan de colleges of ook later vragen naar aanleiding van de vier colleges van Sturm of het boek van Harris te plaatsen. Ook is het mogelijk met medestudenten te discussiëren over eerder geplaatste vragen of die te beantwoorden. Wat is er goed aan deze opzet? - het doel van de discussielijst is duidelijk omschreven - de online discussie is duidelijk afgerond in de tijd - tijdens het college wordt ingegaan op de bijdragen in de discussielijst de docent geeft op voorhand duidelijk aan welke zijn input is in de discussielijst: "De docent, Johan Sturm, zal dit discussion board minstens drie maal per week monitoren en openstaande vragen beantwoorden, en eventuele onjuistheden corrigeren. Deze service wordt verleend tot maximaal een week voor het tentamen. Hierna blijven de vragen en antwoorden wel toegankelijk, maar neemt de docent niet meer actief deel. - de docent is actief betrokken, maar houdt het werk voor zichzelf in de hand Mening van de docent: De docent is tevreden over het gebruik van de discusselijst door docenten. Er worden zinvolle vragen gesteld over het thema, en het is erg positief dat studenten op elkaar reageren, in plaats van een reactie van de docent af te wachten. Activerend gebruik van learning units Vak: Docent: Studiefase: Observatiepracticum Frits Goossens Post-propedeuse Psychologie/Pedagogiek Doel van de learning unit: Studenten bekend te maken met systematisch observeren, door ze digitaal (via streaming video) een reeks observatieoefeningen uit te laten voeren, gevolgd door een online toets. Opzet van de learning unit Bij Course Documents kan de studenten door 5 'learning units' heenwerken (4 'Lees, kijk, en scoor opdrachten' en 1 eindopdracht). Elke learning unit bestaat uit een te navigeren sequentie van opdrachten, filmpjes en een toets. De learning unit begint telkens met een omschrijving van de opdracht. Er worden verschillende methoden van observatie geïntroduceerd. Eerst wordt een introductie tot de theorie gegeven, inclusief referenties. Dan moeten de studenten meestal een scoresheet afdrukken, dat ze kunnen

17 15 gebruiken tijdens het observeren van het gedrag. Er volgt dan een introductie van de videofragmenten, en dan het daadwerkelijke filmpje. Er is ongeveer 600 Mb aan data beschikbaar, dit komt overeen met ongeveer anderhalf uur videomateriaal. Wat is er goed aan deze opzet? - Studenten kunnen zelf kiezen wanneer ze de observatie oefeningen zullen doen, en hoeven niet meer naar het AVC om videobanden te bekijken. - Er kan relatief snel worden ingespeeld op de actualiteit. De docent kan opdrachten toevoegen die direct beschikbaar zijn via het internet. - Enkele opdrachten lenen zich voor automatische beoordeling, door videofragmenten op te nemen in een interactieve assessment. Dit levert voor de student een snelle feedback op wat zeer bevorderlijk is voor de motivatie en het leren. Activerend gebruik van de toetsmodule (d.m.v. verwerkingsvragen en voorbeeldtentamen vragen) Vak: Docent: Studiefase: Orthopedagogiek: algemene vraagstukken Carlo Schuengel Doctoraal Pegagogiek Doel van de verwerkingsvragen: De verwerkingsvragen hadden de bedoeling om de studenten te stimuleren zich in te leven in datgene wat ze bestudeerden, en ze te prikkelen tot discussie. Dat werd gedaan door aan het begin van het college kort aandacht te besteden aan de respons van studenten, en daar in de zaal discussie over te hebben Voorbeeld van een verwerkingsvraag: Prof Riksen-Walraven benoemt kinderopvang als risikofactor, prof Koot wijst op kinderopvang als protectieve factor. Als je nuances zou moeten aanbrengen in dit debat, hoe zou je dat als developmental psychopathologist doen? Opzet van de verwerkingsvragen: Via de toetsmodule van Blackboard ('assessment manager') werd er elke week voorafgaand aan het college een vraag aan de studenten gesteld. De antwoorden kunnen in eenmaal uitgeprint worden door de docent en meegenomen naar het college. Wat er goed is aan deze opzet: Studenten raken meer betrokken bij de stof. De docent hoeft slechts een geringe inspanning te leveren om de studenten te activeren, en krijgt sneller inzicht in problemen met de leerstof.

18 16 6 Conclusies en aanbevelingen De invoering van Blackboard bij FPP is gedurende de projectperiode sneller verlopen dan verwacht. Naast invoering bij de meerderheid van propedeusevakken, zijn veel docenten die in de doctoraalfase onderwijs verzorgen, op eigen initiatief met Blackboard beginnen werken en wordt daar ook bijna de helft van de vakken met de digitale leeromgeving ondersteund. Door het 'olievlek-effect' werkt nu twee-derde van alle docenten bij de faculteit met de digitale leeromgeving. De meeste docenten beschouwen Blackboard als een middel om het bestaande onderwijs beter te organiseren en gebruiken het vooral voor het aanbieden van informatie en (éénrichting) communicatie met studenten. Een handvol docenten heeft de mogelijkheden van Blackboard benut om bepaalde aspecten van het onderwijs anders te organiseren en vooral om actiever studentgedrag te bevorderen (zie hoofdstuk 5 'Good Practices' voor voorbeelden). Studenten zijn snel gewend geraakt aan de digitale beschikbaarheid van informatie en beschouwen het als vanzelfsprekend dat dit in de toekomst bij alle vakken wordt aangeboden. Daarnaast appreciëren ze de inzet van Blackboard als toets- en discussiemedium, en bij de vakken waarbij deze mogelijkheid wordt gebruikt, vinden ze dit vaak 'nuttiger' gebruik van Blackboard dan het aanbieden van collegesheets. Ook spreken ze hun expliciete waardering uit voor de extra inspanning die docenten moeten leveren om dit soort digitale leeractiviteiten te ontwikkelen. Om de verdere inbedding van Blackboard in zowel de logistieke als inhoudelijke organisatie van het onderwijs bij FPP bewerkstelligen, worden volgende aanbevelingen gedaan: - Zoals vermeld in de conclusies, wordt Blackboard momenteel vooral door docenten gebruikt ten behoeve van de organisatie en logistiek van het bestaande onderwijs. Om te zorgen dat Blackboard verder bijdraagt aan onderwijsinnovatie, bijvoorbeeld bij het realiseren van nieuwe onderwijsvormen, of bij de invoering van activerend onderwijs, dient de faculteit zich beleidsmatig uit te spreken over de wijze waarop dit moet gebeuren, en een (onderwijskundig) kader te formuleren waarbinnen individuele docenten met de DLO werken. - Om beginnende docenten op weg te helpen met Blackboard, is het belangrijk dat er bij de faculteit ruimte blijft bestaan voor individuele onderwijskundige en technische instructie. - Ook docenten die reeds ervaring met Blackboard hebben, zulllen verdere specifieke scholing en inzage in 'good practices' van collega's nodig blijven hebben (uit de enquête bij docenten blijkt bijvoorbeeld dat sommige ervaren docenten het een belangrijke beperking van Blackboard vinden dat studenten 'het te weinig gebruiken'. In dat kader is het bijvoorbeeld belangrijk dat docenten er voortdurend bewust van gemaakt worden dat Blackboard een 'docentgestuurd' medium is. Dit wil zeggen dat de docent zélf verantwoordelijk is voor de aard en omvang van het Blackboard gebruik, en studenten bij veel Blackboard onderdelen geen (technische) bevoegheid hebben hier op eigen initiatief mee aan de slag te gaan). - Mede daardoor lijkt het nuttig om enerzijds bij aanvang van het academiejaar 2002 de behoeften van docenten inzake scholing te inventariseren (door middel van een korte online enquête) en op basis daarvan een aantal cursussen op te zetten, eventueel in samenwerking met het ICTO. Daarnaast wordt voorgesteld om door middel van een (elektronische) nieuwsbrief en enkele samenkomsten docenten op de hoogte te houden van ontwikkelingen rond Blackboard en vooral goede toepassingen uit de eigen faculteit te tonen en bespreken. - Ook wordt voorgesteld om in augustus 2002 alle Blackboard websites voor alle vakken die in het academiejaar gegeven zullen worden, in één keer aan te maken. Dit is enerzijds een efficiëntere manier van werken voor de facultaire Blackboard ondersteuner, anderzijds hebben alle docenten automatisch toegang tot kant-en-klare (lege) websites voor hun vakken. Voor docenten kan dit een extra motivatie zijn om met Blackboard van start te gaan.

19 17 - Het is belangrijk dat studenten goed weten bij wie ze terecht kunnen met welke Blackboard problemen (afhankelijk van het probleem kan dit de docent, adviseur ICT en onderwijs of het studiesecretariaat zijn). Bij aanvang van het academiejaar 2002 zullen propedeusestudenten bij het inleidend computerpracticum ICT en Onderwijs hierover een informatiesheet ontvangen. Aan doctoraalstudenten zal deze sheet via de docenten verspreid worden. - Het snel stijgende gebruik van Blackboard betekent ook een stijgende behoefte aan goede computervoorzieningen voor studenten. Sommige docenten wezen er in de evaluatie op dat onvoldoende voorzieningen als een beperking ervaren worden. Gedurende het voorbije academiejaar is er al enigszins verbetering opgetreden door 24 nieuwe computers te plaatsen. Toch is het erg belangrijk om deze situatie ook in de toekomst te blijven monitoren en indien nodig naar geschikte oplossingen te zoeken.

20 18 Bijlagen 1. Overzicht vakken ondersteund met Blackboard in het cursusjaar Evaluatie-formulier studenten 3. Evaluatie-formulier docenten