Verslag docententests

Transcriptie

1 Verslag docententests t.b.v. Onderzoek Repository Samenwerking tussen Universiteitsbibliotheek Utrecht (UBU) en Faculteit Sociale Wetenschappen, Studion Support Uitgevoerd november 2007-januari maart 2008

2 Inhoudsopgave Inhoudsopgave... 2 Inleiding... 3 Bevindingen ten aanzien van gebruik (andermans) materiaal... 3 Bevindingen ten aanzien van delen eigen materiaal... 4 Opmerkingen over de techniek en de interface... 5 Beperkingen ten aanzien van rechten op onderwijsmateriaal... 7 Conclusie... 7 Bijlage 1: Testplan Archief leermaterialen... 8 Doel van de test:... 8 Werkwijze/Gang van zaken... 8 Voorstellen... 8 Vraag 1:... 8 Zelf aan de slag... 8 Zoekscherm... 8 Overzichtsscherm... 8 Resultaatscherm... 9 Jumpoff pagina... 9 Uiteindelijk bestand... 9 Vragen over de dienst... 9 Bijlage 1: Opdrachten en vragen voor docenten...11 Verzamelen leermaterialen...11 Zelf aan de slag...11 Zoekscherm...12 Overzichtsscherm...13 Detailscherm...14 Algemene vragen over de dienst...15

3 Inleiding en aanpak test Als onderdeel van het project Archiveren van Onderwijsmateriaal zijn in november en december 2007 en in januari 2008 zes interviews gehouden met docenten van de faculteit Sociale Wetenschappen. Dit waren docenten uit verschillende opleidingen met een verschillend niveau voor wat betreft computergebruik en de inzet van ICT in hun onderwijs. Hoewel zes personen nooit representatief kunnen worden gehouden voor een faculteit met honderden docenten geeft dit wel een grove indruk wat de houding is ten aanzien van een dergelijke voorziening. Daarnaast kon gelijk worden bekeken of het gebouwde systeem goed werkte. De universiteitsbibliotheek heeft een systeem geleverd waarin materialen uit diverse cursussen kon worden ingelezen. Blackboard en WebCT (en andere Electronische Leeromgevingen) leveren namelijk een export van cursussen met de bijbheorende documenten volgens de IMS-Content standaard. De IMS pakketten die worden geproduceerd werden door een script automatisch uiteengerafeld en het onderwijsmateriaal dat door de docent in de cursus was geplaatst wordt opgeslagen in het archief met zoveel mogelijk metadata. Voor deze rest waren meerdere cursussen met het bijbehorende onderwijsmateriaal ingelezen. De docenten werden gevraagd zelfstandig een aantal vragen te beantwoorden en opdrachten door te lopen. De interviewer greep alleen in als de docent er niet uit kwam. Dit was om te kijken of de docenten zelfstandig met de gebouwde interface uit de voeten konden. Als de docent de opdrachten had uitgevoerd kreeg deze nog een aantal vragen om te beantwoorden. Deze vragen betroffen meer algemene vragen over het delen van eigen onderwijsmateriaal en het gebruiken van andermans onderwijsmateriaal. Het testplan met de vragen en opdrachten kan worden nagelezen in Bijlage 1: Testplan Archief leermaterialen. Bevindingen ten aanzien van gebruik (andermans) materiaal Docenten zijn vooral gewend om eigen onderwijsmateriaal te ontwikkelen (5 van de 6 docenten) of eigen materiaal te hergebruiken (5 van de 6 docenten). Ze maken

4 minder gebruik van het internet om materiaal te verzamelen. Hoe zoek je naar materiaal voor je cursus? 6 Aantal maal geantwoord Series1 0 zelf schrijven hergebruiken andere docenten Zoeken biep Vragen vakref website biep google scholar scannen anders Na geconfronteerd te zijn met de voorziening, en een aantal onderwijsmaterialen te hebben bekeken gaven ze aan dat ze deze vooral wilden gebruiken ter inspiratie (6 van de 6) of om te bewerken. Ze zijn niet van plan om andermans materiaal zomaar in te zetten in hun eigen cursus. Docenten zijn vooral op zoek naar materiaal uit hun eigen vakgebied en zoeken daarom het liefste binnen het eigen departement of juist bij andere opleidingen in Nederland in hetzelfde vakgebied. Ze zijn daarbij nieuwsgierig naar wat in andere cursussen wordt behandeld en willen graag de cursushandleiding, powerpoints of literatuur bekijken. Vijf van de zes docenten gaven aan dat zij het handig zou vinden dat ze het materiaal uit voorgaande jaren van dezelfde cursussen terug konden vinden (ook als zij die cursus het jaar ervoor niet zelf hadden gegeven.) Bevindingen ten aanzien van delen eigen materiaal De docenten stonden wisselend tegenover het delen van hun onderwijsmateriaal. Op de vraag: Wat vind je van het feit dat anderen jouw materiaal kunnen vinden? Waren vijf van de zes docenten positief. Ze gaven wel aan dat ze niet wilden dat anderen docenten hun materiaal zomaar gingen Gegeven antwoorden 4,5 4 3,5 3 2,5 2 1,5 1 0,5 Wat vind je van het feit dat anderen jouw materialen kunnen vinden? 0 Prima Wel handig Geen behoefte aan Vervelend

5 gebruiken. Ze wilden liever hebben dat de docent toestemming vroeg of dat in ieder geval wel duidelijk was dat de docent het materiaal niet zomaar mocht gebruiken in de eigen cursus. Zoals verwacht (zie eindverslag KIP project) gaven docenten aan dat ze geen tijd en zin hadden om materiaal te selecteren, van extra metadata te voorzien, of te bewerken, zodat deze voor een groter publiek beschikbaar kon worden gesteld of beter vindbaar zouden worden. De docenten wilden hun materiaal allemaal wel beschikbaar stellen aan andere docenten van het departement en ze hadden niet zoveel bezwaar tegen de docenten Gegeven antwoorden Wie zou toegang moeten krijgen tot je materiaal van de faculteit. Ze waren minder enthousiast over het beschikbaar stellen aan studenten of zelfs de hele wereld Alleen de auteur Docenten van het Dept Docenten faculteit 4 2 Docenten van de UU Docenten en studenten van de UU 1 1 De hele wereld Opmerkingen over de techniek en de interface De interface was redelijk duidelijk en werkte zonder al te veel problemen. Er waren een paar opmerkingen die docenten plaatsten: - Het archief was opgenomen als een tabblad in Studion/Blackboard. Alle docenten vonden dit een handige plaats. - Het zoekscherm was niet helemaal duidelijk. Misschien is het handiger om trefwoorden als eerste optie te bieden en pas lager de meer geavanceerde opties (net als de gebruiker bij Google gewend is.) Het veld auteur wekte wat verwarring. De auteur is degene die het leerobject heeft geplaatst, hoewel dit bijvoorbeeld bij literatuur niet altijd het geval is. (Misschien is het een idee om bij enkele velden een (aanklikbare link naar een) toelichting te geven).

6 - Bij het zoeken in combinaties van velden werden heel veel resulaten getoond (werkte als een OR operator voor beide zoektermen). Bij het zoeken in combinatie met een bestandstype kwam een foutmelding (Error query failed). Op het overzichtsscherm met resulaten werd niet veel informatie getoond. Misschien is deze pagina handiger in te delen zodat de hele breedte van het scherm kan worden benut en het bestandstype zichtbaar wordt. Dit laatste het liefste in de vorm van een icoon. Dit is een beeldtaal die docenten snel herkennen. Zo kunnen docenten snel door een lange lijst resultaten scrollen om te zien wat voor hen interessante informatie is. Zo zien ze ook al snel of een leerobject een link is naar een website (dit hadden ze niet verwacht). Ze wilden ook graag zien bij welke opleiding de cursus hoorde. Helaas is deze informatie niet uit Blackboard of Osiris te achterhalen.

7 Op de detailpagina miste een aantal docenten de contactgegevens (bijvoorbeeld adres) van de docent. Dit zou het gemakkelijker maken voor een docent om toestemming te vragen aan een andere docent om het materiaal te mogen gebruiken. Docenten begrepen dat het materiaal was afgeschermd met een algemene gebruikersnaam en wachtwoord voor deze test maar vroegen wel of het Solis ID en wachtwoord in de toekomst konden worden gebruikt. Beperkingen ten aanzien van rechten op onderwijsmateriaal Door de keuze om automatisch hele cursussen te archiveren zonder controle vooraf komt allerlei materiaal in het archief waar beperkingen op rusten. Denk daarbij aan: - Privacy gevoelige informatie Docenten plaatsen nog wel eens cijferlijsten als een los bestand in Blackboard. Hoewel er alleen studentnummers in deze lijsten genoemd horen te worden is het niet zo netjes deze informatie openbaar te maken. Docenten plaatsen soms een videofragment van een patient. Als het goed is, is dit besproken met de patient in kwestie. In de meeste gevallen heeft de patient alleen toestemming gegeven om dit materiaal in de cursus beschikbaar te stellen en niet daar buiten. - Materiaal waar copyrights rusten Docenten plaatsen nog wel eens materiaal in de cursussen waar copyrights op rusten (artikelen, videofragmenten). Als het goed is hebben ze wel de toestemming om dit in de cursus te benutten, maar het is zeker niet altijd toegestaan om dit ook openbaar beschikbaar te stellen. Overigens kun je je ook afvragen wie het auteursrecht draagt over het materiaal dat de docent heeft geschreven in de uren dat hij/zij werkzaam was bij de universiteit. In principe draagt dan de Universiteit Utrecht de copyrights over het materiaal. Het zou verstandig zijn om dit in een disclaimer op te nemen naast het materiaal. Al deze beperkingen hebben tot gevolg dat het niet zomaar mogelijk is al het materiaal uit Blackboard via een archief openbaar beschikbaar te stellen aan de hele wereld. Conclusie Er is zeker vraag naar een dergelijke voorziening. Deze Kan worden ingezet om de continuiteit van het onderwijs te waarborgen en docenten te ondersteunen bij het opzetten van hun cursussen. Het materiaal in het archief kan niet beschikbaar worden gesteld aan aan de hele wereld maar kan slechts open worden gesteld voor docenten. Welke docenten dat zijn is een beslissing die moet worden genomen in overleg met de opleiding. Docenten willen geen tijd beschikbaar stellen om materiaal te selecteren en de bijbehorende metadata aan te vullen zodat het materiaal openbaar beschikbaar gesteld zou kunnen worden. Aan de kant van de techniek dienen een paar kleine aanpassingen te worden aangebracht, maar het principe is duidelijk, docenten konden er zo mee werken zonder begeleiding.

8 Bijlage 1: Testplan Archief leermaterialen Opgesteld 18 november 2007 door Keith Russell / Studion Support Doel van de test: Indruk krijgen van een aantal docenten binnen Sociale Wetenschappen of er behoefte is aan een archief van leermaterialen uit Blackboard. Achterhalen of er nog aan meer randvoorwaarden/behoeftes moet worden voldaan om dit te laten slagen. Werkwijze/Gang van zaken 1. Mondelinge toelichting geven op voorziening en test 2. Docent aan de slag laten gaan, onderwijl vragen laten invullen 3. Ondertussen observeren en overige opmerkingen/onduidelijkheden noteren Voorstellen Wie ben je en wat is het idee achter deze proef: Materialen zullen jaarlijks uit Blackboard worden gehaald en worden opgeslagen op een centrale plek in een archief. Daarna zal de cursus worden opgeruimd. We kijken nu naar de mogelijkheid om dit archief doorzoekbaar te maken en te delen met anderen. We beginnen met een aantal vragen, daarna ga je zelf aan de slag met het archief. Aan het einde volgen ook weer een aantal vragen over deze dienst. Vraag 1: Hoe zoekt een docent normaal gesproken? Opmerkingen: Zelf aan de slag Laat de docent zelf aan de slag. Zo min mogelijk tussenbeide komen. Zoekscherm Kijken of de docent het zoekscherm kan vinden. Kijken hoe die gaat zoeken. Opmerkingen over zoekscherm Problemen? Overzichtsscherm Opmerkingen over overzichtsscherm Problemen

9 Resultaatscherm Opmerkingen over resultaatscherm Uitleggen dat inloggen nu in de test zit Opmerkingen over inloggen in de toekomst. Problemen Jumpoff pagina Opmerkingen over jumpoff pagina Problemen Uiteindelijk bestand Opmerkingen over uiteindelijk bestand Problemen Vragen over de dienst Wat zou zo n dienst je kunnen opleveren? - Eigen materiaal terugvinden? - Andermans materiaal raadplegen - Overzicht aangeboden materiaal Wat als je straks je oude cursus niet meer online staat? Wat als je een cursus van een andere docent zou overnemen Check welke materialen openbaar mogen worden

10 Hoe voelt het rondom eigendom? Opmerkingen die de docent maakte

11 Bijlage 1: Opdrachten en vragen voor docenten Hartelijk dank dat je mee wilt werken aan dit project. Gelieve onderstaande vragen door te lopen en te beantwoorden. Verzamelen leermaterialen Hoe zoek je normaal gesproken naar materialen voor in je cursus. Meerdere antwoorden zijn mogelijk. o Zelf schrijven o Materiaal van vorig jaar hergebruiken o Vragen aan andere docenten o Zoeken in de bibliotheek (langsgaan) o Vragen aan de vakreferent o Zoeken via de (zoekmachines op de) website van de Bibliotheek o Zoeken via Google o Zoeken via Google Scholar o Scannen van papier o Anders namelijk... Zelf aan de slag Je gaat nu kijken naar het afgeschermde archief dat materialen bevat uit een aantal cursussen van Sociale Wetenschappen. Ga naar: Log in met gebruikersnaam: testkeith2 En wachtwoord: testkeith2 Klik op tabblad Archief Vind je dit een logische plaats om het archief te vinden? o Ja o Nee, ik zou deze liever zien op...

12 Zoekscherm Je krijgt nu het volgende scherm te zien: Ga op zoek naar materiaal dat je in je onderwijs zou willen gebruiken. Waar ga je op zoeken? Meerdere antwoorden zijn mogelijk. o Woorden in de titel o Auteur o Cursusnaam o Collegejaar o Bestandstype o Trefwoorden Wat mis je aan zoekmogelijkheden?.... Zoek naar je eigen materiaal. Vind je materialen? o Ja o Nee Zoek naar materiaal op trefwoord. Welk trefwoord(en) gebruik je? Vind je materialen? o Ja o Nee

13 Overzichtsscherm Het overzicht van gevonden resultaten wordt als volgt gepresenteerd: Vind je het overzicht van gevonden resultaten duidelijk? o Ja o Nee, omdat... Wat mis je op het overzichtsscherm...

14 Detailscherm Door te klikken op details krijg je meer informatie over het leerobject te zien. Dat ziet er als volgt uit: Is deze informatie volledig? o Ja o Nee, ik zou nog de volgende informatie willen zien: Is het duidelijk hoe je bij het werkelijke bestand komt? o Ja o Nee, omdat.... Klik op de link naar het werkelijke bestand. Je wordt gevraagd om een gebruikersnaam en wachtwoord. Vul hier in: gebruikersnaam: edutest wachtwoord: rep0 Het volgende scherm verschijnt:

15 Is het duidelijk hoe je bij het werkelijke bestand komt? o Ja o Nee, omdat... Algemene vragen over de dienst Hoe zou je dergelijke materialen gebruiken? Meerdere antwoorden zijn mogelijk. o Zo in mijn cursus plaatsen o Eerst opslaan op mijn harde schijf, bewerken en dan plaatsen o Stukken uit kopieren en plakken in een bestand dat ik al heb en dat plaatsen in Studion/Blackboard o Lezen ter inspiratie o Anders namelijk. Wat voor materiaal zou je hopen te vinden?..... Op dit moment staan in dit archief materialen uit geselecteerde cursussen van FSW. In wat voor groep documenten zou je willen zoeken? Documenten van: o Mijzelf o Docenten van het departement o Docenten van de faculteit o Docenten van de UU o Docenten en studenten van de UU o Docenten in Nederland o Docenten wereldwijd o De hele wereld

16 Wat vind je van het feit dat je je eigen materiaal kan vinden? o Prima o Wel handig o Geen behoefte aan o Vervelend Wat vind je van het feit dat je andermans materiaal kan vinden? o Prima o Wel handig o Geen behoefte aan o Vervelend Wat vind je van het feit dat anderen jouw materiaal kunnen vinden? o Prima o Wel handig o Geen behoefte aan o Vervelend Wie zou toegang moeten krijgen tot alle leermaterialen? o Alleen de auteur(s) o Docenten van het departement o Docenten van de faculteit o Docenten van de UU o Docenten en studenten van de UU o Docenten in Nederland o De hele wereld Zou je bepaalde van je eigen leermaterialen aan een breder publiek beschikbaar willen stellen? o Nee Ja, namelijk: o docenten van het departement o docenten van de faculteit o Docenten van de UU o Docenten en studenten van de UU o Docenten in Nederland o Docenten wereldwijd o De hele wereld Zou je bepaalde leermaterialen zelf van extra informatie willen voorzien? Zo kunnen ze beter gevonden worden. o Nee, dat vind ik teveel gedoe o Ja, voor mijn eigen gebruik o Ja, dan kan iedereen het materiaal gemakkelijker vinden o...

17 Wat vind je ervan als anderen je materialen kunnen gebruiken o Ik vind het prima, omdat.. o Ik vind het goed maar ik wil eerst dat mij toestemming wordt gevraagd o Ik vind het goed, maar zou het graag willen horen o Ik vind het niet goed omdat.. Wat vind je een dergelijke dienst? Meerdere antwoorden zijn mogelijk o Handig o Vraag me af of ik het ooit zal gebruiken o Vervelend: ik wil niet dat anderen kunnen zien wat ik in een cursus gebruik. o Handig als Blackboard niet meer beschikbaar is of je cursus wordt opgeruimd. Dank je wel voor je tijd. Er zullen nu ook een aantal vragen worden gesteld door de begeleider. Opgesteld 21 november 2007 door Keith Russell/Studion Support